Resumen Técnico: ¿Pueden los LLM interpretar el lenguaje figurativo como lo hacen los humanos?

Planteamiento del problema

Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) generan texto que se asemeja a la producción humana, aún es incierto hasta qué punto se alinean con los juicios humanos al interpretar el lenguaje figurativo y socialmente fundamentado. La literatura existente sugiere que los LLM pueden coincidir con los humanos en juicios de nivel superficial (por ejemplo, precisión gramatical o sentimiento básico), pero divergen en procesos interpretativos más profundos que involucran la pragmática, el contexto y la experiencia subjetiva. Específicamente, no está claro si los LLM poseen el anclaje cognitivo necesario para organizar el significado en un espacio semántico compartido con los humanos, particularmente para rasgos lingüísticos complejos como modismos, sarcasmo, humor, tono emocional y jerga de la Generación Z. La investigación actual suele depender del acuerdo agregado (similitud de nivel superficial), lo que puede enmascarar fallos en la captura de las distinciones finas requeridas para fenómenos pragmáticos matizados.

Metodología

Para abordar esto, los autores realizaron un estudio comparando participantes humanos y cuatro LLM ajustados por instrucciones (GPT-4, Gemma-2-9B, Llama-3.2 y Mistral-7B) utilizando el Análisis de Similitud Representacional (RSA).

Datos y Estímulos

• Estímulos: Se compiló un conjunto de datos de 240 oraciones basadas en diálogos, dividido en 120 oraciones "sensatas" (que contienen un rasgo lingüístico específico) y 120 oraciones "no sensatas" (estructuralmente similares pero que omiten el rasgo clave).
• Categorías: Las oraciones se clasificaron en seis rasgos lingüísticos: Convencional, Idiomático, Emocional, Divertido, Sarcástico y Jerga de la Generación Z.
• Evaluación: Cada oración se emparejó con 40 preguntas interpretativas (por ejemplo, "¿Es esto sarcástico?", "¿Es esto relevante para ti?") diseñadas para evaluar el significado, el tono y la calidad expresiva.
• Escala: Tanto los humanos como los modelos calificaron las oraciones en una escala Likert de 10 puntos, lo que resultó en 9,600 pares de oración-pregunta.

Participantes

• Humanos: 211 estudiantes de pregrado de la Universidad Texas A&M.
• Modelos: Cuatro LLM de solo decodificación y ajustados por instrucciones, accedidos vía API o Hugging Face.
• Condiciones: Se realizaron dos estudios. El Estudio 1 utilizó un prompt estándar de zero-shot. El Estudio 2 introdujo restricciones refinadas (límites estrictos de calificación de 1 a 10 y justificaciones de una sola oración) para evaluar la sensibilidad del prompt.

Marco Analítico

El estudio distinguió entre dos niveles de alineación:

1. Similitud de Nivel Superficial (SLS): Calculada mediante coeficientes de correlación de Pearson entre las calificaciones de humanos y modelos para categorías de oraciones específicas. Esto mide el acuerdo en el nivel de salida.
2. Similitud Representacional (RSA): Este método examina la estructura interna de la interpretación.
   • Se calcularon las distancias euclidianas por pares entre todas las parejas de oraciones basadas en sus vectores de calificación de 40 dimensiones, creando una Matriz de Disimilitud Representacional (RDM) tanto para los humanos como para cada modelo.
   • El RSA cuantificó la alineación correlacionando las entradas del triángulo superior de la RDM humana con las RDM de los modelos.
   • Significancia: Una alta correlación de RSA indica que los humanos y los modelos organizan las oraciones de maneras estructuralmente similares dentro de sus espacios semánticos, incluso si los valores absolentes de calificación difieren. Una baja correlación de RSA sugiere geometrías representacionales internas divergentes.

Resultados Clave

Similitud de Nivel Superficial (SLS)

• Alineación General: Los modelos, particularmente GPT-4, mostraron una fuerte alineación de nivel superficial con los humanos (correlaciones $r \approx 0.60–0.90$ para oraciones sensatas).
• Jerarquía de Modelos: GPT-4 superó consistentemente a los otros modelos. Gemma y Mistral mostraron una alineación moderada, mientras que Llama-3.2 exhibió la alineación más débil, especialmente para categorías figurativas.
• Diferencias de Categoría: Las oraciones convencionales y emocionales produjeron correlaciones más altas que el humor, el sarcasmo y la jerga.
• Sensibilidad del Prompt: El Estudio 2 (prompts refinados) mostró mejoras modestas en la SLS en todos los modelos, pero las oraciones no sensatas siguieron siendo un desafío.

Similitud Representacional (RSA)

• Divergencia: A pesar de la alta concordancia de nivel superficial, el RSA reveló una divergencia sistemática entre los espacios representacionales de los modelos y los humanos.
• Lenguaje Figurativo: La alineación fue significativamente más débil para las categorías pragmáticamente ricas (modismos, sarcasmo, jerga de la Generación Z) en comparación con las oraciones convencionales o emocionales.
  • GPT-4 mostró la alineación representacional más fuerte ($r \approx 0.50–0.85$ para oraciones sensatas) pero aún no alcanzó la consistencia humano-humano ($r \approx 0.75–0.85$).
  • Los modelos más pequeños (Llama, Mistral) mostraron una alineación representacional muy baja ($r \approx 0.10–0.35$) para categorías figurativas.
• Oraciones No Sensatas: Los modelos tuvieron dificultades para distinguir entre variantes sensatas y no sensatas en sus representaciones internas, con correlaciones que descendieron significativamente en comparación con las líneas base humanas.
• Impacto del Prompt: Aunque los prompts refinados mejoraron las calificaciones de nivel superficial, no reestructuraron sustancialmente la organización semántica interna de los modelos, particularmente para Llama.

Principales Contribuciones

1. Distinción Metodológica: El estudio separa explícitamente el acuerdo conductual de nivel superficial de la alineación estructural representacional, demostrando que una alta correlación en las calificaciones no garantiza una organización semántica interna compartida.
2. Evidencia Empírica de Divergencia: Proporciona evidencia de que los LLM, incluso los modelos de vanguardia como GPT-4, no logran replicar completamente las geometrías representacionales de los humanos para el lenguaje figurativo, particularmente para rasgos dependientes del contexto como el sarcasmo y la jerga.
3. Jerarquía de Modelos: Establece una jerarquía consistente donde GPT-4 se aproxima más a los patrones representacionales humanos que los modelos más pequeños, aunque ningún modelo alcanza la fiabilidad humano-humano.
4. Perspectiva sobre los Mecanismos: Los resultados sugieren que los objetivos de entrenamiento actuales (predicción del siguiente token) son insuficientes para constreñir la organización interna del significado para la inferencia pragmática, lo que lleva a los modelos a depender de heurísticas superficiales en lugar de un anclaje semántico estable.

Significancia y Reivindicaciones

El artículo sostiene que, si bien los LLM pueden aproximar los juicios humanos a un nivel superficial, aún no poseen la estructura representacional requerida para una interpretación genuinamente humana del lenguaje figurativo y socialmente fundamentado.

• Limitaciones de los Modelos Actuales: Los hallazgos apoyan la visión de que los LLM dependen del emparejamiento de patrones distributivos en lugar de un anclaje semántico estable. La incapacidad de alinearse en la geometría representacional para modismos y jerga sugiere una falta de supervisión sensible al contexto y de anclaje social en las arquitecturas actuales.
• Implicaciones para la Evaluación: Los autores argumentan que evaluar los LLM únicamente mediante la precisión de la salida o las correlaciones de nivel superficial es insuficiente. Los marcos futuros deben investigar cómo se organiza el significado internamente (mediante métodos como RSA) en lugar de solo qué salida se genera.
• Alcance Modesto: Los autores reconocen limitaciones, incluyendo el tamaño relativamente pequeño del conjunto de datos, la falta de claves contextuales ricas en los estímulos (que son cruciales para el sarcasmo y el humor) y la suposición de que los humanos y los LLM comparten marcos internos comparables. En consecuencia, las afirmaciones se delimitan a la interpretación pragmática independiente del contexto, sugiriendo que las brechas observadas pueden verse exacerbadas por la ausencia de un contexto de discurso del mundo real.

En conclusión, el estudio postula que los LLM actuales codifican el lenguaje figurativo en espacios representacionales que están solo parcialmente alineados con la organización semántica humana, resaltando una brecha fundamental entre generar texto de apariencia humana y poseer un anclaje cognitivo humano para el lenguaje pragmático.