Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses

Resumen Técnico: Revelando los Límites de los Modelos de Lenguaje Extensos en la Inferencia del Significado Pragmático a partir de Respuestas No Verbales

Planteamiento del Problema
Si bien los Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés) han demostrado un progreso significativo en la comprensión del lenguaje verbal y fenómenos pragmáticos como la implicatura y los actos de habla indirectos, las investigaciones existentes han pasado por alto en gran medida el papel del comportamiento no verbal cuando este opera de forma aislada. En la comunicación humana, las señales no verbales (p. ej., el silencio, las expresiones faciales, los gestos) a menudo sirven como los únicos signos de intención comunicativa, transmitiendo significados indirectos sin acompañamiento verbal. Las evaluaciones actuales analizan primordialmente los inputs verbales o tratan las señales no verbales meramente como soporte contextual para el texto. Este estudio aborda la pregunta abierta de si los LLM pueden reconocer e inferir la intención indirecta únicamente a partir de respuestas no verbales, una capacidad crítica para una interacción humano-IA robusta donde el lenguaje hablado puede estar ausente o limitado.

Metodología
Los autores presentan la primera evaluación sistemática de la capacidad de los LLM para inferir el significado pragmático de respuestas de diálogo compuestas exclusivamente por elementos no verbales. El estudio se estructura en torno a tres preguntas de investigación: (1) ¿Pueden los LLM reconocer la intención indirecta en respuestas no verbales? (2) ¿Cuándo y cómo fallan? (3) ¿Cómo se puede mejorar esta capacidad?

• Datos y Categorías: La evaluación utiliza un conjunto de datos personalizado que categoriza las respuestas no verbales en tres tipos: Silencio (falta deliberada de habla), Expresiones Faciales (representadas mediante emojis Unicode) y Movimientos (acciones descriptivas entre paréntesis).
• Diseño de la Tarea: Los modelos se presentan con preguntas de opción múltiple donde deben seleccionar la opción que mejor interprete el contexto y la intención subyacente de una conversación que termina en una respuesta no verbal. Los distractores están cuidadosamente diseñados para incluir interpretaciones erróneas, explicaciones literales, descripciones abstractas y respuestas léxicamente coherentes pero semánticamente divergentes.
• Modelos Evaluados: Los experimentos cubren 13 modelos de seis familias (Qwen, Mistral, Llama, Phi y modelos basados en API como GPT y Claude), que van desde 3B hasta más de 100 mil millones de parámetros.
• Configuraciones Experimentales: La evaluación principal se realiza en un entorno de zero-shot. Los análisis adicionales incluyen el uso de Chain-of-Thought (CoT, Cadena de Pensamiento), aprendizaje en contexto de pocos ejemplos (few-shot in-context learning) y estudios de ablación eliminando instrucciones contextuales explícitas. Se estableció una línea base humana utilizando estudiantes de pregrado de diversos orígenes nacionales.

Resultos Clave

• Brecha de Rendimiento: Los LLM exhiben una caída sustancial de rendimiento al procesar respuestas no verbales en comparación con las verbales. Mientras que los modelos suelen alcanzar una precisión cercana a la humana en actos de habla indirectos verbales, su precisión en tareas no verbales cae hasta 60 puntos porcentuales.
• Dificultad por Categoría: El rendimiento varía según la categoría. Los "Movimientos" arrojaron la precisión promedio más alta (0.67), seguidos de las "Expresiones Faciales" (0.51), siendo el "Silencio" el que peor desempeño tuvo (0.45). La categoría de silencio resultó particularmente desafiante, con los modelos logrando solo un 0.45 de precisión frente al 0.91 de los humanos.
• Escala y Familia de Modelos: Los tamaños de parámetros más grandes generalmente se correlacionan con un mejor rendimiento (p. ej., los modelos de 70B superan a los de 3B), pero esta tendencia no es universal en todas las familias o modelos basados en API. Incluso modelos avanzados como GPT-4o y GPT-o3 tienen dificultades, rindiendo de manera comparable a los modelos de código abierto de 14B en estas tareas específicas.
• Análisis de Errores: La fuente predominante de error es la "explicación abstracta", donde los modelos proporcionan descripciones vagas que no abordan la intención comunicativa central. A esto le sigue la "interpretación literal". El análisis sugiere que los modelos tienden a enfocarse en características superficiales en lugar de inferir intenciones latentes.
• Patrones de Comportamiento: El análisis capa por capa utilizando logit lenses revela que la capacidad de interpretar el contexto se establece en las capas más profundas. Las predicciones correctas muestran una convergencia de confianza alta, mientras que los errores suelen manifestarse como interpretaciones erróneas con alta confianza o una convergencia lenta e inestable.
• Efectos de la Intervención:
  • Cadena de Pensamiento (CoT): Los resultados fueron mixtos; mientras que algunos modelos (p. ej., Llama-70B) mejoraron, otros (p. ej., GPT-4o) mostraron una degradación significativa, recurriendo a menudo a interpretaciones literales.
  • Aprendizaje en Contexto: El prompting de pocos ejemplos (few-shot) mejoró significamente el rendimiento, particularmente para los modelos más grandes y los modelos basados en API, lo que sugiere que proporcionar ejemplos ayuda a los modelos a alinear las señales superficiales con las intenciones subyacentes.

Contribuciones Clave

1. Evaluación Sistemática: Este trabajo proporciona la primera evaluación sistemática de la capacidad de los LLM para inferir la intención subyacente de respuestas de diálogo compuestas exclusivamente por señales no verbales.
2. Evidencia Empírica de Limitaciones: Experimentos exhaustivos en diversas familias de modelos demuestran que los LLM enfrentan desafíos persistentes para inferir significado a partir de señales no verbales, resultando en un rendimiento notablemente disminuido en comparación con sus contrapartes verbales.
3. Perspectivas de Comportamiento y Mitigación: El estudio identifica patrones de error específicos (abstracción y literalidad) y demuestra que el aprendizaje en contexto de pocos ejemplos puede mejorar sustancialmente la alineación de las señales superficiales con las intenciones comunicativas.

Significancia
El artículo argumenta que la comprensión precisa del comportamiento no verbal es vital para avanzar en la competencia pragmática de los LLM, ya que estas señales son reconocidas universalmente como signos comunicativos. Al revelar que los modelos actuales luchan por interpretar la intención indirecta sin un andamiaje verbal, el estudio destaca una brecha crítica en la generación actual de LLM. Los hallazgos sugieren que, si bien los modelos poseen fuertes capacidades de razonamiento verbal, carecen del anclaje necesario para interpretar señales no verbales de forma independiente. La demostración de que el aprendizaje en contexto puede mitigar estos problemas ofrece una vía para mejorar la alineación de los modelos con las normas comunicativas humanas en escenarios multimodales o de solo texto donde las señales no verbales son el modo principal de expresión.

Limitaciones
Los autores señalan que la evaluación se realiza exclusivamente en inglés y depende de inferencias pragmáticas asumidas como transculturales. Además, el estudio se centra en representaciones textuales de señales no verbales en lugar de entradas multimodales puras (p. ej., video o audio), aunque los autores postulan que el modelo de lenguaje sigue siendo el intérprete final de la intención independientemente de la modalidad de entrada.