Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models

Título: El uso de palabras perspectivales es más difícil para los humanos que el vocabulario, y aún más para los modelos de lenguaje multimodal (MLMs)

1. El Problema

Aunque los Modelos de Lenguaje Multimodales (MLMs) han demostrado capacidades comunicativas cada vez más similares a las humanas, su uso de palabras perspectivales (o índice) sigue siendo poco comprendido y evaluado.

• Definición: Las palabras perspectivales (ej. "yo", "tú", "mío", "tuyo", "este", "ese") son elementos gramaticales cuyo significado depende intrínsecamente del contexto de uso, la perspectiva del hablante y la situación espacial. A diferencia del vocabulario (ej. "barco", "copa"), que tiene significados estables e independientes del contexto, las palabras perspectivales requieren pragmática (anclaje en el contexto físico/social) y cognición social (Teoría de la Mente: entender la perspectiva del otro).
• Brecha de investigación: La evaluación actual de los MLMs se centra mayoritariamente en el vocabulario, ignorando esta clase de palabras crucial para la comunicación humana genuina. No se sabe si los modelos poseen las capacidades pragmáticas y de razonamiento espacial necesarias para usarlas correctamente en interacciones cara a cara simuladas.

2. Metodología

Los autores diseñaron un marco experimental unificado para comparar el rendimiento de humanos y siete MLMs de última generación (incluyendo GPT-4o, Llama-4-Scout, Gemma-3, InternVL y Ovis).

• Tareas Experimentales: Se evaluaron tres tipos de tareas de selección múltiple, diseñadas para aumentar progresivamente la demanda cognitiva:

  1. Tarea de Vocabulario: Identificar y etiquetar un objeto (ej. "barco"). No requiere anclaje pragmático ni perspectiva.
  2. Tarea de Posesivos: Seleccionar entre "mío/tuyo" basándose en quién posee el objeto y quién habla. Requiere anclaje al hablante y toma de perspectiva.
  3. Tarea de Demostrativos: Seleccionar entre "este/ese" basándose en la proximidad espacial del objeto respecto al hablante. Requiere anclaje, toma de perspectiva y razonamiento espacial (distancia relativa).

• Diseño de Estímulos:

  • Humanos: Vieron escenas visuales con dos personajes (niño y niña) en lados opuestos de una mesa con objetos. Deben actuar como el hablante (indicado por una burbuja de diálogo) y elegir el mensaje correcto según la mirada del personaje.
  • MLMs: Se adaptaron los estímulos para el input de los modelos, eliminando burbujas de diálogo y líneas de mirada visuales, sustituyéndolos por descripciones textuales precisas en el prompt (ej. "Tú eres el hablante", "El mirador está mirando..."), manteniendo la imagen visual con un cuadro verde que marca el objeto objetivo.
  • Control: Se utilizaron 128 objetos y se contrabalancearon sistemáticamente la disposición espacial y la perspectiva (hablante vs. oyente).

• Análisis Adicional:

  • Ablación: Se eliminaron sistemáticamente las pistas espaciales (lingüísticas y visuales) y las pistas perspectivales para identificar la fuente de los errores.
  • Prompting: Se probaron estrategias de In-context learning (ejemplos) y Instruction-based prompting (instrucciones explícitas sobre la lógica de la tarea) para ver si podían cerrar la brecha de rendimiento.

3. Contribuciones Clave

• Jerarquía de Dificultad: Establecen empíricamente una jerarquía de dificultad en el uso de palabras: Vocabulario < Posesivos < Demostrativos. Esta jerarquía es válida tanto para humanos como para modelos, pero la brecha de rendimiento se amplía drásticamente en los modelos a medida que aumenta la complejidad.
• Diagnóstico de Capacidades Cognitivas: Identifican que las limitaciones de los MLMs no son solo de vocabulario, sino de razonamiento espacial y toma de perspectiva.
• Análisis de Ablación: Demuestran que los modelos dependen desproporcionadamente de las pistas lingüísticas sobre las visuales para el razonamiento espacial, a diferencia de los humanos que integran ambas modalidades en paralelo.
• Evaluación Pragmática: Proponen un nuevo estándar para evaluar la competencia pragmática y social de los MLMs más allá de la comprensión literal.

4. Resultados

• Rendimiento General:

  • Vocabulario: Los modelos alcanzan un rendimiento cercano al techo humano (casi perfecto).
  • Posesivos: Se observa una brecha significativa. Los humanos promedian un 93% de precisión, mientras que el mejor modelo (Llama-4-Scout) alcanza solo el 85.7%.
  • Demostrativos: La brecha es aún mayor. Los humanos promedian un 83%, mientras que el mejor modelo (GPT-4o) cae al 70.2%. Los modelos más pequeños tienen un rendimiento cercano al azar en esta tarea.

• Hallazgos de Ablación:

  • Toma de Perspectiva: Al eliminar las pistas perspectivales (quién habla), los modelos avanzados sufren caídas drásticas, lo que indica que dependen de estas pistas para seleccionar el pronombre correcto. Los modelos más pequeños parecen insensibles a estas pistas.
  • Razonamiento Espacial: Al eliminar pistas espaciales visuales, el rendimiento de los modelos no cae significativamente (a veces mejora), sugiriendo que ignoran la información visual si no está respaldada por texto. Sin embargo, al eliminar las pistas espaciales lingüísticas en la tarea de demostrativos, el rendimiento de los modelos avanzados cae, confirmando que el razonamiento espacial es su punto débil.

• Efecto del Prompting:

  • Instrucciones Explícitas: Mejoran significativamente el rendimiento en la tarea de posesivos, acercándolo al nivel humano.
  • Limitación en Demostrativos: Incluso con instrucciones detalladas sobre la distancia, los modelos no logran cerrar la brecha en la tarea de demostrativos. Los errores persisten en el uso de pronombres demostrativos, indicando que la mejora se debe a una mejor toma de perspectiva (pronombres personales), pero no a una mejora en el razonamiento espacial.

5. Significado e Implicaciones

• Limitación Fundamental: Los MLMs actuales carecen de las capacidades de cognición social y razonamiento espacial necesarias para la comunicación humana genuina. Pueden simular la comunicación, pero fallan en los mecanismos pragmáticos sutiles que requieren anclaje en el mundo físico y la perspectiva del interlocutor.
• Necesidad de Entrenamiento Embodied: Los autores sugieren que el uso correcto de demostrativos podría requerir experiencias de comunicación interactiva en entornos físicos ("embodied"), algo que los modelos actuales, entrenados principalmente en texto e imágenes estáticas, no poseen.
• Futuro de la Investigación: El trabajo destaca la necesidad de desarrollar benchmarks que evalúen no solo la comprensión del lenguaje, sino la integración de la percepción visual, el razonamiento espacial y la teoría de la mente en sistemas de IA. Esto es crucial para crear asistentes de IA que puedan interactuar de manera natural y segura en entornos humanos.

En resumen, el estudio revela que, mientras los MLMs dominan el vocabulario, su capacidad para manejar la complejidad pragmática y espacial de las palabras perspectivales sigue siendo una barrera significativa para alcanzar una comunicación verdaderamente humana.