Visuospatial Perspective Taking in Multimodal Language Models

Resumen Técnico: Toma de Perspectiva Visoespacial en Modelos de Lenguaje Multimodal

1. Planteamiento del Problema

A medida que los Modelos de Lenguaje Multimodales (MLMs) se integran en entornos sociales y colaborativos (como asistentes, terapeutas o compañeros), es crucial evaluar su capacidad de cognición social, específicamente la Teoría de la Mente (ToM).

• Limitación de los enfoques actuales: La mayoría de las evaluaciones de ToM en IA se basan en viñetas textuales o comprensión de escenas estáticas. Estos métodos son insuficientes porque los modelos pueden explotar asociaciones superficiales en lugar de comprender causas subyacentes, y no reflejan la complejidad inferencial de situaciones sociales reales.
• El vacío en la investigación: Existe una falta de exploración sobre la Toma de Perspectiva Visoespacial (VPT), que es la capacidad de representar lo que otra persona ve y cómo lo ve. Esto es fundamental para la comunicación referencial y la acción conjunta.
• Distinción crítica: La VPT se divide en dos niveles:
  • Nivel 1: Determinar qué puede ver alguien (básico, cálculo de línea de visión).
  • Nivel 2: Determinar cómo aparece un objeto desde la perspectiva de otro (requiere inhibir la propia perspectiva egocéntrica y realizar rotación mental).

2. Metodología

El estudio adapta dos paradigmas clásicos de la psicología del desarrollo para evaluar a modelos de vanguardia de la familia OpenAI (GPT-4o, GPT-4o-mini, o3, o4-mini). Se utilizaron 15.000 imágenes generadas proceduralmente para evitar la contaminación de los datos de entrenamiento.

A. Tarea de la Figura Giratoria (Rotating Figure Task)

• Objetivo: Evaluar la VPT a través de disparidades angulares (0° a 359°).
• Estímulos: Una figura humana en una habitación con símbolos reversibles (ej. 6/9) en el suelo.
• Condiciones:
  • Controles: Identificación de símbolos y dirección de la mirada (Nivel 1 básico).
  • Prueba 1 (Nivel 1): ¿Puede la figura ver el símbolo? (Visibilidad).
  • Prueba 2 (Nivel 2): ¿Cómo se ve el símbolo (ej. 6 vs 9) y dónde está (izquierda/derecha) desde la perspectiva de la figura?
  • Prueba 3 (Nivel 2 Integrado): Combinación de forma visual y ubicación espacial simultánea.
• Métrica: Precisión en función de la disparidad angular y el tipo de pregunta (visual vs. espacial).

B. Tarea del Director (Director Task)

• Objetivo: Evaluar la VPT en un contexto comunicativo funcional.
• Escenario: Un "director" da instrucciones para seleccionar un objeto en una cuadrícula 4x4. Algunas celdas están ocultas para el director (perspectiva visual diferente) y la instrucción puede requerir invertir la perspectiva espacial (ej. "el objeto más a la izquierda desde mi punto de vista").
• Variables:
  • Perspectiva Visual: Objetos visibles para ambos vs. ocultos para el director.
  • Perspectiva Espacial: Adjetivos verticales (compartidos) vs. horizontales (requieren inversión izquierda/derecha).
• Comparación: Se ejecutó tanto en formato de imagen como en formato ASCII (texto) para aislar si los fallos eran de procesamiento visual o de razonamiento espacial.

3. Resultados Clave

A. Desempeño en la Tarea de la Figura Giratoria

• Nivel 1 (Visibilidad): Los modelos mostraron resultados mixtos. Algunos (como GPT-4o-mini) fallaron sistemáticamente en perspectivas alineadas pero mejoraron al invertir la perspectiva, sugiriendo heurísticas erróneas. El modelo o3 mostró la mayor robustez.
• Nivel 2 (Apariencia y Espacio):
  • Deficiencias severas: Todos los modelos mostraron un deterioro significativo en el Nivel 2, especialmente en la integración visoespacial (Prueba 3).
  • Perfiles de rendimiento "M": Los modelos de razonamiento (o3, o4-mini) exhibieron un perfil en forma de "M": alto rendimiento en 0° (perspectiva compartida) y 180° (perspectiva opuesta), pero un colapso en las rotaciones intermedias (45°-135°).
  • Interpretación: Esto sugiere que los modelos utilizan estrategias de espejo simple (invertir izquierda/derecha solo en 180°) en lugar de una rotación mental genuina y flexible.
  • Cuello de botella espacial: La precisión espacial cayó drásticamente a niveles de azar o suelo cuando las perspectivas divergían, incluso en los modelos más avanzados.

B. Desempeño en la Tarea del Director

• Fallo en la inhibición egocéntrica: Los modelos lucharon por inhibir su propia perspectiva privilegiada.
  • En ensayos de perspectiva visual diferente (objetos ocultos para el director), la precisión cayó drásticamente.
  • En ensayos de perspectiva espacial diferente (adjetivos horizontales desde la POV del director), el rendimiento fue aún peor, acercándose al azar.
• Comparación Imagen vs. ASCII: Los patrones de error fueron consistentes en ambos formatos, indicando que el problema no es puramente de percepción visual, sino de razonamiento espacial y cognición social.
• Interacción de demandas: Cuando se combinaron demandas visuales y espaciales (Nivel 2 dual), todos los modelos colapsaron hacia el rendimiento de azar.

4. Contribuciones Principales

1. Evaluación Rigurosa de VPT: Se supera la dependencia de viñetas textuales al introducir paradigmas visoespaciales dinámicos que requieren inhibición egocéntrica y rotación mental.
2. Caracterización de Fallos Específicos: Se identifica que los modelos actuales no poseen una representación interna flexible de las perspectivas ajenas, sino que dependen de heurísticas superficiales (como el espejo a 180°) que fallan en configuraciones intermedias o complejas.
3. Distinción entre Nivel 1 y Nivel 2: Se demuestra empíricamente que, a diferencia de los humanos que distinguen claramente entre la visibilidad automática (Nivel 1) y el esfuerzo de rotación (Nivel 2), los MLMs muestran patrones de error no humanos (ej. fallos en Nivel 1 por alucinaciones o ciegas espaciales).
4. Validación en Contextos Funcionales: La Tarea del Director demuestra que estas limitaciones teóricas tienen consecuencias prácticas inmediatas en la comunicación referencial y la colaboración.

5. Significado e Implicaciones

• Limitaciones para la Colaboración: Los MLMs actuales no son fiables para tareas que requieren coordinación espacial, seguimiento de instrucciones en entornos compartidos o acción conjunta, ya que no pueden modelar consistentemente lo que otros ven o cómo lo ven.
• Riesgos de Seguridad: En aplicaciones sociales (terapia, educación, asistencia), la incapacidad de adoptar la perspectiva del usuario podría llevar a malentendidos graves, instrucciones incorrectas o fallos en la disambiguación de referencias.
• Dirección Futura: Los resultados sugieren que la arquitectura actual de los MLMs carece de los mecanismos neurales o computacionales necesarios para la inhibición egocéntrica y la rotación mental genuina. Se necesitan nuevas arquitecturas o métodos de entrenamiento que vayan más allá de la predicción de tokens basada en patrones superficiales para lograr una cognición social robusta.

En conclusión, el estudio revela que, a pesar de los avances en capacidades multimodales, los modelos de IA más avanzados carecen de una comprensión fundamental de la perspectiva visoespacial, lo que limita severamente su utilidad en entornos sociales colaborativos reales.