Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues

1. Declaración del Problema

Se espera cada vez más que los Modelos Visión-Lenguaje (VLM) comprendan las pistas de comunicación no verbal, como la mirada, para facilitar la interacción humano-robot y la IA social. Aunque existen modelos especializados de estimación de la mirada, carecen de las capacidades de razonamiento general de los VLM. Sin embargo, sigue sin estar claro si los VLM pueden inferir con precisión los objetivos de la mirada (hacia qué mira una persona) en configuraciones de cero disparos (zero-shot), especialmente al distinguir entre la apariencia de los ojos (la dirección real de los ojos) y la orientación de la cabeza (la dirección hacia la que apunta el rostro).

El problema central investigado es si los VLM poseen la capacidad fundamental de inferir la mirada basándose en pistas sutiles de los ojos o si dependen de un sesgo heurístico donde asumen que una persona mira en la dirección hacia la que gira su cabeza, incluso cuando los ojos miran a otro lado.

2. Metodología

A. Construcción del Conjunto de Datos y Estímulos

Los autores construyeron un conjunto de datos controlado de 1.360 fotografías del mundo real que muestran a una sola persona sentada a una mesa con 2 a 4 objetos.

• Variables Controladas:
  • Objetivo de la Mirada: El objeto específico al que la persona está mirando.
  • Objetivo de la Cabeza: La dirección hacia la que está orientada la cabeza de la persona.
  • Condiciones:
    • Congruente: La cabeza y los ojos apuntan al mismo objeto.
    • Incongruente: La cabeza apunta a un objeto, pero los ojos miran a un objeto diferente (el caso de prueba crítico).
    • Natural: La orientación de la cabeza no está restringida pero es cómoda.
  • Manipulaciones: Ángulo de visión (Frente, Izquierda, Derecha), Proximidad del Objeto (1–3, donde 3 es el más cercano) y Número de Objetos (2–4).
• Novedad: Las imágenes son fotografías del mundo real (no sintéticas) para garantizar regularidades estadísticas de luz y sombra, pero son lo suficientemente novedosas para minimizar la superposición con los datos de entrenamiento.

B. Diseño Experimental

• Modelos Evaluados: El estudio probó 111 VLM en una pre-piloto, con un estudio principal centrado en los mejores rendimientos: GPT-4o, GPT-5.2, Qwen3-VL, InternLM-XComposer2 y GLM-4.6V.
• Líneas Base: Incluyeron modelos especializados como Moondream2 (híbrido con función especializada de mirada) y GazeLLE (modelo de visión ajustado finamente).
• Tarea: Un formato de pregunta de opción múltiple que preguntaba: "¿A qué objeto está mirando esta persona?", con opciones aleatorizadas.
• Protocolo de Evaluación: Cada VLM vio 1.360 imágenes 16 veces con diferentes plantillas de indicación (totalizando ~21.760 ensayos por modelo) para garantizar poder estadístico.

C. Marco de Caracterización

Los autores propusieron una serie de pruebas empíricas para categorizar el comportamiento del modelo en cinco tipos hipotéticos (visualizados en la Figura 2 del artículo):

1. Competente en la mirada: Precisión a nivel humano.
2. Consciente de los ojos: Precisión inferior a la humana pero no fuertemente sesgada por la orientación de la cabeza.
3. Dominante en la cabeza: No puede resolver la mirada con precisión; depende en gran medida de la orientación de la cabeza como heurística.
4. Solo cabeza: Ignora en gran medida la apariencia de los ojos.
5. Ambivalente cabeza-ojos: Cambia aleatoriamente entre los objetivos de la cabeza y de la mirada.

Pruebas Clave:

• Prueba 1 (Brecha de Rendimiento): Comparar la precisión de los VLM con la de los participantes humanos.
• Prueba 2 (Sesgo de la Cabeza): ¿El modelo elige el objetivo de la cabeza con más frecuencia que el objetivo de la mirada cuando difieren? ¿El rendimiento disminuye significativamente en la condición Incongruente?
• Prueba 3 (Respuesta a la Mirada): ¿Aumenta la distancia de error del modelo a medida que aumenta la distancia entre el objetivo de la cabeza y el objetivo de la mirada?
• Prueba 4 (Lanzamiento de Moneda): ¿Cambia la distribución de elecciones del modelo en función del número de objetos entre el objetivo de la cabeza y el objetivo de la mirada?

D. Experimento de Mitigación (Prueba de Concepto)

Para determinar si el sesgo es arquitectónico o impulsado por datos, los autores ajustaron finamente GazeLLE en su conjunto específico de estímulos (división de entrenamiento/validación/prueba 7:1:2).

3. Resultados Clave

A. Brecha de Rendimiento

• Humanos: Lograron una precisión del 89% en los estímulos piloto.
• VLM: La mayoría de los modelos performaron cerca del azar (~42%). Incluso los mejores modelos (GPT-5.2, GPT-4o) lograron solo una precisión del 30–46% en los estímulos del estudio principal (Condición Natural).
• Modelos Especializados: Moondream2 y GazeLLE tampoco alcanzaron niveles humanos en la configuración de cero disparos, aunque GazeLLE performó mejor que los VLM generales.

B. El Sesgo de la Orientación de la Cabeza

• Modo de Fallo Dominante: La mayoría de los VLM exhibieron un fuerte sesgo Dominante en la Cabeza.
  • En la Condición Incongruente, los modelos seleccionaron frecuentemente el objeto hacia el que estaba orientada la cabeza en lugar del objeto al que miraban los ojos.
  • Prueba 2.1: GPT-5.2 y Qwen3 eligieron el Objetivo de la Cabeza sobre el Objetivo de la Mirada significativamente más a menudo que el azar (62% y 57% respectivamente).
  • Prueba 2.3: El rendimiento cayó drásticamente cuando el Objetivo de la Cabeza ≠ Objetivo de la Mirada (por ejemplo, GPT-5.2 bajó del 45% de precisión en Congruente al 28% en Incongruente).
• Efecto de Proximidad: Los modelos performaron peor cuando los objetos estaban más cerca entre sí, lo que indica que utilizan información visual pero luchan con la discriminación fina.
• Efecto de la Vista: Los modelos mostraron menor sensibilidad a la apariencia de los ojos cuando se veían de lado en comparación con de frente, a diferencia de los humanos que mantienen una alta precisión.

C. Análisis de Causas

Los autores descartaron varias explicaciones alternativas:

• Resolución: Aumentar la resolución (hasta 1024x1024) no mejoró la precisión.
• Nombrado de Objetos: Los modelos podían identificar correctamente los objetos; el error estaba en vincular la mirada con el objeto.
• Arquitectura/Tamaño: Los modelos más grandes (más parámetros) y las versiones más recientes no mostraron mejoras significativas.
• Conclusión: El sesgo es probablemente impulsado por datos. Los datos de entrenamiento (imágenes de internet) probablemente sobre-representan casos donde la cabeza y la mirada están alineadas y sub-representan "miradas de reojo" o pistas incongruentes, fallando en enseñar al modelo la sutileza social del desacople cabeza-ojos.

D. Resultados del Ajuste Fino

• El ajuste fino de GazeLLE en el conjunto de datos específico mitigó significativamente el sesgo.
• Condición Incongruente: La precisión saltó del 15,65% (pre-entrenado) al 34,15% (ajustado finamente).
• Condición Congruente: Mejoró modestamente (62,82% $\to$ 70,00%).
• Implicación: El modelo puede aprender a depender de la apariencia de los ojos si se expone a suficientes contraejemplos, confirmando la hipótesis de la distribución de datos.

4. Contribuciones Clave

1. Caracterización Empírica: Introdujo un marco riguroso para categorizar los comportamientos de inferencia de mirada de los VLM, yendo más allá de las métricas simples de precisión para entender cómo fallan los modelos (por ejemplo, Dominante en la Cabeza vs. Consciente de los Ojos).
2. Creación de Conjunto de Datos: Lanzó un conjunto de datos controlado de alta calidad con 1.360 imágenes del mundo real diseñadas específicamente para desacoplar la orientación de la cabeza de la dirección de la mirada.
3. Identificación del Sesgo: Proporcionó evidencia sólida de que los VLM actuales de última generación dependen de una "heurística de orientación de la cabeza" en lugar de analizar la apariencia de los ojos, lo que genera una brecha de rendimiento significativa en comparación con los humanos.
4. Perspectiva Centrada en Datos: Demostró mediante ajuste fino que este sesgo no es una limitación arquitectónica inherente, sino un resultado de la distribución de los datos de entrenamiento, ofreciendo un camino claro para la mejora.

5. Significado y Direcciones Futuras

• IA Social: Para que los robots y agentes conversacionales interactúen de forma natural, deben comprender la mirada para resolver ambigüedades de referencia e inferir intenciones. Los VLM actuales son poco fiables para esta tarea.
• Metodología de Evaluación: El artículo aboga por una "evaluación impulsada por hipótesis" y sondeo conductual controlado (similar a la ciencia cognitiva) en lugar de simplemente realizar pruebas de referencia en imágenes de internet, donde las heurísticas de la cabeza a menudo son suficientes.
• Recomendaciones de Entrenamiento: Los VLM futuros requieren datos de entrenamiento que capturen explícitamente la interacción entre la orientación del cuerpo/cabeza y la apariencia de los ojos, incluyendo específicamente casos "incongruentes" donde la cabeza y los ojos apuntan en direcciones diferentes.
• Consideraciones Éticas: Los autores advierten que, aunque los modelos actuales carecen de esta habilidad, el potencial de que las máquinas interpreten pistas no verbales sin consentimiento es un riesgo social que debe gestionarse a medida que mejora la tecnología.

En resumen, el artículo revela que, a pesar de sus capacidades avanzadas, los VLM actuales son "ciegos" a las pistas sutiles de la mirada humana, recurriendo por defecto a una heurística de orientación de la cabeza más simple y a menudo incorrecta. Esta limitación es resoluble mediante la curación de datos dirigida y el ajuste fino.