Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

Resumen Técnico: Comparación de la Mirada Humana y la Atención de Modelos de Lenguaje-Visión en Entornos Relevantes para la Seguridad

Planteamiento del Problema
Los sistemas de inteligencia artificial (IA) conscientes de la seguridad, particularmente en la conducción autónoma y la robótica, requieren la capacidad de identificar regiones de la escena que los humanos perciben como potencialmente riesgosas. Aunque la tecnología de seguimiento ocular proporciona una medida directa de la atención visual humana y revela un "sesgo de negatividad" (una sensibilidad desproporcionada hacia estímulos amenazantes), los modelos computacionales existentes suelen centrarse en la saliencia visual general en lugar de la percepción de seguridad. Existe una brecha crítica en comprender si los modelos de lenguaje-visión (VLM) modernos, que poseen comprensión semántica, pueden alinear espacialmente su atención con la mirada humana en entornos relevantes para la seguridad sin requerir entrenamiento con datos de seguimiento ocular.

Metodología
El estudio empleó un enfoque de dos vertientes que involucró la recolección de datos humanos e inferencia de IA:

1. Construcción del Conjunto de Datos de Seguimiento Ocular Humano:

   • Estímulos: 33 imágenes de escenas que representan diversos entornos cotidianos (calles, pasillos, espacios públicos, áreas verdes) con niveles variables de riesgo potencial (p. ej., vehículos, obstáculos, señales de inundación).
   • Participantes: 10 estudiantes universitarios con visión normal o corregida a la normalidad.
   • Aparato: Se utilizaron gafas portátiles Pupil Invisible (seguimiento de mirada binocular de 200 Hz, cámara de escena de 30 fps) para registrar la mirada mientras los participantes observaban las imágenes en un monitor de 24 pulgadas durante 10 segundos cada una.
   • Procesamiento: Los datos brutos de la mirada se filtraron por validez, se mapearon desde el campo de visión de la cámara de la escena a la resolución del estímulo (1,536 × 1,024 píxeles) y se convirtieron en mapas de densidad de fijación individuales mediante suavizado gaussiano ($\sigma = 30$ px). Estos se promediaron para crear 33 mapas de calor de la mirada humana a nivel poblacional.

2. Generación de Mapas de Saliencia de IA:

   • Modelo: Se seleccionó GPT-4o por sus capacidades de razonamiento multimodal.
   • Pipeline: Un script de Python automatizado instó a GPT-4o a través de la API de Visión de OpenAI para actuar como un "experto en saliencia visual". Se instruyó al modelo para que devolviera un objeto JSON estructurado que contuviera entre 20 y 25 puntos de fijación normalizados $(x, y)$ con pesos de saliencia $(w)$, prediciendo dónde miraría el humano durante una observación libre.
   • Renderizado: El output JSON se rasterizó en discos rellenos ($r=40$ px) sobre un lienzo, seguido de un suavizado gaussiano ($\sigma = 60$ px) para generar mapas de saliencia continuos comparables con los mapas de calor humanos. No se utilizaron datos de seguimiento ocular para entrenar el modelo.

3. Evaluación:

   • La alineación espacial entre los mapas de calor humanos y de IA se cuantificó utilizando cuatro métricas a través de las 33 imágenes:
     • Correlación de Pearson ($r$): Acuerdo espacial lineal.
     • Saliencia de Escaneo Normalizada (NSS): Correspondencia de los valores de la IA en los puntos de fijación humana.
     • Divergencia de Kullback–Leibler (KL): Diferencia de distribución entre los dos mapas.
     • AUC-Judd: Capacidad para discriminar ubicaciones fijadas frente a no fijadas.
   • Se realizó una comparación entre modelos utilizando Gemini Pro, Gemini Flash y Claude.

Resultados Clave

• Rendimiento de GPT-4o: El modelo demostró una alineación espacial significativa con la mirada humana sin entrenamiento previo de seguimiento ocular.
  • AUC-Judd: $0.806 \pm 0.076$ (sustancialmente por encima de la línea base de azar de 0.5).
  • NSS: $0.988 \pm 0.323$ (puntuación positiva que indica valores superiores al promedio en los puntos de fijación humana).
  • Pearson $r$: $0.515 \pm 0.117$ (moderada pero consistente correlación lineal).
  • Divergencia KL: $1.766 \pm 0.844$.
• Comparación entre Modelos: Todos los modelos probados (GPT-4o, Gemini Pro, Gemini Flash, Claude) superaron la línea base de azar de AUC-Judd y lograron puntuaciones NSS positivas.
  • Gemini Pro logró las puntuaciones más altas en correlación de Pearson ($0.571$), NSS ($1.131$) y AUC-Judd ($0.840$), lo que sugiere una localización espacial superior.
  • GPT-4o logró la menor divergencia KL ($1.766$), indicando que su distribución de saliencia predicha coincide más estrechamente con la distribución de la atención humana, a pesar de tener puntuaciones de localización espacial ligeramente inferiores a las de Gemini Pro.
• Variabilidad de la Escena: La alineación fue más fuerte en escenas donde el contenido relacionado con el riesgo estaba espacialmente localizado (p. ej., Imagen 05, Imagen 02) y más débil en escenas con patrones de mirada humana difusos.

Contribuciones Clave

1. Creación de Conjunto de Datos: El estudio construyó un conjunto de datos de seguimiento ocular dedicado que cubre 33 tipos de escenas cotidianas diversas con distintos niveles de riesgo, proporcionando mapas de calor de la mirada humana promediados por la población como una verdad fundamental (ground truth) para la percepción de seguridad.
2. Demostración de Alineación Zero-Shot: Demostró empíricamente que los grandes VLM, al ser instados a identificar riesgos, pueden generar predicciones espaciales que se alinean con los patrones de atención humana sin requerir datos de entrenamiento específicos de seguimiento ocular.
3. Marco de Evaluación: El artículo aplica un conjunto integral de métricas de saliencia complementarias para cuantificar la correspondencia espacial entre los mapas de riesgo generados por IA y la mirada humana en contextos relevantes para la seguridad.

Significancia y Reivindicaciones
Los autores afirman que los grandes modelos de lenguaje-visión pueden identificar regiones de riesgo potencial que corresponden ampliamente a donde los humanos dirigen su atención visual en escenas relevantes para la seguridad. Esto sugiere que los VLM capturan implícitamente las tendencias humanas de priorizar regiones riesgosas, probablemente debido a que han sido entrenados con contenido generado por humanos, a pesar de que los modelos no experimentan el "sesgo de negatividad" psicológico por sí mismos.

La significancia de estos hallazgos radica en el potencial de los VLM para servir como una herramienta escalable para aproximar los patrones de atención humana en aplicaciones de IA conscientes de la seguridad. Esta capacidad podría apoyar el desarrollo de sistemas (como robots autónomos o vehículos) que se alineen con la percepción humana del riesgo sin necesidad de hardware de seguimiento ocular dedicado y costoso durante el despliegue. Los autores señalan que, aunque los resultados son prometedores, son modestos; la alineación no es perfecta, y el estudio reconoce limitaciones respecto al pequeño tamaño de la muestra de participantes y la naturaleza dispersa de la salida basada en JSON de la IA en comparación con los densos datos de la mirada humana. Se sugiere que el trabajo futuro involucre muestras más grandes y diversas, así como estímulos de video dinámicos para validar aún más estos hallazgos.