Resumen Técnico: Revelando la Brecha en la Percepción de Escenas entre Humanos y Modelos Visuales-Linguísticos mediante Saliencia Semántica Contrafactual

Declaración del Problema

Evaluar si los grandes Modelos Visuales-Linguísticos (VLM) se alinean con la percepción humana en la comprensión semántica de alto nivel de escenas sigue siendo un desafío significativo. Si bien las redes neuronales profundas (DNN) a menudo alcanzan una precisión comparable a la humana en tareas de referencia, frecuentemente dependen de estrategias perceptivas diferentes, como una sobredependencia de texturas locales, patrones de píxeles sutiles o relaciones espaciales inconsistentes con la percepción humana holística. Los métodos tradicionales de interpretabilidad de "caja blanca" (por ejemplo, mapas basados en gradientes o de atención) a menudo son inaplicables a arquitecturas de código cerrado y fallan al aislar características causales. Además, las métricas pasivas no pueden distinguir entre correlación y causalidad en la comprensión de escenas. Existe una necesidad crítica de un marco de caja negra, agnóstico al modelo, para cuantificar sistemáticamente la importancia de los objetos y medir el impacto causal de los elementos visuales en las descripciones de escenas.

Metodología: Saliencia Semántica Contrafactual (CSS)

Los autores proponen la Saliencia Semántica Contrafactual (CSS), un marco de caja negra, agnóstico al modelo, diseñado para cuantificar la importancia de los objetos en la percepción de escenas midiendo el desplazamiento semántico inducido por su ablación causal.

1. Generación de Estímulos Contrafactuales

El pipeline de CSS involucra tres etapas para generar imágenes contrafactuales de alta fidelidad:

• Generación de Lista de Objetos: Un gran VLM (GPT-4o) genera una lista de nombres de objetos para una escena dada, excluyendo explícitamente elementos de fondo (por ejemplo, cielo, mar) para evitar desplazamientos semánticos desproporcionados o alucinaciones.
• Segmentación y Preprocesamiento de Máscaras: El modelo de segmentación impulsado por texto de última generación, SAM3, genera máscaras de segmentación. Un pipeline de preprocesamiento de cuatro pasos asegura la calidad de la máscara: eliminar duplicados (IoU > 95%), fusionar máscaras espacialmente próximas con etiquetas idénticas (distancia < 30 píxeles) para tratar los grupos estructurales como entidades unificadas, descartar máscaras que ocupen >30% del área de la imagen para prevenir el colapso del contexto, y aplicar dilatación para una cobertura completa.
• Inpainting de Imágenes: El modelo generativo de última generación Nano Banana 2 se utiliza para eliminar los objetos objetivo, generando imágenes contrafactuales libres de artefactos. Una validación humana rigurosa (14 anotadores) asegura que los objetos objetivo sean abladados con éxito sin introducir artefactos confusos.

2. Medición del Desplazamiento Semántico

Para cada objeto $o$ en una escena $I$, la puntuación CSS se calcula comparando las representaciones semánticas de la descripción original y la descripción de la imagen contrafactual donde $o$ se elimina ($I_{do(o=\emptyset)}$).

• Generación de Descripciones: El VLM objetivo genera $N=5$ descripciones independientes tanto para las condiciones factuales como contrafactuales.
• Incrustación y Similitud: Se extraen incrustaciones de oraciones utilizando el modelo de código abierto Jasper. La puntuación CSS se define como uno menos la media de la similitud del coseno por pares entre los conjuntos de descripciones factuales y contrafactuales:
  $$CSS(o) = 1 - \frac{1}{N^2} \sum_{j=1}^{N} \sum_{k=1}^{N} \frac{E(d_j) \cdot E(d'_k)}{\|E(d_j)\| \|E(d'_k)\|}$$
• Interpretación: Una puntuación CSS más alta indica un desplazamiento semántico mayor, lo que implica que el objeto abladado era más crítico para la comprensión de la escena. Estas puntuaciones se mapean a máscaras de segmentación para crear un mapa de saliencia de arriba hacia abajo.

3. Línea Base Humana y Conjunto de Datos

Para establecer una línea base humana, los autores utilizaron el conjunto de datos OSIE (700 escenas naturales complejas). Filtraron las escenas para que contuvieran de 3 a 6 objetos objetivo, resultando en 307 escenas factuales y 1,306 variantes contrafactuales.

• Estudio de Psicofísica: Se realizó un estudio a gran escala con 227 participantes independientes a través de Prolific, recopilando 16,289 descripciones textuales válidas.
• Diseño Experimental: Un diseño entre sujetos aseguró que ningún participante viera múltiples variantes de la misma escena. Se instruyó a los participantes para que proporcionaran una descripción de una sola oración de la escena, reflejando el prompt utilizado para los VLM.
• Verdad Terrenal: El consenso humano se estableció calculando la media de la similitud por pares de un subconjunto fijo de respuestas humanas para servir como la "verdad terrenal" para evaluar la alineación del modelo.

Resultados Clave

1. Brecha Perceptiva Pervasiva

Un análisis estadístico riguroso revela una divergencia sistemática entre la cognición humana y el rendimiento de los VLM:

• Precisión Top-1: Si bien la consistencia entre humanos alcanzó el 73% en la identificación del objeto más crítico, todos los 19 VLM evaluados (incluyendo modelos de código abierto y cerrado como GPT-5, Claude y Gemini) quedaron significativamente cortos, oscilando entre 57% y 65%.
• Correlación de Rango: La media de la $\tau$ de Kendall (alineación ordinal de la importancia de los objetos) para el consenso humano fue de 0.58, mientras que las puntuaciones de los modelos oscilaron entre 0.37 y 0.51.
• Fallo Universal: Cada VLM evaluado falló en alcanzar los niveles de consistencia entre humanos al predecir el objeto más crítico o al clasificar la importancia general de los objetos.

2. Divergencia en Sesgos Perceptivos

El estudio identificó sesgos específicos que impulsan esta brecha:

• Sobredependencia de Atributos de Bajo Nivel: Los modelos exhiben un Sesgo de Tamaño (dependencia del área del objeto), un Sesgo Central (dependencia del centro de la imagen) y un Sesgo de Saliencia de Bajo Nivel (dependencia del contraste/color) significativamente más fuertes en comparación con los humanos.
• Subutilización de Priors de Arriba hacia Abajo: A diferencia de los humanos, quienes consistentemente priorizan a las Personas (Sesgo de Persona) en la comprensión de escenas, los modelos no logran replicar esta priorización, dependiendo menos de figuras humanas para describir imágenes.
• Impulsor Principal: El análisis estadístico aísla el Sesgo de Tamaño como el factor dominante que explica la divergencia semántica. La correlación entre la divergencia en el Sesgo de Tamaño ($\Delta r$) y la brecha en la Precisión Top-1 ($\Delta Acc$) es de 0.6130 ($p < 0.05$), significativamente más alta que otros sesgos.

3. Limitaciones de los Métodos de Caja Blanca

El artículo compara CSS contra métodos tradicionales de interpretabilidad de caja blanca (Atención Cruda, Grad-CAM, AGCAM) en un VLM de código abierto. Los resultados muestran una correlación notablemente baja (Kendall's $\tau$ negativo) entre estos mapas de atención pasivos y la métrica causal CSS. Los mapas de caja blanca a menudo estaban desordenados, dispersos o se centraban en regiones semánticamente irrelevantes, confirmando su insuficiencia para interpretar arquitecturas complejas de VLM.

Significado y Afirmaciones

El artículo afirma proporcionar la primera cuantificación sistemática de la brecha de alineación semántica entre los VLM modernos y los observadores humanos en el contexto de la percepción de escenas naturales.

• Contribución Metodológica: Introduce CSS como un marco novedoso de caja negra que supera las limitaciones de la interpretabilidad de caja blanca y las métricas pasivas, permitiendo el aislamiento de características causales en modelos de código cerrado.
• Contribución Empírica: Establece un conjunto de datos de referencia integral que comprende 16,289 respuestas humanas a través de 307 escenas y 1,306 variantes contrafactuales, proporcionando una línea base robusta para futuras investigaciones sobre la alineación entre IA y humanos.
• Perspectiva Teórica: El trabajo demuestra que, a pesar de escalar parámetros y datos de entrenamiento, los VLM modernos aún recurren por defecto a características visuales de bajo nivel exageradas (específicamente el Sesgo de Tamaño) en lugar de priors semánticos de arriba hacia abajo (como la presencia de personas). Esto sugiere que las capacidades de razonamiento "superhumanas" en los VLM pueden no necesariamente cerrar la brecha en la alineación perceptiva fundamental y, a veces, pueden exacerbar las discrepancias a través de sobreinferencia o alucinación.
• Implicaciones de Seguridad: Los autores señalan que identificar estos sesgos es crucial para la seguridad de la IA, particularmente en entornos de alto riesgo (por ejemplo, conducción autónoma) donde ignorar objetos pequeños pero semánticamente críticos a favor de grandes elementos de fondo podría tener consecuencias catastróficas.

El artículo concluye que, si bien los VLM muestran una alineación emergente en tareas aisladas, persiste una brecha pervasiva en la comprensión holística de escenas, impulsada principalmente por una dependencia antinatural del dominio espacial (Sesgo de Tamaño).