Resumen Técnico: Sondas de Espejismo: Cómo los Modelos de Visión Simulan la Comprensión Visual

Declaración del Problema

Los modelos de lenguaje-visión (VLM) se despliegan cada vez más en dominios de alto riesgo como el diagnóstico por imágenes médicas, el análisis de documentos y el razonamiento científico, donde las respuestas deben estar fundamentadas en la entrada visual. Sin embargo, observaciones recientes de "comportamiento de espejismo" (mirage behavior) desafían la suposición de que el éxito en los puntos de referencia (benchmarks) equivale a un razonamiento visual fiel. El comportamiento de espejismo ocurre cuando los VLM responden con confianza y correctamente a preguntas basadas en imágenes incluso cuando la imagen está ausente. Esto sugiere que el rendimiento en los benchmarks multimodales (por ejemplo, MMMU, VQA-RAD) puede reflejar sesgos textuales, regularidades en los conjuntos de datos o atajos, en lugar de un uso genuino de evidencia visual.

El trabajo previo trata mayoritariamente el comportamiento de espejismo como un único modo de fallo. Los autores argumentan que esto es una simplificación excesiva, proponiendo que el mismo comportamiento a nivel de salida puede surgir de dos mecanismos internos distintos:

1. Sesgos Textuales: El modelo responde directamente desde los sesgos del lenguaje sin involucrar representaciones visuales.
2. Imágenes Espurias: El modelo construye contenido visual falso en su espacio latente y responde como si estuviera fundamentado, efectivamente "alucinando" una imagen para respaldar la respuesta.

Distinguir entre estos mecanismos es crítico porque las estrategias de mitigación difieren: la limpieza de la distribución de texto aborda el primero, pero no puede alcanzar el segundo, que reside en las representaciones visuales del modelo.

Metodología

Marco de Trabajo de las Sondas de Espejismo (Mirage Probes)

Los autores introducen las Sondas de Espejismo, un marco de sondeo contrastivo diseñado para detectar y analizar el comportamiento de espejismo a nivel de representación.

1. Construcción del Conjunto de Datos:

   • Los autores generan conjuntos de datos comparando las respuestas del modelo con una imagen ($r_{img}$) y sin una imagen ($r_{\emptyset}$).
   • Heurística de Etiquetado: Una respuesta con imagen se etiqueta como "similar al espejismo" ($y=1$) si la generación sin imagen produce la misma respuesta con una alta similitud semántica (similitud de coseno de bolsa de palabras > 0.7). Se etiqueta como "no similar al espejismo" ($y=0$) si la generación sin la imagen expresa explícitamente incertidumbre o afirma que la tarea es imposible sin la imagen.
   • Pares Contrastivos: Para reducir los confundentes textuales superficiales (por ejemplo, palabras temáticas, estilo de pregunta), los autores utilizan GPT-4o-mini para generar cuatro variantes parafraseadas de cada pregunta base. Construyen pares contrastivos donde la imagen y la intención subyacente permanecen fijas, pero la redacción de la pregunta varía, resultando en diferentes etiquetas de espejismo. Esto asegura que las sondas aprendan el mecanismo de espejismo en lugar de características léxicas superficiales.

2. Extracción de Activaciones:

   • El estudio sondea tres VLM de código abierto: Ovis2.5-2B, GLM-4.6-flash y Qwen3-32B-VL-Instruct.
   • Las activaciones se extraen de cuatro sitios dentro de la arquitectura del transformador:
     • Estados del flujo residual (residual stream)
     • Salidas de MLP
     • Salidas post-atención
     • Salidas de cabezales de atención individuales
   • Las activaciones se agregan utilizando tres estrategias de agrupación (pooling): text-nonspecial-mean, vision-tail y vision-text-mean.

3. Entrenamiento de las Sondas:

   • Se entrenan cuatro familias de sondas para predecir la etiqueta de espejismo a partir de las activaciones internas:
     • Regresión Logística (Lineal): Prueba si el espejismo está codificado como una única dirección lineal.
     • MLP de Dos Capas: Prueba la codificación no lineal.
     • Sondas Concatenadas: Entrena en activaciones de todas las capas simultáneamente.
     • Sondas de Diferencia: Entrena en la diferencia elemento a elemento entre las activaciones con imagen y sin imagen ($\Delta h = h_{img} - h_{\emptyset}$).
   • Línea Base: Se utiliza un clasificador Naive Bayes entrenado en el texto de la respuesta para descartar confundentes léxicos superficiales.
   • Métrica: Se introduce un nuevo Índice de Aprovechamiento de Prioris (PHI) para medir cuánta información puede extraer un modelo respecto a una respuesta correcta basándose solo en el texto ($PHI = \log p(a^*|Q) - \log p(a^*|Q_{\emptyset})$).

Resultados Clave

1. Decodificabilidad Lineal del Comportamiento de Espejismo

El estudio demuestra que el comportamiento de espejismo es linealmente decodificable a partir de las activaciones internas de los VLM con presencia de imagen en los cuatro sitios de activación (flujo residual, MLP, post-atención, cabezales de atención).

• Precisión: En entornos contrastivos, las sondas lineales alcanzaron precisiones de hasta el 75% (Ovis) y 72% (Qwen) en los flujos residuales, y hasta el 85% en los cabezales de atención.
• Linealidad: Las sondas MLP de dos capas no superaron significativamente a las sondas lineales, lo que sugiere que la información del espejismo se codifica a lo largo de direcciones lineales recuperables en lugar de requerir una extracción no lineal compleja.
• Superioridad Contrastiva: Las sondas de diferencia (entrenadas en las diferencias de activación) lograron la mayor precisión (hasta el 98% en algunos casos), lo que indica que el cambio representacional causado por añadir una imagen separa limpiamente las respuestas de espejismo de las no espejismo.

2. Reducción de Confundentes Superficiales

La comparación con la línea base de texto de Naive Bayes confirma que las sondas no están detectando simplemente características léxicas superficiales.

• En entornos contrastivos, la precisión de la sonda superó significativamente a la línea base de Naive Bayes (por ejemplo, 61.88% frente a 57.67% para Ovis en VQA-RAD).
• En configuraciones de "todos los ejemplos" (sin emparejamiento contrastivo), la precisión de la sonda fue mayor pero correlacionada con un aumento en la separabilidad de nivel superficial, lo que sugiere que estas sondas probablemente estaban captando pistas textuales en lugar de mecanismos profundos. Esto valida la necesidad del marco contrastivo.

3. Dos Regímenes de Espejismo Distintos

Los patrones de separabilidad entre benchmarks revelan que el comportamiento de espejismo no es un fenómeno monolítico, sino que probablemente consta de dos regímenes distintos:

• Imágenes Espurias: Dominante en VQA-RAD, donde las preguntas dependen altamente de la imagen (los humanos no pueden responder sin la imagen) y los sesgos textuales son débiles (PHI bajo). Aquí, el modelo construye contenido visual falso.
• Sesgos Textuales: Más prevalente en MMMU-Pro y MedXpertQA, donde las preguntas suelen contener suficiente contexto textual para responder sin la imagen (PHI alto).
• Evidencia: VQA-RAD mostró la mayor separabilidad de las sondas. Cuando se entrenaron sondas solo con ejemplos "percibidos por humanos como dependientes de la imagen" de otros benchmarks, la separabilidad no mejoró. Sin embargo, el uso de la métrica PHI reveló que las preguntas de VQA-RAD aumentan de forma única la incertidumbre del modelo sin imágenes, correlacionándose fuertemente con el comportamiento de espejismo. Esto sugiere que cuando los sesgos textuales son insuficientes, el modelo recurre a la construcción de imágenes espurias; cuando son suficientes, depende del sesgo textual.

Significación y Reivindicaciones

El artículo sostiene que la fundamentación visual fiel requiere intervenciones a nivel representacional, no solo a nivel de texto.

• Perspectiva Mecanicista: Los autores proporcionan la primera evidencia a nivel de representación de que el comportamiento de espejismo está codificado linealmente y es descomponible en dos mecanismos.
• Implicaciones de Mitigación: La distinción tiene consecuencias directas para la seguridad y la alineación. Limpiar las distribuciones de texto (por ejemplo, eliminar atajos en los conjuntos de datos) puede reducir los espejismos de sesgo textual, pero probablemente fallará en abordar los espejismos de imágenes espurias, ya que estos últimos están arraigados en las representaciones visuales internas del modelo.
• Evaluación: El marco de las Sondas de Espejismo ofrece una herramienta de diagnóstico para evaluar si un VLM está realmente fundamentando sus respuestas en evidencia visual o si está fingiendo mediante alucinaciones en el espacio latente o atajos textuales.

Los autores mantienen una postura modesta, señalando que su hipótesis de dos mecanismos está motivada empíricamente por los patrones de separabilidad y requiere validación causal (por ejemplo, mediante el control o la ablación) en trabajos futuros. Enfatizan que sus etiquetas dependen de heurísticas y que la afirmación central sigue siendo correlacional, aunque la exclusión de confundentes superficiales mediante el sondeo contrastivo fortalece la validez de los hallazgos.