Resumen Técnico: Diagnóstico de la Ignorancia Visual en Modelos de Visión-Lenguaje

Declaración del Problema

Los Modelos de Visión-Lenguaje (VLM) exhiben frecuentemente la "ignorancia visual", un fenómeno donde los modelos generan respuestas confiadas basadas en sesgos lingüísticos arraigados en lugar de evidencia visual. Si bien esta tendencia conductual está bien documentada, los mecanismos internos que impulsan esta dependencia y su impacto específico en la validez de los benchmarks no se comprenden suficientemente. La literatura actual sugiere que el simple escalado de parámetros no resuelve el problema; los modelos continúan sintetizando detalles ilusorios incluso cuando las imágenes están ausentes (el "efecto mirage"). Además, mientras que los codificadores de visión suelen preservar las primitivas geométricas, el VLM integrado falla al utilizarlas, lo que sugiere un cuello de botella en el enrutamiento de información y la supresión dentro de la pila del decodificador de lenguaje, más que un fallo de la percepción visual inicial. Los métodos de evaluación existentes a menudo no logran distinguir entre la comprensión multimodal genuina y la dependencia de atajos textuales, recompensando inadvertidamente a los modelos que ignoran la entrada visual.

Metodología

Los autores proponen un marco de doble perspectiva para diagnosticar la dependencia de los sesgos del lenguaje, analizando tanto la mecánica interna del modelo como las manifestaciones conductuales externas en los benchmarks estándar.

1. Análisis Mecanístico Interno

Para rastrear cómo la semántica visual de la verdad de campo (ground-truth) compite con la semántica del sesgo del lenguaje, los autores emplean dos técnicas complementarias:

• Reemplazo de Capas Contrafácticas: Los autores ajustan una variante de sesgo reducido del decodificador de lenguaje (usando el dataset VLMBias) y reemplazan sistemáticamente capas del modelo base con aquellas de la versión ajustada. Esto aisla las contribuciones causales de rangos de capas específicos (intermedias frente a tardías) a la dependencia del sesgo del lenguaje.
• Sondeo de MLP por Capa Supervisado: A diferencia de las proyecciones de vocabulario zero-shot (por ejemplo, LogitLens) que pueden ser inestables en las capas iniciales, los autores entrenan clasificadores de Perceptrón Multicapa (MLP) supervisados sobre los estados ocultos de cada capa del decodificador. Utilizando el dataset Pixmo-Count, estos sondeos mapean los estados ocultos brutos a distribuciones de probabilidad sobre las respuestas de la verdad de campo frente a las respuestas del sesgo del lenguaje, revelando la evolución dinámica de la competencia semántica a través de la profundidad del transformador.

2. Análisis Conductual Externo

Para cuantificar la dependencia en los sesgos del lenguaje en los benchmarks estándar, los autores introducen una Métrica de Decaimiento Visual Progresivo:

• Desenfoque Gaussiano de Múltiples Pasos: Las imágenes de entrada se degradan a través de una secuencia de núcleos gaussianos (desde $1\times1$ hasta $61\times61$).
• Indicador de Respuesta Consecutivamente Idéntica: Los autores rastrean si la respuesta de un modelo permanece invariante a través de todos los niveles de degradación. Esta métrica filtra el ruido de adivinación aleatoria inherente en espacios de respuestas restringidos (por ejemplo, binarios o de opción múltiple), proporcionando un límite inferior estadísticamente fiable para los casos donde el modelo ignora por completo el contexto visual.
• Evaluación de Benchmark: Este marco se aplica a doce benchmarks de preguntas visuales (VQA) (incluyendo RePOPE, HallusionBench, MMMU y MMStar) utilizando tres VLMs representativos (Qwen2.5-VL-3B/7B y LLaVA-v1.6-Mistral-7B).

Hallazgos Clave

Fallos de Enrutamiento Interno

El análisis revela un cuello de botella cooperativo de múltiples etapas dentro del decodificador de lenguaje:

• Capas Intermedias: Estas capas a menudo fallan en recuperar eficazmente información visual granular y localizada del codificador de visión.
• Capas Tardías: Incluso cuando las señales visuales sobreviven a las capas intermedias, las capas más profundas suprimen activamente estas señales en favor de los sesgos del espacio de texto.
• Competencia Dinámica: Los resultados del sondeo muestran que, si bien las señales visuales de la verdad de campo pueden igualar o exceder las probabilidades del sesgo del lenguaje en capas intermedias específicas, la probabilidad de las respuestas del sesgo del lenguaje aumenta drásticamente y domina en el último 1/4 a 1/3 de la pila del decodificador. Esto indica que la ignorancia visual no es un fallo de un solo punto, sino el resultado de fallos de enrutamiento acumulativos y de una supresión activa.

Vulnerabilidades de los Benchmarks

La evaluación externa demuestra que los benchmarks actuales a menudo no penalizan la ignorancia visual:

• Altas Tasas de Invarianza: A través de los datasets evaluados, entre el 20% y el 40% de las instancias producen respuestas enteramente invariantes incluso bajo una obstrucción visual severa o total.
• Falta de Penalización de Rendimiento: Para el subconjunto de muestras donde las respuestas permanecen consecutivamente idénticas en todos los niveles de desenfoque, la precisión del modelo a menudo se mantiene estable o incluso aumenta a medida que las imágenes se degradan. Esto indica que estos benchmarks recompensan inadvertidamente a los modelos por confiar en expectativas lingüísticas ciegas en lugar de en la evidencia visual.
• Contaminación de Datos: Modelos como LLaVA-v1.6-Mistral-7B muestran tasas de invarianza y precisión más altas en imágenes degradadas en comparación con los modelos Qwen, lo que sugiere una posible memorización de las respuestas de los benchmarks durante el preentrenamiento.

Principales Contribuciones

1. Diagnóstico Mecanístico: El artículo proporciona el primer mapa por capas de cómo los sesgos del lenguaje superan a las señales visuales, identificando que la dependencia es impulsada tanto por la recuperación ineficaz en las capas intermedias como por la supresión activa en las capas tardías.
2. Métrica de Evaluación Novedosa: La introducción de la métrica de decaimiento visual progresivo ofrece un método robusto para filtrar la adivinación aleatoria y aislar la verdadera dependencia del sesgo del lenguaje en los benchmarks estándar.
3. Evidencia Empírica de Deficiencias en Benchmarks: El estudio demuestra que una fracción sustancial de los ejemplos en los prominentes benchmarks de VQA es resoluble sin procesamiento visual, desafiando la validez de los protocolos de evaluación actuales.

Significado e Implicaciones

Los autores argumentan que la dependencia del sesgo del lenguaje es un fallo de enrutamiento sistemático que afecta tanto a los componentes internos del modelo como a la validez de los benchmarks. Los hallazgos sugieren que:

• Los Paradigmas de Entrenamiento Actuales son Insuficientes: Simplemente superponer características visuales sobre arquitecturas dominadas por el texto crea conflictos representacionales donde el objetivo autorregresivo de predicción de texto domina, alejando las representaciones de la evidencia visual.
• Los Protocolos de Evaluación Necesitan un Rediseño: Los benchmarks estándar no logran imponer la dependencia visual. Los autores abogan por futuros marcos de evaluación construidos sobre datos estructuralmente aislados o contrafácticos donde las estadísticas del espacio de texto sean fundamentalmente informativas del estado visual.
• Desplazamiento de la Distribución de Entrenamiento: Para imponer un anclaje (grounding) multimodal genuino, la investigación futura debe diseñar distribuciones de entrenamiento que rompan las correlaciones lingüísticas espurias entre los prompts y las respuestas, obligando a los modelos a depender de la evidencia visual en lugar de sesgos de texto memorizados.

El artículo concluye que abordar la ignorancia visual requiere un cambio fundamental tanto en la forma en que se entrenan los modelos (desacoplando las distribuciones de visión y lenguaje) como en la forma en que se evalúan (imponiendo la dependencia visual mediante el aislamiento estructural).