Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

Resumen Técnico: Más allá del codificador de visión: Identificación y mitigación del sesgo espacial en los Grandes Modelos de Lenguaje y Visión

1. Planteamiento del problema

Los Grandes Modelos de Lenguaje y Visión (LVLM, por sus siglas en inglés) han logrado un éxito significativo en tareas multimodales, pero exhiben una robustez insuficiente respecto a las variaciones espaciales. Específicamente, los LVLM actuales suelen producir salidas inconsistentes o contradictorias cuando la misma información visual clave se coloca en diferentes ubicaciones dentro de una imagen. Este fenómeno, denominado sesgo espacial, sugiere que la comprensión semántica de los modelos no es invariante a la posición, sino que está sesgada hacia preferencias espaciales específicas.

Aunque investigaciones previas han vinculado el sesgo espacial con la alucinación de objetos o el efecto de decaimiento a largo plazo de la Codificación de Posición Rotatoria (RoPE), este trabajo argumenta que tales explicaciones carecen de generalizabilidad o no logran abordar la causa raíz en la comprensión semántica fundamental. El artículo postula que el sesgo no proviene de la capacidad de percepción o codificación del codificador de visión, sino de un desajuste en los mecanismos de atención entre el codificador de visión y el esqueleto del Gran Modelo de Lenguaje (LLM).

2. Metodología y análisis

A. Sondeo sistemático de la robustez espacial
Para cuantificar el sesgo espacial, los autores construyeron un conjunto de datos de sondeo controlado basado en la concordancia de imagen-texto.

• Construcción del conjunto de datos: Se muestrearon 10,000 pares imagen-leyenda de LAION. Para cada imagen clave, se recuperaron 8 imágenes distractoras. La imagen clave y los distractores se organizaron en una cuadrícula de $3 \times 3$ para formar una imagen compuesta.
• Configuración experimental: La imagen clave se movió sistemáticamente a cada una de las 9 posiciones de la cuadrícula ($n=0$ a $8$) manteniendo constantes la leyenda y los distractores. Se le pidió al modelo una pregunta binaria para determinar si la composición contenía la imagen objetivo.
• Hallazgos: Los experimentos en seis LVLM representativos (incluyendo Qwen2.5-VL, LLaVA-v1.6 e InternVL3) revelaron fluctuaciones significativas de precisión a través de las diferentes posiciones de la cuadrícula. Notablemente, el rendimiento no correlacionó fuertemente con la distancia de los tokens, lo que sugiere que el sesgo no es causado primordialmente por el decaimiento de largo plazo de RoPE.

B. Análisis de la causa raíz
Los autores descompusieron el proceso de procesamiento visual en dos etapas para aislar la fuente del sesgo:

1. Etapa de Percepción (Búsqueda de Borrador/Eraser Search): Mediante experimentos de enmascaramiento, el estudio confirmó que los LVLM identifican consistentemente las regiones críticas independientemente de su ubicación espacial. La percepción es espacialmente robusta.
2. Etapa de Comprensión Semántica (Codificador de Visión): Al medir la similitud de coseno entre las características visuales y los embeddings de texto a través de diferentes posiciones, el estudio encontró que el codificador de visión produce representaciones estables y semánticamente alineadas, independientes de la ubicación.
3. El cuello de botella del LLM: Dado que tanto la percepción como la codificación de visión son robustas, el sesgo se origina en el razonamiento transmodal del LLM. Los autores hipotetizan que el mecanismo de autoatención causal en los LLM (que restringe a los tokens a atender solo a los tokens previos) interrumpe el flujo de información global bidireccional establecido por el codificador de Vision Transformer (ViT). Esta interrupción provoca que los tokens de la imagen pierdan el acceso al contexto global holístico a medida que se propagan a través de las capas del LLM, haciendo que su contribución dependa excesivamente de su posición.

C. Solución propuesta: Inyección de Contexto Global Adaptativo (AGCI)
Para mitigar esto sin modificaciones arquitectónicas, los autores proponen AGCI, un mecanismo ligero que inyecta dinámicamente un contexto visual global compartido en cada token de imagen.

• Mecanismo:
  1. Calcular el contexto de imagen global $\tilde{g}$ como la representación media de todos los tokens de la imagen.
  2. Calcular la similitud semántica $w_i$ entre cada token de imagen $\tilde{v}_i$ y el contexto global.
  3. Inyectar el contexto global en cada token con una fuerza adaptativa proporcional a $(1 - w_i)$:
     $$\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$$
  4. Aquí, $\lambda$ es un hiperparámetro que actúa como una válvula de seguridad para preservar los detalles finos. Los tokens con menor relevancia semántica global reciben una suplementación más fuerte.

3. Resultados clave

A. Robustez espacial (Tarea de sondeo)

• AGCI redujo significativamente la varianza de la precisión ($\Delta$) a través de las posiciones de la cuadrícula para todos los modelos probados.
• Para modelos con un alto sesgo inicial (ej. LLaVA-v1.6), AGCI redujo la varianza de 14.93 a 8.05 y mejoró la precisión promedio de 70.82 a 80.75.
• Para modelos más grandes (ej. Qwen2.5-VL-72B), AGCI mejoró la precisión promedio de 70.12 a 86.11 manteniendo una baja varianza.

B. Rendimiento en tareas de seguimiento (Downstream)
AGCI fue evaluado en seis benchmarks de seguimiento mediante el ajuste fino ligero de LoRA:

• Razonamiento complejo (MMMU-Pro, ScienceQA): AGCI mejoró el rendimiento, particularmente en configuraciones de 10 opciones, indicando una mejor integración de las pistas visuales y la comprensión global.
• Benchmarks de alucinación (CRPE, HallusionBench, POPE): AGCI generalmente redujo las tendencias de alucinación y mejoró la fiabilidad de la predicción. Por ejemplo, en POPE, la precisión promedio de Qwen3-VL mejoró de 84.51 a 86.96.
• Tareas de OCR (TextVQA): AGCI mostró ganancias sólidas (ej. +4.93 para LLaVA-v1.6), sugiriendo que el contexto global ayuda a agregar regiones textuales dispersas.

C. Visualización del flujo de información
Las visualizaciones de los mapas de atención demostraron que los modelos base a menudo se enfocaban en regiones espaciales irrelevantes (ej. la esquina superior izquierda) debido al sesgo posicional. Tras aplicar AGCI, la atención se volvió más concentrada en las regiones relevantes para la tarea (ej. texto OCR específico), confirmando que AGCI restaura una representación contextual equilibrada.

4. Significado y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Investigación Sistemática: Proporciona evidencia empírica de que las predicciones de los LVLM varían significativamente con la ubicación espacial del contenido visual idéntico, resaltando una debilidad crítica en la comprensión espacial actual.
2. Identificación de la Causa Raíz: Señala que la fuente del sesgo espacial es la pérdida del contexto global de la imagen causada por el mecanismo de atención causal en los LLM, descartando explícitamente al codificador de visión y al decaimiento de RoPE como los principales culpables.
3. Mitigación Efectiva: Introduce AGCI, un método simple y agnóstico a la arquitectura que mejora la robustez espacial y el rendimiento en tareas de seguimiento sin sacrificar las capacidades intrínsecas.

Los autores enfatizan que AGCI funciona restaurando el acceso estable al contexto global durante el razonamiento transmodal, mitigando así la inconsistencia causada por el desajuste entre la codificación de visión bidireccional y el modelado de lenguaje causal. El trabajo sugiere que reforzar explícitamente la semántica visual global es crucial para lograr una comprensión multimodal robusta e invariante a la posición.