Resumen Técnico: Cuando el Lenguaje Sobrescribe la Visión

1. Declaración del Problema

Los Modelos de Lenguaje y Visión (VLM), particularmente aquellos basados en arquitecturas de decodificador, impulsan cada vez más aplicaciones de alto riesgo pero sufren un modo de fallo crítico: alucinación de objetos. Estos modelos describen con confianza contenido visual que no está presente en la imagen de entrada.

El artículo identifica la causa raíz no meramente como una falta de alineación, sino como una sobre-alineación geométrica.

• La Brecha de Modalidad: Las representaciones visuales y lingüísticas ocupan naturalmente variedades disjuntas dentro de un espacio latente compartido.
• El Mecanismo de Sobre-Alineación: Para satisfacer los requisitos de los mecanismos de atención cruzada en VLMs basados en decodificadores, los modelos fuerzan agresivamente que los embeddings visuales se superpongan con la variedad del texto.
• La Consecuencia: Este colapso forzado inyecta un sesgo lingüístico estadístico en las representaciones visuales. El modelo explota un "atajo estructural" donde los componentes principales (PC) superiores del espacio de embeddings de visión son secuestrados para servir como un ancla de modalidad para el texto. En consecuencia, la evidencia visual detallada queda eclipsada por patrones textuales de alta probabilidad, haciendo que el modelo recurra a priori lingüísticos en lugar de atender a la imagen real.

Trabajos anteriores han intentado cerrar agresivamente la brecha de modalidad (potencialmente exacerbando la sobre-alineación) o han suprimido las alucinaciones mediante costosas estrategias de decodificación de caja negra (por ejemplo, decodificación contrastiva) sin abordar la causa geométrica subyacente.

2. Metodología

Los autores proponen un marco de desviación geométrica que trata el sesgo textual como un subespacio linealmente aislable dentro de los embeddings visuales.

A. Análisis Mecanístico

• Definición de la Variedad de Texto: Los autores definen un sistema de coordenadas para la variedad de texto realizando un Análisis de Componentes Principales (PCA) sobre los embeddings de tokens derivados de las descripciones de preentrenamiento. Demuestran que los PC superiores forman una variedad universal, agnóstica al conjunto de datos, que representa el sesgo lingüístico estadístico.
• Alineación por Capas: El análisis revela que en los VLMs estándar, los tokens de visión se alinean agresivamente con esta variedad de texto en las capas de decodificador tempranas a medias.
• Sobrescritura Visual: La sonda lineal muestra que a medida que los tokens visuales se propagan a través de la red, su decodificabilidad se degrada porque los PC superiores actúan como una "máscara estructural", anulando las señales visuales reales con sintaxis y priori textuales.

B. Remedios Propuestos

El artículo introduce dos métodos complementarios para eliminar este sesgo:

1. Estrategia de Inferencia Libre de Entrenamiento (Post-hoc):

   • En el momento de la inferencia, el método proyecta los embeddings visuales ortogonalmente a los $k$ componentes principales superiores de la variedad de texto.
   • Fórmula: $\vec{v}_{debiased} = \vec{v} - \sum_{i=1}^{k} ((\vec{v} - \vec{m}) \cdot \vec{k}_i)\vec{k}_i$, donde $\vec{v}$ es el embedding de visión, $\vec{m}$ es la media de la variedad de texto y $\vec{k}_i$ son los PC superiores.
   • Esta operación elimina el "ancla textual" sin requerir entrenamiento adicional del modelo ni sobrecarga computacional.

2. Paradigma de Ajuste Fino Consciente del Sesgo:

   • Durante el proceso de ajuste fino, se aplica la misma eliminación de los $k$ PC superiores a la salida del proyector de modalidad cruzada antes de que ingrese al decodificador del LLM.
   • Esto priva estructuralmente a la red de atajos lingüísticos estadísticos durante las actualizaciones de parámetros, forzando al modelo a codificar nativamente la evidencia visual para la fundamentación.

3. Contribuciones Clave

• Caracterización Cuantitativa de la Sobre-Alineación: El artículo proporciona el primer análisis explícito que muestra que el sesgo lingüístico en los VLMs basados en decodificadores se concentra en los componentes principales superiores del espacio de embeddings de visión, degradando activamente la decodificabilidad visual.
• Nuevo Marco Geométrico: Un método agnóstico a la tarea para aislar y medir la penetración del sesgo lingüístico, identificando que este sesgo está fuertemente concentrado en los PC superiores del espacio latente.
• Desviación Libre de Entrenamiento: Una intervención principista, post-hoc, que mejora significativamente la fundamentación visual en diversos puntos de referencia con costo computacional cero adicional sobre el modelo base.
• Ajuste Fino Consciente del Sesgo: Un marco de entrenamiento especializado que fuerza al modelo a depender de la evidencia visual eliminando atajos lingüísticos estadísticos durante el bucle de entrenamiento.

4. Resultados Experimentales

Los métodos fueron evaluados en múltiples arquitecturas (Qwen2.5-VL-7B, LLaVA-1.5-7B) y puntos de referencia.

• Reducción de Alucinaciones:

  • POPE: Mejora de 87.3 a 88.4 (Qwen) y de 82.8 a 83.8 (LLaVA).
  • CHAIR: Reducciones significativas en las tasas de alucinación. Para Qwen2.5-VL-7B, CHAIR bajó de 5.14 a 4.23 (-17.7%); para LLaVA-1.5-7B, bajó de 9.20 a 6.74 (-26.7%).
  • AMBER: Mejoras sustanciales tanto en métricas a nivel de instancia como a nivel de oración.
  • Comparación: El método libre de entrenamiento superó o igualó a las líneas base de caja negra computacionalmente costosas como VCD, SID y DMAS.

• Descripción de Larga Duración (Puntuación CLAIR):

  • Evaluado en VRSBench y TextCaps utilizando la puntuación CLAIR (que penaliza el contenido alucinado).
  • El paradigma de ajuste fino consciente del sesgo superó consistentemente tanto a las líneas base de cero disparos como al Ajuste Fino Supervisado (SFT) estándar.
  • Ejemplo: En VRSBench con Qwen2.5-VL-7B, la puntuación mejoró de 72.30 (SFT Estándar) a 74.70.

• Análisis de Lente de Logits:

  • El rastreo de representaciones latentes reveló que los modelos base decodificaban parches visuales como marcadores de sintaxis de alta probabilidad (por ejemplo, puntuación, preposiciones).
  • Después de la desviación geométrica, los modelos decodificaron con éxito semánticas visuales detalladas (por ejemplo, "banco", "refrigerador", "cubierta"), confirmando la eliminación del protocolo sintáctico.

5. Significado y Afirmaciones

El artículo argumenta que la suposición predominante —de que cerrar la brecha de modalidad es la estrategia correcta— es defectuosa. En cambio, debe existir una brecha de modalidad deliberada para preservar la integridad geométrica de las representaciones visuales.

• Insight Central: Forzar que los espacios visual y textual se superpongan completamente contamina las representaciones visuales con regularidades estadísticas espurias del lenguaje.
• Implicación: Al proyectar explícitamente los PC textuales superiores, se fuerza al modelo a atender la evidencia visual real en lugar de depender de priori lingüísticos.
• Limitaciones Reconocidas: Los autores señalan que la arquitectura basada en decodificadores actual, que requiere comprimir el espacio visual detallado en una variedad de texto, puede ser fundamentalmente defectuosa. Sugieren que las arquitecturas futuras podrían necesitar codificadores separados y específicos de modalidad. Además, el método se basa en la suposición de que el sesgo textual puede aislarse perfectamente en un subespacio lineal, lo cual podría tener dificultades con dominios altamente fuera de distribución.

En conclusión, el trabajo demuestra que las alucinaciones en los VLMs no son solo un problema de decodificación, sino uno representacional causado por la sobre-alineación geométrica, y que esto puede mitigarse mediante una desviación geométrica principista.