Resumen Técnico: Hacia la mitigación de las alucinaciones en los Grandes Modelos de Lenguaje-Visión mediante el refinamiento de los embeddings textuales

1. Planteamiento del problema

Los Grandes Modelos de Lenguaje-Visión (LVLM, por sus siglas en inglés) sufren frecuentemente de alucinaciones: salidas que son lingüísticamente fluidas pero fácticamente incorrectas o no sustentadas por la entrada visual. Estos errores se manifiestan como alucinaciones de objetos (inventar elementos inexistentes), alucinaciones de atributos (identificar erróneamente colores o propiedades), alucinaciones de relación (fabricar relaciones espaciales) y alucinaciones temporales (inventar acciones en video).

Los autores plantean la hipótesis de que una fuente primaria de estas alucinaciones es el desequilibrio de modalidades arraigado en el paradigma arquitectónico prevaleciente. La mayoría de los LVLM (por ejemplo, Video-LLaVA, LLaVA) operan anexando los embeddings visuales al flujo de tokens de entrada de un Gran Modelo de Lenguaje (LLM) preentrenado. Debido a que el esqueleto (backbone) del LLM fue entrenado exclusivamente con texto, posee un sesgo inherente hacia el razonamiento impulsado por el lenguaje. Durante el ajuste fino (fine-tuning), el modelo tiende a depender excesivamente de los sesgos previos (priors) textuales y a subutilizar los embeddings visuales, tratando los tokens visuales como secundarios. Esto conduce a una distribución de atención asimétrica donde el modelo se enfoca fuertemente en los tokens textuales en los límites de la secuencia, descuidando los tokens visuales intermedios, lo que resulta en salidas que son semánticamente plausibles pero visualmente carentes de fundamento.

2. Metodología: VisAlign

Para abordar este desequilibrio, los autores proponen VisAlign, un método que refina los embeddings textuales integrando un contexto visual global antes de que los tokens entren en las capas del transformador. A diferencia de los enfoques que modifican el mecanismo de atención durante la inferencia o añaden módulos complejos de atención cruzada, VisAlign opera al nivel de la representación para fomentar un razonamiento multimodal equilibrado durante el entrenamiento.

El mecanismo central involucra tres pasos:

1. Agregación Visual Global: Los embeddings visuales proyectados ($V_{proj}$) se promedian utilizando una operación de pooling sin parámetros para crear un único vector de resumen visual global ($\hat{V}$).
2. Refinamiento del Embedding Textual: Este vector visual global se concatena con los embeddings textuales originales ($T$) a lo largo de la dimensión del embedding. Una capa de proyección lineal mapea entonces esta representación fusionada de vuelta a la dimensión de embedding original del LLM, produciendo embeddings textuales con fundamento visual ($\hat{T}$).
3. Reconstrucción: La secuencia se reconstruye anexando los embeddings textuales refinados ($\hat{T}$) y los embeddings visuales originales ($V_{proj}$) en el orden estándar utilizado por el modelo base.

Principios de Diseño Clave:

• Inyección a Nivel de Representación: La información visual se inyecta directamente en la representación del lenguaje, obligando al modelo a aprender embeddings que porten tanto semántica textual como visual.
• Agnóstico a la Arquitectura: El método no altera la arquitectura del esqueleto del LLM ni requiere mecanismos complejos de atención cruzada; simplemente modifica la secuencia de tokens de entrada.
• Estrategia de Entrenamiento: VisAlign se entrena junto con las etapas estándar de preentrenamiento y ajuste fino del LVLM base (por ejemplo, Video-LLaVA). En la etapa de preentrenamiento, la proyección y las capas lineales se entrenan mientras el LLM permanece congelado; en la etapa de ajuste fino, el modelo completo se entrena de extremo a extremo.

3. Contribuciones Clave

• Análisis Sistemático del Desequilibrio de Modalidades: El artículo proporciona evidencia empírica (mediante la visualización de los puntajes de atención) de que los LVLM estándar exhiben un fuerte sesgo hacia los tokens textuales, lo que conduce a una atención fragmentada sobre el contenido visual.
• Una Estrategia de Mitigación Simple y Efectiva: VisAlign ofrece una solución ligera que reequilibra la atención al incrustar el contexto visual directamente en los tokens textuales, desplazando el alineamiento desde la etapa de atención hacia la etapa de embedding.
• Generalizabilidad: Se demuestra que el método es efectivo no solo en Video-LLaVA, sino también en otros modelos de vanguardia como LLaVA 1.5 y Open-Qwen2VL.
• Complementariedad: El enfoque se muestra como ortogonal a las estrategias de decodificación en tiempo de inferencia (por ejemplo, Visual Contrastive Decoding), permitiendo mejoras combinadas.

4. Resultados Experimentales

Los autores evaluaron VisAlign en múltiples benchmarks de alucinación, reportando ganancias consistentes y estadísticamente significativas:

• MMVP-MLLM: Logró una mejora de +9.33% en la precisión, demostrando una discriminación visual de grano fino mejorada.
• POPE (A-OKVQA): Mejoró la precisión en +2.99%, la precisión (precision) en +1.76% y la puntuación F1 en +1.18%, indicando una reducción en las alucinaciones a nivel de objeto.
• Merlin: Mostró mejoras de hasta +3.4% en la consistencia fáctica y la verificación de existencia de objetos.
• HallusionBench: Logró una mejora de +3% en el conjunto de datos difíciles (hard-data split), particularmente en tareas que requieren fundamentación visual sobre el conocimiento memorizado (ej. Mapas, OCR, Tablas).
• Mementos: Demostró ganancias en el dominio de la Robótica tanto para alucinaciones de objetos (+1.13%) como de acciones (+0.97%), aunque las mejoras fueron más modestas en dominios complejos como Cómics y Vida Cotidiana.
• Generalización: Al aplicarse a LLaVA 1.5 y Open-Qwen2VL, VisAlign redujo consistentemente las alucinaciones y mejoró el desempeño en el benchmark POPE.
• Comparación: VisAlign superó al método en tiempo de inferencia Visual Contrastive Decoding (VCD) por sí solo. Combinar VisAlign con VCD produjo el mayor desempeño general, confirmando su naturaleza complementaria.

5. Significado y Reivindicaciones

El artículo sostiene que las alucinaciones en los LVLM están fundamentalmente vinculadas a la asimetría estructural de las arquitecturas actuales, donde los LLM preentrenados dominan el proceso de razonamiento. Al refinar los embeddings textuales para incluir el contexto visual global, VisAlign obliga al modelo a atender de manera más equitativa a la evidencia visual, reduciendo así la dependencia de los sesgos lingüísticos.

Los autores posicionan a VisAlign como un enfoque simple pero basado en principios que mejora la fundamentación visual sin requerir cambios arquitectónicos profundos o supervisión externa. Señalan que, si bien el método potencia significativamente el desempeño en tareas de fundamentación visual, puede conllevar ligeros compromisos de rendimiento en categorías con alta carga de conocimiento (ej. monumentos, celebridades) donde la dependencia del conocimiento mundial memorizado es beneficiosa. El trabajo busca inspirar una mayor investigación en el alineamiento a nivel de representación para mejorar la fiabilidad del razonamiento multimodal en aplicaciones de seguridad crítica.