Resumen Técnico: Cuando el RAG perjudica: Diagnóstico y mitigación de la distracción de la atención en LVLMs con aumento por recuperación

Definición del Problema

Si bien la Generación Aumentada por Recuperación (RAG) es un paradigma dominante para mejorar los Modelos de Lenguaje-Visión Grandes (LVLMs) en tareas de Respuesta Visual Basada en Conocimiento (KB-VQA), observaciones recientes indican que el RAG no mejora el rendimiento de manera universal. Específicamente, el artículo identifica un modo de fallo distintivo denominado Distracción de la Atención (AD), donde la introducción de contexto textual recuperado provoca que los LVLMs fallen en preguntas que anteriormente podrían haber respondido correctamente en un entorno de libro cerrado (closed-book), incluso cuando la información recuperada es precisa y altamente relevante.

Los autores diagnostican la AD como una asignación errónea sistemática de la atención durante el proceso de generación multimodal, caracterizada por dos fenómenos específicos:

1. Distracción de la Atención Cross-Modal: El contexto recuperado suprime activamente la atención global asignada a los tokens de imagen. En comparación con la inferencia de libro cerrado, el modelo desplaza el enfoque de la modalidad visual hacia la modalidad textual, reduciendo la ratio de atención a la imagen entre un 12.1% y un 41.1%.
2. Distracción de la Atención Intra-Imagen: Incluso dentro de la modalidad visual, la atención se desplaza desde las regiones relevantes para la pregunta hacia el fondo o áreas semánticamente irrelevantes. Esto ocurre porque el texto recuperado interrumpe la capacidad del modelo para fundamentar su razonamiento en evidencia visual específica.

El artículo sostiene que los trabajos previos que atribuyen los fallos de RAG a una atención insuficiente al contexto (y que proponen aumentar la atención al texto) pasan por alto esta interdependencia intrínseca. Simplemente aumentar la atención a los tokens de contexto no aborda el problema central: la supresión del anclaje visual (visual grounding) por parte del contexto recuperado.

Metodología: MAD-RAG

Para abordar la Distracción de la Atención, los autores proponen MAD-RAG (Mitigating Attention Distraction in Retrieval-Augmented Generation for LVLMs). Esta es una intervención en tiempo de inferencia, libre de entrenamiento, diseñada para desacoplar el anclaje visual de la integración del contexto. El método consta de dos componentes principales:

1. Formulación de Pregunta Dual

Las entradas estándar de RAG siguen la estructura $[I, Q, C]$ (Imagen, Pregunta, Contexto). Los autores observan que en este formato, los tokens de la pregunta actúan como consultas para la atención visual pero están aislados del contexto recuperado debido al enmascaramiento causal, creando un cuello de botella de información.
MAD-RAG reestructura la entrada a $[I, Q_I, C, Q_C]$, donde:

• $Q_I$ (tokens de la pregunta de imagen) se anexan inmediatamente después de los tokens de la imagen, forzando al modelo a priorizar el anclaje visual antes de ver el contexto.
• $Q_C$ (tokens de la pregunta de contexto) se anexan después de los documentos recuperados, permitiendo al modelo integrar conocimiento externo.
  Este desacoplamiento asegura que el modelo forme una referencia visual fiable antes de incorporar información externa, reduciendo la interferencia cross-modal.

2. Mezcla de Atención para la Preservación del Anclaje Visual

A pesar de la estructura de pregunta dual, los contextos recuperados largos aún pueden inducir un "sesgo de recencia", causando que el modelo atienda desproporcionadamente al texto sobre los tokens de imagen distantes. Para contrarrestar esto, MAD-RAG introduce un mecanismo de mezcla de atención.
En cada capa del transformador, los pesos de atención de los tokens de la pregunta de contexto ($Q_C$) se modifican mediante la inyección de los pesos de atención anclados a la imagen derivados de los tokens de la pregunta de imagen ($Q_I$). La salida de atención mezclada $\hat{O}(Q_C)$ se calcula como una combinación convexa:
$$\hat{O}(Q_C) = \alpha \cdot O(Q_I) + (1 - \alpha) \cdot O(Q_C)$$
donde $\alpha \in [0, 1]$ es un peso de mezcla. Esta operación preserva explícitamente el anclaje visual establecido por $Q_I$ dentro de la fase de integración de contexto de $Q_C$, asegurando que el razonamiento permanezca enfocado en las regiones de la imagen relevantes para la pregunta.

Principales Contribuciones

El artículo realiza tres contribuciones primarias:

1. Caracterización de la Distracción de la Atención (AD): Los autores identifican y definen la AD como un modo de fallo distintivo en los LVLMs con aumento por recuperación, que comprende tanto la supresión cross-modal de la atención visual como la deriva de la atención intra-imagen. Demuestran que esta degradación surge de una dinámica de atención inapropiada durante la generación, independientemente de la calidad de la recuperación.
2. Análisis Empírico: A través de un análisis extensivo de mapas de calor de atención y ratios de atención a nivel de token, el artículo proporciona evidencia de que la AD surge de la interacción entre el aumento por recuperación y las dinámicas de atención autorregresiva en la inferencia multimodal de contexto largo.
3. Marco MAD-RAG: Los autores introducen un método simple, eficiente y libre de entrenamiento que alinea robustamente la atención visual con la pregunta. El método no requiere reentrenamiento, no requiere modificaciones al recuperador y conlleva una sobrecarga computacional insignificante.

Resultados Experimentales

Los autores evaluaron MAD-RAG en tres bancos de pruebas de KB-VQA: OK-VQA, E-VQA e InfoSeek, a través de múltiples familias de LVLM (LLaVA-1.5, Qwen2.5-VL).

• Ganancias de Rendimiento: MAD-RAG supera consistentemente al RAG vanilla y a las líneas base existentes (incluyendo métodos orientados a RAG como CAD, AdaCAD, ALFAR y métodos de mitigación de alucinaciones como DoLA, VCD).
  • Las mejoras absolutas sobre el RAG vanilla alcanzaron hasta un 4.76% en OK-VQA, 9.20% en E-VQA y 6.18% en InfoSeek.
• Recuperación de Modos de Fallo: El método aborda específicamente los casos de fallo "Libro Cerrado Correcto, RAG Incorrecto". MAD-RAG rectificó hasta el 74.68% de estos casos de distracción de la atención en OK-VQA, con tasas de recuperación altas similares en otros conjuntos de datos.
• Robustez: El método demostró robustez ante variaciones en la longitud del contexto y la calidad de la recuperación (tanto de oráculos como de recuperadores del mundo real). Mantuvo las ganancias de rendimiento incluso a medida que aumentaba la longitud del contexto, mientras que los métodos de línea base a menudo se degradaban.
• Eficiencia: MAD-R la introduce una sobrecarga insignificante, aumentando el tiempo de inferencia solo un 9–11% en comparación con el RAG vanilla. En contraste, otros métodos de calibración (por ejemplo, CAD, OPERA) aumentaron la latencia en 3 veces o más.

Significado y Reivindicaciones

El artículo afirma que la Distracción de la Atención es un problema fundamental en el RAG multimodal que ha sido pasado por alto anteriormente. La importancia de MAD-RAG reside en su capacidad para estabilizar el anclaje visual sin la necesidad de un reentrenamiento costoso o cambios arquitectónicos complejos.

Los autores enfatizan que su enfoque aborda la causa raíz de los fallos inducidos por RAG en escenarios donde el modelo posee el conocimiento interno correcto pero es inducido al error por la presencia de texto recuperado. Al restaurar el equilibrio entre la evidencia visual y el contexto externo, MAD-RAG permite a los LVLMs aprovechar el aumento por recuperación sin sacrificar las capacidades de razonamiento visual esenciales para las tareas de KB-VQA. El trabajo sugiere que los futuros sistemas RAG para modelos de visión y lenguaje deben gestionar explícitamente las dinámicas de atención para evitar la supresión de la evidencia visual por el contexto textual.