Resumen Técnico: RAVE (Reasignación de la Atención Visual en Modelos Multimodales Grandes)

1. Declaración del Problema

Los Modelos Multimodales Grandes (LMM), como las familias LLAVA y QWEN-VL, suelen proyectar características visuales en el espacio de tokens de lenguaje y procesarlas dentro de una secuencia unificada utilizando un transformador de tipo decodificador. Aunque efectivos, estos modelos heredan el mecanismo de autoatención de sus backbones de lenguaje preentrenados (denominados "atención estándar"). Los autores identifican que este mecanismo heredado carece de una regulación explícita para la asignación de atención por modalidad, lo que conduce a dos formas principales de utilización subóptima de la evidencia visual:

• Desequilibrio Intermodal: Los tokens visuales, como bloque, reciben sistemáticamente menos atención en comparación con los tokens textuales. Esto se manifiesta como una menor atención a los tokens visuales en las capas más profundas del decodificador y una disminución progresiva de la atención visual a medida que se acumulan los tokens generados de la respuesta (denominado "olvido visual" o "dilución visual").
• Desequilibrio Intra-visual: La atención dentro del bloque visual se distribuye de manera desigual. Parches visualmente no informativos (por ejemplo, esquinas, fondos homogéneos) pueden absorber una atención desproporcionada ("sumideros visuales"), mientras que los sesgos posicionales (debido al aplanamiento por filas y a las Incrustaciones de Posición Rotatoria) pueden hacer que la atención se concentre en regiones espaciales específicas en lugar de en contenido semánticamente relevante.

Las estrategias de mitigación existentes a menudo dependen de heurísticas diseñadas a mano en tiempo de inferencia, requieren rediseños arquitectónicos que complican la integración o necesitan pipelines de entrenamiento auxiliares con datos curados. Existe la necesidad de un mecanismo minimalista y aprendible que permita la recalibración consciente del contexto de la atención sin alterar la arquitectura del backbone.

2. Metodología: RAVE

Los autores proponen RAVE (Reasignación de la Atención Visual), un mecanismo de enmascaramiento por pares ligero, diseñado como una corrección "plug-and-play" para la atención estándar. RAVE opera añadiendo un sesgo aprendido consulta-clave a las puntuaciones de atención pre-softmax asociadas específicamente con las claves visuales.

Mecanismo Central

1. Fuente de la Señal de Enmascaramiento: A diferencia de los métodos que utilizan características posteriores a la codificación de posición rotatoria (RoPE), RAVE deriva su señal de enmascaramiento de las características de consulta ($\bar{Q}$) y clave ($\bar{K}$) pre-ROPE. Esta elección busca desacoplar la señal de enmascaramiento de los sesgos de decaimiento posicional introducidos por RoPE, permitiendo que el mecanismo dependa principalmente de características de contenido condicionadas por la modalidad.
2. Construcción del Enmascaramiento por Pares: En cada capa $\ell$, RAVE adjunta un par de proyecciones lineales aprendibles ($W_{gq}, W_{gk}$) compartidas entre todas las cabezas de consulta. Estas proyecciones generan puntuaciones escalares por token ($s_q, s_k$) a partir de las características pre-ROPE. Una puerta de pares $G_{ij}$ se forma mediante el producto exterior de estas puntuaciones, mapeadas a través de una función $\phi$. Esto proporciona una corrección consciente del contexto para cada par consulta-clave.
3. Recalibración Pre-Softmax: La puerta se inyecta aditivamente en los logits de atención ($L_{ij}$) solo para las claves visuales:
   $$\tilde{L}_{ij} = L_{ij} + \gamma \cdot G_{ij} \cdot \mathbb{1}[j \in I_{img}]$$
   donde $\gamma$ controla la fuerza de la recalibración y $\mathbb{1}$ es una función indicadora para los tokens visuales. Los logits recalibrados se pasan luego a través del softmax estándar.
   • Este enfoque modifica la competencia por la masa de atención antes de la normalización, permitiendo una redistribución dinámica tanto entre modalidades (intermodal) como dentro del conjunto de tokens visuales (intra-visual).
4. Aplicación Parcial de Cabezas: Para evitar interrumpir los fuertes priores de lenguaje heredados del backbone preentrenado, RAVE se aplica solo a una fracción ($p$) de las cabezas de consulta dentro de cada grupo de Atención de Consulta Agrupada (GQA). Las cabezas restantes mantienen la atención estándar. Los autores utilizan $p=0.25$ en su configuración principal.
5. Entrenamiento: RAVE se entrena de extremo a extremo con el resto del modelo utilizando la pérdida estándar de entropía cruzada de siguiente token, sin requerir supervisión auxiliar ni datos especializados.

3. Contribuciones Clave

• Identificación de Cuellos de Botella: El artículo revisa la atención estándar en LMM, demostrando empíricamente que la asignación subóptima de atención visual (tanto la dilución intermodal como el desequilibrio intra-visual) es un cuello de botella clave para una fundamentación visual efectiva.
• Mecanismo RAVE: La propuesta de un mecanismo ligero de enmascaramiento por pares que preserva la arquitectura y modula las puntuaciones de atención pre-softmax sobre claves visuales con una sobrecarga de parámetros negligible.
• Validación Empírica: Demostración de que RAVE mejora consistentemente el rendimiento en una amplia gama de benchmarks multimodales, logrando una ganancia promedio de aproximadamente 3 puntos sobre la atención estándar, con resultados particularmente sólidos en tareas intensivas en percepción.

4. Resultados Experimentales

Los autores evaluaron RAVE en una suite diversa de benchmarks utilizando los backbones Mistral-v0.3-7B y Gemma-2-9B, comparando contra Atención Estándar y D-Attn (un método que descompone las rutas de atención).

• Tareas Intensivas en Percepción: RAVE mostró las mejoras más significativas en tareas que requieren una fundamentación visual detallada, incluyendo OCR multilingüe (MTVQA, OCRBench), comprensión de gráficos (ChartQA), VQA de documentos (DocVQA) y VQA rica en texto (InfoVQA, TextVQA). Por ejemplo, en el backbone Mistral, RAVE mejoró el promedio de percepción de 25.05 (Estándar) a 25.93, con ganancias notables en MTVQA (9.50 vs 6.51) y DocVQA (43.55 vs 35.85).
• Tareas Pesadas en Razonamiento/Conocimiento: En benchmarks como MathVista, MMMU y MMMU-Pro, RAVE se mantuvo competitivo, mejorando sobre la Atención Estándar en el backbone Mistral y desempeñándose de manera comparable a D-Attn en Gemma-2-9B. Esto sugiere que RAVE mejora la asignación de evidencia visual sin interrumpir sustancialmente las capacidades de razonamiento heredadas.
• Estudios de Ablación:
  • Ubicación: La recalibración aditiva pre-softmax resultó más efectiva que las formas post-softmax o multiplicativas.
  • Ratio de Cabezas: Un ratio de cabezas parciales de $p=0.25$ ofreció el mejor equilibrio entre capacidad correctora y preservación de priores de lenguaje; aumentar el ratio no produjo ganancias adicionales.
  • Etapa de Aplicación: Aplicar RAVE tanto durante la pre-llenado como durante la decodificación superó a la aplicación solo en decodificación, indicando la importancia de recalibrar la atención pregunta-a-visual durante la construcción inicial de la representación.

5. Significado y Afirmaciones

El artículo afirma que RAVE proporciona un mecanismo minimalista plug-and-play que permite la recalibración consciente del contexto de la asignación de atención mientras permanece nativamente compatible con los flujos de trabajo estándar de entrenamiento e inferencia.

• Corrección a Nivel de Mecanismo: A diferencia de los métodos que intervienen en tiempo de inferencia con reglas diseñadas a mano o requieren rediseños arquitectónicos, RAVE ofrece una solución aprendible y entrenable de extremo a extremo que aborda directamente la competencia por la masa de atención.
• Doble Beneficio: Al operar sobre puntuaciones pre-softmax para claves visuales, RAVE aborda simultáneamente la mala asignación intermodal (asegurando que los tokens visuales no reciban menos atención) y el desequilibrio intra-visual (redistribuyendo la atención lejos de "sumideros" no informativos).
• Modestia: Los autores reconocen limitaciones, señalando que los experimentos se realizaron en LMM ajustados por instrucción construidos a partir de backbones de lenguaje preentrenados en lugar de modelos entrenados desde cero. Además, la implementación actual depende de SDPA y aún no se ha integrado con kernels al estilo FlashAttention, lo que podría afectar la eficiencia.

En resumen, RAVE demuestra que la regulación explícita y aprendida de la atención visual dentro del operador de atención nativo es una estrategia efectiva para mejorar la utilización de la evidencia visual en LMM de solo decodificador, particularmente para tareas que exigen una fundamentación visual precisa.