Resumen Técnico: Los Modelos Grandes de Visión y Lenguaje se Pierden en la Atención

1. Enunciado del Problema

A pesar de los rápidos avances en los paradigmas de entrenamiento, los backbones decodificadores de los Modelos Grandes de Visión y Lenguaje (LVLM) siguen estando fundamentalmente arraigados en la arquitectura Transformer con conexiones residuales. Si bien trabajos previos de interpretabilidad han ofrecido insights estadísticos sobre las funciones de los módulos (por ejemplo, la atención como razonamiento dependiente del contexto y las Redes de Alimentación Avanzada (FFN) como memorias clave-valor), estos enfoques a menudo carecen de una base teórica unificada para contrastar explícitamente cómo contribuyen diferentes submódulos a la estructura de la representación en entornos multimodales.

Específicamente, los análisis empíricos han revelado fenómenos como "sumideros de atención visual" y "deriva de atención", lo que sugiere que los LVLM a menudo subasignan atención a la evidencia visual informativa. Sin embargo, existe una perspectiva faltante: un marco principista que pueda cuantificar la naturaleza geométrica y entrópica de las actualizaciones residuales para determinar si los módulos están impulsando la innovación semántica o simplemente reconfigurando información existente. Esta brecha motiva la pregunta de si los LVLM actuales están aprovechando eficientemente el contexto visual o si sufren de una mala asignación severa y redundancia en sus mecanismos de atención.

2. Metodología

Los autores proponen un marco unificado fundamentado en la teoría de la información y la geometría diferencial para cuantificar y contrastar las contribuciones funcionales a nivel de módulo dentro del flujo residual del LVLM.

Marco Teórico

Adoptando la hipótesis de variedad, los autores formalizan la información contenida en una matriz de representación $X \in \mathbb{R}^{S \times H}$ (donde $S$ es la longitud del token y $H$ es el tamaño oculto) como un par $\mathcal{I}(X) = (\mathcal{S}_X, \mathcal{D}_X)$:

• Complejidad de la Información ($\mathcal{S}_X$): Cuantificada por el rango efectivo (eRank) del espectro singular, representando la escala de la representación.
• Soporte de la Información ($\mathcal{D}_X$): Definido por los subespacios singulares izquierdo y derecho (puntos de Grassmann), representando las direcciones semánticas y las dependencias de los tokens.

Para medir la contribución de una actualización residual $\Delta X$ (donde $X' = X + \Delta X$), el marco introduce dos métricas complementarias:

1. Discrepancia de Información de Representación (RID): Mide la innovación. Cuantifica la inyección de información externa sumando el cambio en la complejidad espectral ($\Delta \mathcal{S}$) y la novedad del soporte del subespacio ($\Delta \mathcal{D}$). Un RID alto indica que la actualización expande el subespacio semántico o altera la complejidad espectral.
2. Ganancia de Información de Mezcla (MixIG): Mide la reconfiguración. Cuantifica el cambio en la Entropía de Mezcla de Tokens (TME), que captura qué tan ampliamente interactúan los tokens y redistribuyen la información dentro del soporte existente. Un MixIG alto indica una reorganización interna significativa sin necesariamente introducir nuevas direcciones semánticas.

Protocolo Experimental

El marco se aplicó a 15 LVLMs de última generación que abarcan tres arquitecturas dominantes (familia Qwen, familia LLaVA-1.5 y familia LLaVA-NeXT) en una amplia suite de benchmarks multimodales (incluyendo POPE, 3DSRBench, MMMU y HallusionBench).

El estudio empleó tres configuraciones comparativas:

• Líneas Base Estocásticas: Reemplazar las actualizaciones de atención con ruido gaussiano (que coincide con los momentos empíricos) o aleatorizar los pesos QKV para validar la sensibilidad de la métrica frente a perturbaciones no estructuradas.
• Atribución de Módulos: Rastrear la evolución de RID y MixIG a través de las capas para aislar las contribuciones específicas de los módulos de Atención y FFN.
• Intervención (Prior de Atención Compartida - SAP): Reemplazar las puntuaciones de atención aprendidas en capas seleccionadas con priores predefinidos (mapas de atención del codificador visual, priores de complejidad de parches o ruido gaussiano) para probar la necesidad funcional de los pesos de atención aprendidos.

3. Contribuciones Clave

• Marco Teórico: El artículo establece un formalismo riguroso basado en la hipótesis de variedad para definir la información representacional. Introduce RID y MixIG como métricas duales para cuantificar los impactos geométricos (innovación) y entrópicos (reconfiguración) de las actualizaciones residuales, ofreciendo una herramienta generalizada para sondear la dinámica de la representación más allá de la atribución simple.
• Interpretabilidad a Nivel de Módulo: El estudio proporciona una explicación cuantitativa de los roles distintos dentro de los bloques Transformer. Demuestra que la Atención y las FFN operan en regímenes ortogonales:
  • La Atención actúa como un operador que preserva el subespacio, realizando alta reconfiguración (alto MixIG) pero baja innovación (bajo RID). Reorganiza principalmente la información existente.
  • Las FFN actúan como operadores que expanden el subespacio, impulsando la innovación semántica (alto RID) con una reconfiguración débil (bajo MixIG).
• Diagnósticos Empíricos: La investigación descubre ineficiencias críticas en los diseños de LVLM. Revela que la atención visual del decodificador a menudo falla en realizar una mezcla significativa sobre la evidencia visual relevante para la pregunta, exhibiendo una redundancia sustancial.

4. Resultados

• Desacoplamiento Funcional: A través de 15 variantes de LVLM, surgió una separación consistente. Las actualizaciones de atención exhibieron una innovación negligible (del orden de la tolerancia $\epsilon_{RoPE}$) pero una reconfiguración fuerte. Por el contrario, las actualizaciones de FFN mostraron una innovación sustancial con una reconfiguración débil. Esto valida una división nítida del trabajo donde la atención contextualiza la información existente mientras que las FFN calculan nuevas características semánticas.
• Mala Asignación en la Atención Visual: El análisis por capas mostró que las interacciones entre tokens cruzados permanecen escasas en la mayoría de las capas. La atención visual a menudo falla en asignar interacción a regiones relevantes para la pregunta. En muestras incorrectas, la "razón de grado de región clave" (masa de interacción enrutada a evidencia visual relevante) fue significativamente menor (4.2%) en comparación con las muestras correctas (13.1%).
• Redundancia de la Atención Aprendida: En los experimentos de intervención SAP, reemplazar las puntuaciones de atención aprendidas con valores predefinidos (por ejemplo, ruido gaussiano, mapas del codificador visual o priores de complejidad de parches) en capas seleccionadas produjo un rendimiento comparable o incluso superior en la mayoría de los conjuntos de datos en relación con los modelos vanilla. Por ejemplo, en las variantes Qwen-2.5-VL y LLaVA-1.5, reemplazar la atención con ruido en rangos de capas específicos no degradó el rendimiento y, en algunos casos, lo mejoró.

5. Significado y Afirmaciones

El artículo afirma que los LVLMs actuales de última generación efectivamente "se pierden en la atención". Los hallazgos sugieren que la integración de tokens visuales es a menudo computacionalmente costosa pero informacionalmente escasa, con una gran fracción de la puntuación de atención visual siendo funcionalmente innecesaria.

El significado de este trabajo radica en:

1. Cambio de Perspectiva Diagnóstica: Pasar de identificar qué funciones existen (por ejemplo, funcionalidades específicas de cabezas) a diagnosticar qué es insuficiente o excesivo en la propia actualización residual (innovación vs. reconfiguración).
2. Desafío a las Suposiciones Arquitectónicas: Los resultados exponen una mala asignación severa y redundancia, sugiriendo que el costo computacional cuadrático de la autoatención estándar en los decodificadores de LVLM puede no estar plenamente justificado por el flujo de información que proporciona.
3. Optimización Futura: El trabajo motiva optimizaciones centradas en la atención dirigidas, como el diseño de mecanismos de atención o regularizadores más eficientes que preserven la mezcla útil mientras reducen la puntuación innecesaria, potencialmente conduciendo a arquitecturas de LVLM más eficientes.

Los autores concluyen que su marco convierte las actualizaciones residuales de LVLM en dinámicas medibles de innovación-reconfiguración, proporcionando evidencia de que la dependencia actual de las puntuaciones de atención aprendidas para la integración del contexto visual es a menudo redundante.