Information Router for Mitigating Modality Dominance in Vision-Language Models

1. El Problema: Dominancia Modal y Disparidad de Información

Los Modelos Visión-Lenguaje (VLM) han demostrado un rendimiento excepcional, pero sufren de un problema persistente conocido como dominancia modal. Esto ocurre cuando el modelo depende desproporcionadamente de una sola modalidad (generalmente el texto) para generar predicciones, ignorando la evidencia visual o de video.

• Limitación de enfoques anteriores: La mayoría de los métodos actuales intentan mitigar este problema manipulando la asignación de atención del modelo (forzando al modelo a "mirar" más la imagen). Sin embargo, estos enfoques asumen implícitamente que todas las modalidades ya contienen información suficiente.
• La realidad del mundo real: En la práctica, las modalidades a menudo difieren en densidad de información y relación señal-ruido. Por ejemplo, los tokens visuales pueden ser ambiguos o escasos debido a limitaciones de perspectiva, mientras que los tokens lingüísticos suelen ser densos y semánticamente explícitos.
• El núcleo del problema: Simplemente ajustar la atención no resuelve la falta subyacente de información. Si una modalidad es pobre en información, forzar la atención sobre ella no genera un razonamiento multimodal robusto; el modelo seguirá recurriendo a atajos unimodales.

2. Metodología: MOIR (Multi-modal Information Router)

Los autores proponen MOIR, un método de fusión a nivel de información diseñado para reducir explícitamente la disparidad de información antes de que los tokens sean procesados por el decodificador del LLM.

Funcionamiento Técnico:

1. Identificación de Tokens Pocos Informativos:

   • MOIR analiza las representaciones de los tokens de cada modalidad (ej. imagen y texto) utilizando una Descomposición en Valores Singulares (SVD).
   • Calcula una puntuación de "informatividad" ($S_d$) para cada canal (dimensión) del token basándose en su contribución a los componentes principales del espacio de representación.
   • Identifica los canales con menor puntuación como "poco informativos" (ruidosos, redundantes o ambiguos).

2. Enrutamiento de Información Complementaria:

   • Una vez identificados los canales débiles en una modalidad (ej. imagen), MOIR rutea selectivamente información complementaria desde la modalidad más fuerte (ej. texto) hacia esos canales específicos.
   • Esto se realiza mediante una puerta de enrutamiento aprendible ($\alpha$), que controla la cantidad de información inyectada:
     $$\bar{F} = \alpha \cdot F_{\text{otra}} + (1 - \alpha) \cdot F_{\text{propia}}$$
   • El objetivo es construir representaciones de tokens densas en información antes de la fusión final.

3. Integración con el LLM:

   • MOIR se inserta entre los codificadores específicos de cada modalidad y el decodificador del LLM.
   • Al modificar la disponibilidad de información en los tokens, permite que el LLM ajuste naturalmente su dependencia entre modalidades, logrando un equilibrio más realista sin forzar la atención artificialmente.

3. Contribuciones Clave

1. Propuesta de MOIR: Un nuevo método de fusión multimodal que intercambia información explícitamente para abordar la raíz del problema de la dominancia modal (la disparidad de información), en lugar de solo corregir la atención.
2. Revisión de la Definición de Dominancia: Los autores argumentan que cambiar el uso de modalidades sin considerar el estado de evidencia de cada una es poco fiable cuando una modalidad es ruidosa o no informativa. MOIR aborda esto mejorando la calidad de la información primero.
3. Resultados Empíricos Extensos: Demostración de que MOIR mejora consistentemente la contribución equilibrada de las modalidades, la robustez ante degradación de datos y el rendimiento en tareas de razonamiento, independientemente del modelo base utilizado.

4. Resultados Experimentales

Los autores evaluaron MOIR en tres conjuntos de datos de referencia (ScienceQA, VizWiz, MMBench-Video) y varios modelos base (LLaVA-1.5, Qwen2.5-VL).

• Rendimiento en Tareas (Downstream):
  • MOIR mantiene o mejora la precisión en tareas de razonamiento.
  • Las mejoras son más significativas en tareas que requieren un anclaje visual fuerte y razonamiento abierto (como VizWiz y MMBench-Video), donde la evidencia visual es indispensable.
• Reducción de la Dominancia Modal:
  • Índice de Dominancia Modal (MDI) e Índice de Eficiencia de Atención (AEI): MOIR reduce consistentemente estos valores, indicando un uso más equilibrado de las modalidades.
  • Ranking de Información: Se observa un aumento en el rango efectivo de las representaciones de tokens tanto para imágenes como para texto, lo que confirma que MOIR no suprime una modalidad, sino que enriquece ambas.
• Robustez ante Degradación:
  • En un experimento donde se reemplazaron las imágenes por ruido gaussiano, el modelo base mantuvo sus predicciones en un 62% de los casos (confiando ciegamente en el texto).
  • Con MOIR, esta tasa de "inmutabilidad" bajó drásticamente, demostrando que el modelo se vuelve sensible a la entrada visual y evita depender de atajos lingüísticos cuando la evidencia visual es crucial.
• Estudios de Caso Cualitativos:
  • En tareas de video, el modelo base tendía a alucinar o repetir frases de la pregunta. MOIR generó respuestas basadas en la evidencia visual observable (ej. identificar correctamente un plugin o describir un evento deportivo específico).

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el tratamiento de la dominancia modal. En lugar de ver el problema como un fallo de la arquitectura de atención, MOIR lo aborda como un problema de calidad y disponibilidad de información.

• Estrategia Complementaria: Demuestra que manipular la información a nivel de tokens es una estrategia efectiva y complementaria a los métodos basados en atención.
• Robustez: Proporciona sistemas multimodales más fiables que no fallan catastróficamente cuando una modalidad está degradada o es ambigua, ya que pueden "pedir prestada" información de la modalidad más fuerte de manera estructurada.
• Generalidad: Al ser un módulo插插 (plug-in) que no altera la arquitectura subyacente del LLM, MOIR es aplicable a diversos modelos y configuraciones de fusión.

En conclusión, MOIR establece que para lograr un razonamiento multimodal genuino y robusto, es necesario garantizar que las representaciones de entrada sean densas en información antes de que el modelo intente fusionarlas.