Resumen Técnico: Hacia la comprensión de la interacción de modalidades en modelos de lenguaje multimodales mediante la descomposición de información parcial

1. Planteamiento del problema

Los Modelos de Lenguaje Multimodales Grandes (MLLM) se despliegan cada vez más como agentes de toma de decisiones en contextos científicos, médicos y corporales. Sin embargo, los paradigmas de evaluación actuales evalúan principalmente la precisión del resultado, ofreciendo una visión limitada de cómo los modelos utilizan las entradas sensoriales (visión, audio) y lingüísticas para alcanzar esas decisiones. Los métodos de interpretabilidad existentes —como la alineación de representaciones, el análisis de atención y la ablación de modalidades— revelan cómo se codifican las modalidades o cómo cambian las predicciones bajo perturbaciones. No obstante, no logran proporcionar una descomposición a nivel de decisión del uso de las modalidades. Específicamente, no pueden distinguir si una modalidad contribuye con información que es única, redundante con otra modalidad, o sinérgica (disponible solo mediante la observación conjunta). En consecuencia, diferentes formas de interacción multimodal suelen confundirse bajo las mismas señales de precisión o ablación.

2. Metodología

Los autores formalizan el razonamiento multimodal como un problema de descomposición de información a nivel de decisión utilizando la Descomposición de Información Parcial (PID).

2.1. Marco de trabajo de PID a nivel de decisión

A diferencia del trabajo previo que analiza representaciones latentes, este marco computa métricas de información sobre distribuciones predictivas inducidas por el modelo.

• Formulación bimodal: Para modelos de visión y lenguaje, la información mutua entre la predicción $Y$ y las entradas (Visión $X_v$, Texto $X_t$) se descompone en cuatro componentes no negativos:
  • $U_{vis}$: Información única de la visión.
  • $U_{txt}$: Información única del texto.
  • $R_{vl}$: Información redundante compartida por ambos.
  • $S_{vl}$: Información sinérgica que surge solo de la observación conjunta.
• PID Sensorial (trimodal): Para modelos omnimodales (Video $V$, Audio $A$, Texto $T$), los autores introducen una formulación condicional que trata al lenguaje como una señal de control directiva. Esto descompone la ganancia de información sensorial $I(Y; V, A | T)$ en componentes de visión única ($U_{vis}$), audio único ($U_{aud}$), redundancia sensorial ($R_{sens}$) y sinergia sensorial ($S_{av}$). Esto evita la expansión combinatoria mientras preserva la distinción funcional entre la especificación de la tarea (lenguaje) y la evidencia sensorial.

2.2. Pipeline de estimación

Para estimar la PID a partir de estados ocultos continuos de alta dimensión sin reentrenar el MLLM, los autores emplean:

1. Enmascaramiento de incrustaciones calibrado: Para aproximar los condicionales unimodales (p. ej., $P(Y|X_v)$), reemplazan las incrustaciones de tokens de la modalidad enmascarada con ruido gaussiano calibrado, preservando las estadísticas de la distribución pero eliminando la información específica de la instancia.
2. Estimador BATCH: Utilizan el estimador BATCH (Liang et al., 2023) para aprender un acoplamiento normalizado por Sinkhorn $\tilde{Q}$ que preserve las marginales de origen-objetivo, permitiendo la optimización tratable de los términos de PID sobre variables continuas.
3. Puntuaciones de diagnóstico local: El marco se extiende a contribuciones aditivas por muestra, permitiendo la identificación de muestras de "brecha de sinergia" (alto potencial de fusión, baja sinergia actual) y muestras de "atajo" (fuerte dependencia de la unicidad del texto).

3. Contribuciones clave

1. PID a nivel de decisión para MLLM: Una formalización de la interacción de modalidades como un problema de descomposición de información, separando las contribuciones únicas, redundantes y sinérgicas que son inidentificables mediante similitud de representación o ablación por sí solas.
2. PID Sensorial para modelos omnimodales: Una formulación de PID condicional que trata al lenguaje como una señal de control para descomponer la ganancia de información audiovisual, permitiendo un análisis basado en principios de la toma de decisiones trimodal.
3. Hallazgos diagnósticos, predictivos y accionables:
   • Perfiles de uso de modalidades: Identificación de patrones recurrentes donde las tareas de razonamiento/anclaje (grounding) elicitan alta sinergia, mientras que las tareas de experto/conocimiento muestran una fuerte dependencia de la unicidad del texto.
   • Validez predictiva: Los términos de PID predicen la sensibilidad a las intervenciones a nivel de modalidad (p. ej., la eliminación de la imagen).
   • Cuello de botella de la sinergia sensorial: Descubrimiento de que los modelos omnimodales siguen dominados por la información visual incluso en tareas que requieren explícitamente la fusión audiovisual.
   • Dinámica por capas: Evidencia de que la fusión cross-modal es un fenómeno de etapa tardía, con la sinergia emergiendo principalmente en las capas finales de la red.
4. Reponderación guiada por PID: Una estrategia de entrenamiento de prueba de concepto utilizando puntuaciones de diagnóstico local para reponderar muestras durante el ajuste fino (fine-tuning) de LoRA, aumentando el peso de las muestras sub-sinergizadas y disminuyendo el de las muestras de atajo de lenguaje.

4. Resultados experimentales

4.1. Análisis de Visión y Lenguaje

A través de 20 modelos y 6 bancos de pruebas, la PID reveló dos regímenes distintos:

• Dominante en Sinergia: Bancos de pruebas como MMBench, MMStar y POPE (anclaje) exhiben un alto $S_{vl}$ y una fuerte dependencia de la entrada visual.
• Dominante en Prior de Texto: Bancos de pruebas como MMMU, PMC-VQA y Reefknot exhiben un alto $U_{txt}$ y son mayormente insensibles a la eliminación visual.
• Familias de modelos: Las familias Qwen, InternVL3 y LLaVA-OV tienden a depender de la modalidad conjunta, mientras que Gemma3 y Cambrian dependen más del prior de lenguaje. El escalado amplifica estos perfiles existentes en lugar de erradicarlos.
• Predicción: $S_{vl}$ se correlaciona fuertemente con la precisión y la sensibilidad a la eliminación de la visión en tareas impulsadas por la sinergia ($\rho \geq 0.798$), mientras que $U_{txt}$ es más informativo en tareas dominadas por el prior.

4.2. Análisis Omni-modal

En el benchmark MUSIC-AVQA (específicamente el subconjunto de fusión AV):

• Cuello de botella de la sinergia sensorial: A pesar de ser tareas diseñadas para el razonamiento conjunto, $S_{av}$ sigue siendo un componente menor. Las decisiones están dominadas por la información unimodal, particularmente la visual ($U_{vis} > U_{aud}$).
• Hegemonía visual: La validación funcional mediante el barajado de muestras confirmó que los modelos sufren caídas de rendimiento mayores bajo el desalineamiento visual que bajo el desalineamiento de audio.
• Puerta de control de instrucciones: El análisis por capas mostró que los prompts de lenguaje actúan como señales de control; debilitar las instrucciones que demandan fusión atenúa significamente la sinergia sensorial en las capas tardías.

4.3. Reponderación guiada por PID

Aplicando las puntuaciones locales derivadas de la PID al ajuste fino de LoRA en Qwen2.5-VL-7B:

• Ganancias de rendimiento: La reponderación guiada por PID mejoró el rendimiento de razonamiento y anclaje (p. ej., +2.3 en MMStar, +1.3 en POPE) en comparación con el ajuste fino uniforme y las líneas base (aleatorio, basado en precisión, basado en ablación).
• Cambio de perfil: Los diagnósticos post-ajuste mostraron un cambio hacia una mayor sinergia (la participación de $S_{vl}$ aumentó del 67.5% al 73.9%) y una menor dependencia de la unicidad del texto, confirmando la capacidad del método para dirigir el comportamiento del modelo.

5. Significado y Reivindicaciones

El artículo posiciona la PID no meramente como una herramienta de interpretabilidad post-hoc, sino como una señal práctica para diagnosticar y guiar la fusión multimodal.

• Más allá de la precisión: Los autores afirman que la información mutua total rastrea el rendimiento general pero falla en capturar la sensibilidad a la intervención; la descomposición PID es necesaria para entender cómo se utiliza la información.
• Perspectiva Mecanicista: Los hallazgos sugieren que los modelos omnimodales actuales sufren un patrón de computación de "primero visual", donde la integración cross-sensorial es retardada y controlada por instrucciones de lenguaje, en lugar de ser una característica persistente de las representaciones intermedias.
• Accionabilidad: El estudio proporciona evidencia inicial de que las puntuaciones de diagnóstico local pueden servir como señales accionables para fortalecer la fusión multimodal, ofreciendo una vía para mejorar el razonamiento y el anclaje sin un reentrenamiento completo del modelo.

Los autores mantienen la modestia, señalando que su enfoque de reponderación es una prueba de concepto y que la PID mide la dependencia estadística y no los mecanismos causales. Reconocen limitaciones respecto al espacio de decisión discreto (opción múltiple) y la aproximación de los condicionales unimodales mediante enmascaramiento.