Resumo Técnico: Em Direção à Compreensão da Interação de Modalidades em Modelos de Linguagem Multimodais via Decomposição de Informação Parcial

1. Declaração do Problema

Modelos de Linguagem Multimodais de Grande Escala (MLLMs) estão sendo cada vez mais implantados como agentes de tomada de decisão em contextos científicos, médicos e incorporados (embodied). No entanto, os paradigmas de avaliação atuais avaliam primariamente a precisão do resultado, oferecendo uma visão limitada de como os modelos utilizam entradas sensoriais (visão, áudio) e linguísticas para alcançar essas decisões. Métodos de interpretabilidade existentes — como alinhamento de representação, análise de atenção e ablação de modalidade — revelam como as modalidades são codificadas ou como as previsões mudam sob perturbações. No entanto, eles falham em fornecer uma decomposição ao nível da decisão do uso de modalidades. Especificamente, eles não conseguem distinguir se uma modalidade contribui com informação que é única, redundante com outra modalidade ou sinérgica (disponível apenas através da observação conjunta). Consequentemente, diferentes formas de interação multimodal são frequentemente confundidas sob o mesmo sinal de precisão ou ablação.

2. Metodologia

Os autores formalizam o raciocínio multimodal como um problema de decomposição de informação ao nível da decisão usando a Decomposição de Informação Parcial (PID).

2.1. Estrutura de PID ao Nível da Decisão

Ao contrário de trabalhos anteriores que analisam representações latentes, esta estrutura calcula métricas de informação sobre distribuições preditivas induzidas pelo modelo.

• Formulação Bi-modal: Para modelos de visão-linguagem, a informação mútua entre a previsão $Y$ e as entradas (Visão $X_v$, Texto $X_t$) é decomposta em quatro componentes não negativos:
  • $U_{vis}$: Informação única da visão.
  • $U_{txt}$: Informação única do texto.
  • $R_{vl}$: Informação redundante compartilhada por ambos.
  • $S_{vl}$: Informação sinérgica que surge apenas da observação conjunta.
• PID Sensorial (Tri-modal): Para modelos omni-modais (Vídeo $V$, Áudio $A$, Texto $T$), os autores introduzem uma formulação condicional tratando a linguagem como um sinal de controle diretivo. Isso decompõe o ganho de informação sensorial $I(Y; V, A | T)$ em componentes de visão única ($U_{vis}$), áudio único ($U_{aud}$), redundância sensorial ($R_{sens}$) e sinergia sensorial ($S_{av}$). Isso evita a expansão combinatória enquanto preserva a distinção funcional entre a especificação da tarefa (linguagem) e a evidência sensorial.

2.2. Pipeline de Estimativa

Para estimar a PID a partir de estados ocultos contínuos de alta dimensão sem retreinar o MLLM, os autores empregam:

1. Mascaramento de Embedding Calibrado: Para aproximar condicionais unimodais (ex: $P(Y|X_v)$), eles substituem os embeddings de tokens da modalidade mascarada por ruído Gaussiano calibrado, preservando as estatísticas da distribuição enquanto removem a informação específica da instância.
2. Estimador BATCH: Eles utilizam o estimador BATCH (Liang et al., 2023) para aprender um acoplamento normalizado por Sinkhorn $\tilde{Q}$ que preserva as marginais fonte-alvo, permitendo a otimização tratável dos termos de PID sobre variáveis contínuas.
3. Scores Diagnósticos Locais: A estrutura se estende para contribuições aditivas por amostra, permitindo a identificação de amostras de "lacuna de sinergia" (alto potencial de fusão, baixa sinergia atual) e amostras de "atalho" (forte dependência de texto-único).

3. Principais Contribuições

1. PID ao Nível da Decisão para MLLMs: Uma formalização da interação de modalidades como um problema de decomposição de informação, separando contribuições únicas, redundantes e sinérgicas que são inidentificáveis via similaridade de representação ou ablação isolada.
2. PID Sensorial para Modelos Omni-modais: Uma formulação de PID condicional que trata a linguagem como um sinal de controle para decompor o ganho de informação vídeo-áudio, permitindo a análise principista da tomada de decisão tri-modal.
3. Achados Diagnósticos, Preditivos e Acionáveis:
   • Perfis de Uso de Modalidade: Identificação de padrões recorrentes onde tarefas de raciocínio/fundamentação (grounding) evocam alta sinergia, enquanto tarefas de especialista/conhecimento mostram forte dependência de texto-único.
   • Validade Preditiva: Os termos de PID preveem a sensibilidade a intervenções ao nível da modalidade (ex: remoção de imagem).
   • Gargalo de Sinergia Sensorial: Descoberta de que modelos omni-modais permanecem dominados pela informação visual mesmo em tarefas que explicitamente requerem fusão áudio-visual.
   • Dinâmicas Camada a Camada: Evidência de que a fusão cross-modal é um fenômeno de estágio tardio, com a sinergia emergindo primariamente nas camadas finais da rede.
4. Reponderação Guiada por PID: Uma prova de conceito de estratégia de treinamento usando scores diagnósticos locais para reponderar amostras durante o ajuste fino (fine-tuning) de LoRA, aumentando o peso de amostras sub-sinergizadas e diminuindo o peso de amostras de atalho de linguagem.

4. Resultados Experimentais

4.1. Análise de Visão-Linguagem

Através de 20 modelos e 6 benchmarks, a PID revelou dois regimes distintos:

• Dominante em Sinergia: Benchmarks como MMBench, MMStar e POPE (grounding) exibem alto $S_{vl}$ e forte dependência da entrada visual.
• Dominante em Prior de Texto: Benchmarks como MMMU, PMC-VQA e Reefknot exibem alto $U_{txt}$ e são amplamente insensíveis à remoção visual.
• Famílias de Modelos: As famílias Qwen, InternVL3 e LLaVA-OV tendem a ser dependentes de modalidade conjunta, enquanto Gemma3 e Cambrian são dependentes de prior de linguagem. O escalonamento amplia esses perfis existentes em vez de apagá-los.
• Predição: $S_{vl}$ correlaciona-se fortemente com a precisão e a sensibilidade à remoção de visão em tarefas de sinergia ($\rho \geq 0.798$), enquanto $U_{txt}$ é mais informativo em tarefas dominadas por priors.

4.2. Análise Omni-modal

No benchmark MUSIC-AVQA (especificamente o subconjunto AV-Fusion):

• Gargalo de Sinergia Sensorial: Apesar de tarefas desenhadas para raciocínio conjunto, $S_{av}$ permanece um componente menor. As decisões são dominadas por informação unimodal, particularmente visual ($U_{vis} > U_{aud}$).
• Hegemonia Visual: A validação funcional via embaralhamento de amostras confirmou que os modelos sofrem quedas de desempenho maiores sob desalinhamento visual do que sob desalinhamento de áudio.
• Portão de Instrução (Instruction Gating): A análise camada a camada mostrou que prompts de linguagem atuam como sinais de controle; enfraquecer instruções que demandam fusão atenua significativamente a sinergia sensorial nas camadas tardias.

4.3. Reponderação Guiada por PID

Aplicando scores diagnósticos locais de PID ao ajuste fino de LoRA no Qwen2.5-VL-7B:

• Ganhos de Desempenho: A reponderação guiada por PID melhorou o desempenho de raciocínio e fundamentação (ex: +2.3 no MMStar, +1.3 no POPE) comparado ao ajuste fino uniforme e baselines (aleatório, baseado em precisão, baseado em ablação).
• Mudança de Perfil: Diagnósticos pós-ajuste mostraram uma mudança para maior sinergia (a participação de $S_{vl}$ aumentou de 67.5% para 73.9%) e menor dependência de texto-único, confirmando a capacidade do método de direcionar o comportamento do modelo.

5. Significância e Alegações

O artigo posiciona a PID não meramente como uma ferramenta de interpretabilidade post-hoc, mas como um sinal prático para diagnosticar e guiar a fusão multimodal.

• Além da Precisão: Os autores alegam que a informação mútua total rastreia o desempenho geral, mas falha em capturar a sensibilidade à intervenção; a decomposição PID é necessária para entender como a informação é usada.
• Insight Mecanístico: Os achados sugerem que os atuais modelos omni-modais sofrem de um padrão de computação "visual-primeiro", onde a integração cross-sensorial é atrasada e controlada por instruções de linguagem, em vez de ser uma característica persistente das representações intermediárias.
• Acionabilidade: O estudo fornece evidência inicial de que scores diagnósticos locais podem servir como sinais acionáveis para fortalecer a fusão multimodal, oferecendo um caminho para melhorar o raciocínio e a fundamentação sem o retreinamento total do modelo.

Os autores mantêm a modéstia, observando que sua abordagem de reponderação é uma prova de conceito e que a PID mede dependência estatística, não mecanismos causais. Eles reconhecem limitações quanto ao espaço de decisão discreto (múltipla escolha) e à aproximação de condicionais unimodais via mascaramento.