Information Router for Mitigating Modality Dominance in Vision-Language Models

1. O Problema: Dominância de Modalidade e Disparidade de Informação

Os Modelos Visão-Linguagem (VLMs) têm demonstrado alto desempenho em diversos benchmarks, mas sofrem de um problema persistente chamado dominância de modalidade. Nesse cenário, o modelo faz previsões baseadas desproporcionalmente em uma única modalidade (geralmente o texto), ignorando ou subutilizando a outra (visual).

• Limitação das Abordagens Atuais: Métodos anteriores tentam mitigar esse problema ajustando a alocação de atenção do modelo (forçando o modelo a "olhar" mais para a imagem). No entanto, esses métodos assumem implicitamente que todas as modalidades já contêm informação suficiente.
• A Raiz do Problema: No mundo real, as modalidades frequentemente diferem em densidade de informação e na relação sinal-ruído. Por exemplo, tokens visuais podem ser esparsos ou ambíguos devido a limitações de ponto de vista, enquanto tokens de linguagem são densos e semanticamente explícitos.
• Consequência: Quando tokens heterogêneos são processados juntos sem corrigir essa disparidade, o modelo tende a confiar no texto apenas porque a informação visual é insuficiente ou ruidosa. Ajustar apenas a atenção não resolve a falta de informação subjacente.

2. Metodologia: MOIR (Multi-modal Information Router)

Os autores propõem o MOIR, um método de fusão de nível de informação que atua antes da fusão final com o decodificador do LLM (Large Language Model). O objetivo é reduzir a disparidade de informação entre as modalidades.

Funcionamento do MOIR:

1. Identificação de Tokens Pouco Informativos:

   • O MOIR analisa os tokens de cada modalidade (ex: imagem e texto) após a codificação, mas antes de entrarem no LLM.
   • Utiliza Decomposição em Valores Singulares (SVD) nos embeddings dos tokens para calcular uma pontuação de "informatividade" para cada canal (dimensão) do vetor.
   • Canais com baixa contribuição para os componentes principais são identificados como "pouco informativos" (esparsos ou ruidosos).

2. Roteamento de Informação Complementar:

   • Uma vez identificados os canais fracos em uma modalidade (ex: imagem), o MOIR roteia seletivamente informação complementar da modalidade mais forte (ex: texto) para preencher essas lacunas.
   • Isso é feito através de um mecanismo de gate aprendível ($\alpha$), que controla a quantidade de informação injetada:
     $$\bar{F} = \alpha \cdot F_{\text{outra}} + (1 - \alpha) \cdot F_{\text{original}}$$
   • O resultado é a construção de representações de tokens densas em informação para ambas as modalidades.

3. Integração com o LLM:

   • Os tokens enriquecidos são concatenados e passados para o decodificador do LLM.
   • Ao modificar a disponibilidade de informação, o MOIR permite que o modelo ajuste naturalmente sua dependência de modalidades, resultando em uma distribuição de atenção mais equilibrada.

3. Principais Contribuições

1. Proposta do MOIR: Um método de fusão multimodal que realiza troca de informação explícita entre modalidades para resolver a dominância, focando na densidade de informação dos tokens.
2. Revisão da Definição de Dominância: O trabalho argumenta que mudar o uso da modalidade sem considerar o "status evidencial" (se a modalidade é ruidosa ou informativa) é arriscado. O MOIR aborda a causa raiz (disparidade de informação) em vez de apenas tratar o sintoma (atenção desbalanceada).
3. Resultados Empíricos Robustos: Demonstração de que o MOIR altera consistentemente a contribuição das modalidades, melhora a robustez (especialmente sob degradação de modalidade) e aumenta o desempenho em tarefas downstream.

4. Resultados Experimentais

O MOIR foi avaliado em três benchmarks amplamente utilizados (ScienceQA, VizWiz e MMBench-Video) e em diferentes arquiteturas de modelos (LLaVA-1.5, Qwen2.5-VL).

• Desempenho em Tarefas Downstream:
  • O MOIR manteve ou melhorou a precisão em todos os benchmarks.
  • Melhorias significativas foram observadas em tarefas que exigem raciocínio visual forte e aberto (como VizWiz e MMBench-Video), onde a evidência visual é indispensável.
• Análise de Dominância de Modalidade:
  • Índice de Dominância de Modalidade (MDI) e Índice de Eficiência de Atenção (AEI): O MOIR reduziu consistentemente esses valores, indicando um uso mais equilibrado das modalidades.
  • Rank de Informação: Houve um aumento no "Rank $\Delta$" (riqueza de informação) tanto para tokens de imagem quanto de texto, provando que o método não suprime uma modalidade, mas enriquece ambas.
• Robustez (Tabela 2):
  • Em um teste onde as imagens do conjunto de dados VizWiz foram substituídas por ruído gaussiano, o modelo base manteve as mesmas previsões em 62,13% dos casos (indicando cegueira visual).
  • Com o MOIR, essa taxa caiu drasticamente para 29,63%, demonstrando que o modelo tornou-se sensível à ausência de informação visual e parou de depender cegamente do texto.
• Estudos Qualitativos:
  • Em tarefas de vídeo, o modelo base tendia a alucinar ou repetir o texto da pergunta. O MOIR gerou respostas fundamentadas na evidência visual real dos frames (ex: identificar corretamente "Paypal Honey" em um vídeo).

5. Significado e Conclusão

O artigo estabelece que a dominância de modalidade muitas vezes surge não apenas de um viés de aprendizado, mas de uma disparidade real na disponibilidade de informação entre os dados de entrada.

• Inovação: Ao invés de apenas forçar o modelo a prestar atenção (o que falha se a informação não existir), o MOIR enriquece ativamente os dados de entrada, criando representações mais densas e informativas antes da fusão.
• Impacto: Esta abordagem oferece uma estratégia complementar e eficaz para construir sistemas multimodais mais confiáveis, capazes de realizar raciocínio baseado em evidências reais, mesmo quando uma das modalidades está degradada ou ambígua.

Em resumo, o MOIR demonstra que a intervenção no nível de informação (pré-fusão) é fundamental para mitigar a dominância de modalidade e melhorar a robustez dos VLMs.