Resumo Técnico: Avaliando e Direcionando Preferências de Modalidade em LLMs Multimodais

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) demonstraram capacidades excepcionais no processamento de dados heterogêneos (texto, imagem, vídeo). No entanto, uma lacuna crítica permanece na compreensão se esses modelos exibem preferência de modalidade — uma tendência sistemática de favorecer uma modalidade sobre outra ao processar contextos multimodais conflitantes. Os métodos de avaliação existentes frequentemente isolam as modalidades (por exemplo, testando apenas texto vs. apenas imagem) ou dependem de valores de Shapley, que falham em refletir cenários realistas onde as modalidades coocorrem e potencialmente conflitam. Além disso, não está claro se essas preferências intrínsecas são controláveis ou se correlacionam com o desempenho em tarefas subsequentes.

Metodologia

1. O Benchmark MC2

Para avaliar rigorosamente a preferência de modalidade, os autores introduzem o MC2 (Modality Context Conflict), um benchmark projetado para criar cenários controlados de conflito de evidências.

• Construção de Dados: O conjunto de dados compreende 2.000 amostras em oito tarefas (ex: contagem, reconhecimento de atributos, análise de sentimento). Ele é derivado do TDIUC e MS-COCO.
• Mecanismo de Conflito: Para cada amostra, um contexto visual ($c_v$) e um contexto textual ($c_t$) são construídos para fornecer evidências contraditórias em relação a uma pergunta específica ($q$).
• Validação: O pipeline de construção garante que os modelos possam compreender adequadamente ambas as modalidades isoladamente (alcançando >95% de precisão em testes de modalidade única) antes de serem testados no conflito. Isso elimina fatores de confusão como reconhecimento visual deficiente ou viés de conhecimento interno.
• Anotação: Um framework semi-automatizado usando LLMs (DeepSeekV3, GPT-4o-mini) gera respostas distratoras e textos conflitantes, seguido de verificação humana para garantir a inconsistência semântica entre as modalidades.

2. Métrica de Avaliação: Razão de Visão (Vision Ratio)

Os autores definem a Razão de Visão para quantificar a preferência:
$$\text{Razão de Visão} = \frac{S_{\text{visão}}}{S_{\text{visão}} + S_{\text{texto}}}$$
Onde $S$ representa a proporção de amostras onde a resposta do modelo se alinha com o contexto visual ou textual, respectivamente. Uma razão > 0,5 indica uma preferência pela visão; < 0,5 indica uma preferência pelo texto.

3. Análise de Impulsionadores

O estudo investiga os fatores que impulsionam essas preferências:

• Padrões de Atenção: Os autores correlacionam a Razão de Visão com a Razão de Atenção (atenção visual vs. atenção total), descobrindo que a distribuição desigual de atenção impulsiona a preferência.
• Escala e Treinamento: Experimentos mostram que modelos maiores geralmente exibem preferências visuais mais fortes. Adicionalmente, o ajuste fino (fine-tuning) com dados de conflito multimodal altera as preferências, sugerindo que a exposição a contextos conflitantes durante o treinamento influencia esses vieses.

4. Engenharia de Representação para Direcionamento (Steering)

Com base na descoberta de que a preferência de modalidade é codificada em representações latentes, os autores propõem um método de direcionamento livre de treinamento:

• Sondagem (Probing): O modelo é consultado com instruções para priorizar visão ou texto. A diferença nos estados ocultos ($x^t_{i,\ell} - x^v_{i,\ell}$) no último token através das camadas é computada para identificar o vetor de direção de preferência de modalidade ($u^\ell_t$).
• Seleção de Camada: A análise revela que as camadas 20–23 (em modelos como Qwen2.5VL) exibem os sinais de preferência mais estáveis e significativos.
• Direcionamento (Steering): Durante a inferência, um vetor de direcionamento escalonado ($s^\ell = w \cdot u^\ell$) é adicionado aos estados ocultos na camada selecionada. O peso $w$ é calculado para alinhar a média da direção sondada com a distribuição original, garantindo que a intervenção seja eficaz sem interromper as capacidades de linguagem.

Principais Resultados

Preferências de Modalidade em MLLMs

• Prevalência: Todos os 20 MLLMs testados exibem claras preferências de modalidade.
• Viés de Texto: A maioria dos modelos (ex: LLaVA1.5-7B) mostra uma forte preferência de texto (Razão de Visão ~13,4%), alinhando-se com a hipótese do "prior de linguagem".
• Preferência Visual: Modelos como Qwen2.5VL e InternVL3 mostram uma preferência visual mais forte, que aumenta com a escala do modelo.
• Correlação: Existe uma forte correlação positiva ($\rho = 0,964$) entre a Razão de Visão e o desempenho de compreensão visual em benchmarks subsequentes (ex: MathVista, TallyQA), sugerindo que a preferência é um indicador confiável de capacidade.

Eficácia do Direcionamento

O método de engenharia de representação proposto direciona com sucesso os modelos para uma modalidade desejada sem necessidade de fine-tuning:

• Desempenho no MC2: O método supera as linhas de base (Zero-shot, Design de Instrução, Cadeia de Pensamento, Few-shot) no ajuste da Razão de Visão. Por exemplo, direcionar o Qwen2.5VL-7B para o texto aumentou sua pontuação de alinhamento de texto de 35,4% para 63,6%.
• Tarefas Subsequentes:
  • Raciocínio: Melhora a precisão no MathVista (62,3% vs. 59,0% da linha de base) e no TallyQA (76,6% vs. 74,4%).
  • Mitigação de Alucinação: No benchmark PhD (especificamente o subconjunto com texto enganoso), o direcionamento para a visão reduziu significativamente as alucinações causadas por textos conflitantes.
  • Tradução: No AmbigCaps (tradução automática multimodal), o direcionamento para o texto melhorou as pontuações BLEU ao reduzir a dependência de pistas visuais espúrias.

Mecanismo Interno

A análise de atenção confirma que o método de direcionamento altera com sucesso a distribuição de atenção do modelo. Quando direcionado para o texto, o peso de atenção nos tokens de texto aumenta significamente (ex: de ~55% para ~83%) enquanto a atenção visual diminui, validando que a intervenção opera no nível da representação.

Significância e Alegações

O artigo alega três contribuições primárias:

1. Framework de Avaliação: A introdução do MC2 fornece o primeiro benchmark controlado e de larga escala para avaliar sistematicamente a preferência de modalidade em MLLMs, desacoplando a preferência das capacidades de compreensão.
2. Insight no Espaço Latente: O estudo revela que as preferências de modalidade são direcionáveis e identificáveis dentro das representações latentes dos MLLMs, oferecendo uma nova perspectiva sobre os mecanismos de raciocínio multimodal.
3. Controle Livre de Treinamento: O método de sondagem e direcionamento proposto permite o ajuste explícito e controlável da preferência de modalidade sem dados adicionais ou fine-tuning. Isso melhora o desempenho em tarefas subsequentes onde a dependência de uma modalidade específica é crítica (ex: evitar alucinações induzidas pelo texto em raciocínio visual).

Os autores concluem que entender e controlar a preferência de modalidade é essencial para o desenvolvimento de sistemas multimodais mais confiáveis e robustos, particularmente em cenários onde há informações conflitantes presentes.