Resumo Técnico: MLLMs Acertam Primeiro, Depois Erram: Rastreando e Corrigindo o Viés Textual de Camadas Tardias

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) exibem um viés consistente em direção à informação textual quando esta contradiz a evidência visual. Mesmo quando uma imagem fornece prova clara de um fato (ex: um carro vermelho), os MLLMs frequentemente produzem a resposta sugerida pelo texto conflitante (ex: "carro azul"). Esse "sobreposicionamento textual" (textual override) representa riscos significativos para aplicações críticas de segurança, como diagnóstico médico ou direção autônoma, onde confiar em um texto errôneo em vez da percepção visual pode levar a erros graves.

Trabalhos anteriores documentaram este fenômeno, mas não esclareceram o mecanismo subjacente. Permanece incerto se a falha decorre de uma codificação visual inicial deficiente, da perda de informação durante a fusão cross-modal ou do processamento correto dos dados visuais seguido por sua subsequente sobreposição por priors textuais em camadas mais profundas.

2. Metodologia e Análise

2.1 Rastreamento por Camada e Razão de Dominância Modal (MDR)

Para investigar o mecanismo de falha, os autores rastreiam trajetórias de predição através das camadas do modelo. Eles projetam os estados ocultos em cada camada $l$ para probabilidades de saída usando o cabeçalho do modelo de linguagem. Eles introduzem a Razão de Dominância Modal (MDR) para quantificar a preferência pela resposta visual ($w_{vis}$) versus a textual ($w_{text}$) em cada camada:
$$\text{MDR}^{(l)} = \log \frac{P^{(l)}_t(w_{vis})}{P^{(l)}_t(w_{text})}$$

• MDR Positivo: Preferência pela resposta visual.
• MDR Negativo: Preferência pela resposta textual.

2.2 O Fenômeno do "Sobreposicionamento Textual de Camada Tardia"

A análise de amostras de Conflito-Incorretas (onde o modelo falha) revela um padrão surpreendente:

1. Corretude Inicial: Em camadas intermediárias, o modelo atribui uma probabilidade maior à resposta visual correta (MDR Positivo).
2. O Sobreposicionamento: Nas camadas posteriores, o MDR torna-se negativo e o modelo muda sua preferência para a resposta textual incorreta.
3. Conclusão: A informação visual é codificada com sucesso, mas falha em sobreviver à passagem direta completa devido ao processamento de camadas tardias.

2.3 Assinatura Direcional da Corretude

Os autores observam que as mudanças de predição ocorrem tanto em casos bem-sucedidos quanto em falhas. No entanto, a direção da mudança os distingue:

• Falhas (Conflito-Incorreto): 85% das transições mudam em direção ao texto ($\Delta \text{MDR} < 0$).
• Sucessos (Conflito-Correto e Não-Conflito): 89–91% das transições mudam em direção à visão ou permanecem estáveis ($\Delta \text{MDR} > 0$).

Esta assimetria direcional sugere que as camadas tardias às vezes refinam as predições (benéfico), mas às vezes suprimem a evidência visual (prejudicial).

2.4 Decodificação de Referência Consciente de Conflito (CALRD)

Com base nessas descobertas, os autores propõem o CALRD, um método de intervenção no tempo de inferência que não requer treinamento. Ele não exige conhecimento externo ou retreinamento.

Mecanismo de Detecção:
O CALRD identifica "sobreposicionamentos prejudiciais" usando dois sinais derivados da camada de transição ($L_{trans}$), definida como a camada com a mudança de distribuição mais acentuada (detectada via Divergência de Jensen-Shannon):

1. Confiança da Âncora ($D_{conf}$): A probabilidade da predição principal na camada de transição. Alta confiança indica uma preferência intermediária forte.
2. Retenção da Predição ($\rho$): A razão entre a probabilidade da camada final e a probabilidade da camada de transição para o mesmo token. Baixa retenção indica que a predição foi suprimida.

Lógica de Intervenção:
Uma força de correção $\lambda$ é calculada como:
$$\lambda = D_{conf} \cdot (1 - \rho)$$

• Se uma predição confiante existe ($D_{conf}$ alta), mas é suprimida ($\rho$ baixa), $\lambda$ torna-se grande.
• Se a predição é estável ou incerta, $\lambda$ permanece próximo de zero.

Estratégia de Decodificação:
Os logits finais de saída são ajustados misturando os logits da camada de transição com os logits da camada final:
$$\phi'_t = (1 - \lambda) \cdot \phi^{(N)}_t + \lambda \cdot \phi^{(L_{trans})}_t$$
Isso restaura a resposta fundamentada na visão que estava presente nas camadas intermediárias, mas que foi sobreposta na saída final.

3. Principais Contribuições

1. Descoberta Mecanística: O artigo identifica o "sobreposicionamento textual de camada tardia" como a causa primária das falhas de conflito visual-textual, demonstrando que os modelos frequentemente "acertam primeiro" antes de mudarem de ideia.
2. Preditor Direcional: Os autores mostam que a direção das mudanças de predição (em direção ao texto vs. em direção à visão) é um preditor confiável de corretude, distinguindo sobreposicionamentos prejudiciais de refinamentos benéficos.
3. Método CALRD: Uma estratégia de decodificação sem treinamento que recupera seletivamente predições sobrepostas usando sinais internos do modelo, preservando o desempenho padrão enquanto corrige conflitos.
4. Benchmark de Conflito-VQA: A construção de um novo benchmark de diagnóstico (5.969 amostras) com anotações visuais-textuais explícitas para facilitar a análise mecanística.

4. Resultados Experimentais

Os autores avaliaram o CALRD em cinco MLLMs (InstructBLIP, LLaVA-1.5/1.6, Qwen2.5-VL, Qwen3-VL) através de várias arquiteturas.

• Benchmarks de Conflito: O CALRD alcançou até 9,4% de melhoria absoluta em tarefas de conflito (ex: PhD-icc e Conflict-VQA).
  • No PhD-icc, o LLaVA-1.5 melhorou de 27,72% para 36,35% (+8,63%).
  • As melhorias foram geralmente maiores para modelos mais fracos, pois modelos mais fortes já resolvem mais conflitos corretamente em suas camadas tardias.
• Benchmarks Padrão (Não-Conflito): O CALRD preservou ou melhorou ligeiramente o desempenho em benchmarks de alucinação padrão (POPE e CHAIR, demonstrando que o método não degrada indiscriminadamente o desempenho em tarefas de não-conflito.
• Comparação: O CALRD superou métodos baseados em camadas existentes como DoLa e DeCo, que frequentemente aplicam correções uniformes e podem degradar o desempenho quando o processamento de camada tardia é, na verdade, benéfico.
• Eficiência: O CALRD adiciona um overhead mínimo (~1,5ms/token e 80MB de memória) em comparação com a decodificação vanilla, tornando-o prático para implantação.

5. Significância e Alegações

O artigo reivindica uma mudança de perspectiva para melhorar a confiabilidade dos MLLMs: em vez de focar apenas em ensinar os modelos a "ver melhor" (melhor codificação visual), a confiabilidade pode ser melhorada ajudando os modelos a reter o que já viram.

Os autores enfatizam que seu método é modesto em escopo:

• Ele aborda um modo de falha específico (sobreposicionamento de camada tardia) em vez de todas as alucinações.
• Baseia-se nas próprias representações internas do modelo, não exigindo bases de conhecimento externas ou dados de treinamento adicionais.
• A intervenção é adaptativa; ela só é ativada quando a assinatura específica de sobreposicionamento prejudicial (alta confiança + baixa retenção) é detectada, garantindo que o processamento benéfico da camada tardia não seja interrompido.

O trabalho sugere que a "confiança cega no texto" observada nos MLLMs não é necessariamente uma falta de compreensão visual, mas uma falha de preservação de informação através da profundidade da rede. O CALRD fornece um mecanismo para recuperar essa informação perdida.