Resumo Técnico: Mitigação de Alucinações em Modelos de Linguagem e Visão Grandes via Comutação de Rotas Causais

1. Declaração do Problema

Modelos de Linguagem e Visão Grandes (LVLMs) frequentemente sofrem de alucinações, gerando conteúdo fluente e plausível que carece de suporte na imagem de entrada. Essa questão compromete a confiabilidade dos LVLMs em implantações do mundo real, particularmente em configurações críticas para a segurança ou de suporte à decisão.

O artigo identifica um modo de falha específico: competição de rotas. Mesmo quando os tokens visuais recebem atenção, a decisão final do token pode ser dominada pela via textual. Consequentemente, o decodificador segue prioridades linguísticas (o que é plausível) em vez de evidências visuais (o que é visível). Estratégias de mitigação sem treinamento existentes frequentemente dependem de proxies baseados em atenção (por exemplo, Razão de Atenção Visual, VAR) ou redimensionamento grosseiro de cabeças. Os autores argumentam que essas são insuficientes porque:

• Alta massa de atenção não se traduz necessariamente em uma contribuição causal para a saída.
• A normalização softmax pode inflar espúriamente as cotas de atenção visual ao enfraquecer a competição textual sem realmente fundamentar a decisão.
• O redimensionamento grosseiro suprime tanto as rotas visuais quanto as textuais, potencialmente prejudicando o raciocínio genuinamente fundamentado.

2. Metodologia: Comutação de Rotas Causais (CRG)

O método proposto, Comutação de Rotas Causais (CRG), é uma intervenção sem treinamento, no momento da inferência, que opera no nível de token decompondo as cabeças de atenção em rotas visuais e textuais distintas.

2.1. Decomposição de Rotas Interna à Cabeça

Os autores aproveitam a linearidade das operações do Transformer para decompor a saída de cada cabeça de atenção $h$ na camada $l$ em dois componentes aditivos:

• Rota Visual ($O^{vis}_{l,h}$): A contribuição derivada de tokens visuais.
• Rota Textual ($O^{txt}_{l,h}$): A contribuição derivada de tokens textuais.
  A saída total da cabeça é $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$.

2.2. Efeitos de Rota Causais Alinhados à Decisão (CRE)

Em vez de depender de pesos de atenção, o CRG mede o efeito causal de cada rota na pontuação de decisão do token atual $\ell$ (por exemplo, log-probabilidade do token gerado ou margem de log-odds para QA binário). Usando do-intervenções, os efeitos são definidos como:

• $\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$: A mudança na pontuação quando a rota visual é removida.
• $\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$: A mudança na pontuação quando a rota textual é removida.

Um $\Delta$ positivo indica que a rota apoia a decisão; um $\Delta$ negativo indica que ela se opõe à decisão.

2.3. Identificação de Conflitos e Índice de Dependência Visual (VRI)

O método identifica conflitos de rotas onde as rotas visual e textual empurram a decisão em direções opostas (os sinais de $\Delta^{vis}$ e $\Delta^{txt}$ diferem).

• Conflito-A (+, -): Visual apoia, Textual se opõe.
• Conflito-B (-, +): Visual se opõe, Textual apoia (a marca registrada da alucinação onde prioridades linguísticas sobrepõem evidências visuais).

Para priorizar a intervenção, os autores definem o Índice de Dependência Visual (VRI):
$$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$$
Um VRI baixo indica que uma cabeça é orientada por texto (dominada por prior).

2.4. Estimativa Eficiente e Intervenção

• Aproximação de Um Avanço/Um Gradiente: Calcular efeitos do causais exatos requer múltiplas passagens para frente. O CRG usa uma aproximação de primeira ordem que requer apenas uma passagem para frente e uma consulta de gradiente por token. As estimativas são derivadas do produto interno das saídas das rotas e do gradiente da pontuação de decisão ($\nabla \ell$).
• Comutação Consciente de Conflitos:
  1. Selecionar as top-$k$ cabeças com o VRI mais baixo dentro dos conjuntos de conflito.
  2. Aplicar uma porta de rota textual ($g^{txt}_{l,h}$) para suprimir a contribuição textual enquanto mantém a rota visual intacta ($g^{vis}_{l,h} = 1$).
  3. Supressão Diferenciada:
     • Conflito-A: Supressão leve (faixa de porta [0.5, 1.0]) para estabilizar ruído.
     • Conflito-B: Supressão forte (faixa de porta [0, 0.5]) para cortar prioridades linguísticas que contradizem evidências visuais.

3. Principais Contribuições

1. Efeitos Causais no Nível de Rota: Introdução de efeitos causais alinhados à decisão para rotas visuais e textuais dentro das cabeças de atenção, indo além de proxies de atenção correlacionais.
2. Índice de Dependência Visual (VRI): Uma métrica normalizada para identificar cabeças dominadas por prior que impulsionam alucinações.
3. Estimador Eficiente: Um estimador de primeira ordem permitindo seleção de cabeças por passo com sobrecarga computacional mínima (um avanço, um gradiente).
4. Intervenção Consciente de Conflitos: Um mecanismo de comutação seletivo que suprime apenas a rota textual em cabeças conflitantes, preservando a fundamentação visual.
5. Análise Teórica: Demonstração de que a massa de atenção (VAR) não é um proxy suficiente para fundamentação visual relevante para a decisão devido ao conteúdo de valor e efeitos de competição softmax.

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks abrangendo configurações discriminativas (POPE, AMBER) e generativas (CHAIR, MMHal-Bench, MME) em três modelos (LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct).

• Redução de Alucinações: O CRG reduziu consistentemente erros relacionados a alucinações. No benchmark POPE, melhorou a precisão em 6,3% a 7,0% sobre a decodificação regular e superou bases fortes como VCD, OPERA e VTI.
• Desempenho Generativo: No CHAIR, o CRG alcançou as taxas mais baixas de alucinação (CS/CI) enquanto mantinha alta recuperação e apenas um aumento modesto no comprimento de geração.
• Capacidade Multimodal: No MME, o método melhorou o desempenho em categorias sensíveis à fundamentação (Existência, Contagem, Posição, Cor) e tarefas de raciocínio de nível superior, indicando que a redução de alucinações não ocorreu à custa do desempenho multimodal geral.
• Eficiência: O CRG incorreu em uma sobrecarga de latência de 2,27x (aprox. 139ms/etapa) comparado à decodificação regular, o que é comparável à Decodificação Contrastiva Visual (VCD) e significativamente mais rápido que o OPERA (7,12x). Crucialmente, não introduziu sobrecarga adicional de memória de pico da GPU (1,00x).

5. Significado e Alegações

O artigo alega que a alucinação em LVLMs é frequentemente resultado de competição de rotas incompatível onde prioridades linguísticas sobrepõem evidências visuais. Ao expor e intervir nessas rotas internas, o CRG oferece uma solução direcionada que:

• Restaura a Fundamentação Visual: Permite que o modelo confie em evidências visuais mesmo quando prioridades linguísticas sugerem uma resposta diferente.
• Evita Supressão Indiscriminada: Ao contrário de métodos que redimensionam cabeças inteiras, o CRG suprime seletivamente apenas a rota textual em cabeças conflitantes, preservando o caminho visual.
• Fornece Interpretabilidade: O uso de efeitos causais e VRI oferece um diagnóstico mais claro de por que um modelo alucina (ou seja, cabeças específicas onde prioridades textuais dominam evidências visuais) em comparação com proxies de massa de atenção.

6. Limitações

Os autores notam explicitamente várias limitações:

• Escopo: O CRG visa alucinações mediadas por conflito. Não pode corrigir erros onde ambas as rotas visual e textual compartilham o mesmo viés (por exemplo, uma "banana rosa" onde o próprio codificador visual é tendencioso) ou erros dominados por falhas de percepção/OCR.
• Evidência Fraca: Em casos de evidência visual ambígua, o método pode tornar-se excessivamente conservador, suprimindo prioridades linguísticas úteis que poderiam ajudar na adivinhação.
• Requisito de Caixa Branca: O método requer acesso a ativações internas e gradientes, tornando-o inadequado para APIs de código fechado sem modificação.
• Sobrecarga: Embora modesta, a computação de gradiente por token adiciona latência, o que pode ser significativo para geração de texto muito longo.