Residual Decoding: Mitigating Hallucinations in Large Vision-Language Models via History-Aware Residual Guidance

---

1. O Problema: Alucinações em Modelos de Visão e Linguagem (LVLMs)

Os Modelos Grandes de Visão e Linguagem (LVLMs) têm demonstrado capacidades notáveis em tarefas multimodais, combinando percepção visual e compreensão linguística. No entanto, eles sofrem de um problema crítico: alucinações.

• Definição: Alucinações referem-se a conteúdo gerado que é gramaticalmente e sintaticamente coerente, mas não corresponde ou é irrelevante para a entrada visual.
• Causa Principal: O artigo identifica que, além de vieses de pré-treinamento e alinhamento fraco visão-linguagem, a principal causa é o viés de prioridade linguística (Language-Prior Hallucination). Durante a geração, o conteúdo textual gradualmente ofusca o contexto visual, levando o modelo a depender de padrões linguísticos e templates de diálogo (ex: "A resposta é...") em vez da imagem real.
• Limitações das Soluções Atuais:
  • Métodos baseados em treinamento: Requerem dados adicionais, anotações custosas e fine-tuning, limitando a escalabilidade.
  • Métodos sem treinamento (inference-time): Técnicas como decodificação contrastiva ou intervenções em atenção/FFNs frequentemente exigem múltiplas passagens de inferência (2x ou mais), aumentando significativamente o tempo de latência e o uso de memória GPU, ou modificam a arquitetura interna do modelo, reduzindo a generalização.

2. Metodologia: Residual Decoding (ResDec)

O artigo propõe o ResDec, uma estratégia de decodificação sem treinamento (training-free), plug-and-play e de baixo custo computacional.

2.1. Observação Fundamental: Inferência Implícita

Os autores observam que os LVLMs possuem uma capacidade de "inferência implícita". Antes de decodificar explicitamente a resposta final, o modelo já "sabe" a resposta correta.

• Ao analisar a distribuição de logits (probabilidades) dos tokens históricos (anteriores), os sinais da resposta correta já estão presentes e evoluem de forma previsível.
• No entanto, em certos momentos (especialmente ao gerar tokens de template como ":"), o modelo pode atribuir logits anormalmente altos a tokens alucinados devido a prioridades linguísticas, superando os tokens verdadeiros.

2.2. Análise Temporal e JSD

Para identificar os momentos estáveis de inferência, os autores analisam a evolução temporal das distribuições de probabilidade dos tokens candidatos usando a Divergência de Jensen-Shannon (JSD). Eles observam um padrão em forma de "U":

1. Fase de Pré-Clareza Semântica (PSAP): A distribuição é caótica e oscilante (JSD alto).
2. Fase de Ancoragem Semântica (SAP): O JSD atinge um mínimo (valores próximos de zero), indicando que a distribuição de tokens candidatos estabilizou e convergiu para o significado central.
3. Fase de Divergência Expressiva (EDP): O JSD sobe novamente à medida que o modelo busca diversidade expressiva e alinhamento com templates, tornando-se suscetível a alucinações.

2.3. O Algoritmo ResDec

O método opera em duas etapas principais:

1. Agregação de Informação Histórica com Peso de Confiança:

   • O método seleciona uma janela histórica que abrange as fases SAP e EDP (após a convergência inicial).
   • Calcula um sinal residual agregando os logits dos tokens históricos.
   • Aplica um peso de confiança ($C_i$) baseado na entropia da distribuição de tokens em cada passo de tempo. Passos com baixa entropia (alta certeza) recebem maior peso.
   • Isso cria um "sinal residual" ($\text{logit}^\text{res}$) que representa a informação semântica estável extraída do histórico.

2. Integração e Decodificação:

   • O sinal residual é fundido com os logits atuais do modelo através de uma combinação ponderada:
     $$\text{logit}_\text{final} = (1-\alpha) \cdot \text{logit}_\text{atual} + \alpha \cdot \text{logit}^\text{res}$$
   • Um hiperparâmetro $\alpha$ controla a força da correção.
   • Uma restrição de truncagem adaptativa ($\beta$) é aplicada para filtrar tokens implausíveis fora do conjunto de cabeças de distribuição ($V_\text{head}$).

3. Principais Contribuições

1. Descoberta Mecânica: Identificação de que as alucinações ocorrem quando tokens alucinados emergem erroneamente na distribuição de logits durante a decodificação, superando os tokens genuínos devido a prioridades linguísticas.
2. Novo Método (ResDec): Proposta de uma estratégia de decodificação que utiliza a informação histórica (logits passados) para guiar a decodificação atual, sem necessidade de re-treinamento do modelo.
3. Eficiência: O método requer apenas uma única passagem forward (single forward pass), não utiliza modelos contrastivos externos ou codificadores adicionais, e tem um custo de inferência quase idêntico à decodificação padrão.
4. Generalização: Demonstração de que o método funciona bem em diversos modelos (LLaVA-1.5, Qwen2.5-VL, InstructBLIP) e benchmarks.

4. Resultados Experimentais

Os autores avaliaram o ResDec em 11 benchmarks abrangentes, incluindo POPE, CHAIR, HallusionBench, MME, MMBench, entre outros.

• Mitigação de Alucinações:
  • No benchmark POPE (focado em objetos), o ResDec superou consistentemente a estratégia de decodificação regular ("Regular") e todos os métodos state-of-the-art (SOTA) como VCD, ICD, DoLa e OPERA.
  • Melhoria Média: Aumento de 7,84% na acurácia e 8,01% no F1-score em comparação com a decodificação regular em três LVLMs diferentes.
  • No benchmark CHAIR (descrição de imagens), houve reduções significativas nas alucinações de objetos (CHAIRS) e sentenças (CHAIRI).
• Desempenho Geral:
  • O método não apenas reduziu alucinações, mas também melhorou o desempenho em benchmarks de raciocínio multimodal abrangentes (MME, ScienceQA, MMVP), indicando que a correção de viés linguístico beneficia a compreensão geral.
• Eficiência Computacional:
  • O ResDec apresentou a menor latência entre os métodos SOTA, sendo apenas 0,02x mais lento que a decodificação Greedy padrão, enquanto métodos concorrentes como OPERA ou VCD exigem 2x a 3x mais tempo.
  • O custo de memória é negligenciável, pois reutiliza logits gerados naturalmente durante a inferência.

5. Significado e Conclusão

O trabalho ResDec oferece uma solução prática e eficiente para um dos maiores obstáculos na aplicação de LVLMs: a confiabilidade. Ao demonstrar que a informação necessária para corrigir alucinações já está embutida na evolução temporal dos logits do próprio modelo, os autores propõem uma intervenção simples no estágio de decodificação.

A importância do estudo reside em:

• Viabilidade Prática: Elimina a necessidade de fine-tuning custoso ou infraestrutura de inferência pesada.
• Insight Teórico: Revela a dinâmica temporal da "ancoragem semântica" em LVLMs, mostrando que a estabilidade da distribuição de tokens precede a geração da resposta final.
• Impacto: Paveia o caminho para gerações de texto mais fiéis à realidade visual, essenciais para aplicações críticas como diagnóstico médico, análise de segurança e assistentes robóticos.

Em resumo, o ResDec é um método robusto, leve e altamente eficaz que mitiga alucinações induzidas por prioridades linguísticas, melhorando simultaneamente a precisão e a confiabilidade dos modelos de visão e linguagem.