Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

Título: Mitigação de Alucinação em Grandes Modelos Visuais-Linguísticos via Calibração Adaptativa de Atenção (CAAC)

1. O Problema: Alucinação em LVLMs

Os Grandes Modelos Visuais-Linguísticos (LVLMs) alcançaram desempenho notável em tarefas multimodais, mas sofrem criticamente de alucinação: a geração de conteúdo não fundamentado na entrada visual (ex: descrever objetos ausentes ou atributos incorretos).
O artigo identifica que as intervenções atuais, especialmente as sem treinamento (training-free), falham em manter a precisão em cenários de geração de texto longo e aberto. A pesquisa aponta duas causas raízes fundamentais para essa falha:

1. Viés de Percepção Espacial (Spatial Perception Bias): O modelo distribui a atenção de forma desproporcional entre os tokens de imagem, concentrando-se excessivamente em poucos tokens (ou "sumidouros de atenção") e ignorando o restante, independentemente do conteúdo real da imagem.
2. Viés de Modalidade (Modality Bias): À medida que a geração de texto avança (especialmente em sequências longas), o modelo tende a depender cada vez mais de priores linguísticos (texto anterior) em detrimento da entrada visual, levando a uma desconexão progressiva da imagem.

2. Metodologia: O Framework CAAC

Os autores propõem o CAAC (Confidence-Aware Attention Calibration), uma abordagem unificada e sem treinamento (training-free) que recalibra dinamicamente a atenção do modelo durante a inferência. O framework opera em duas etapas principais:

A. Calibração de Token Visual (VTC - Visual-Token Calibration)

• Objetivo: Mitigar o Viés de Percepção Espacial.
• Mecanismo: O VTC ajusta a distribuição de atenção sobre os tokens de imagem no cabeçote de atenção do decodificador.
• Processo:
  1. Utiliza uma entrada de referência (imagem sem significado + consulta genérica) para construir um vetor de calibração que representa o comportamento de atenção basal do modelo.
  2. Calcula um vetor inverso para contrabalançar os picos de atenção desproporcionais.
  3. Aplica um parâmetro de suavização ($\beta$) para combinar a atenção original com a calibrada, garantindo uma distribuição mais equilibrada sem distorcer completamente a informação visual.

B. Re-escalamento Adaptativo de Atenção (AAR - Adaptive Attention Re-Scaling)

• Objetivo: Mitigar o Viés de Modalidade e reforçar a fundamentação visual ao longo da geração.
• Mecanismo: O AAR ajusta a atenção dos tokens de imagem com base na confiança do modelo em prever o próximo token.
• Processo:
  1. Monitora a probabilidade de logit máxima ($p_t$) do token previsto.
  2. Se a confiança do modelo cair abaixo de um limite ($p_{thr}$), indicando incerteza (momento de alto risco de alucinação), o AAR aplica um fator de escala ($\lambda$) para amplificar a atenção nos tokens visuais.
  3. Isso força o modelo a "olhar" novamente para a imagem quando a geração se torna instável, contrabalançando a tendência de depender apenas do texto gerado anteriormente.

3. Contribuições Principais

1. Análise de Alucinação: Uma nova análise utilizando mapas de relevância (relevancy maps) que revela as duas causas raízes (viés espacial e viés de modalidade) e demonstra que os tokens alucinatórios tendem a aparecer mais tarde na sequência e possuem menor relevância visual e menor confiança do modelo.
2. Método de Mitigação (CAAC): A proposta de um framework adaptativo que não requer re-treinamento, combinando correção de viés espacial (VTC) e reforço de fundamentação visual baseado em confiança (AAR).
3. Melhoria de Desempenho: Demonstração de redução significativa nas taxas de alucinação em benchmarks de geração aberta, superando o estado da arte (SOTA) em cenários de geração longa.

4. Resultados Experimentais

O CAAC foi avaliado em três modelos LVLMs (InstructBLIP, LLaVA-1.5, LLaVA-NeXT) e três benchmarks principais:

• CHAIR (Geração de Legendas): O CAAC reduziu as taxas de alucinação ($CHAIR_i$ e $CHAIR_s$) significativamente em comparação com as bases e outros métodos (como OPERA, VCD, M3ID).
  • Exemplo: No InstructBLIP, reduziu a taxa de alucinação de sentenças ($CHAIR_s$) de 55.6% para 37.4%.
• AMBER (Geração e Discriminação): O framework obteve os menores índices de alucinação (CHAIR e HAL) em todas as configurações de comprimento de geração (64 e 512 tokens).
  • Destaque: Métodos baseados em decodificação contrastiva (como VCD) degradaram-se em gerações longas (512 tokens), enquanto o CAAC manteve a eficácia.
  • Trade-off: Embora alguns métodos tenham pontuações de cobertura (COVER) ligeiramente maiores, eles o fazem às custas de alucinações massivas. O CAAC equilibra bem a redução de alucinação com a manutenção de uma cobertura razoável.
• POPE (Discriminação): Mesmo sendo focado em geração, o CAAC performou robustamente na tarefa discriminativa, alcançando precisão e F1 dentro de 1% do melhor baseline (OPERA) e superando outros métodos.

Eficiência: O CAAC introduz uma latência moderada (requer uma segunda passagem apenas para ~14% dos tokens quando a confiança é baixa), sendo mais eficiente do que métodos que exigem duas passagens completas para cada token.

5. Significado e Conclusão

O trabalho demonstra que a alucinação em LVLMs não é apenas um problema de dados, mas uma falha estrutural na dinâmica de atenção durante a geração. O CAAC oferece uma solução prática e eficaz para aplicações de segurança crítica (como diagnóstico médico e navegação autônoma), onde a fidelidade factual é mais importante do que a exhaustividade do conteúdo.

Ao priorizar a precisão factual sobre a geração de detalhes excessivos (que podem ser alucinatórios), o CAAC estabelece um novo padrão para a confiabilidade de modelos visuais-linguísticos, especialmente em tarefas de geração longa e aberta, sem a necessidade de custos computacionais de re-treinamento.