Resumo Técnico: SAVAA – Mitigando Alucinações em LVLMs via Amplificação Adaptativa Passo a Passo da Atenção Visual

1. Declaração do Problema

Modelos Grandes de Visão e Linguagem (LVLMs) frequentemente sofrem de alucinações, gerando conteúdo inconsistente com a entrada visual. Uma causa primária durante a geração autoregressiva é a excessiva dependência do modelo em priores linguísticos, particularmente quando a evidência visual é subutilizada.

Abordagens recentes sem treinamento, coletivamente denominadas Amplificação da Atenção Visual (VAA), tentam mitigar isso amplificando os pesos de atenção atribuídos a tokens visuais durante uma única passagem direta. No entanto, os métodos VAA existentes empregam um fator de amplificação fixo em todas as etapas de geração. Os autores identificam um padrão de falha dual inerente a essa abordagem estática:

1. Subamplificação: Em certas etapas, o fator fixo é muito fraco para resolver alucinações existentes.
2. Sobreamplificação: Em outras etapas, o mesmo fator é muito forte, introduzindo novas alucinações que não estavam presentes na saída original.

Esse fenômeno ocorre porque o nível apropriado de atenção visual varia dinamicamente dependendo do token específico sendo gerado e do estado atual de incerteza e ancoragem do modelo.

2. Metodologia: SAVAA

O artigo propõe a Amplificação Adaptativa da Atenção Visual Passo a Passo (SAVAA), um framework que calibra dinamicamente o fator de amplificação visual em cada etapa de geração com base em uma estimativa de risco de alucinação.

2.1 Entropia de Ancoragem Visual (VGE)

Para permitir uma calibração guiada por risco, o SAVAA requer um estimador de risco de alucinação leve. Os autores introduzem a Entropia de Ancoragem Visual (VGE), que amplia a entropia preditiva padrão com sinais de ancoragem visual.

• Entropia Preditiva ($\bar{H}_t$): Mede a incerteza do modelo com base nos logits de saída. No entanto, a entropia sozinha falha quando o modelo é altamente confiante, mas fracamente ancorado na imagem (ou seja, "alucinações confiantes").
• Pontuação de Ancoragem Visual ($G_t$): Computada durante a etapa de preenchimento prévio, um vetor de ancoragem $G$ é construído agrupando os logits do vocabulário de tokens visuais. Para um token previsto $v^*_t$, a pontuação de ancoragem $G_t$ representa a força da evidência visual que suporta esse token.
• Cálculo da VGE: A pontuação de risco é definida como uma combinação ponderada:
  $$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$$
  onde $\alpha$ equilibra incerteza e ancoragem. Uma VGE mais alta indica que um token é incerto, fracamente ancorado ou ambos.

2.2 Calibração Adaptativa Passo a Passo do Fator VAA

O SAVAA utiliza um mecanismo de calibração com atraso de uma etapa. O risco $r_t$ é computado a partir dos logits da etapa atual $t$, mas é usado para calibrar o fator de amplificação para a próxima etapa $t+1$.

• Normalização de Risco: A VGE é normalizada para uma pontuação de risco $r_t \in [0, 1]$.
• Calibração do Fator: O fator de amplificação visual $m_t$ para a etapa $t$ é calculado como:
  $$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$$
  Se a etapa anterior teve baixo risco, $m_t \approx 1$ (sem intervenção). Se a etapa anterior teve alto risco, $m_t$ aumenta, aplicando uma amplificação visual mais forte à etapa atual.

2.3 Supressão de Atenção Textual

Para abordar alucinações residuais que persistem mesmo sob forte amplificação visual (muitas vezes devido a priores linguísticos), o SAVAA incorpora um mecanismo complementar de Supressão de Atenção Textual.

• Este mecanismo suprime as pontuações de atenção pré-softmax atribuídas a tokens de texto de entrada por um fator fixo $m_{txt}^{max}$.
• Diferentemente do fator visual adaptativo, essa supressão é estática e leve, projetada para reduzir a influência relativa de priores linguísticos sem exigir estimativa de risco passo a passo.

2.4 Fluxo de Trabalho Geral

1. Preenchimento Prévio: Computar o vetor de ancoragem visual $G$ uma única vez.
2. Loop de Geração:
   • Computar o fator VAA $m_t$ e o fator de supressão textual com base no risco $r_{t-1}$ da etapa anterior.
   • Modular as pontuações de atenção pré-softmax: amplificar tokens visuais por $m_t$ e suprimir tokens de texto por $1/m_{txt}^{max}$.
   • Gerar o próximo token.
   • Computar o novo risco $r_t$ usando VGE para a próxima iteração.

3. Contribuições Principais

1. Identificação do Padrão de Falha Dual: O artigo demonstra que fatores de amplificação fixos em métodos VAA existentes levam tanto à subamplificação (deixando alucinações não resolvidas) quanto à sobreamplificação (introduzindo novas alucinações), variando entre etapas de geração e arquiteturas de modelos.
2. Framework SAVAA: Um novo framework VAA que estima o risco de alucinação passo a passo usando Entropia de Ancoragem Visual (VGE) e calibra adaptativamente o fator de amplificação.
3. Supressão Textual Complementar: A introdução de um mecanismo leve de supressão de atenção textual para abordar o domínio residual de priores linguísticos, trabalhando em conjunto com a amplificação visual.
4. Validação Empírica: Avaliação abrangente em três LVLMs diversos (LLaVA-NeXT-7B, Qwen3-VL-8B, InternVL3.5-8B) e múltiplos benchmarks (CHAIR, SHR, AMBER, POPE), mostrando melhorias consistentes sobre baselines de última geração.

4. Resultados Experimentais

O SAVAA foi avaliado em benchmarks padrão de alucinação:

• CHAIR: O SAVAA alcançou as melhores pontuações CHAIRs (nível de frase) e CHAIRi (nível de instância) em todos os três modelos, reduzindo alucinações por margens significativas (por exemplo, reduzindo CHAIRs em 7,00 pontos no InternVL3.5-8B) sem sacrificar a qualidade de geração (pontuações F1 permaneceram comparáveis aos modelos vanilla).
• SHR: O SAVAA superou as baselines em todas as quatro métricas (HSR, HWR, HSPI, HWPI), demonstrando eficácia na redução de alucinações tanto em nível de frase quanto em nível de palavra.
• AMBER: O SAVAA alcançou as menores taxas de alucinação (Hal) enquanto mantinha alta cobertura de conteúdo (Cover), indicando uma compensação favorável entre mitigação e completude semântica.
• POPE: Em tarefas discriminativas, o SAVAA preservou a utilidade original do modelo, alcançando precisão e pontuações F1 comparáveis às baselines vanilla, embora os ganhos tenham sido modestos em comparação com tarefas generativas.
• Eficiência: O SAVAA incorre apenas em sobrecarga marginal de tempo de inferência em comparação com modelos vanilla, pois a VGE não requer passagens diretas adicionais (o vetor de ancoragem é computado uma vez) e a lógica de calibração é leve.

5. Significado e Alegações

O artigo afirma que o SAVAA representa uma mudança da amplificação visual estática e baseada em heurísticas para uma calibração de atenção passo a passo guiada por risco. Ao modelar explicitamente a necessidade variável de ancoragem visual em diferentes etapas de geração, o SAVAA aborda as limitações dos métodos de fator fixo.

Os autores posicionam o SAVAA como uma solução prática, sem treinamento, que pode ser implantada no momento da inferência para melhorar a confiabilidade factual de LVLMs em tarefas de geração aberta. Eles reconhecem limitações, observando que o método depende de hiperparâmetros específicos do modelo e produz ganhos mais modestos em tarefas discriminativas de único token em comparação com a geração aberta. O trabalho sugere que direções futuras poderiam envolver estratégias de calibração mais adaptativas e a extensão da abordagem para configurações de previsão de forma fechada.