AFTER: Mitigating the Object Hallucination of LVLM via Adaptive Factual-Guided Activation Editing

Título: AFTER: Mitigando a Alucinação de Objetos em LVLMs via Edição de Ativação Guiada por Fatos Adaptativa

1. O Problema: Alucinação de Objetos e Viés Linguístico

Os Modelos de Linguagem e Visão Grandes (LVLMs) têm avançado significativamente em tarefas multimodais, mas sofrem de um problema crítico conhecido como alucinação de objetos. Isso ocorre quando o modelo gera respostas que não correspondem aos objetos visuais reais na imagem.

O artigo identifica que a principal causa dessa alucinação é o viés linguístico: os LVLMs tendem a priorizar seu conhecimento textual pré-treinado em detrimento das entradas visuais externas. Isso resulta em três tipos principais de alucinação:

1. Categoria: Identificar incorretamente a classe de um objeto (ex: ver uma mochila e chamar de "prancha de snowboard" devido à associação linguística com esqui).
2. Atributo: Erros em características como contagem ou cor (ex: assumir que há sempre dois luvas porque "luvas" geralmente vêm em pares).
3. Relação: Erros na relação espacial ou de interação (ex: dizer que um homem "usa" um capacete quando ele está apenas "segurando" um).

Métodos existentes de mitigação, seja por re-treinamento (custoso) ou edição de ativação em tempo de inferência (como VTI e ICT), falham em utilizar a orientação positiva fornecida por semânticas textuais factuais. Eles frequentemente degradam a imagem para criar "semânticas não confiáveis", mas não conseguem construir direções de edição explícitas baseadas em fatos reais, limitando sua eficácia contra o viés linguístico.

2. Metodologia: A Framework AFTER

Os autores propõem o AFTER (Adaptive Factual-guided Visual-Textual Editing foR hallucination mitigation), uma abordagem de edição de ativação que guia as ativações originais enviesadas em direção a semânticas textuais factuais. O método consiste em dois componentes principais:

A. Direcionamento de Ativação Augmentado por Fatos (FAS)

O objetivo do FAS é estabelecer uma direção de edição visual-textual geral e positiva.

• Geração de Fatos: O método transforma anotações de "ground-truth" (verdade absoluta) de imagens em fatos textuais estruturados:
  • Fatos de Categoria: Lista de objetos presentes.
  • Fatos de Atributo: Cor, forma e contagem (extraídos estatisticamente de máscaras de segmentação).
  • Fatos de Relação: Relações espaciais baseadas em caixas delimitadoras (IoU).
• Texto Factual ($t^+$): Um LVLM auxiliares integra esses fatos discretos em uma descrição textual factual coerente.
• Construção do Vetor de Direção: O FAS cria pares de amostras "confiáveis" vs. "não confiáveis":
  • Não confiável: A imagem original ($x$) + pergunta.
  • Confiável: A descrição textual factual ($t^+$) + mesma pergunta.
• Vetor Geral ($\bar{d}$): Calcula-se a diferença média entre as ativações internas geradas pelo texto factual e as geradas pela imagem original. Isso cria um vetor de direção que empurra o modelo para priorizar fatos visuais reais.

B. Otimização de Offset Adaptativo à Consulta (QAO)

O vetor geral ($\bar{d}$) pode não ser suficiente para todas as consultas específicas, pois diferentes perguntas enfatizam diferentes objetos com associações visuais-textuais distintas.

• Estimador de Offset: O QAO introduz um estimador leve (um MLP de camada única) que aprende a calcular um offset específico para cada consulta ($o_i$).
• Mecanismo: O estimador analisa a semântica visual focada na consulta e calcula o desvio necessário em relação ao vetor geral para atender à pergunta específica.
• Edição Final: Durante a inferência, a ativação é editada adicionando o vetor geral mais o offset adaptativo:
  $$h^{l+1} = h^l + \text{Concat}(z^{l,k} + \alpha \cdot [G(z^{l,k}) + \bar{d}]) \cdot W^l_o$$
  Onde $G$ é o estimador de offset e $\alpha$ é a intensidade da edição.

3. Principais Contribuições

1. Abordagem AFTER: Um novo método de edição de ativação que alinha ativamente as ativações visuais com semânticas textuais factuais, mitigando o viés linguístico sem custo de re-treinamento.
2. FAS (Factual-Augmented Activation Steering): A inovação de transformar anotações de ground-truth em descrições textuais factuais para fornecer orientação positiva explícita, superando a dependência de degradação de imagem.
3. QAO (Query-Adaptive Offset Optimization): Um mecanismo que adapta a edição global para consultas específicas, reconhecendo que diferentes perguntas exigem ajustes finos distintos nas associações visuais-textuais.
4. Desempenho Superior: Demonstração experimental de que o método supera os métodos state-of-the-art (SOTA) em benchmarks de alucinação, mantendo a velocidade de inferência e capacidades gerais do modelo.

4. Resultados Experimentais

Os experimentos foram realizados em três LVLMs populares: LLaVA-v1.5, InstructBLIP e Shikra.

• Benchmarks de Alucinação:
  • POPE (Discriminativo): O AFTER superou o baseline em acurácia média de 4.1% e F1-score de 2.6%, superando o método SOTA de edição (ICT) em 1.3% e 0.9%, respectivamente.
  • MME (Percepção e Cognição): O método obteve ganhos significativos na subseção de alucinação, com melhorias de até 73.4 pontos no Shikra.
  • AMBER (Gerativo): O método reduziu a alucinação em até 16.3% no benchmark AMBER (superior ao VTI em 5.3%), sem comprometer a completude da resposta (métrica Cover).
• Generalização: O método demonstrou forte capacidade de generalização ao ser aplicado em distribuições fora do treinamento (ex: vetores aprendidos no COCO aplicados ao GQA), indicando que mitiga o viés linguístico de forma geral e não apenas ajusta-se a um dataset específico.
• Eficiência: O AFTER mantém a velocidade de inferência mais rápida entre os métodos de mitigação (29.7 tokens/segundo) e não requer fine-tuning do LVLM principal, apenas o treinamento de um pequeno estimador de offset.

5. Significado e Conclusão

O trabalho AFTER representa um avanço significativo na confiabilidade dos LVLMs. Ao demonstrar que a orientação factual textual é uma ferramenta mais poderosa do que a simples degradação visual para corrigir alucinações, o paper oferece uma solução prática e de baixo custo.

• Impacto: A capacidade de reduzir alucinações sem re-treinamento pesado ou múltiplas rodadas de inferência torna a tecnologia viável para aplicações do mundo real que exigem alta confiabilidade (como diagnósticos médicos ou análise de segurança).
• Limitações e Futuro: O método depende de acesso às ativações internas (limitando-o a modelos de código aberto) e requer dados específicos de domínio para tarefas altamente especializadas. O trabalho futuro visa estender a abordagem para domínios especializados.

Em resumo, o AFTER estabelece um novo paradigma onde a correção de alucinações é feita através de uma edição adaptativa guiada por fatos, equilibrando a precisão visual com a fluidez linguística.