Resumo Técnico: CAST – Mitigando Alucinação de Objetos em Modelos de Visão e Linguagem Grandes via Direcionamento de Atenção Visual Guiado por Legendas

1. Declaração do Problema

Modelos de Visão e Linguagem Grandes (LVLMs) alcançaram desempenho notável em tarefas downstream, mas frequentemente sofrem de alucinação de objetos, onde o modelo gera conteúdo que se desvia ou contradiz a entrada visual. Estratégias existentes de mitigação geralmente se enquadram em duas categorias, ambas com limitações significativas:

• Métodos baseados em treinamento: Dependem de conjuntos de dados cuidadosamente curados e anotações manuais caras ou aprendizado por reforço (por exemplo, RLHF), incorrendo em altos custos computacionais e de dados.
• Estratégias de decodificação sem treinamento: Métodos como decodificação contrastiva (por exemplo, VCD, OPERA) frequentemente aumentam significativamente a latência de inferência, tornando-os menos práticos para aplicações em tempo real.

Além disso, estudos de interpretabilidade sugerem que a atenção insuficiente às informações visuais é uma causa raiz da alucinação. No entanto, poucos métodos abordam isso explicitamente, aprimorando a percepção visual sem modificar os parâmetros do modelo ou introduzir sobrecarga significativa de inferência.

2. Metodologia: Direcionamento de Atenção Visual Guiado por Legendas (CAST)

Os autores propõem o CAST, um método sem treinamento, plug-and-play, que mitiga a alucinação de objetos direcionando os mecanismos de atenção do modelo durante a inferência. A ideia central que impulsiona o CAST é a observação de que consultas de legenda (por exemplo, "Por favor, descreva esta imagem em detalhes") desencadeiam uma atenção visual significativamente aprimorada em cabeças de atenção específicas em comparação com consultas não de legenda (por exemplo, "Há um capacete na imagem?").

O CAST opera em três estágios distintos:

A. Sondagem de Cabeças de Atenção Guiadas por Legendas

O método primeiro identifica "cabeças de atenção guiadas por legendas" — cabeças específicas dentro das camadas do Transformer que exibem forte sensibilidade a consultas de legenda.

• Mecanismo: Usando um conjunto de dados de pares imagem-consulta, os autores mascaram a atenção para tokens textuais para isolar padrões de atenção visual.
• Classificação: Um classificador binário (por exemplo, SVM) é treinado nas saídas de atenção do último token de entrada para distinguir entre consultas de legenda e não de legenda.
• Seleção: As top-$K$ cabeças de atenção com a maior precisão de classificação são selecionadas como alvos para o direcionamento. Essas cabeças são encontradas concentradas principalmente nas camadas intermediárias do modelo.

B. Estimativa de Vetores de Percepção Refinada

Uma vez que as cabeças-alvo são identificadas, o método computa vetores de deslocamento que representam a diferença na saída de atenção entre consultas de legenda e não de legenda.

• Cálculo: Para cada cabeça selecionada, o vetor de deslocamento $S^{(l,h)}$ é calculado como a diferença média entre a saída de atenção quando alimentada com uma consulta de legenda ($O^{(l,h)}$) e uma consulta não de legenda ($O'^{(l,h)}$):
  $$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$$
• Propósito: Esses vetores quantificam a "direção de percepção de alta granularidade", capturando efetivamente o estado de atenção visual suficiente induzido por consultas de legenda.

C. Direcionamento no Momento da Inferência

Durante a inferência de uma consulta não de legenda (o cenário típico onde ocorrem alucinações), os vetores de deslocamento pré-computados são aplicados às cabeças de atenção selecionadas.

• Regra de Atualização: O estado oculto é atualizado adicionando uma versão escalonada do vetor de deslocamento à saída de atenção das cabeças guiadas por legenda:
  $$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$$
  Onde $I^{(l,h)}$ é uma função de controle (1 para cabeças selecionadas, 0 caso contrário) e $\alpha$ controla a intensidade do direcionamento.
• Efeito: Isso direciona a atenção do modelo de um estado "insuficiente" (propenso a alucinação) para um estado "suficiente" (percepção visual aprimorada), mitigando efetivamente a alucinação de objetos sem re-treinar o modelo.

3. Contribuições Principais

1. Insight Novativo: O trabalho é o primeiro a revelar e quantificar explicitamente o impacto de consultas de legenda versus consultas não de legenda nos padrões de ativação de atenção de LVLMs, identificando cabeças de atenção específicas responsáveis pela percepção visual de alta granularidade.
2. Método CAST: Uma abordagem sem treinamento, plug-and-play, que refina as saídas das cabeças de atenção guiadas por legendas durante a inferência. Não requer atualizações de parâmetros do modelo e adiciona custo de inferência mínimo.
3. Avaliação Abrangente: Experimentos extensivos demonstram que o CAST mitiga efetivamente a alucinação enquanto preserva as capacidades fundamentais do modelo (por exemplo, raciocínio, OCR) e generaliza através de diferentes arquiteturas de modelos (LLaVA, Qwen-VL, LLaVA-NeXT).

4. Resultados Experimentais

Os autores avaliaram o CAST em cinco benchmarks amplamente utilizados (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) e cinco LVLMs diferentes.

• Mitigação de Alucinação:
  • POPE: O CAST melhorou a precisão em uma média de 5,64% e a pontuação F1 em 5,50% entre os modelos.
  • CHAIR: Reduziu as métricas médias de alucinação (CS e CI) em 6,43 pontos.
  • MMHal-Bench: Reduziu a taxa de alucinação (VH.%) em 2,95% e melhorou a pontuação de informatividade.
  • Desempenho Geral: Em média, o CAST reduziu a alucinação de objetos em 6,03% entre cinco LVLMs e cinco benchmarks.
• Eficiência: Ao contrário de métodos de decodificação contrastiva que aumentam significativamente o tempo de inferência (por exemplo, o VCD aumenta o TPOT em 2,7x), o CAST adiciona latência negligenciável (comparável à linha de base, ~1,0x).
• Preservação de Capacidades: O CAST melhorou o desempenho no benchmark MME em todas as tarefas de percepção e cognição, demonstrando que não degrada as outras capacidades fundamentais do modelo.
• Generalização: O método provou ser eficaz em modelos avançados (Qwen2-VL, InternVL2) e tarefas específicas de domínio (Medical VQA-RAD, OCR), confirmando sua robustez.

5. Significado e Alegações

O artigo alega que o CAST oferece uma solução state-of-the-art (SOTA) para mitigar a alucinação de objetos em LVLMs, aproveitando os padrões de atenção inerentes induzidos por consultas de legenda. Seu significado reside em:

• Custo-Efetividade: Elimina a necessidade de anotação manual cara ou re-treinamento.
• Eficiência: Evita a alta latência de inferência associada a estratégias de decodificação contrastiva.
• Insight Mecanístico: Fornece um mecanismo claro e interpretável para mitigação de alucinação, direcionando diretamente as cabeças de atenção responsáveis pela percepção visual.

Os autores concluem que o CAST aprimora efetivamente a capacidade de percepção visual de alta granularidade de LVLMs, oferecendo um caminho prático e eficiente para reduzir alucinações sem comprometer a utilidade do modelo.