Mechanisms of Prompt-Induced Hallucination in Vision-Language Models

Título: Mecanismos de Alucinação Induzida por Prompt em Modelos Visão-Linguagem

1. O Problema: Alucinação Induzida por Prompt (PIH)

Os Modelos Visão-Linguagem (VLMs) são altamente capazes, mas frequentemente falham ao priorizar informações textuais do prompt em detrimento de evidências visuais contraditórias. Este fenômeno, denominado Alucinação Induzida por Prompt (PIH), ocorre quando o modelo "alucina" objetos ou atributos que não existem na imagem apenas para concordar com a afirmação feita no texto.

• Contexto de Estudo: Os autores investigam esse comportamento em um cenário controlado de contagem de objetos.
• Cenário Experimental: O prompt é projetado para superestimar o número de objetos (ex.: pedir para descrever "quatro lírios d'água" quando a imagem contém apenas três).
• Observação Inicial: Em contagens baixas (2-4 objetos), os modelos tendem a corrigir o prompt. No entanto, à medida que o número de objetos aumenta, os modelos tornam-se progressivamente mais propensos a concordar com o prompt, ignorando a evidência visual, mesmo quando a discrepância é grande.

2. Metodologia

A pesquisa adota uma abordagem de interpretabilidade mecânica para isolar e manipular os componentes internos dos modelos responsáveis pela PIH.

• Modelos Analisados: Três VLMs de última geração (7B parâmetros):
  • LLaVA-OneVision-7B
  • Qwen2-VL-7B
  • Janus-Pro-7B
• Técnica de Ablação de Cabeças de Atenção:
  • Os autores realizam "knockouts" (ablações) de cabeças de atenção individuais usando ablação média (substituição da saída da cabeça pela sua média, removendo informações específicas de tokens sem alterar a magnitude da ativação).
  • O objetivo é identificar quais cabeças de atenção, quando removidas, forçam o modelo a corrigir a contagem para o valor real da imagem.
• Generalização: Após identificar as cabeças no tarefa de contagem, os autores testam se essas mesmas cabeças mitigam PIH em uma tarefa de identificação de cores (usando o dataset Visual CounterFact), onde o prompt especifica uma cor incorreta.

3. Contribuições Principais

1. Definição e Análise da PIH: O trabalho caracteriza formalmente a PIH como um modo de falha onde VLMs priorizam prompts conflitantes sobre evidências visuais, demonstrando que isso não é uma falha de raciocínio numérico, mas sim uma preferência por cópia textual.
2. Identificação de Cabeças Críticas: Os autores identificam um pequeno subconjunto de cabeças de atenção (PIH-heads) cuja ablação reduz drasticamente as alucinações (em até 40-95%) sem necessidade de re-treinamento ou dados adicionais.
3. Caracterização Funcional: O estudo revela que a ablação dessas cabeças suprime a cópia do prompt e aumenta a dependência da evidência visual, mas os mecanismos exatos variam entre os modelos.

4. Resultados Chave

• Redução de Alucinações:

  • A ablação das cabeças PIH reduz a taxa de correspondência com o prompt incorreto de 42-64% para menos de 11% em todos os modelos.
  • A taxa de correspondência com a contagem verdadeira (ground-truth) aumenta de ~30-45% para 70-78%.
  • No teste de cores, a PIH foi reduzida em até 94,25%.

• Localização e Origem:

  • As cabeças PIH estão concentradas nas camadas iniciais e intermediárias do modelo (especialmente na camada 0 e 1).
  • Há uma sobreposição significativa de cabeças entre o LLaVA-OneVision e o Qwen2-VL (que compartilham a mesma base de linguagem Qwen2). Isso sugere que a PIH é mediada principalmente pelos componentes do modelo de linguagem, e não por componentes específicos de visão ou camadas de fusão.

• Impacto em Capacidades Gerais:

  • A ablação não degrada o desempenho em tarefas gerais (benchmarks como CalTech101, MM-Vet, POPE).
  • Em alguns casos (LLaVA-OneVision), a precisão de contagem em prompts não conflitantes até melhorou, indicando que a intervenção remove ruído de cópia sem prejudicar a compreensão visual.

• Mecanismos Específicos por Modelo:

  • LLaVA-OneVision: A ablação suprime todas as formas de cópia (exata, de formato e suave) e aumenta significativamente a atenção para os tokens da imagem (especialmente em camadas iniciais), levando a uma maior dependência visual.
  • Qwen-VL: A ablação reduz a cópia suave, mas paradoxalmente aumenta a cópia de formato (o modelo corrige o número, mas mantém o formato numérico do prompt). O ganho vem de uma mudança na atenção, não apenas da supressão de cópia.
  • Janus-Pro: A ablação inibe a cópia de formato e aumenta respostas livres, mas com um aumento menor na atenção para a imagem em comparação ao LLaVA.

5. Significado e Conclusão

O estudo demonstra que as alucinações induzidas por prompt em VLMs são um fenômeno mecanicamente localizável e dependente do modelo.

• Causa Raiz: A PIH não é uma falha de percepção visual, mas sim um mecanismo de roteamento de informação no modelo de linguagem que propaga tokens do prompt para a geração, ignorando o conflito visual.
• Intervenção Eficiente: É possível corrigir esse comportamento de forma cirúrgica, removendo apenas um punhado de cabeças de atenção, sem re-treinar o modelo.
• Implicações: Isso oferece um caminho promissor para melhorar a "ancoragem visual" (visual grounding) em VLMs, garantindo que eles priorizem a realidade da imagem sobre instruções textuais enganosas, o que é crucial para aplicações em cenários do mundo real com entradas de usuário ruidosas ou imprecisas.

Limitações: O estudo foca em modelos de escala média (~7B). Cabeças específicas podem não generalizar diretamente para modelos muito maiores. Além disso, a interpretação exata dos padrões de atenção permanece desafiadora, e a ablação pode induzir efeitos secundários em outras camadas que ainda precisam ser mapeados.