When Prompts Override Vision: Prompt-Induced Hallucinations in LVLMs

Título: Quando Prompts Sobrepõem a Visão: Alucinações Induzidas por Prompts em Modelos Grandes de Visão-Linguagem (LVLMs)

1. O Problema

Os Modelos Grandes de Visão-Linguagem (LVLMs) avançaram significativamente em tarefas multimodais, mas permanecem vulneráveis a alucinações (geração de conteúdo não fundamentado na entrada visual).

• Causas Ambíguas: Trabalhos anteriores atribuíam alucinações a limitações do "backbone" visual (o codificador de imagens) ou ao domínio excessivo do componente linguístico. No entanto, a importância relativa de cada fator não era clara.
• Falha Específica: O artigo identifica uma nova modalidade de falha: mesmo quando o reconhecimento visual é preciso, os LVLMs modernos frequentemente geram respostas incorretas devido à dominância do texto sobre a imagem.
• O Gatilho Principal: As alucinações são impulsionadas principalmente por priors textuais (conhecimento prévio aprendido sobre co-ocorrência de objetos) e, mais criticamente, por pressuposições introduzidas nas instruções textuais (prompts). Por exemplo, se um prompt pergunta "Qual a cor da cadeira?" em uma imagem sem cadeira, o modelo tende a alucinar uma cadeira e atribuir uma cor a ela, ignorando a ausência visual.

2. Metodologia

O trabalho propõe duas contribuições principais: um novo benchmark de diagnóstico e um framework de mitigação.

A. HalluScope: Benchmark de Diagnóstico
Para isolar as causas das alucinações, os autores criaram o HalluScope, um benchmark que separa os erros em três categorias distintas:

1. Limitações de Percepção Visual: Testado através de reconhecimento de objetos presentes (positivos) e ausentes (aleatórios).
2. Priors de Co-ocorrência Aprendidos: Testado através de reconhecimento de objetos adversários (objetos semanticamente plausíveis no contexto, mas visualmente ausentes).
3. Pressuposições de Instrução (Adversarial Presupposition): Testado perguntando sobre atributos de objetos adversários, assumindo implicitamente sua presença na pergunta (ex: "Qual a cor do chapéu?" quando não há chapéu).

• Construção: Utiliza imagens do COCO com uma diversidade semântica garantida. Objetos presentes são verificados por detectores robustos (Florence-2, Grounding-DINO) e LVLMs. Objetos adversários são descobertos analisando estatísticas de co-ocorrência (PMI - Informação Mútua Ponto a Ponto) para encontrar objetos que "deveriam" estar lá, mas não estão.

B. HalluVL-DPO: Framework de Mitigação
Para corrigir as alucinações induzidas por prompts, os autores propõem o HalluVL-DPO, um framework de fine-tuning baseado em Otimização de Preferência Direta (DPO).

• Construção do Dataset: Criaram um dataset sintético de preferência em larga escala (27,4k imagens, >100k consultas) contendo pares de respostas:
  • Escolhida (Chosen): Resposta fundamentada visualmente (rejeita a pressuposição falsa).
  • Rejeitada (Rejected): Resposta alucinada (aceita a pressuposição falsa).
• Estratégias de Geração:
  • Augmentation de Dica Unilateral: Adiciona dicas corretas ou incorretas para induzir respostas específicas.
  • Injeção de Alucinação Post-Hoc: Modifica sentenças de descrições geradas para inserir objetos ausentes.
  • Inversão de Resposta Assistida por Modelo: Usa um LLM externo para gerar respostas incorretas com atributos errados para objetos presentes.
• Otimização Ponderada por Informatividade: Diferente do DPO padrão que trata todos os pares igualmente, o HalluVL-DPO atribui pesos ($w$) aos pares de amostras baseados no gap semântico entre a resposta escolhida e a rejeitada:
  • Baixa Informatividade (Peso 1): Reformulações simples.
  • Média Informatividade (Peso 2): Diferenças de detalhe.
  • Alta Informatividade (Peso 3): Contraste claro (ex: uma resposta nega a presença, a outra afirma). Isso foca o treinamento nos exemplos mais críticos.

3. Principais Contribuições

1. HalluScope: O primeiro benchmark a disentangle (desembaraçar) as causas de alucinação, provando que, em LVLMs modernos, as falhas de percepção visual são raras; o problema real é a confiança excessiva em priors textuais e pressuposições de prompts.
2. HalluVL-DPO: Um framework de fine-tuning que utiliza otimização de preferência ponderada para ensinar modelos a rejeitar pressuposições falsas em prompts, sem degradar outras capacidades.
3. Dataset e Código Abertos: Disponibilização pública do benchmark, do pipeline de construção de dados e dos checkpoints dos modelos.

4. Resultados

Os experimentos foram realizados em modelos como LLaVA-1.5-7B e Qwen2-VL-7B.

• Diagnóstico (HalluScope):
  • Os modelos apresentam alta precisão (>85%) em reconhecimento de objetos presentes e aleatórios (indicando que a visão funciona bem).
  • A precisão cai drasticamente em objetos adversários (devido a priors de co-ocorrência).
  • A queda é ainda mais severa em Pressuposições Adversárias (AdP): a precisão cai de ~85% para menos de 10% em alguns casos, confirmando que as instruções textuais "quebram" a visão.
• Mitigação (HalluVL-DPO):
  • LLaVA-1.5: A precisão em AdP saltou de 5,85% para 83,54%. A precisão em reconhecimento adversário subiu de 58,5% para 76,5%.
  • Qwen2-VL: A precisão em AdP melhorou de 57,96% para 80,40%.
  • Generalização: O modelo treinado manteve ou melhorou o desempenho em outros benchmarks de alucinação (CHAIR, HallusionBench, POPE) e em tarefas gerais multimodais (MME, ScienceQA, MM-Vet), demonstrando que a mitigação é específica e não degrada a capacidade geral.
  • Ablação: A estratégia de ponderação baseada na informatividade (peso 3) mostrou-se crucial para o ganho de desempenho.

5. Significância e Impacto

• Mudança de Paradigma: O trabalho muda o foco da comunidade de "melhorar a visão" para "alinhamento de modalidades". O problema não é que o modelo não vê, mas que ele ignora o que vê em favor do que o texto sugere.
• Segurança e Confiabilidade: Para aplicações críticas (diagnóstico médico, sistemas autônomos), é vital que o modelo não invente objetos baseados em expectativas textuais. O HalluVL-DPO oferece uma solução prática para esse problema.
• Reprodutibilidade: Ao liberar o dataset de preferência e o benchmark, o trabalho permite que outros pesquisadores testem e validem métodos de mitigação de alucinações de forma mais rigorosa, separando falhas visuais de falhas de raciocínio linguístico.

Em resumo, o artigo demonstra que as alucinações em LVLMs são predominantemente um problema de alinhamento entre texto e visão, onde o texto domina, e propõe uma solução eficaz baseada em otimização de preferência para forçar o modelo a priorizar a evidência visual.