Resumo Técnico: GHOST – Geração de Imagens Indutoras de Alucinação para MLLMs Multimodais

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) sofrem de alucinação de objetos, um modo de falha onde o modelo prevê incorretamente a presença de um objeto que está ausente na imagem de entrada. Os métodos de avaliação atuais dependem de benchmarks estáticos com cenários visuais fixos e conjuntos de imagens curadas. Essas abordagens restringem a análise a cenários conhecidos, falhando em descobrir vulnerabilidades específicas do modelo ou padrões de alucinação imprevistos. Além disso, os métodos existentes para a descoberta de alucinações carecem de uma forma sistemática de avaliar quais tipos de imagem disparam erros ou dependem de pipelines de alto custo computacional que não conseguem desacoplar efetivamente a otimização da geração de imagens.

Metodologia: GHOST

Os autores introduzem o GHOST (Generating Hallucinations via Optimizing Stealth Tokens), um pipeline totalmente automático e não supervisionado projetado para testar o estresse de MLLMs através da síntese de imagens que induzem alucinações sem inserir o objeto alvo.

Arquitetura Central

O GHOST opera através da otimização no espaço de embedding de imagem em vez do espaço de pixels, utilizando um modelo de difusão para gerar a imagem final. O pipeline consiste em três componentes principais:

1. Mapeador de Espaço de Embedding ($\Pi$):
   Para preencher a lacuna entre o codificador de visão do MLLM alvo ($V_M$) e o espaço de embedding CLIP usado pelo modelo de difusão, o GHOST emprega um Perceptron Multicamadas (MLP) leve. Este mapeador é treinado para alinhar os embeddings CLIP com os tokens visuais do MLLM usando uma perda de Erro Quadrático Médio (MSE). Este desacoplamento permite uma otimização eficiente sem retropropagar através de todo o pipeline de MLLM e difusão simultaneamente.

2. Objetivo de Otimização:
   Dada uma imagem de entrada $X_v$ (que carece do objeto alvo $t$) e uma consulta de prompt $X_q$ (ex: "Você vê um $t$?"), o GHOST otimiza um embedding CLIP $c$ para satisfazer três restrições:

   • Proximidade: O embedding otimizado $c$ deve permanecer próximo ao embedding da imagem original $c_0$ (regularizado via penalidade $\ell_2$) para preservar a semântica de alto nível.
   • Ausência de Semântica do Objeto: O embedding não deve codificar o próprio objeto alvo. Isso é imposto penalizando a similaridade de cosseno entre $c$ e um "embedding composicional" derivado de diversas descrições textuais do objeto alvo (incluindo descrições diretas, templates genéricos e legendas mineradas do COCO).
   • Indução de Alucinação: O embedding deve maximizar a probabilidade de o MLLM produzir um token de "Sim". A perda adversarial é definida como $-\log p(y^* | X_q, \Pi(c))$, onde $y^*$ é o token alvo.

3. Difusão Guiada:
   Uma vez que um embedding $c$ satisfaz o limiar de alucinação, ele condiciona um Modelo de Difusão Latente (especificamente o Stable Diffusion unCLIP). Diferente da geração padrão a partir de ruído, o GHOST inicia o processo de difusão reversa a partir de um latente parcialmente ruidoso da imagem original. Isso garante que a imagem gerada mantenha a integridade estrutural da entrada enquanto introduz pistas semânticas sutis e enganosas.

   • Filtragem: Um detector de objetos de vocabulário aberto rigoroso (OWLv2) filtra as imagens geradas. Se o detector identificar o objeto alvo, a amostra é descartada. O sucesso é definido apenas quando o MLLM alucina o objeto enquanto o detector confirma sua ausência.

Principais Contribuições

• Geração Ativa de Casos de Falha: Ao contrário dos benchmarks estáticos, o GHOST sintetiza ativamente imagens que expõem pontos cegos específicos do modelo, descobrindo gatilhos visuais inéditos e imprevistos para alucinação.
• Otimização Desacoplada: Ao mapear os embeddings CLIP para o espaço de visão do MLLM, o GHOST evita os gargalos computacionais da otimização de pixels fim-a-fim, alcançando uma aceleração de 5x em comparação com métodos anteriores como o DASH.
• Perturbações de Nível Semântico: O método introduz pistas sutis de nível semântico (ex: modificar o talo de uma banana para se assemelhar à borda de uma faca) que são perceptíveis aos humanos como variações naturais, mas suficientes para empurrar o modelo através da fronteira de decisão.
• Transferibilidade: O método demonstra que imagens indutoras de alucinação otimizadas para um modelo frequentemente se transferem para outros, revelando vulnerabilidades sistêmicas em diferentes arquiteturas de MLLM.

Resultados Experimentais

Os autores avaliaram o GHOST em três MLLMs de código aberto: Qwen2.5-VL, LLaVA-v1.6 e GLM-4.1V-Thinking.

• Taxa de Sucesso: O GHOST alcançou taxas de sucesso de alucinação entre 28,1% e 32,4% nos modelos testados. Em contraste, o método estado da arte anterior, DASH, alcançou apenas 0,1% no mesmo dataset baseado em COCO.
• Transferibilidade: Imagens otimizadas para o Qwen2.5-VL induziram alucinações no GPT-4o a uma taxa de 66,5%, e em outros modelos (LLaMA3.2, Aya, Gemini) a taxas variando entre 42% e 72%, indicando modos de falha compartilhados.
• Qualidade da Imagem: Métricas quantitativas (FID) e avaliação humana confirmaram que as imagens geradas são de alta qualidade e visualmente naturais. Os anotadores humanos concordaram que o objeto alvo estava ausente em 86–89% das imagens do GHOST, comparável aos métodos de difusão de base.
• Mitigação: O ajuste fino (fine-tuning) do Qwen2.5-VL nas imagens sintéticas geradas pelo GHOST melhorou a robustez em benchmarks de alucinação downstream (POPE e CHAIR), mantendo as capacidades de visão-linguagem geral (VQAv2, Legenda de COCO).

Significância e Alegações

O artigo posiciona o GHOST tanto como uma ferramenta diagnóstica quanto corretiva para construir sistemas multimodais confiáveis.

• Diagnóstica: Revela que os MLLMs dependem de correlações espúrias e pistas visuais sutis em vez de detecção de objetos robusta, expondo vulnerabilidades que os benchmarks estáticos não detectam.
• Corretiva: Os autores demonstram que o treinamento nestes casos de falha sintéticos pode mitigar alucinações, sugerindo um caminho para melhorar a robustez do modelo.
• Escalabilidade: Ao desacoplar a otimização do gerador de imagens, o GHOST oferece um framework escalável para o teste de estresse de futuros MLLMs, incluindo modelos baseados em raciocínio como o GLM-4.1V-Thinking, onde conseguiu desviar com sucesso a trajetória de raciocínio do modelo para justificar objetos inexistentes.

Os autores reconhecem limitações, observando a dependência do método em modelos de difusão capazes de condicionamento por embedding de imagem (como o unCLIP) e o foco atual primariamente em alucinações centradas em objetos, embora experimentos preliminares sugiram aplicabilidade para alucinações de atributos e relações.