VIGIL: Tackling Hallucination Detection in Image Recontextualization

Resumo Técnico: VIGIL – Enfrentando a Detecção de Alucinações em Recontextualização de Imagens

Definição do Problema
A geração de imagens condicional, particularmente a recontextualização de imagens (sintetizando novas cenas combinando texto com sujeitos visuais específicos de imagens de referência), avançou rapidamente com os grandes modelos multimodais (LMMs). No entanto, esses modelos frequentemente produzem alucinações — artefatos visuais, mudanças de identidade e inconsistências semânticas não suportadas pelos prompts ou referências de entrada. Embora a detecção de alucinações seja bem estudada em tarefas de Texto-para-Imagem (T2I), os métodos existentes para recontextualização multimodal são limitados. As abordagens atuais tipicamente reportam pontuações numéricas grosseiras e opacas (ex: 0–10) com descrições textuais não estruturadas, falhando em distinguir entre tipos específicos de erro, como distorção de identidade versus incompatibilidade ambiental. Essa falta de avaliação detalhada e interpretável dificulta a análise diagnóstica necessária para implantar esses sistemas em ambientes de produção, como publicidade automatizada e criação de conteúdo digital.

Metodologia
Os autores propõem o VIGIL (Visual Inconsistency & Generative In-context Lucidity), um framework que compreende um conjunto de dados de benchmark e um pipeline de detecção em múltiplos estágios, projetado para decompor alucinações em cinco categorias distintas.

1. Taxonomia de Alucinações: O framework define cinco categorias não sobrepostas:

   • Fidelidade Visual do Objeto: Desvios na aparência visual (textura, material, cor, geometria) dos objetos inseridos em relação às referências.
   • Fidelidade do Plano de Fundo: Alterações ao ambiente circundante (paredes, iluminação, móveis preexistentes) que deveriam permanecer inalterados.
   • Fidelidade Espacial e Instrucional: Falhas no raciocínio espacial ou no cumprimento de instruções de edição de alto nível (ex: posicionamento incorreto, falha ao substituir/remover objetos, introdução de objetos indesejados).
   • Fidelidade Física e de Integração: Violações da consistência física do mundo real, incluindo iluminação, sombras, perspectiva, escala e oclusão.
   • Omissão de Objeto: A ausência completa de objetos explicitamente exigidos pelas instruções de entrada.

2. Pipeline de Detecção: Diferente de detectores "tudo-em-um", o VIGIL emprega um conjunto coordenado de modelos de código aberto para processar imagens através de etapas especializadas:

   • Extração de Objeto: O Qwen3.5 analisa o prompt para identificar sujeitos, e o Segment Anything Model 3 (SAM 3) gera máscaras para essas entidades tanto nas imagens de referência quanto nas geradas.
   • Verificação de Fidelidade do Objeto: O DINO v3 gera embeddings para os objetos segmentados. Um algoritmo de Atribuição de Soma Linear combina os objetos de referência com os recortes gerados com base na similaridade de cosseno ($S_{cos} > \tau$). Incompatibilidades ou falhas de correspondência são sinalizadas.
   • Verificação de Fidelidade do Plano de Fundo: Os objetos são mascarados (com uma margem estendida para excluir sombras de contato) para isolar o plano de fundo. O pipeline utiliza análise comparativa direta e localização guiada por diferença para identificar discrepâncias estruturais, induzindo um Modelo de Linguagem Visual (VLM) a distinguir erros principais de artefatos de integração naturais.
   • Verificação de Fidelidade Física: O VLM avalia a plausibilidade física em dois níveis de granularidade: nível de objeto (iluminação, sombras, escala relativa ao contexto) e nível de cena (incoerência global, objetos flutuantes, fontes de luz inconsistentes).
   • Verificação Espacial e Instrucional: O prompt é destilado em restrições atômicas (relações posicionais ou diretrizes de substituição). O VLM avalia cada restrição individualmente contra a imagem gerada para detectar erro de posicionamento, falhas de substituição ou objetos indesejados.

Conjunto de Dados (Dataset)
Os autores introduzem o conjunto de dados VIGIL, contendo 1.269 amostras anotadas manualmente em cinco domínios de produtos: vestuário, mobiliário, cosméticos, eletrônicos e carros. O conjunto de dados inclui imagens de referência, imagens de plano de fundo, prompts textuais e as imagens recontextualizadas resultantes geradas pelo Gemini 2.5 Flash Image. As anotações são fornecidas em formato JSON, rotulando classes específicas de alucinação e fornecendo justificativas explicativas. O conjunto de dados contém 1.024 imagens com alucinações (80,7%) e 245 amostras limpas. A concordância entre anotadores foi medida em 0,8129 (Acordo Específico Positivo) usando um framework de LLM-como-Juiz (LLM-as-a-Judge).

Resultados
O pipeline foi avaliado usando uma estratégia de exclusão de um domínio por vez (leave-one-domain-out), comparando o VIGIL com VLMs independentes (Gemini 2.5 Flash, Qwen3.5-9B, Gemma 3 12B IT) e baselines adaptados (VIEScore, CIGEval).

• Desempenho: O VIGIL alcançou os melhores escores de macro-F1 entre os métodos não-Gemini na categoria de mobiliário (0,5064) e resultados competitivos em vestuário, cosméticos e eletrônicos. Ele superou consistentemente os baselines adaptados (VIEScore e CIGEval), que pontuaram significativamente abaixo em todos os domínios.
• Comparação com Modelos Proprietários: Embora o Gemini 2.5 Flash tenha alcançado os escores gerais mais altos, os autores observam que isso pode ocorrer devido ao modelo juiz (também Gemini) favorecer estilos de saída semelhantes. Crucialmente, o pipeline decomposto do VIGIL usando o Qwen3.5-9B frequentemente superou o uso do Qwen3.5-9B como um detector autônomo, sugerindo que resolver subtarefas focadas melhora a confiabilidade.
• Análise de Erros: Os autores identificaram que as lacunas de desempenho em "Carros" e "Eletrônicos" devem-se principalmente à dificuldade de detectar distorções de texto sutis e localizadas (ex: placas de veículos) e detalhes finos (logos, portas) que são frequentemente borrados ou reduzidos em recortes gerados, indicando um gargalo na verificação local em vez da estratégia de decomposição geral.

Significância e Alegações
O artigo afirma que o VIGIL aborda uma lacuna crítica no campo ao ir além das avaliações de pontuação única e opaca para fornecer feedback estruturado, detalhado e explicável. As principais contribuições são:

1. Um conjunto de dados de benchmark de 1.269 amostras anotadas manualmente com ground truth através de cinco categorias de alucinação.
2. Um método de detecção decomposto que identifica e descreve automaticamente alucinações, retornando explicações textuais para cada erro em vez de apenas pontuações isoladas.
3. Uma taxonomia especificamente adaptada para recontextualização de imagens, suportando o diagnóstico da confiabilidade do modelo para casos de uso práticos.

Os autores enfatizam que sua abordagem fornece feedback interpretável por humanos, o que é essencial para mover modelos generativos da pesquisa para a produção, particularmente em domínios onde os atributos do produto devem ser preservados com alta fidelidade. Eles declaram explicitamente que o código e o conjunto de dados serão disponibilizados publicamente.