Detect Before You Leap: Mirage Detection in Vision-Language Models

Resumo Técnico: Detect Before You Leap: Detecção de Miragens em Modelos de Visão-Linguagem

Formulação do Problema
Modelos de Visão-Linguagem (VLMs) frequentemente exibem um modo de falha denominado "raciocínio de miragem" (mirage reasoning), onde geram respostas visuais confiantes e fluentes apesar da ausência de evidências visuais relevantes, da presença de imagens em branco ou do fornecimento de imagens reais não relacionadas. Isso é particularmente perigoso em domínios de alto risco, como VQA (Visual Question Answering) médico e de documentos, onde uma resposta plausível, mas sem fundamentação, pode ser confundida com evidência factual.

O artigo enquadra isso como um problema de detecção de miragem em tempo de execução (runtime mirage detection). Diferente da detecção de alucinação pós-geração, que avalia a veracidade de uma resposta concluída, este trabalho propõe um sistema de decisão pré-liberação. Dado um par imagem $x$ e pergunta $q$, o sistema deve prever um de três rótulos antes que o VLM gere uma resposta:

1. RELACIONADO (RELATED): A imagem contém evidências relevantes para a pergunta; o VLM tem permissão para responder.
2. NÃO RELACIONADO-REAL (UNRELATED-REAL): A imagem é uma fotografia válida, mas semanticamente incompatível com a pergunta.
3. EM BRANCO/RUÍDO (BLANK/NOISE): A entrada é uma imagem em branco ou com ruído.

Se o par não for classificado como RELACIONADO, o sistema se abstém com uma mensagem de recusa (ex: "Não posso responder com base na imagem fornecida").

Metodologia: TC-LIA e Estrutura de Ensemble
A solução proposta é um pipeline de cinco estágios, agnóstico a modelos, que funde estatísticas de imagem de baixo nível, roteamento de domínio e uma nova análise de representação intermediária.

1. Detecção de Branco/Ruído: Um portão (gate) de alta revocação usando estatísticas de pixels (desvio padrão global, variância de patch, achatamento espectral) para rejeitar imediatamente entradas não informativas.
2. Roteamento CLIP Adaptativo ao Domínio: Um mecanismo zero-shot usando conjuntos de prompts médicos e naturais separados para rotear a imagem para o espaço de incorporação (embedding) CLIP apropriado (ex: BioMedCLIP para imagens médicas), melhorando a estimativa de relevância em domínios heterogêneos.
3. TC-LIA (Text-Conditioned Layer-wise Internal Alignment): Esta é a principal novidade. Em vez de depender apenas da similaridade de cosseno global final do CLIP, o TC-LIA sonda as representações de tokens de patch intermediários de um codificador de visão ViT-H/14 congelado do CLIP.
   • Para cada camada $\ell$, os tokens de patch são projetados no espaço de incorporação conjunto do CLIP usando a matriz de projeção visual fixa.
   • A similaridade de cosseno entre esses tokens de patch projetados e a incorporação de texto da pergunta é computada.
   • O método rastreia a trajetória da evidência de relevância da pergunta através das camadas. Hipotetiza-se que pares relacionados mostram uma emergência de alinhamento patch-texto localizado e específico nas camadas mais profundas, enquanto entradas não relacionadas ou em branco exibem curvas de alinhamento planas, fracas ou instáveis.
   • Quatro características escalares são destiladas dessa trajetória:
     • Late (Tardia): Média da similaridade top-$k$ de patch-texto na segunda metade das camadas.
     • Gain (Ganho): A diferença entre o alinhamento de camada tardia e de camada inicial (cancelando priors globais invariantes de camada).
     • Slope (Inclinação): A tendência linear do alinhamento através de todas as camadas.
     • IAS (Internal Alignment Score): Um composto ponderado de cosseno final, late, gain e slope.
4. Autoavaliação Estruturada do VLM: O VLM é instruído a fornecer um rótulo de classe estruturado (RELATED/UNRELATED/BLANK) e uma resposta candidata. Essa previsão é codificada como uma característica, mas não é a única base de confiança.
5. Fusão de Ensemble: Todas as características (estatísticas de pixel, probabilidades de roteamento, escalares de TC-LIA e codificação de classe do VLM) são fundidas usando um ensemble de boosting (XGBoost, LightGBM, etc.) para tomar a decisão final de três classes.

Principais Contribuições

• Definição do Problema: Formulando a detecção de miragem como um problema de decisão pré-liberação para evitar a geração de respostas sem suporte, distinguindo-se do diagnóstico de alucinação pós-hoc.
• Método TC-LIA: Introduzindo um método de alinhamento camada a camada condicionado ao texto que quantifica a emergência gradual de evidência visual através das camadas do codificador de visão. Ele destila isso em 11 características escalares interpretáveis, demonstrando que trajetórias camada a camada oferecem sinais discriminativos além da similaridade global de cosseno final.
• Estrutura Robusta: Propondo um sistema de múltiplos estágios que combina verificações de nível de pixel, roteamento de domínio, TC-LIA e autoavaliação estruturada de VLM. Esta abordagem reduz as taxas de miragem de prompts base (que variam de 21,7% a 66,6% entre os modelos) para 2,7–3,3%, mantendo alta precisão em entradas relacionadas.

Resultos
O framework foi avaliado em cinco domínios de VQA (Chest VQA, PathVQA, TextVQA, DocVQA, InfoVQA) e doze backbones de VLM (variando de 2,7B a 110B de parâmetros, incluindo Qwen2.5-VL, LLaVA, InternVL e Gemma).

• Desempenho: O ensemble supera significativamente os baselines. Por exemplo, o Qwen2.5-VL-32B alcançou a maior precisão de detecção de três classes de 94,7% com uma taxa de miragem de 3,0%. O Qwen2.5-VL-72B alcançou 94,6% de precisão com uma taxa de miragem menor de 2,8%.
• Eficácia das Características: Estudos de ablação confirmam que o IAS composto e as características de camada a camada (gain, slope) fornecem sinais complementares à similaridade de cosseno padrão do CLIP e à autoavaliação do VLM. Remover a característica de classe do VLM causou a maior queda de precisão, indicando sua forte complementaridade ao TC-LIA.
• Qualidade da Resposta: O sistema preserva com sucesso a qualidade da resposta para entradas relacionadas (medida por BLEU, ROUGE-L, BERTScore), enquanto converte de forma confiável entradas não relacionadas ou em branco em respostas de recusa consistentes, melhorando assim a segurança geral do sistema.

Significância e Alegações
O artigo argumenta que a implantação multimodal segura requer a verificação da presença de evidência visual relevante para a pergunta antes da geração, em vez de apenas verificar o output posteriormente. Os autores afirmam que:

• A simples similaridade de imagem-texto global é insuficiente para detectar incompatibilidades semânticas em domínios complexos (médicos, documentos).
• Trajetórias de alinhamento camada a camada (TC-LIA) oferecem um sinal robusto e agnóstico a modelos para detectar entradas de "miragem".
• Uma abordagem de ensemble que funde sinais de baixo nível, semânticos e de autoavaliação é necessária para lidar com todo o espectro de entradas (em branco, não relacionado, relacionado).

Os autores explicitam as limitações: o detector verifica a relevância, não a correção factual; requer acesso aos tokens intermediários do ViT (favorecendo modelos abertos); e a projeção dos tokens intermediários é uma aproximação. O trabalho é posicionado como uma camada de segurança pré-liberação para acionar abstenção ou revisão humana, não como um sistema de decisão clínica autônomo.