A Structured Benchmark for Text-Guided Anomaly Detection: When Language Stops Conditioning the Decision

Declaração do Problema
A detecção de anomalias (AD) industrial tem sido historicamente uma tarefa unimodal, baseando-se em entradas visuais para aprender representações de normalidade e sinalizar desvios. Embora modelos de visão-linguagem recentes (LVLMs) tenham introduzido capacidades de inspeção guiadas por texto, zero-shot e few-shot, seus protocolos de avaliação permanecem herdados de benchmarks unimodais como o MVTec AD. Esses protocolos padrão mantêm as condições textuais efetivamente constantes entre as amostras de teste, tratando os prompts como rótulos de classe estáticos em vez de instruções controláveis. Consequentemente, permanece incerto se os ganhos de desempenho relatados decorrem de uma genuína tomada de decisão guiada por texto ou meramente de características visuais pré-treinadas robustas aumentadas por um prior linguístico genérico. O problema central abordado é a falta de um protocolo capaz de medir se a linguagem realmente condiciona a decisão de detecção de anomalias.

Metodologia: O Benchmark TGAD
Os autores introduzem o Text-Guided Anomaly Detection (TGAD), um benchmark estruturado projetado para aumentar progressivamente o papel funcional da linguagem na decisão de inspeção através de três cenários:

1. Cenário 1: Sensibilidade de Prompt Controlada (MVTec AD): Este cenário isola se as previsões variam em função da linguagem. A entrada visual e a verdade fundamental (ground truth) são fixas enquanto a entrada textual é sistematicamente variada. As variantes variam de descrições completas a consultas mínimas, testando especificamente a remoção do substantivo do objeto, das asserções de normalidade e das listas de defeitos.
2. Cenário 2: Detecção de Anomalia por Componente (Extensão do MVTec AD): Este cenário instrui o modelo a inspecionar um componente específico de um objeto, tratando defeitos em outros componentes como normais. Isso força o modelo a seguir seletivamente as restrições textuais em vez de reportar qualquer defeito visualmente evidente. Os autores lançam uma extensão do MVTec AD com marcação de componentes para configurações de avaliação específicas (EV1 e EV2) para testar isso.
3. Cenário 3: Robustez Industrial (Dataset de Painéis Montados - APD): Um novo dataset industrial realista de painéis eletrônicos apresentando componentes interagentes. Este cenário exige conhecimento simultâneo do tipo de defeito e da localização do componente, representando a convergência natural dos dois primeiros cenários sob condições realistas.

Modelos Avaliados
O estudo avalia um modelo representativo por paradigma multimodal:

• LVLM Generativo: AnomalyGPT.
• Discriminativo sem Treinamento (Training-free): LogSAD (aumentado com uma extensão de máscara de primeiro plano para permitir inspeção por parte).
• Discriminativo Adaptativo de Embedding: AA-CLIP.

Principais Descobertas e Resultados
Em todos os três paradigmas e cenários, a interface textual condiciona a decisão apenas superficialmente:

• Colapso do Âncora de Objeto (Object-Anchor Collapse): No Cenário 1, o conteúdo do prompt é amplamente absorvido, a menos que o substantivo do objeto seja removido. Para o AnomalyGPT, remover o substantivo do objeto causou uma queda significativa no I-AUROC de imagem (I-AUROC) de 97,4 para 82,6, enquanto parafrasear ou remover listas de defeitos não teve efeito. Isso indica que o modelo está ancorado apenas no substantivo do objeto, tratando o prompt como um prior estático em vez de uma instrução dinâmica.
• Dissociação Decisão-Localização (Localization-Decision Dissociation): No Cenário 2, ao ser instruído a ignorar defeitos fora de um componente específico, as pontuações de detecção de nível de imagem colapsaram (ex: o I-AUROC do AnomalyGPT caiu de 90,3 para 66,3), enquanto as métricas de localização de nível de pixel (AUPRO) degradaram-se significativamente menos. Isso sugere que os modelos podem localizar defeitos corretamente, mas falham em suprimir a decisão global baseada em restrições textuais.
• Falha Industrial (APD): No Cenário 3, sob carga realista, a discriminação de nível de imagem para todos os modelos caiu bem abaixo dos níveis do MVTec, com o AA-CLIP caindo para 31,5 (abaixo do acaso). O prompting guiado por texto melhorou a localização para o AnomalyGPT, mas falhou em condicionar a decisão para qualquer modelo.

Principais Contribuições

1. Benchmark e Datasets TGAD: O lançamento de um benchmark estruturado com três cenários crescentes, uma extensão do MVTec AD com marcação de componentes e o novo Dataset de Painéis Montados (APD).
2. Análise Crítica: Uma demonstração de que os atuais modelos de AD multimodais usam o texto como um prior fraco de nível de classe em vez de um mecanismo de inferência. O estudo destaca o "Colapso do Âncora de Objeto" e a "Dissociação Decisão-Localização" como assinaturas recorrentes de falha.
3. Assinatura Diagnóstica: A identificação da Dissociação Decisão-Localização, onde a detecção de nível de imagem colapsa sob estresse de instrução enquanto a localização de nível de região permanece relativamente estável, revelando que o texto seleciona o que o modelo encontra, mas não pode dizer o que ele deve ignorar.

Significância e Alegações
O artigo argumenta que os benchmarks padrão superestimam as capacidades guiadas por texto dos atuais sistemas de detecção de anomalias multimodais. Os autores alegam que, para implantação industrial, um protocolo como o TGAD é um pré-requisito para garantir que os modelos possam ser confiavelmente controlados através da linguagem. Eles concluem que os sistemas atuais não tratam as instruções como sinais de controle para o processo de tomada de decisão; em vez disso, o prompt apenas seleciona o que o modelo já encontra visualmente. O artigo postula que fechar essa lacuna requer arquiteturas onde a decisão de nível de imagem seja condicionada à instrução, indo além de nomear objetos para especificar configurações corretas.