FreqPrompt-AD: Frequency-guided local semantic prompting for zero-shot industrial anomaly detection and segmentation

Resumo Técnico: FreqPrompt-AD

Definição do Problema
A detecção de anomalias industrial (IAD) tradicionalmente baseia-se em aprendizagem de classe única ou não supervisionada utilizando amostras normais, o que limita a aplicabilidade em cenários zero-shot onde os dados da categoria alvo não estão disponíveis devido a restrições de confidencialidade ou de início a frio (cold-start). Embora os Modelos de Visão-Linguagem (VLMs) como o CLIP ofereçam uma forte transferibilidade zero-shot através do alinhamento semântico, eles sofrem de um "desajuste de granularidade". Os VLMs são treinados para invariância semântica de nível de objeto, frequentemente negligenciando defeitos locais de alta frequência, como riscos finos, rachaduras ou irregularidades de borda. Além disso, os embeddings padrão de VLMs tendem a suprimir respostas de alta frequência, tornando-os subótimos para a localização densa de defeitos industriais, onde os defeitos se manifestam como sutis descontinuidades de textura em vez de mudanças de categoria.

Metodologia: FreqPrompt-AD
Os autores propõem o FreqPrompt-AD, um framework livre de treinamento que reformula a detecção de anomalias zero-shot como um problema de "construção de evidência semântica de frequência local". O framework utiliza um backbone de VLM congelado e consiste em três módulos principais:

1. Interação de Prompt Sensível à Frequência (FPI):

   • A imagem de entrada é decomposta em um componente de baixa frequência e um resíduo de alta frequência usando um operador de passa-baixa Gaussiano.
   • Os resíduos de alta frequência são calculados pela média sobre patches da imagem para gerar um prior de frequência ($w_f$).
   • Este prior modula a probabilidade de anomalia patch-texto padrão. Especificamente, o escore de anomalia semântica bruta é amplificado para patches localizados em regiões de alta frequência, convertendo resíduos espectrais em orientação espacial para o alinhamento patch-texto.

2. Calibração Semântica Local (LSC):

   • Para mitigar o viés semântico de nível de objeto (onde imagens normais e anormais compartilham a mesma identidade de categoria), o LSC remove o componente semântico global dos tokens de patch via projeção.
   • Um "protótipo de normalidade" adaptável à imagem é construído agregando os tokens de patch menos suspeitos (selecionados com base em baixos escores de anomalia e baixos pesos de frequência).
   • A evidência de anomalia local é derivada medindo o desvio dos tokens de patch calibrados em relação a este protótipo de normalidade específico da imagem, complementando a evidência baseada em texto.

3. Decisão Ancorada em Texto (TAD):

   • O TAD funde a evidência semântica condicionada à frequência (do FPI) e a evidência de desvio do protótipo (do LSC) usando uma soma ponderada.
   • Os escores de patch resultantes são upsampled e suavizados para gerar mapas de anomalia densos.
   • Os escores de anomalia ao nível da imagem são computados via pooling top-$p$ sobre o mapa de anomalia para evitar a diluição de pequenos defeitos por média global.

Variante Aprimorada por Adaptador (FreqPrompt-AD-FT)
Os autores também introduzem o FreqPrompt-AD-FT, uma variante onde um adaptador de gargalo (bottleneck adapter) leve é inserido no codificador visual. Apenas os parâmetros do adaptador são otimizados usando imagens normais de treinamento para minimizar os escores de patch normais e suprimir falsos positivos, enquanto o backbone do VLM, o codificador de texto e os prompts permanecem congelados.

Principais Contribuições

• Design de Framework: Propõe um framework unificado, livre de treinamento, que injeta explicitamente priors do domínio da frequência no processo de interação patch-texto de um VLM congelado, abordando o desajuste de granularidade na detecção de defeitos industriais.
• Cadeia de Evidência: Desenha uma cadeia de evidência coesa (FPI, LSC, TAD) onde pistas de frequência expõem descontinuidades de textura, protótipos de normalidade suprimem o viés de nível de objeto e âncoras linguísticas fornecem a direção da decisão.
• Desempenho: Demonstra que esta formulação alcança resultados de estado da arte entre detectores baseados em VLM zero-shot sem exigir bancos de memória específicos para o alvo ou ajuste fino total do modelo.

Resultos Experimentais
O método foi avaliado em quatro benchmarks industriais: MVTec AD, VisA, BTAD e MPDD.

• Desempenho Zero-Shot: O FreqPrompt-AD superou todos os detectores baseados em VLM zero-shot existentes. Comparado ao baseline mais forte, DLVP-CLIP, ele melhorou a AUROC média de nível de imagem em 2,05% e a AUROC de nível de pixel em 2,15%.
• Variante de Adaptador: O FreqPrompt-AD-FT alcançou os melhores resultados médios gerais em todos os datasets e métricas, validando que a formulação de evidência se beneficia de adaptação leve.
• Eficiência: A versão estritamente zero-shot não requer parâmetros treináveis e não requer construção de banco de memória, oferecendo menor latência de inferência do que métodos como AF-CLIP e VisualAD. A variante FT adiciona apenas 0,68M de parâmetros enquanto aumenta significativamente a precisão.
• Análise Qualitativa: Visualizações mostram que o FreqPrompt-AD produz mapas de calor mais nítidos e localizados para rachaduras finas e contaminações irregulares, reduzindo a ativação de fundo em estruturas de objetos normais em comparação com métodos de prompt global.

Significância e Alegações
O artigo afirma que o FreqPrompt-AD aborda uma limitação crítica na detecção de anomalias zero-shot atual: a incapacidade da semântica global de VLM capturar defeitos locais de alta frequência. Ao tratar a detecção de anomalias como uma construção de "evidência semântica de frequência local", o método preenche a lacuna entre a transferibilidade semântica e a natureza física dos defeitos industriais. Os autores afirmam que sua abordagem é particularmente adequada para implantação industrial rápida em ambientes de GPU única onde os dados do alvo não estão disponíveis. Eles enfatizam que os priors de frequência devem ser calibrados por informações semânticas (via LLSC e TAD) para evitar falsos positivos em estruturas de alta frequência normais, como bordas, um equilíbrio alcançado por sua cadeia de evidência unificada. Sugere-se que trabalhos futuros explorem a seleção adaptativa de bandas de frequência e a extensão para raciocínio multimodal 2D-3D.