💻 computer science

DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection

DriftAD é um framework de detecção de anomalias industriais de poucos disparos (few-shot) que supera as limitações de prompts de texto estáticos ao introduzir um mecanismo de Desvio de Texto Guiado Visualmente para gerar dinamicamente descritores de anomalia espacial e camada-wise adaptativos, melhorando significativamente o desempenho de detecção nos datasets MVTec-AD e VisA.

Autores originais: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No vasto mundo automatizado da manufatura moderna, manter os produtos perfeitos é uma batalha constante contra o invisível. Máquinas montam milhares de itens idênticos a cada hora, mas no momento em que um pequeno arranhão aparece em uma superfície metálica ou uma sutil descoloração mancha um tecido, todo o lote corre o risco de falha. Por décadas, os computadores lutaram para detectar essas falhas porque elas são raras e imprevisíveis. Os métodos tradicionais exigiam ensinar um computador a reconhecer o que é "normal" para cada tipo de produto, um processo lento e caro que perdia a eficácia assim que uma fábrica introduzia um novo item. Recentemente, surgiu uma nova abordagem utilizando modelos de inteligência artificial que foram originalmente treinados para compreender tanto imagens quanto linguagem. Esses modelos conseguem ler uma descrição como "uma garrafa danificada" e procurá-la em uma imagem, ofereção uma maneira flexível de encontrar defeitos sem a necessidade de milhares de exemplos. No entanto, mesmo esses sistemas avançados possuem um ponto cego: eles tendem a tratar um defeito como uma ideia única e uniforme, falhando em notar que uma falha pode parecer diferente dependendo de onde ela está ou de quão profundamente ela se encontra nas camadas dos dados da imagem.

Pesquisadores da Universidade Tecnológica de Nanyang e da Universidade de Ciência e Tecnologia de Huazhong desenvolveram um novo sistema chamado DriftAD para corrigir essa fraqueza específica. O trabalho deles, apresentado para a ACM International Conference on Multimedia de 2026, introduz uma forma de fazer com que a compreensão do computador sobre um defeito "derive" ou se desloque dinamicamente enquanto ele observa diferentes partes de uma imagem. Em vez de usar uma descrição única e estática de uma falha que permanece a mesma, não importa o que o computador veja, o DriftAD permite que essa descrição mude com base no contexto visual local. Imagine um segurança que, em vez de segurar uma descrição rígida e única de um suspeito, ajusta sua imagem mental desse suspeito em tempo real enquanto varre diferentes áreas de uma multidão, levando em conta a iluminação, a distância e o ângulo. Da mesma forma, este novo método pega uma descrição textual congelada e imutável de um defeito e a empurra suavemente para que coincida com os detalhes visuais específicos da área que está examinando no momento.

O processo começa ao aguçar a visão do computador sobre a imagem. O sistema utiliza primeiro ramos especializados para destacar sinais sutis que poderiam, de outra forma, ser ocultados pelos padrões dominantes e perfeitos de um produto normal. Ele observa a imagem através de uma lente espacial, comparando cada pequeno fragmento com seus vizinhos imediatos para encontrar desvios, e uma lente de frequência, analisando os padrões subjacentes da imagem para detectar irregularidades que o olho poderia perder. Uma vez que esses sinais de defeito tênues são amplificados, o sistema aciona sua inovação central: o Visually-Guided Text Drift (Deriva de Texto Guiada Visualmente). Aqui, o computador pega a descrição textual padrão de uma anomalia e, guiado pelas características visuais que acabou de amplificar, desloca essa descrição para uma nova versão personalizada para cada camada de sua análise. Isso significa que, conforme o computador remove as camadas da imagem, das formas amplas até as texturas finas, a definição do que constitui um "defeito" evolui para se ajustar à escala e localização específicas da potencial falha.

Para garantir que essas descrições variáveis sejam úteis, o sistema as utiliza como sondas para escanear a imagem novamente. Ele pergunta às características visuais: "Esta parte da imagem corresponde à descrição atual e personalizada de um defeito?". Se a resposta for sim, essa parte da imagem é destacada; se não, ela é ignorada. Isso cria um mapa altamente focado de onde reside o problema, filtrando o ruído do fundo. Os pesquisadores testaram essa abordagem em dois grandes conjuntos de dados industriais, MVTec-AD e VisA, que contêm milhares de imagens de vários produtos, variando de porcas metálicas a cabos e carpetes. Eles desafiaram o sistema com dados muito limitados, fornecendo-lhe apenas um, dois ou quatro exemplos de um produto perfeito para aprender, um cenário conhecido como aprendizado de poucos disparos (few-shot learning).

Os resultados foram decisivos. Em testes medindo a capacidade do sistema de identificar imagens defeituosas e localizar o ponto exato da falha, o DriftAD superou todos os métodos existentes em todas as configurações. No conjunto de dados MVTec-AD, o sistema alcançou uma pontuação de precisão de nível de imagem de 97,2% com apenas um exemplo, e uma precisão de nível de pixel de 96,8%. No conjunto de dados VisA, que apresenta defeitos mais complexos e variados, atingiu 93,1% de precisão para detecção de imagem e 97,4% para localizar os pixels específicos do defeito. Esses números representam um salto significativo, superando os melhores métodos anteriores por uma margem clara. O estudo confirma que, ao permitir que a descrição textual de um defeito se mova e se adapte à realidade visual da imagem, em vez de forçar a imagem a se ajustar a uma descrição rígida, as máquinas podem detectar falhas industriais com um nível de precisência que era anteriormente inalcançável. Esta abordagem não requer o retreinamento de todo o sistema para cada novo produto, tornando-a uma solução escalável para as necessidades dinâmicas da manufatura moderna.

Resumo Técnico: DriftAD

Problema

A detecção de anomalias com poucos exemplos (Few-shot Anomaly Detection - FSAD) em ambientes industriais visa identificar e localizar defeitos raros utilizando apenas um pequeno número de imagens normais de suporte. Embora abordagens recentes utilizem Modelos de Visão-Linguagem (VLMs) como o CLIP para alcançar generalização de conjunto aberto (open-set), os métodos existentes sofrem de uma limitação fundamental: representações de texto estáticas.

Métodos atuais baseados em VLM (ex: WinCLIP, PromptAD) tipicamente dependem de embeddings de texto globais compartilhados e estáticos ou de prompts aprendíveis que são aplicados uniformemente em todas as localizações espaciais e profundidades do codificador. Esse emparelhamento "global-para-local" falha em capturar a natureza intrínseca dos defeitos industriais, que são altamente localizados, dependentes de escala e específicos ao contexto. Consequentemente, esses descritores estáticos carecem de consciência sobre a localização precisa e a morfologia de um defeito em uma imagem de teste específica, levando a mapas de anomalia difusos que têm dificuldade em distinguir regiões de defeito finas de padrões normais circundantes.

Metodologia

Os autores propõem o DriftAD, um framework projetado para transformar os embeddings de texto congelados do CLIP em descritores de anomalia camada por camada e espacialmente adaptáveis, condicionados ao contexto visual local de cada imagem de entrada. A arquitetura consiste em quatro componentes primários:

1. Amplificação de Sinal de Anomalia (ASA)

Antes do emparelhamento texto-visual, sinais de defeitos sutis, frequentemente suprimidos por padrões normais dominantes, devem ser expostos. O ASA potencializa as características visuais ( $V_\ell$ ) através de dois ramos paralelos:

Ramo Espacial: Computa resíduos multiescala entre as características e seus fundos suavizados (via pooling de 3×3 e 9×9) para destacar regiões desviantes.
Ramo de Frequência: Decompõe as características em espectros de magnitude e fase via 2D FFT, reponderando adaptativamente os componentes de baixa e alta frequência para realçar o conteúdo espectral anormal.
Os resultados são combinados adaptativamente para produzir características amplificadas ( $A_\ell$ ).

2. Deriva de Texto Guiada Visualmente (VGTD)

Esta é a inovação central. Em vez de usar um token de texto fixo, o VGTD "desvia" dinamicamente os embeddings de texto normais ( $t_+$ ) e anormais ( $t_-$ ) congelados com base no contexto visual.

Extração de Contexto: O contexto visual é extraído de $A_\ell$ via pooling adaptativo e fundido de cima para baixo (top-down) das camadas profundas para as rasas para garantir riqueza semântica.
Geração de Deriva: Um gerador dedicado produz campos de deriva (drift fields) normais e anormais ( $\Delta_{\ell, \pm}$ ) para cada profundidade do codificador.
Modulação: Os embeddings congelados são deslocados ao longo desses campos de deriva: $T_{\ell, \pm} = \text{Norm}(t_{\pm} + \Delta_{\ell, \pm} \cdot \rho)$ .
Isso resulta em descritores ( $T_{\ell, \pm}$ ) que são únicos para cada localização espacial e profundidade de codificador, adaptando-se ao padrão de defeito específico da imagem de entrada.

3. Portão Espacial Guiado por Deriva (DGSG)

Para garantir que as características visuais se alinhem com o novo espaço de texto derivado, o DGSG utiliza o descritor anormal derivado ( $T_{\ell, -}$ ) como uma sonda espacial.

Ele computa a similaridade de cosseno pixel a pixel entre as características visuais amplificadas ( $A_\ell$ ) e $T_{\ell, -}$ para gerar portões de atenção ( $G_\ell$ ).
Esses portões selecionam e potencializam regiões relevantes para anomalias nas características visuais, produzindo características refinadas ( $\tilde{A}_\ell$ ) que estão melhor alinhadas com os descritores de texto derivados.

4. Pontuação de Anomalia Multi-Ramo (MBAS)

O mapa de anomalia final é sintetizado pela fusão de três ramos complementares:

Ramo Limpo (Clean Branch): Emparelha características sensíveis à escala com embeddings de texto congelados (preservando a generalização zero-shot).
Ramo de Deriva (Drift Branch): Emparelha características refinadas ( $\tilde{A}_\ell$ ) com os descritores derivados ( $T_{\ell, \pm}$ ), capturando sinais específicos de defeitos.
Ramo de Suporte (Support Branch): (Apenas inferência) Utiliza um banco de memória de patches do conjunto de suporte para medir distâncias de vizinho mais próximo.

Objetivos de Treinamento

Além das perdas padrão de classificação e segmentação, o DriftAD introduz duas perdas específicas:

Perda de Separação de Deriva (Drift Separation Loss): Impede que os descritores normais e anormais derivados colapsem em representações similares, impondo uma margem em relação aos embeddings originais congelados.
Perda de Supervisão de Portão (Gate Supervision Loss): Supervisiona diretamente os portões de atenção no DGSG para garantir um portão espacialmente discriminativo.

Principais Contribuições

Deriva de Texto Guiada Visualmente (VGTD): Um mecanismo inovador que desloca os embeddings de texto congelados do CLIP para descritores espacialmente adaptáveis e por camada, condicionados ao contexto visual local, abordando a rigidez dos prompts de texto estáticos.
Portão Espacial Guiado por Deriva (DGSG): Um módulo que utiliza o descritor anormal derivado como uma sonda espacial para potencializar seletivamente as características visuais relevantes para anomalias, resolvendo o descompasso texto-visual.
Amplificação de Sinal de Anomalia (ASA): Um módulo de pré-processamento que expõe sinais de defeitos sutis através de ramos espaciais e de frequência antes do emparelhamento.
Estratégias de Regularização: A introdução de perdas de separação de deriva e de supervisão de portão para garantir uma otimização robusta e evitar o colapso representacional.

Resultados Experimentais

O método foi avaliado nos datasets MVTec-AD e VisA nos cenários de 1-shot, 2-shot e 4-shot.

Desempenho: O DriftAD atinge o estado da arte (SOTA) em todos os cenários de shots em métricas de nível de imagem (AUROC, AUPR) e nível de pixel (pAUROC, PRO).
Comparações: Supera os métodos baseados em prompts existentes (ex: PromptAD, AnomalyGPT) e métodos de potencialização visual (ex: KAG-prompt, FocusPatch-AD). Notavelmente, no cenário de 1-shot no MVTec-AD, ele melhora o AUROC médio em até 1,5% sobre o melhor método concorrente (KAG-prompt).
Few-Shot vs. Full-Shot: Com apenas 4-shot de suporte, o DriftAD atinge um desempenho competitivo ou superior aos baselines de full-shot (ex: DeSTSeg, OmniAL) e supera significativamente os métodos de 8-shot.
Análise Qualitativa: As visualizações mostram que o DriftAD produz mapas de anomalia mais nítidos com redução de interferência de fundo em comparação aos baselines, particularmente para defeitos pequenos e dispersos em objetos complexos (VisA).

Significância e Alegações

O artigo afirma que o DriftAD repensa fundamentalmente a representação de texto de anomalia em detecção baseada em VLM. Ao se afastar de tokens globais fixos para descritores dinamicamente derivados e espacialmente adaptáveis, o método alinha a força semântica do CLIP com a natureza localizada e dependente de contexto dos defeitos industriais.

Os autores enfatizam que esta abordagem permite que o modelo:

Adapte os descritores de texto à forma, escala e distribuição espacial específicas dos defeitos em cada imagem.
Alcance um alinhamento preciso entre texto e patch sem sacrificar as capacidades de generalização zero-shot do modelo CLIP pré-treinado.
Preencha efetivamente a lacuna entre os priors semânticos globais e as anomalias visuais locais, resultando em desempenho superior de detecção e localização few-shot.

O trabalho é apresentado como uma solução para o problema de "emparelhamento rígido global-para-local" inerente aos métodos atuais de FSAD baseados em VLM, demonstrando que condicionar os embeddings de texto ao contexto visual local é crítico para a detecção de anomalias industriais de alta precisão.