💻 computer science

DriftAD: Visually-Guided Text Drift for Few-Shot Industrial Anomaly Detection

DriftAD è un framework di rilevamento delle anomalie industriali few-shot che supera i limiti dei prompt testuali statici introducendo un meccanismo di Visually-Guided Text Drift per generare dinamicamente descrittori di anomalie spazialmente e per livelli adattivi, migliorando significativamente le prestazioni di rilevamento sui dataset MVTec-AD e VisA.

Autori originali: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

Pubblicato 2026-08-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Wenyang Liu, Tianyi Liu, Dongshuo Zhang, Kejun Wu, Adams Wai-Kin Kong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel vasto mondo automatizzato della manifattura moderna, mantenere i prodotti perfetti è una battaglia costante contro l'invisibile. Le macchine assemblano migliaia di articoli identici ogni ora, ma nel momento in cui appare un piccolo graffio su una superficie metallica o una sottile decolorazione rovina un tessuto, l'intero lotto rischia il fallimento. Per decenni, i computer hanno faticato a individuare questi difetti perché sono rari e imprevedibili. I metodi tradizionali richiedevano di insegnare a un computer cosa sia "normale" per ogni singolo tipo di prodotto, un processo lento e costoso che si interrompeva non appena una fabbrica introduceva un nuovo articolo. Recentemente, è emersa un approccio nuovo utilizzando modelli di intelligenza artificiale che sono stati originariamente addestrati per comprendere sia le immagini che il linguaggio. Questi modelli possono leggere una descrizione come "una bottiglia danneggiata" e cercarla in un'immagine, offrendo un modo flessibile per trovare i difetti senza la necessità di migliaia di esempi. Tuttavia, anche questi sistemi avanzati hanno un punto cieco: tendono a trattare un difetto come un'idea singola e uniforme, non riuscendo a notare che un difetto potrebbe apparire diverso a seconda di dove si trova o di quanto profondamente si trovi all'interno dei livelli dei dati dell'immagine.

Ricercatori della Nanyang Technological University e della Huazhong University of Science and Technology hanno sviluppato un nuovo sistema chiamato DriftAD per correggere questa specifica debolezza. Il loro lavoro, presentato per la conferenza ACM International on Multimedia 2026, introduce un modo per rendere la comprensione di un difetto da parte del computer "errante" o capace di spostarsi dinamicamente mentre esamina diverse parti di un'immagine. Invece di utilizzare una descrizione singola e statica di un difetto che rimane la stessa indipendentemente da ciò che il computer vede, DriftAD permette a quella descrizione di cambiare in base al contesto visivo locale. Immaginate una guardia giurata che, invece di tenere una descrizione singola e rigida di un sospettato, adatta l'immagine mentale di quel sospettato in tempo reale mentre scansiona diverse aree di una folla, tenendo conto di illuminazione, distanza e angolazione. Allo stesso modo, questo nuovo metodo prende una descrizione testuale congelata e immutabile di un difetto e la spinge delicatamente a corrispondere ai dettagli visivi specifici dell'area che sta esaminando in quel momento.

Il processo inizia affinando la visione del computer sull'immagine. Il sistema utilizza prima rami specializzati per evidenziare segnali sottili che potrebbero altrimenti essere nascosti dai pattern dominanti e perfetti di un prodotto normale. Esamina l'immagine attraverso una lente spaziale, confrontando ogni piccola porzione con i suoi vicini immediati per trovare deviazioni, e una lente di frequenza, analizzando i pattern sottostanti dell'immagine per individuare irregolarità che l'occhio potrebbe perdere. Una volta che questi deboli segnali di difetto sono stati amplificati, il sistema attiva la sua innovazione principale: il Visually-Guided Text Drift (Deriva del Testo Guidata Visivamente). Qui, il computer prende la descrizione testuale standard di un'anomalia e, guidato dalle caratteristiche visive appena amplificate, sposta quella descrizione in una nuova versione personalizzata per ogni singolo livello della sua analisi. Ciò significa che mentre il computer scorteccia gli strati dell'immagine, dalle forme ampie fino alle texture fini, la definizione di ciò che costituisce un "difetto" evolve per adattarsi alla scala e alla posizione specifica del potenziale errore.

Per garantire che queste descrizioni variabili siano utili, il sistema le utilizza come sonde per scansionare nuovamente l'immagine. Chiede alle caratteristiche visive: "Questa parte dell'immagine corrisponde alla descrizione personalizzata e corrente del difetto?". Se la risposta è sì, quella parte dell'immagine viene evidenziata; se no, viene ignorata. Questo crea una mappa altamente focalizzata di dove risiede il problema, filtrando il rumore dello sfondo. I ricercatori hanno testato questo approccio su due importanti dataset industriali, MVTec-AD e VisA, che contengono migliaia di immagini di vari prodotti che vanno da dadi metallici a cavi e tappeti. Hanno sfidato il sistema con dati molto limitati, fornendogli solo un, due o quattro esempi di un prodotto perfetto da cui imparare, uno scenario noto come few-shot learning.

I risultati sono stati decisivi. Nei test che misurano quanto il sistema sia capace di identificare immagini difettose e individuare l'esatta posizione del difetto, DriftAD ha superato tutti i metodi esistenti in ogni configurazione. Sul dataset MVTec-AD, il sistema ha raggiunto un punteggio di accuratezza a livello di immagine del 97,2 percento con un solo esempio, e una precisione a livello di pixel del 96,8 percento. Sul dataset VisA, che presenta difetti più complessi e vari, ha raggiunto il 93,1 percento di accuratezza nella rilevazione dell'immagine e il 97,4 percento nel localizzare i pixel specifici del difetto. Questi numeri rappresentano un salto in avanti significativo, superando i precedenti migliori metodi con un margine netto. Lo studio conferma che permettendo alla descrizione testuale di un difetto di muoversi e adattarsi alla realtà visiva dell'immagine, invece di forzare l'immagine a conformarsi a una descrizione rigida, le macchine possono rilevare i difetti industriali con un livello di precisione che prima era fuori portata. Questo approccio non richiede il riaddestramento dell'intero sistema per ogni nuovo prodotto, rendendolo una soluzione scalabile per le esigenze dinamiche della manifattura moderna.

Riepilogo Tecnico: DriftAD

Problematica

L'anomaly detection few-shot (FSAD) in contesti industriali mira a identificare e localizzare difetti rari utilizzando solo un piccolo numero di immagini normali di supporto. Sebbene gli approcci recenti sfruttino i modelli Vision-Language (VLM) come CLIP per ottenere una generalizzazione open-set, i metodi esistenti soffrono di un limite fondamentale: rappresentazioni testuali statiche.

I metodi basati su VLM attuali (ad es., WinCLIP, PromptAD) si affidano tipicamente a embedding testuali globali condivisi e statici o a prompt apprendibili che vengono applicati uniformemente a tutte le posizioni spaziali e alle profondità dell'encoder. Questo matching "global-to-local" non riesce a catturare la natura intrinseca dei difetti industriali, che sono altamente localizzati, dipendenti dalla scala e specifici del contesto. Di conseguenza, questi descrittori statici mancano di consapevolezza riguardo alla posizione precisa e alla morfologia di un difetto in uno specifico immagine di test, portando a mappe di anomalia diffuse che faticano a distinguere le regioni di difetto fine dai pattern normali circostanti.

Metodologia

Gli autori propongono DriftAD, un framework progettato per trasformare gli embedding testuali congelati di CLIP in descrittori di anomalia layer-wise e spazialmente adattivi, condizionati dal contesto visivo locale di ogni immagine di input. L'architettura consiste in quattro componenti primari:

1. Anomaly Signal Amplification (ASA)

Prima del matching testo-visivo, i segnali di difetto sottili, spesso soppressi dai pattern normali dominanti, devono essere esposti. ASA potenzia le caratteristiche visive ( $V_\ell$ ) attraverso due rami paralleli:

Ramo Spaziale: Calcola i residui multi-scala tra le caratteristiche e i loro background smussati (tramite pooling 3×3 e 9×9) per evidenziare le regioni devianti.
Ramo di Frequenza: Scompone le caratteristiche in spettri di magnitudo e fase tramite 2D FFT, ripesando adattivamente le componenti a bassa e alta frequenza per potenziare il contenuto spettrale anomalo.
Gli output vengono combinati adattivamente per produrre caratteristiche amplificate ( $A_\ell$ ).

2. Visually-Guided Text Drift (VGTD)

Questa è l'innovazione principale. Invece di utilizzare un token di testo fisso, VGTD fa "deriva" (drift) dinamicamente gli embedding testuali normali ( $t_+$ ) e anormali ( $t_-$ ) congelati in base al contesto visivo.

Estrazione del Contesto: Il contesto visivo è estratto da $A_\ell$ tramite adaptive pooling e fuso top-down dai livelli profondi a quelli superficiali per garantire una ricchezza semantica.
Generazione della Deriva: Un generatore dedicato produce campi di deriva (drift fields) normali e anormali ( $\Delta_{\ell, \pm}$ ) per ogni profondità dell'encoder.
Modulazione: Gli embedding congelati sono spostati lungo questi campi di deriva: $T_{\ell, \pm} = \text{Norm}(t_{\pm} + \Delta_{\ell, \pm} \cdot \rho)$ .
Ciò produce descrittori ( $T_{\ell, \pm}$ ) che sono unici per ogni posizione spaziale e profondità dell'encoder, adattandosi al pattern di difetto specifico dell'immagine di input.

3. Drift-Guided Spatial Gating (DGSG)

Per garantire che le caratteristiche visive si allineino con il nuovo spazio testuale derivato, DGS-G utilizza il descrittore anomalo derivato ( $T_{\ell, -}$ ) come un sonda spaziale (spatial probe).

Calcola la similarità del coseno pixel-wise tra le caratteristiche visive amplificate ( $A_\ell$ ) e $T_{\ell, -}$ per generare gate di attenzione ( $G_\ell$ ).
Questi gate potenziano selettivamente le regioni rilevanti per l'anomalia nelle caratteristiche visive, producendo caratteristiche raffinate ( $\tilde{A}_\ell$ ) che sono meglio allineate con i descrittori testuali derivati.

4. Multi-Branch Anomaly Scoring (MBAS)

La mappa di anomalia finale è sintetizzata fondendo tre rami complementari:

Clean Branch: Effettua il matching tra caratteristiche scale-aware ed embedding testuali congelati (preservando la generalizzazione zero-shot).
Drift Branch: Effettua il matching tra caratteristiche raffinate ( $\tilde{A}_\ell$ ) e i descrittori derivati ( $T_{\ell, \pm}$ ), catturando i segnali specifici del difetto.
Support Branch: (Solo inferenza) Utilizza un memory bank di patch del set di supporto per misurare le distanze del vicino più prossimo.

Obiettivi di Addestramento

Oltre alle perdite standard di classificazione e segmentazione, DriftAD introduce due perdite specifiche:

Drift Separation Loss: Impedisce ai descrittori normali e anormali derivati di collassare in rappresentazioni simili, imponendo un margine rispetto agli originali embedding congelati.
Gate Supervision Loss: Supervisiona direttamente i gate di attenzione in DGSG per garantire un gating spazialmente discriminante.

Contributi Chiave

Visually-Guided Text Drift (VGTD): Un meccanismo innovativo che sposta gli embedding testuali congelati di CLIP in descrittori layer-wise e spazialmente adattivi condizionati dal contesto visivo locale, affrontando la rigidità dei prompt testuali statici.
Drift-Guided Spatial Gating (DGSG): Un modulo che utilizza il descrittore anomalo derivato come sonda spaziale per potenziare selettivamente le caratteristiche visive rilevanti per l'anomalia, risolvendo il mismatch testo-visivo.
Anomaly Signal Amplification (ASA): Un modulo di pre-processing che espone segnali di difetto sottili tramite rami spaziali e di frequenza prima del matching.
Strategie di Regolarizzazione: L'introduzione di perdite di separazione della deriva e di supervisione del gate per garantire un'ottimizzazione robusta e prevenire il collasso della rappresentazione.

Risultati Sperimentali

Il metodo è stato valutato sui dataset MVTec-AD e VisA in configurazioni 1-shot, 2-shot e 4-shot.

Performance: DriftAD raggiunge le prestazioni state-of-the-art (SOTA) in tutte le impostazioni di shot sia per le metriche a livello di immagine (AUROC, AUPR) che a livello di pixel (pAUROC, PRO).
Confronti: Supera gli esistenti metodi basati su prompt (ad es., PromptAD, AnomalyGPT) e i metodi di potenziamento visivo (ad es., KAG-prompt, FocusPatch-AD). In particolare, nel setting 1-shot su MVTec-AD, migliora l'AUROC medio fino all'1,5% rispetto al miglior metodo concorrente (KAG-prompt).
Few-Shot vs. Full-Shot: Con solo 4-shot di supporto, DriftAD raggiunge prestazioni competitive o superiori rispetto ai baseline full-shot (ad es., DeSTSeg, OmniAL) e supera significativamente i metodi a 8-shot.
Analisi Qualitativa: Le visualizzazioni mostrano che DriftAD produce mappe di anomalia più nitide con una riduzione delle interferenze di background rispetto ai baseline, specialmente per difetti piccoli e sparsi su oggetti complessi (VisA).

Significato e Rivendicazioni

Il paper sostiene che DriftAD ripensa fondamentalmente la rappresentazione del testo per l'anomalia nei modelli VLM-based. Allontanandosi dai token globali fissi verso descrittori dinamici, derivati e spazialmente adattivi, il metodo allinea la forza semantica di CLIP con la natura localizzata e dipendente dal contesto dei difetti industriali.

Gli autori sottolineano che questo approccio permette al modello di:

Adattare i descrittori testuali alla forma specifica, alla scala e alla distribuzione spaziale dei difetti in ogni immagine.
Raggiungere un preciso allineamento testo-patch senza sacrificare le capacità di generalizzazione zero-shot del modello CLIP pre-addestrato.
Colmare efficacemente il divario tra i prior semantici globali e le anomalie visive locali, risultando in una performance superiore di rilevamento e localizzazione few-shot.

Il lavoro si presenta come una soluzione al problema del "matching rigido global-to-local" inerente agli attuali metodi FSAD basati su VLM, dimostrando che condizionare gli embedding testuali sul contesto visivo locale è critico per un'alta precisione nella rilevazione di anomalie industriali.