FreqPrompt-AD: Frequency-guided local semantic prompting for zero-shot industrial anomaly detection and segmentation

Sintesi Tecnica: FreqPrompt-AD

Problematica
L'anomaly detection industriale (IAD) si basa tradizionalmente sull'apprendimento a classe singola o non supervisionato utilizzando campioni normali, il che ne limita l'applicabilità negli scenari zero-shot dove i dati della categoria target non sono disponibili a causa di vincoli di riservatezza o di cold-start. Sebbene i modelli Vision-Language (VLM) come CLIP offrano una forte trasferibilità zero-shot attraverso l'allineamento semantico, essi soffrono di un "disallineamento di granularità" (granularity mismatch). I VLM sono addestrati per l'invarianza semantica a livello di oggetto, trascurando spesso difetti locali ad alta frequenza come graffi sottili, crepe o irregolarità dei bordi. Inoltre, gli embedding standard dei VLM tendono a sopprimere le risposte ad alta frequenza, rendendoli subottimali per la localizzazione densa di difetti industriali, dove i difetti si manifestano come sottili discontinuità di texture piuttosto che come cambiamenti di categoria.

Metodologia: FreqPrompt-AD
Gli autori propongono FreqPrompt-AD, un framework training-free che riformula l'anomaly detection zero-shot come un problema di "costruzione di evidenza semantica locale-frequenziale". Il framework utilizza un backbone VLM congelato e consiste in tre moduli core:

1. Interazione di Prompt Sensibile alla Frequenza (FPI):

   • L'immagine in input viene decomposta in una componente a bassa frequenza e un residuo ad alta frequenza utilizzando un operatore passa-basso Gaussiano.
   • I residui ad alta frequenza vengono mediati sui patch dell'immagine per generare un prior di frequenza ($w_f$).
   • Questo prior modula la probabilità anomala patch-testo standard. Nello specifico, il punteggio di anomalia semantica grezzo viene amplificato per i patch situati in regioni ad alta frequenza, convertendo i residui spettrali in guida spaziale per l'allineamento patch-testo.

2. Calibrazione Semantica Locale (LSC):

   • Per mitigare il bias semantico a livello di oggetto (dove immagini normali e anormali condividono la stessa identità di categoria), LSC rimuove la componente semantica globale dai token dei patch tramite proiezione.
   • Un "prototipo di normalità" adattivo all'immagine viene costruito aggregando i token dei patch meno sospetti (selezionati in base a bassi punteggi di anomalia e bassi pesi di frequenza).
   • L'evidenza di anomalia locale viene derivata misurando la deviazione dei token dei patch calibrati rispetto a questo prototipo di normalità specifico per l'immagine, completando l'evidenza basata sul testo.

3. Decisione Ancorata al Testo (TAD):

   • TAD fonde l'evidenza semantica condizionata dalla frequenza (da FPI) e l'evidenza della deviazione del prototipo (da LSC) utilizzando una somma pesata.
   • I punteggi dei patch risultanti vengono sovracampionati (upsampled) e smussati per generare mappe di anomalia dense.
   • I punteggi a livello di immagine sono calcolati tramite top-$p$ pooling sulla mappa di anomalia per evitare la diluizione di piccoli difetti causata dalla media globale.

Variante Potenziata con Adapter (FreqPrompt-AD-FT)
Gli autori introducono anche FreqPrompt-AD-FT, una variante in cui un leggero adapter bottleneck viene inserito nel codificatore visivo. Solo i parametri dell'adapter vengono ottimizzati utilizzando immagini normali per minimizzare i punteggi dei patch normali e sopprimere i falsi positivi, mentre il backbone VLM, l'encoder testuale e i prompt rimangono congelati.

Contributi Chiave

• Design del Framework: Propone un framework unificato, training-free, che inietta esplicitamente i prior nel dominio della frequenza nel processo di interazione patch-testo di un VLM congelato, affrontando il disallineamento di granularità nella rilevazione di difetti industriali.
• Catena di Evidenza: Progetta una catena di evidenza coesa (FPI, LSC, TAD) dove i segnali di frequenza espongono le discontinuità di texture, i prototipi di normalità sopprimono il bias a livello di oggetto e gli ancoraggi linguistici forniscono la direzione decisionale.
• Performance: Dimostra che questa formulazione raggiunge risultati allo stato dell'arte tra i detector basati su VLM zero-shot senza richiedere memory bank specifici per il target o il fine-tuning completo del modello.

Risultati Sperimentali
Il metodo è stato valutato su quattro benchmark industriali: MVTec AD, VisA, BTAD e MPDD.

• Performance Zero-Shot: FreqPrompt-AD ha superato tutti gli esistenti detector basati su VLM zero-shot. Rispetto al baseline più forte, DLVP-CLIP, ha migliorato la AUROC media a livello di immagine del 2,05% e la AUROC a livello di pixel del 2,15%.
• Variante Adapter: FreqPrompt-AD-FT ha ottenuto i migliori risultati medi complessivi su tutti i dataset e le metriche, validando il fatto che la formulazione dell'evidenza beneficia di una leggera adattabilità.
• Efficienza: La versione zero-shot rigorosa non richiede parametri addestrabili né la costruzione di un memory bank, offrendo una latenza di inferenza inferiore rispetto a metodi come AF-CLIP e VisualAD. La variante FT aggiunge solo 0,68M di parametri pur aumentando significativamente l'accuratezza.
• Analisi Qualitativa: Le visualizzazioni mostrano che FreqPrompt-AD produce heatmap più nitide e localizzate per crepe sottili e contaminazioni irregolari, riducendo l'attivazione dello sfondo sulle strutture oggettuali normali rispetto ai metodi a prompt globale.

Significatività e Rivendicazioni
Il paper afferma che FreqPrompt-AD affronta un limite critico nell'attuale anomaly detection zero-shot: l'incapacità della semantica globale dei VLM di catturare difetti locali ad alta frequenza. Trattando l'anomaly detection come una costruzione di "evidenza semantica locale-frequenziale", il metodo colma il divario tra trasferibilità semantica e natura fisica dei difetti industriali. Gli autori asseriscono che il loro approccio è particolarmente adatto per il rapido deployment industriale in ambienti con singola GPU dove i dati target non sono disponibili. Essi sottolineano che i prior di frequenza devono essere calibrati dalla informazione semantica (tramite LSC e TAD) per evitare falsi positivi su strutture ad alta frequenza normali come i bordi, un equilibrio raggiunto dal loro sistema unificato di evidenza. Il lavoro futuro suggerito esplora la selezione adattiva della banda di frequenza e l'estensione al ragionamento multimodale 2D-3D.