GenCLIP: Generalizing CLIP Prompts for Zero-shot Anomaly Detection

Il paper propone GenCLIP, un nuovo framework per la rilevazione di anomalie zero-shot che migliora la generalizzazione e la stabilità attraverso l'uso di prompt multi-livello, un'architettura a doppio ramo per bilanciare specificità e generalità, e un meccanismo adattivo di filtraggio dei prompt testuali.

L'essenziale

Immagina di essere un ispettore di qualità in una fabbrica futuristica. Il tuo compito è controllare migliaia di oggetti diversi: bottiglie, cavi, chip elettronici, tessuti. Il problema? Non hai mai visto la metà di questi oggetti prima d'ora, e non hai un manuale di istruzioni che ti dica esattamente come dovrebbe essere un "cavo perfetto" o un "chip perfetto". Devi solo guardare e dire: "Questo sembra normale" oppure "C'è qualcosa che non va".

Fino a poco tempo fa, per fare questo lavoro, avevi bisogno di un esperto che passasse mesi a studiare ogni singolo tipo di oggetto. Se arrivava un nuovo oggetto, l'esperto doveva ricominciare da capo.

Ora, grazie al lavoro presentato in questo articolo (GenCLIP), abbiamo un nuovo tipo di ispettore: un'intelligenza artificiale che può imparare a riconoscere i difetti su qualsiasi oggetto, anche se non l'ha mai visto prima, e lo fa quasi istantaneamente.

Ecco come funziona, spiegato con parole semplici e qualche metafora.

1. Il Problema: L'Intelligenza Artificiale "Testarda"

Immagina di avere un super-lettore di libri (chiamato CLIP) che ha letto milioni di libri e guardato milioni di foto. Sa benissimo cosa è una "mela", un "cane" o una "macchina". Ma se gli chiedi: "Qual è la differenza tra una mela normale e una mela con un piccolo buco?", lui potrebbe andare in confusione perché non è stato addestrato specificamente per cercare difetti industriali.

I metodi precedenti cercavano di "insegnargli" a cercare difetti usando frasi generiche (es. "Una foto di un oggetto normale" vs "Una foto di un oggetto rotto"). Il problema è che queste frasi erano troppo vaghe: l'IA pensava a un concetto astratto di "rottura" e perdeva i dettagli specifici di quell'oggetto particolare.

2. La Soluzione: GenCLIP (Il Detective Ibrido)

Gli autori di questo paper, GenCLIP, hanno creato un sistema che combina due approcci per rendere l'ispettore perfetto. Immagina che il nostro ispettore abbia due "cervelli" o due "lenti" che guarda contemporaneamente.

Lente A: La Lente "Dettaglio Specifico" (Multi-Layer Prompting)

Immagina di guardare un quadro attraverso diversi tipi di occhiali:

1. Uno che vede solo i contorni (bassi livelli).
2. Uno che vede i colori (livelli medi).
3. Uno che vede il significato dell'immagine (alti livelli).

GenCLIP fa esattamente questo. Invece di guardare l'oggetto con un solo "sguardo", analizza l'immagine a diversi livelli di profondità. Prende queste informazioni visive e le "incolla" dentro la descrizione testuale.

• Metafora: È come se, mentre descrivi una "bottiglia rotta", l'IA non pensasse solo alla parola "bottiglia", ma vedesse anche la forma della bottiglia, la texture del vetro e la posizione della crepa direttamente nel testo. Questo rende la descrizione molto più ricca e precisa.

Lente B: La Lente "Generale" (Query-Only Branch)

A volte, concentrarsi troppo sui dettagli specifici di un oggetto può distrarre. Se stai cercando un difetto su un oggetto molto strano o con un nome confuso (es. "tubo_fryum_02"), i dettagli specifici potrebbero creare confusione.
Qui entra in gioco la seconda lente: un approccio puramente generale.

• Metafora: Immagina un ispettore che non guarda il nome dell'oggetto, ma si basa solo sulla sua "sensazione" interna di cosa sia "normale" e "anormale". Questo cervello generale è stato addestrato per riconoscere schemi di rottura in qualsiasi contesto, senza farsi confondere dal nome strano dell'oggetto.

3. Il Trucco del Filtro (Class Name Filtering)

C'è un altro problema: a volte i nomi degli oggetti nelle fabbriche sono assurdi. Potresti avere un oggetto chiamato "02" o "pipe_fryum". Se chiedi all'IA di cercare difetti su un "02", lei potrebbe non capire di cosa stai parlando.

GenCLIP ha un filtro intelligente:

• Se il nome dell'oggetto è strano, ambiguo o sembra solo un numero, il sistema lo sostituisce automaticamente con la parola generica "oggetto".
• Metafora: È come se un traduttore automatico, invece di tradurre un nome proprio incomprensibile, dicesse: "Non importa come si chiama, stiamo parlando di un oggetto. Concentriamoci sull'oggetto". Questo evita che l'IA si perda in dettagli inutili.

4. Il Risultato: La Decisione Finale

Alla fine, GenCLIP unisce le due visioni:

1. La visione dettagliata (che sa esattamente com'è fatto quell'oggetto specifico).
2. La visione generale (che sa cosa significa "essere rotto" in assoluto).

Mischia i risultati di queste due "lenti" per creare una mappa di calore che mostra esattamente dove si trova il difetto.

Perché è importante?

Prima, se volevi controllare una nuova linea di produzione, dovevi addestrare un nuovo modello per mesi. Con GenCLIP:

• Zero-shot: Non serve addestramento specifico per il nuovo oggetto.
• Robusto: Funziona anche se l'oggetto ha un nome strano o se il difetto è molto piccolo.
• Versatile: Funziona su tessuti, metalli, elettronica, ecc.

In sintesi, GenCLIP è come un detective super-istruito che ha letto tutti i libri del mondo (grazie a CLIP), ma che ha anche imparato a usare occhiali speciali per vedere i dettagli e un filtro per ignorare le distrazioni, permettendogli di trovare il "difetto" in qualsiasi cosa, ovunque, senza mai averla vista prima.

Sommario tecnico

1. Il Problema: Rilevamento delle Anomalie Zero-Shot (ZSAD)

Il rilevamento delle anomalie (AD) è cruciale in settori industriali per il controllo qualità, ma soffre di uno squilibrio intrinseco dei dati: le immagini anomale sono rare rispetto a quelle normali.

• Limiti dei metodi precedenti: I metodi non supervisionati tradizionali addestrano modelli su una singola classe di oggetti, rendendoli inefficaci su classi non viste (unseen categories).
• Sfide con CLIP: Sebbene i modelli Vision-Language (VLM) come CLIP offrano capacità zero-shot, non sono stati progettati specificamente per l'AD industriale.
  • I prompt generici (es. "un oggetto normale") mancano di specifiche di classe, portando a una scarsa discriminazione.
  • I prompt specifici per classe possono causare overfitting su piccoli dataset di addestramento e confusione durante l'inferenza se i nomi delle classi sono ambigui o non descrittivi (es. "02", "pipe_fryum").
• Obiettivo: Sviluppare un framework che impari prompt generalizzati stabili, bilanciando la specificità della classe con la capacità di generalizzare su categorie mai viste.

2. Metodologia: Il Framework GenCLIP

GenCLIP è un framework innovativo che migliora l'adattamento di CLIP per l'AD zero-shot attraverso tre pilastri principali: Prompting Multi-Livello, Inferenza a Doppio Ramo e Filtraggio dei Nomi delle Classi.

A. Prompting Multi-Livello (Multi-Layer Prompting)

Invece di utilizzare solo il token "class token" dell'encoder visivo (come fanno molti metodi precedenti), GenCLIP estrae feature visive da più livelli dell'encoder CLIP.

• Token di Prompt Visivo Multi-Livello (MVPs): Le feature di patch estratte da diversi livelli dell'encoder visivo vengono proiettate tramite MLP e fuse con i token di prompt.
• Token di Query Generale (GQPs): Vengono appresi token di prompt testuali condivisi (GQPs) che rappresentano stati "normale" e "anomalo" indipendentemente dalla classe.
• Integrazione: I GQPs vengono arricchiti aggiungendo i MVPs. Questo permette ai prompt testuali di incorporare informazioni visive ricche (dai bordi di basso livello ai concetti semantici di alto livello), migliorando la robustezza e riducendo l'overfitting.

B. Strategia di Inferenza a Doppio Ramo (Dual-Branch Inference)

Per bilanciare specificità e generalizzazione, GenCLIP utilizza due rami paralleli durante l'inferenza:

1. Ramo Vision-Enhanced (Arricchito dalla Visione):
   • Combina i prompt di query con i MVPs multi-livello e i nomi delle classi (dopo filtraggio).
   • Cattura caratteristiche specifiche della classe e dettagli fini.
   • Utilizza il meccanismo di Class Name Filtering (CNF).
2. Ramo Query-Only (Solo Query):
   • Utilizza esclusivamente i GQPs generalizzati, senza nomi di classe specifici e senza feature visive dirette nel prompt.
   • Impara rappresentazioni universali di "normalità" e "anormalità".
   • È efficace per identificare outlier dove le informazioni specifiche della classe potrebbero essere fuorvianti o non disponibili.

• Fusione: I mappe di punteggio delle anomalie dei due rami vengono combinate tramite una somma pesata e smoothing gaussiano per produrre il risultato finale.

C. Class Name Filtering (CNF)

Un meccanismo adattivo per gestire nomi di classi ambigui o non standard (comuni nei dataset industriali).

• Funzionamento: Prima di usare il nome della classe, il sistema calcola la similarità tra l'immagine e due frasi: una con il nome della classe originale e una con un segnaposto generico (es. "un oggetto").
• Azione: Se l'immagine è più simile al termine generico, il nome della classe viene sostituito con "object". Inoltre, vengono rimossi identificativi numerici non descrittivi (es. "pcb1" diventa "pcb").
• Vantaggio: Migliora l'allineamento testo-immagine evitando rumore semantico.

3. Contributi Chiave

1. Prompting Multi-Livello: Integrazione di feature visive da più livelli di CLIP nei prompt testuali per creare rappresentazioni più robuste e complete, mitigando l'overfitting.
2. Strategia di Inferenza Innovativa: L'approccio a doppio ramo (Vision-Enhanced + Query-Only) sfrutta sinergicamente la specificità della classe e la generalizzazione universale, migliorando la stabilità su categorie non viste.
3. Meccanismo CNF: Un filtro adattivo che pulisce i nomi delle classi, garantendo che solo input testuali semanticamente significativi contribuiscano all'allineamento visione-linguaggio.
4. Risultati SOTA: Validazione su sei dataset benchmark industriali, dimostrando prestazioni superiori rispetto agli stati dell'arte (WinCLIP, AnomalyCLIP, AdaCLIP).

4. Risultati Sperimentali

Il modello è stato valutato su sei dataset industriali: MVTec-AD, VisA, MPDD, BTAD, SDD e DTD-Synthetic.

• Metriche: AUROC a livello di pixel, PRO (Per-Region Overlap), AUROC a livello di immagine e AP.
• Performance:
  • GenCLIP ha superato tutti i metodi confrontati.
  • Su MVTec-AD, ha raggiunto un AUROC pixel-level del 92.7% e un PRO dell'88.1%, superando AnomalyCLIP (91.1% / 81.4%).
  • Su VisA, ha ottenuto un AUROC pixel-level del 95.3% e un PRO dell'89.3%.
  • In media, ha mostrato un miglioramento significativo del 0.8% nell'AUROC pixel-level e del 6.5% nel PRO rispetto al secondo miglior metodo.
• Analisi: Gli studi di ablazione confermano che sia i MVPs che il ramo Query-Only contribuiscono in modo significativo alle prestazioni finali, e che il CNF migliora le prestazioni su classi con nomi ambigui.

5. Significato e Impatto

GenCLIP rappresenta un avanzamento significativo nel campo dell'AD zero-shot industriale.

• Generalizzazione: Dimostra che è possibile adattare modelli VLM pre-addestrati a compiti di AD specifici senza bisogno di dati anomali etichettati per ogni nuova categoria.
• Robustezza: La combinazione di prompt generalizzati e specifici, unita al filtraggio dei nomi delle classi, risolve il compromesso (trade-off) tra adattabilità a nuove classi e precisione nella localizzazione delle anomalie.
• Applicabilità Pratica: Offre una soluzione scalabile per scenari reali dove i dati anomali sono scarsi o inesistenti, e dove i nomi delle classi nei dataset possono essere non standardizzati o ambigui.

In sintesi, GenCLIP supera i limiti dei metodi basati su prompt statici o dinamici puri, introducendo un approccio ibrido che sfrutta al meglio le capacità di CLIP per il rilevamento di difetti industriali in scenari zero-shot.