FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

Il paper presenta FiLo, un nuovo metodo per il rilevamento di anomalie zero-shot che migliora le prestazioni combinando descrizioni testuali fine-grained generate da LLM e una localizzazione di alta qualità potenziata da Grounding DINO e interazione cross-modale multiscala, ottenendo risultati all'avanguardia sui dataset MVTec e VisA.

L'essenziale

Immagina di essere un ispettore di qualità in una fabbrica di giocattoli. Il tuo compito è controllare ogni singolo oggetto che esce dalla catena di montaggio per assicurarti che non ci siano difetti: un graffio, un colore sbiadito, una parte mancante.

Il problema è che i difetti sono infiniti e imprevedibili. Potresti trovare un orsacchiotto con un orecchio strappato, una macchia di ruggine su un'auto giocattolo o un pezzo di plastica storto.

Fino a poco tempo fa, i computer avevano bisogno di vedere migliaia di esempi di giocattoli rotti per imparare a riconoscerli. Se arrivava un nuovo tipo di giocattolo o un difetto mai visto prima, il computer era perso.

La ricerca chiamata "Zero-Shot Anomaly Detection" (Rilevamento di anomalie a "scatto zero") vuole risolvere questo problema: far sì che il computer capisca cos'è un difetto senza aver mai visto quell'oggetto specifico prima.

Il paper che hai condiviso, intitolato FiLo, presenta un nuovo metodo geniale per fare proprio questo. Ecco come funziona, spiegato con parole semplici e analogie.

1. Il Problema: Le Descrizioni Troppo Generiche

I metodi precedenti funzionavano un po' come un detective che ha solo due frasi nel suo vocabolario: "Questo è normale" e "Questo è rotto".

• Se vedi un'auto con un graffio, il computer pensa: "Ah, è 'rotto'".
• Ma se vedi un'auto con un colore sbiadito, il computer potrebbe confondersi perché "rotto" non descrive bene la situazione.

Inoltre, quando cercano di trovare dove si trova il difetto, spesso guardano l'immagine a piccoli pezzi (come un mosaico) e confrontano ogni pezzo con la parola "rotto". Questo porta a errori: a volte il computer pensa che un'ombra sullo sfondo sia un difetto, o non riesce a vedere un graffio lungo e sottile perché lo guarda a pezzi troppo piccoli.

2. La Soluzione FiLo: Due Superpoteri

Gli autori di FiLo hanno creato un sistema con due componenti principali, come se avessero dato al detective due nuovi superpoteri:

A. FG-Des: Il "Narratore Esperto" (Descrizione Fine-Grained)

Invece di dire al computer "questo è rotto", FiLo usa un'intelligenza artificiale molto intelligente (chiamata LLM, come ChatGPT) per scrivere una lista dettagliata di tutti i possibili difetti per ogni oggetto.

• L'analogia: Immagina che invece di dire al tuo assistente "Controlla se la macchina è rotta", gli dia un foglio con scritto: "Controlla se ci sono graffi, ruggine, pneumatici sgonfi, fari rotti o colori sbiaditi".
• Come funziona: Per ogni oggetto (es. un biscotto), FiLo genera una descrizione specifica: "Biscotto con bruciature, biscotto con crepe, biscotto con forma irregolare".
• Il vantaggio: Il computer non cerca più genericamente il "difetto", ma cerca specificamente "bruciature" o "crepe". Questo lo rende molto più preciso e ci permette anche di capire che tipo di difetto ha trovato (interpretabilità).

B. HQ-Loc: Il "Detective con la Lente d'Ingrandimento" (Localizzazione di Alta Qualità)

Una volta che il computer sa cosa cercare, deve trovare dove si trova. I vecchi metodi guardavano l'intera immagine e si confondevano con lo sfondo. FiLo usa tre trucchi:

1. Il Primo Abbozzo (Grounding DINO): Prima di guardare i dettagli, FiLo usa un altro sistema intelligente per dire: "Ehi, il difetto è quasi sicuramente su quell'oggetto, non sullo sfondo". È come se un collega ti indicasse la zona da controllare, così non perdi tempo a guardare il muro di fondo.
2. Il Prompt Potenziato: Aggiunge la posizione alla descrizione. Invece di dire solo "c'è un graffio", dice "c'è un graffio sull'angolo in alto a destra". Questo aiuta il computer a concentrarsi.
3. Il Filtro Multi-Forma (MMCI): I difetti hanno forme diverse: alcuni sono piccoli puntini, altri sono linee lunghe, altri macchie grandi. FiLo usa dei "filtri" (convoluzioni) di diverse forme e dimensioni (quadrati, rettangoli lunghi, ecc.) per scansionare l'immagine. È come se usassi diversi tipi di setacci per trovare sabbia, sassolini e conchiglie contemporaneamente.

3. Il Risultato: Un Ispezione Perfetta

Grazie a questi due sistemi, FiLo è riuscito a battere tutti gli altri metodi esistenti su due famosi database di test industriali (MVTec e VisA).

• Rilevamento: Ha capito quasi sempre se un oggetto era difettoso o meno (83,9% di precisione).
• Localizzazione: Ha disegnato il contorno del difetto con una precisione incredibile (95,9% di precisione), quasi come se fosse stato disegnato a mano da un umano.

In Sintesi

FiLo è come un ispettore di qualità che:

1. Non si limita a dire "è rotto", ma sa esattamente come potrebbe essere rotto (graffio, ruggine, ecc.) grazie a un assistente esperto (LLM).
2. Sa esattamente dove guardare, ignorando lo sfondo e usando lenti d'ingrandimento di diverse forme per catturare difetti piccoli, grandi, lunghi o corti.

Questo significa che le fabbriche possono controllare nuovi prodotti senza dover prima addestrare il computer per mesi con migliaia di foto di pezzi rotti. Basta dire al sistema cosa cercare, e lui lo fa subito.

Sommario tecnico

1. Il Problema

L'Anomalia Detection (AD) industriale mira a identificare difetti e localizzare le regioni anomale nei prodotti. I metodi tradizionali richiedono un addestramento su grandi quantità di campioni "normali", il che è problematico per la privacy dei dati o per nuove linee di produzione.
La Rilevazione di Anomalie Zero-Shot (ZSAD) affronta questo problema permettendo al modello di rilevare anomalie senza aver visto esempi specifici della categoria target durante l'addestramento.

Tuttavia, i metodi ZSAD esistenti basati su modelli multimodali pre-addestrati (come CLIP) presentano due limiti fondamentali:

1. Descrizioni Generiche: Utilizzano descrizioni testuali generiche per le anomalie (es. "danneggiato", "anomalo") che non riescono a catturare la vasta gamma di tipi di difetti specifici per diverse categorie di oggetti.
2. Localizzazione Imprecisa: Il calcolo della similarità tra singoli patch di immagine e testo spesso fallisce nel localizzare con precisione anomalie di dimensioni e forme variabili, generando falsi positivi nelle aree di sfondo.

2. Metodologia: FiLo

Gli autori propongono FiLo, un nuovo metodo ZSAD composto da due componenti principali: FG-Des (Fine-Grained Description) e HQ-Loc (High-Quality Localization).

A. FG-Des (Descrizione a Grana Fine)

Questa componente mira a migliorare l'accuratezza della rilevazione globale e l'interpretabilità.

• Generazione con LLM: Sfrutta i Large Language Models (LLM) per generare liste specifiche di tipi di anomalie per ogni categoria di oggetto (es. invece di "difetto", si usano "graffio", "crepa", "macchia").
• Template Testuali Adattivi: Sostituisce i template fissi (es. "A photo of a [state] [class]") con vettori di testo addestrabili (learnable vectors).
• Struttura del Prompt: Il prompt per le anomalie include il vettore adattivo, lo stato, la classe dell'oggetto, la classe specifica dell'anomalia (generata dall'LLM) e la posizione. Questo permette al modello di apprendere rappresentazioni testuali più adatte al compito di rilevazione rispetto ai prompt manuali.

B. HQ-Loc (Localizzazione di Alta Qualità)

Questa componente affronta il problema della localizzazione spaziale precisa.

1. Localizzazione Preliminare con Grounding DINO: Utilizza Grounding DINO per ottenere bounding box preliminari basate sulle descrizioni dettagliate generate dall'LLM. Sebbene DINO non sia perfetto nello zero-shot, le sue box tendono a concentrarsi sugli oggetti in primo piano, riducendo drasticamente i falsi positivi nelle aree di sfondo.
2. Prompt Testuali Potenziati dalla Posizione: Le informazioni di posizione (es. "in alto a sinistra", "al centro") rilevate da Grounding DINO vengono inserite nel prompt testuale per guidare meglio il modello verso la regione specifica.
3. Modulo MMCI (Multi-scale Multi-shape Cross-modal Interaction):
   • Invece di confrontare singoli patch, MMCI aggrega le feature dei patch estratti dal CLIP Image Encoder utilizzando convoluzioni di diverse dimensioni e forme (es. 1x1, 3x3, 5x5, 1x5, 5x1).
   • Questo permette di catturare anomalie di varie scale e forme senza dover inserire decine di finestre diverse nel modello (come faceva WinCLIP), riducendo il costo computazionale.
   • Le feature convoluzionate vengono poi confrontate con le feature testuali potenziate dalla posizione per generare la mappa di anomalia finale.

3. Contributi Chiave

• FG-Des: Introduzione di descrizioni di anomalie a grana fine generate da LLM combinate con template testuali adattivi, superando i limiti delle descrizioni generiche.
• HQ-Loc: Un approccio innovativo che combina Grounding DINO per la soppressione dello sfondo, prompt testuali arricchiti dalla posizione e un modulo MMCI per gestire la variabilità di scala e forma delle anomalie.
• Performance SOTA: Il metodo raggiunge lo stato dell'arte (State-of-the-Art) sia nella rilevazione che nella localizzazione senza richiedere dati di addestramento specifici per la categoria target.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset industriali standard MVTec AD e VisA.

• Dataset VisA: FiLo ottiene un AUC a livello di immagine dell'83.9% e un AUC a livello di pixel del 95.9%.
• Dataset MVTec: Ottiene un AUC a livello di immagine del 91.2% e un AUC a livello di pixel del 92.3%.
• Confronto: FiLo supera i metodi precedenti come WinCLIP, APRIL-GAN e AnomalyCLIP. In particolare, su VisA migliora l'AUC immagine di 1.1% e l'AUC pixel di 0.4% rispetto al precedente stato dell'arte (AnomalyCLIP).
• Ablation Study: Gli esperimenti dimostrano che ogni componente (descrizioni LLM, template adattivi, Grounding DINO, potenziamento della posizione, MMCI) contribuisce significativamente al miglioramento delle prestazioni.

5. Significato e Impatto

FiLo rappresenta un avanzamento significativo nel campo della ZSAD industriale.

• Interpretabilità: Grazie alle descrizioni dettagliate, il sistema non solo rileva l'anomalia, ma può anche identificare il tipo specifico di difetto (es. distinguere tra una "crepa" e una "macchia"), offrendo maggiore trasparenza.
• Efficienza e Precisione: Risolve il compromesso tra accuratezza e costo computazionale nella localizzazione, evitando l'approccio "brute-force" delle finestre multiple mantenendo alta la precisione su difetti di forme irregolari.
• Generalizzazione: Dimostra che l'integrazione di conoscenza semantica esterna (tramite LLM) e tecniche di grounding visivo può potenziare notevolmente i modelli multimodali per compiti di sicurezza e controllo qualità senza bisogno di dati etichettati specifici.

In sintesi, FiLo trasforma l'approccio alla rilevazione di anomalie da un confronto generico "normale vs anomalo" a un processo semantico ricco e spazialmente consapevole, raggiungendo nuove vette di performance nello zero-shot learning.