FiLo++: Zero-/Few-Shot Anomaly Detection by Fused Fine-Grained Descriptions and Deformable Localization

Il paper propone FiLo++, un metodo per il rilevamento di anomalie in scenari zero-shot e few-shot che combina descrizioni testuali granulari fuse generate da LLM con una localizzazione deformabile basata su Grounding DINO per superare i limiti delle descrizioni generiche e delle corrispondenze a patch rigide.

L'essenziale

Immagina di essere un ispettore di qualità in una fabbrica o un medico che guarda una radiografia. Il tuo compito è trovare un difetto (una "anomalia") in un oggetto o in un'immagine. Il problema è che spesso non hai mai visto quel tipo di oggetto prima d'ora e non hai un manuale di istruzioni con le foto dei difetti possibili. È come se ti dessero un nuovo tipo di frutta esotica e ti chiedessero di trovare i marciumi senza mai averla vista prima.

I metodi tradizionali richiedono di mostrare al computer migliaia di foto "perfette" per insegnargli com'è la normalità, ma questo è lento e costoso.

Il paper che hai condiviso presenta FiLo++, un nuovo metodo intelligente che risolve questo problema in due modi magici, come se avesse due superpoteri:

1. Il "Detective Letterario" (FusDes)

Immagina che i vecchi metodi chiedessero al computer: "Questa foto è normale o no?". È una domanda troppo generica, come chiedere a un bambino: "C'è qualcosa di strano in questa stanza?". Il bambino potrebbe non capire cosa cercare.

FiLo++ fa diversamente:

• Chiede a un "Saggio Esperto" (LLM): Prima di guardare l'immagine, il sistema chiede a un'intelligenza artificiale molto colta (come GPT-4): "Quali tipi di difetti potrebbero esserci su una [tazza di ceramica]?". L'AI risponde: "Potrebbe esserci una crepa, un manico rotto, una macchia di caffè o uno scheggiatura".
• Crea una lista di controllo precisa: Invece di dire solo "strano", il sistema crea una lista di descrizioni specifiche (es. "una foto di una tazza con una crepa").
• Filtra il rumore: A volte l'AI genera troppe idee. FiLo++ ha un filtro intelligente che scarta le descrizioni che non hanno senso per quell'immagine specifica, tenendo solo quelle più probabili.

Risultato: Il computer non cerca solo "errori", cerca "crepe specifiche" o "manici rotti", rendendo la ricerca molto più precisa.

2. Il "Cacciatore di Forme" (DefLoc)

Una volta trovato che c'è un difetto, il vecchio problema era: "Dove si trova esattamente?".
Immagina di cercare un graffio su un'auto. I vecchi metodi guardavano l'auto a piccoli quadratini (come un mosaico) e confrontavano ogni quadratino con la descrizione. Se il graffio era lungo e curvo, attraversava molti quadratini e il sistema si confondeva, indicando anche il cielo o l'erba come difetti.

FiLo++ usa un approccio "deformabile":

• Il primo sguardo (Grounding DINO): Usa un occhio esperto che sa dire: "Ehi, guarda lì, c'è un oggetto!". Questo aiuta a ignorare lo sfondo (il cielo, il tavolo) e concentrarsi solo sull'oggetto.
• La mappa che si adatta: Invece di usare quadratini rigidi, FiLo++ usa una "rete elastica" (convoluzioni deformabili). Immagina di avere un elastico che puoi allungare e piegare per adattarsi perfettamente alla forma del difetto, che sia un piccolo puntino, una striscia lunga o una macchia strana.
• Posizione precisa: Aggiunge anche informazioni sulla posizione (es. "il difetto è in alto a sinistra") per guidare meglio la ricerca.

In sintesi: Perché è speciale?

• Zero-Shot (Senza esempi): Funziona anche se non hai mai visto quell'oggetto prima. Basta dirgli il nome dell'oggetto e lui immagina i possibili difetti grazie alla sua "cultura" generale.
• Few-Shot (Con pochi esempi): Se gli dai anche solo 1 o 2 foto perfette di quell'oggetto, diventa ancora più preciso, come un apprendista che guarda un maestro fare un esempio.
• Medicina e Industria: Funziona sia per trovare difetti nelle catene di montaggio (come viti o tessuti) sia per trovare tumori nelle risonanze magnetiche o malattie negli occhi, adattandosi a contesti molto diversi.

L'analogia finale:
Se i vecchi metodi erano come un cane che annusa tutto il terreno cercando un "cattivo odore" (e spesso si confonde con l'erba), FiLo++ è come un detective umano che:

1. Legge il manuale dei crimini possibili prima di entrare nella stanza.
2. Sa esattamente dove guardare (ignorando i mobili).
3. Usa una lente d'ingrandimento flessibile che si adatta alla forma esatta del crimine, che sia un piccolo graffio o un grande danno.

Il risultato è un sistema che trova i difetti più velocemente, con meno errori e capendo esattamente cosa ha trovato.

Sommario tecnico

1. Il Problema

L'individuazione delle anomalie (Anomaly Detection - AD) è cruciale in settori come la manifattura industriale, la diagnostica medica e la sorveglianza. I metodi tradizionali si basano sull'apprendimento "one-class", richiedendo un vasto set di dati normali per l'addestramento, il che li rende poco pratici in scenari di "cold start" o quando i dati etichettati sono scarsi.
Le soluzioni Zero-Shot (ZSAD) e Few-Shot (FSAD) emergono come alternative promettenti, poiché non richiedono campioni etichettati della categoria target in fase di addestramento. Tuttavia, gli approcci esistenti basati su modelli multimodali (come CLIP) presentano due limiti fondamentali:

1. Descrizioni generiche: Utilizzano prompt testuali manuali e generici (es. "normale" vs "anomalo") che non catturano la diversità delle anomalie specifiche di ogni oggetto.
2. Localizzazione imprecisa: Il semplice matching tra patch di immagine e testo fallisce nel localizzare regioni anomale di forme e dimensioni variabili, spesso generando falsi positivi nelle aree di sfondo o mancando anomalie che si estendono su più patch.

2. Metodologia: FiLo++

Il paper propone FiLo++, un'estensione del lavoro precedente (FiLo), che risolve i problemi sopra citati attraverso due componenti principali: FusDes (Fused Fine-Grained Descriptions) e DefLoc (Deformable Localization).

A. FusDes: Descrizioni Fuse a Grana Fina

Questo modulo mira a migliorare la rilevazione globale dell'anomalia generando descrizioni testuali più precise e specifiche.

• Generazione tramite LLM: Sfrutta i Large Language Models (LLM) per generare descrizioni dettagliate dei tipi di anomalie potenziali per ogni categoria di oggetto, sostituendo i termini generici.
• Template Ibridi: Combina template fissi (progettati manualmente) con template adattivi e apprendibili (vettori di testo apprendibili) per ottimizzare l'allineamento tra testo e immagine.
• Filtraggio dei Prompt a Runtime: Introduce una strategia per filtrare i prompt che creano ambiguità semantica (dove le descrizioni normali e anomale si sovrappongono nello spazio delle caratteristiche). Questo aumenta la distinguibilità tra le classi.

B. DefLoc: Localizzazione Deformabile

Questo modulo si concentra sulla localizzazione precisa delle regioni anomale, affrontando le sfide di forma e dimensione.

• Localizzazione Iniziale con Grounding DINO: Utilizza il modello fondazionale Grounding DINO per identificare inizialmente gli oggetti di primo piano, filtrando efficacemente lo sfondo e riducendo i falsi positivi.
• Prompt Testuali Potenziati dalla Posizione: Integra le informazioni di posizione (es. "in alto a sinistra", "centrale") ottenute dalle bounding box di Grounding DINO direttamente nei prompt testuali, guidando il modello verso le aree rilevanti.
• Modulo MDCI (Multi-scale Deformable Cross-modal Interaction): Sostituisce le convoluzioni standard con convoluzioni deformabili multi-scala. Questo permette al modello di aggregare le caratteristiche delle patch di immagine in modo flessibile, adattandosi a anomalie di forme irregolari e dimensioni diverse senza il costo computazionale di elaborare molteplici finestre di scorrimento.
• Branch Few-Shot: Per la modalità Few-Shot, introduce un approccio di patch matching potenziato dalla posizione, che restringe la ricerca delle anomalie alle regioni sospette identificate da DefLoc, migliorando l'efficienza e la precisione con pochi campioni.

3. Contributi Chiave

1. FusDes: Un nuovo approccio che unisce la conoscenza trasversale degli LLM, template fissi e apprendibili, e un filtraggio dinamico per generare descrizioni testuali altamente specifiche e interpretabili.
2. DefLoc: Un modulo innovativo che integra Grounding DINO, descrizioni posizionali e convoluzioni deformabili multi-scala per localizzare anomalie di varia morfologia con alta precisione.
3. Versatilità ZS/FS: Un'architettura unificata capace di operare sia in scenari Zero-Shot (nessun dato target) che Few-Shot (pochi dati target), superando i limiti dei metodi basati solo su ricostruzione o matching di patch.
4. Validazione Estensiva: Dimostrazione empirica su dataset industriali (MVTec-AD, VisA) e medici (BrainMRI, RESC), mostrando superiorità rispetto allo stato dell'arte.

4. Risultati Sperimentali

Gli esperimenti confermano che FiLo++ supera significativamente i metodi esistenti (come WinCLIP, APRIL-GAN, AnomalyCLIP, PatchCore):

• Scenario Zero-Shot (VisA): Raggiunge un AUC a livello di immagine dell'84.5% e un AUC a livello di pixel del 96.2%, stabilendo nuovi record.
• Scenario Few-Shot: In configurazioni 1-shot, 2-shot e 4-shot su MVTec-AD e VisA, FiLo++ mostra miglioramenti marcati, specialmente nella localizzazione (Pixel-AUC), grazie alla strategia di matching potenziata dalla posizione.
• Generalizzazione Medica: Il modello dimostra una forte capacità di trasferimento su dataset medici (BrainMRI e RESC), superando metodi specifici per il dominio medico e approcci generici, con un AUC immagine dell'86.6% in 1-shot su BrainMRI.
• Analisi di Efficienza: L'uso di convoluzioni deformabili introduce un costo computazionale marginale (+32ms di inferenza) rispetto alle convoluzioni standard, giustificato dal significativo guadagno nella precisione di localizzazione.

5. Significato e Impatto

Il lavoro FiLo++ rappresenta un passo avanti significativo nel campo dell'ispezione visiva automatizzata:

• Interpretabilità: Grazie alle descrizioni testuali dettagliate generate dagli LLM, il sistema non solo rileva l'anomalia ma può anche identificarne il tipo specifico (es. "crepa", "buco"), aumentando la fiducia dell'utente.
• Robustezza: La capacità di gestire anomalie di forme irregolari e di operare con zero o pochi esempi rende la soluzione ideale per applicazioni industriali reali dove la raccolta di dati è costosa o impossibile.
• Fusione Multimodale Avanzata: Dimostra come l'integrazione strategica di modelli linguistici (LLM), modelli di grounding visivo e tecniche di visione artificiale avanzate (convoluzioni deformabili) possa superare i limiti dei modelli multimodali puri.

In sintesi, FiLo++ offre un framework robusto ed efficiente per l'individuazione e la localizzazione delle anomalie, colmando il divario tra la necessità di adattamento rapido (zero/few-shot) e la precisione richiesta in contesti critici come l'industria e la medicina.