TIPS Over Tricks: Simple Prompts for Effective Zero-shot Anomaly Detection

Il paper presenta TIPS, un approccio per la rilevazione di anomalie zero-shot che, sfruttando un modello visione-linguaggio addestrato con obiettivi spaziali e prompt decoupled, supera i limiti di CLIP migliorando le prestazioni di rilevazione e localizzazione su dataset industriali senza ricorrere a moduli ausiliari complessi.

L'essenziale

🕵️‍♂️ Il Problema: Trovare l'ago nel pagliaio (senza averlo mai visto)

Immagina di essere un ispettore di qualità in una fabbrica di biscotti. Il tuo lavoro è trovare i biscotti bruciati o rotti.

• Il metodo vecchio: Ti danno un mucchio di foto di biscotti perfetti. Impari a memoria com'è un "biscotto perfetto" e, se ne vedi uno diverso, lo scarti.
• Il problema: Cosa succede se ti chiedono di ispezionare biscotti di un nuovo tipo (magari fatti da un'altra azienda) e non ti danno nessuna foto di quelli perfetti? Non puoi imparare nulla, perché non hai esempi. Questo è il mondo del "Zero-Shot" (zero esempi).

Per risolvere questo, gli scienziati usano dei "super-robot" chiamati Modelli Vision-Linguaggio (come CLIP). Questi robot hanno letto milioni di libri e guardato milioni di foto su internet. Sanno cosa significa "biscotto" e cosa significa "rotto".

🤖 Il Super-Robot "vecchio" (CLIP) e i suoi difetti

Il robot più famoso, CLIP, è molto intelligente, ma ha due difetti grossi quando deve cercare difetti piccoli:

1. È un po' "sgranato": Come se guardasse il mondo attraverso occhiali da sole molto scuri. Vede l'immagine generale ("è un biscotto"), ma fatica a vedere i dettagli piccoli ("c'è una crepa qui").
2. Si confonde: A volte pensa che un biscotto sia rotto solo perché è in una posizione strana, non perché è davvero danneggiato.

Per sistemare CLIP, i ricercatori precedenti hanno aggiunto molti "ingranaggi" complessi (moduli aggiuntivi, trucchi matematici) per cercare di fargli vedere meglio. È come se cercassi di riparare un'auto vecchia aggiungendo un motore da Ferrari: funziona, ma diventa complicatissimo e pesante.

💡 La Nuova Idea: "TIPS" (Il Super-Robot che vede meglio)

Gli autori di questo paper dicono: "Aspetta, invece di aggiustare il vecchio robot con mille trucchi, usiamo un robot nuovo nato per vedere meglio!"

Il nuovo robot si chiama TIPS.

• L'analogia: Se CLIP è come un turista che guarda una città da un aereo (vede i quartieri, ma non le facce delle persone), TIPS è come un poliziotto che cammina per strada. È stato addestrato specificamente per capire la relazione tra le parole e i dettagli precisi dell'immagine.

🛠️ La Soluzione: "Prompt Disaccoppiati" (Due menti, un obiettivo)

Anche se TIPS è migliore, ha un piccolo problema: è bravo a dire "C'è un problema?" (livello immagine) e bravo a dire "Dov'è il problema?" (livello pixel), ma fa fatica a fare entrambe le cose contemporaneamente senza confondersi.

Gli autori hanno inventato una strategia geniale, chiamata "Prompt Disaccoppiati" (o Decoupled Prompts). Immagina di avere due assistenti diversi che lavorano insieme:

1. L'Assistente "Generale" (Prompt Fissi):

   • Usa frasi semplici e fisse come: "Una foto di un biscotto perfetto" vs "Una foto di un biscotto rotto".
   • Compito: Guarda l'immagine intera e ti dice: "Sì, c'è qualcosa che non va!". È veloce e sicuro.

2. L'Assistente "Detective" (Prompt Apprendibili):

   • È un assistente che impara mentre lavora. Non usa frasi fisse, ma "parole magiche" che si adattano al tipo di difetto specifico.
   • Compito: Esamina ogni singolo pezzetto dell'immagine per trovare esattamente dove si trova il difetto.

Il trucco: Invece di mescolare i due compiti, li separano. Usano l'Assistente Generale per la decisione finale ("È rotto?") e il Detective per la mappa precisa ("È rotto qui"). Poi uniscono i loro risultati.

🚀 I Risultati: Più veloce, più preciso, meno complicato

Il risultato di questo metodo (chiamato Tipsomaly) è sorprendente:

• Funziona meglio: Trova più difetti e li localizza con più precisione rispetto ai metodi precedenti, sia nelle fabbriche che nelle immagini mediche (come radiografie).
• È più semplice: Non servono "ingranaggi" complessi. È come passare da un computer con mille cavi sparsi a un laptop elegante e potente.
• Generalizza: Funziona bene anche su cose che non ha mai visto prima (come passare dai biscotti alle radiografie del cervello).

📝 In sintesi

Il paper ci dice che invece di complicare le cose con trucchi strani per adattare un modello vecchio (CLIP), è meglio scegliere il modello giusto (TIPS) e usare una strategia intelligente: affidare il compito di "vedere" a un esperto e il compito di "localizzare" a un altro, lasciandoli lavorare insieme senza interferire.

È come dire: "Non serve un'auto con un motore da corsa e un'ala da aereo attaccata sopra. Basta un'auto sportiva fatta bene, guidata da due piloti esperti che si passano il volante al momento giusto."

Sommario tecnico

1. Il Problema

La rilevazione delle anomalie (Anomaly Detection - AD) è cruciale in contesti critici come l'ispezione industriale e la diagnostica medica. Tuttavia, l'approccio tradizionale richiede grandi quantità di dati "normali" etichettati del dominio target, che spesso non sono disponibili a causa di problemi di privacy o scarsità di dati.
In questo scenario, la Rilevazione delle Anomalie Zero-Shot (ZSAD) diventa essenziale, sfruttando modelli Vision-Language (VLM) come CLIP. Nonostante i progressi, CLIP presenta limitazioni fondamentali per la ZSAD:

• Allineamento spaziale debole: L'obiettivo di pre-addestramento contrastivo non garantisce un allineamento preciso tra i patch dell'immagine e il testo.
• Sensibilità insufficiente: CLIP fatica a rilevare anomalie fini e localizzarle a livello di pixel.
• Complessità delle soluzioni attuali: I metodi precedenti tentano di compensare queste carenze introducendo moduli ausiliari complessi e prompt apprendibili, che spesso aumentano la complessità architetturale e rischiano l'overfitting, compromettendo la generalizzazione cross-dominio.

2. Metodologia: Tipsomaly

Gli autori propongono Tipsomaly, un framework che abbandona le "trucchi" complessi basati su CLIP a favore di un backbone più adatto e di una strategia di prompting semplice ma efficace.

A. Il Backbone: TIPS

Invece di CLIP, il paper utilizza TIPS (Text-Image Pretraining with Spatial awareness), un modello VLM addestrato con obiettivi consapevoli dello spazio. TIPS offre un allineamento immagine-testo superiore e una migliore coerenza spaziale rispetto a CLIP, riducendo la necessità di adattamenti complessi. Tuttavia, l'uso diretto di TIPS rivela un divario distribuzionale tra le caratteristiche globali (per la classificazione dell'immagine) e quelle locali (per la segmentazione a livello di patch).

B. Prompting Disaccoppiato (Decoupled Prompting)

Per colmare il divario tra caratteristiche globali e locali, gli autori introducono una strategia di prompting disaccoppiato:

1. Prompt Fissi per la Rilevazione (Image-level): Vengono utilizzati prompt testuali fissi (es. "una foto di un oggetto perfetto/danneggiato") per generare prototipi testuali statici. Questi sono ottimali per la classificazione globale dell'anomalia.
2. Prompt Apprendibili per la Localizzazione (Pixel-level): Vengono introdotti token di prompt apprendibili (ottimizzati solo su un dominio sorgente) specifici per la localizzazione fine. Questi vengono addestrati esclusivamente con una loss locale (Focal Loss + Dice Loss) per allineare le caratteristiche dei patch alle anomalie, evitando che l'ottimizzazione globale degradi la precisione spaziale.

C. Strategia di Fusione dei Punteggi

Il sistema combina le evidenze globali e locali per il punteggio finale:

• Si calcola un punteggio globale confrontando il token spaziale di TIPS ($g^s_i$) con i prototipi fissi.
• Si calcola una mappa di anomalie a bassa risoluzione confrontando le patch dell'immagine con i prototipi dei prompt apprendibili.
• Il punteggio finale di anomalia ($\hat{y}$) è la somma del punteggio globale e della evidenza locale più forte (il massimo valore nella mappa di anomalie):
  $$\hat{y} = p_a(g^s_i, G_f) + \max(\hat{S}_a)$$
  Questa fusione garantisce che anche se la classificazione globale è incerta, una forte evidenza locale possa segnalare correttamente l'anomalia.

3. Contributi Chiave

1. Rivalutazione del Backbone: Dimostrano che cambiare il backbone da CLIP a TIPS (più consapevole dello spazio) è più efficace che applicare complessi adattamenti a CLIP.
2. Identificazione del Divario Distribuzionale: Rilevano che l'addestramento congiunto di prompt per obiettivi globali e locali in TIPS peggiora la localizzazione a livello di pixel.
3. Architettura Semplice ed Efficace: Propongono un approccio "senza trucchi" (no complex tricks) che utilizza prompt fissi per la classificazione e prompt apprendibili solo per la segmentazione, mantenendo un'architettura leggera.
4. Generalizzazione Superiore: Il metodo ottiene risultati state-of-the-art senza richiedere dati del dominio target durante l'addestramento.

4. Risultati Sperimentali

Il metodo è stato valutato su 14 dataset reali (7 industriali e 7 medici), inclusi MVTec-AD, VisA, ISIC e BrainMRI.

• Performance Industriale: Rispetto ai metodi basati su CLIP (AnomalyCLIP, AdaCLIP, VAND), Tipsomaly migliora le metriche a livello di immagine (AUROC, AP, F1-max) del 1.1% - 3.9% e a livello di pixel del 1.5% - 6.9%.
• Performance Medica: Mostra una generalizzazione cross-dominio eccezionale, con miglioramenti medi del 3.2% (AUROC), 4.4% (AUPRO) e 5.3% (F1-max) a livello di pixel sui dataset medici.
• Ablation Study: Gli esperimenti confermano che:
  • L'uso di prompt disaccoppiati è superiore all'uso di soli prompt fissi o apprendibili.
  • L'addestramento con sola loss locale per i prompt di localizzazione è cruciale.
  • L'aggiunta dell'evidenza locale massima al punteggio globale migliora le prestazioni complessive.
  • L'uso di prompt specifici per il dominio medico (es. "tessuto sano" vs "area irregolare") migliora ulteriormente i risultati sui dataset medici rispetto a prompt generici.

5. Significato e Impatto

Questo lavoro segna un cambio di paradigma nella ricerca sulla ZSAD. Invece di cercare di "aggiustare" modelli come CLIP con architetture sempre più complesse, suggerisce che la scelta di un backbone nativamente più consapevole dello spazio (TIPS) combinata con una strategia di prompting intelligente e semplice è la via più efficace.
Tipsomaly dimostra che è possibile ottenere prestazioni superiori sia nella rilevazione che nella localizzazione delle anomalie con un'architettura leggera, offrendo una soluzione robusta e generalizzabile per applicazioni critiche in settori industriali e medici, dove i dati etichettati sono scarsi o inesistenti. Il codice è disponibile pubblicamente, favorendo la riproducibilità e l'adozione futura.