Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

Immaginate un mondo in cui i computer hanno occhi super-potenziati, addestrati su milioni di foto per capire cosa sia "normale". Questi detective digitali sono usati ovunque, dal individuare minuscole crepe nei componenti delle auto su una linea di produzione al trovare tumori nascosti nelle scansioni mediche. Lavorano confrontando una nuova immagine con una libreria di esempi perfetti e normali. Se la nuova immagine appare troppo diversa, il computer suona l'allarme. Ma ecco il problema: questi occhi digitali possono essere ingannati. Proprio come un mago può ingannare un osservatore umano con un gioco di prestigio, un hacker esperto può aggiungere del "rumore" invisibile all'immagine: piccoli cambiamenti quasi impercettibili che confondono il computer. Per l'occhio umano, l'immagine sembra la stessa; per il computer, sembra completamente normale quando in realtà è guasta, o guasta quando è perfetta. Questa è la realtà spaventosa degli "attacchi avversari", ed è un problema maggiore per i sistemi critici per la sicurezza.

Ora, immaginate un nuovo tipo di detective che non ha bisogno di essere addestrato su migliaia di esempi. Invece, impara da solo un manipolo di foto — forse anche solo una o quattro. Questo è chiamato "few-shot detection" (rilevamento con pochi campioni), ed è un elemento di svolta perché è veloce, economico e flessibile. Il documento che state per leggere affronta una grande domanda rimasta senza risposta: se usiamo questi detective super-veloci, "few-shot", sono sicuri dai hacker? Gli autori hanno scoperto che, senza protezione, questi efficienti detective sono sorprendentemente fragili. Una piccola, invisibile spinta può farli fallire completamente. Ma non preoccupatevi — non si sono limitati a trovare il problema; hanno costruito uno scudo. Hanno creato un sistema di difesa in due parti che agisce come un paio di occhiali e un filtro mentale, permettendo a questi detective "few-shot" di vedere attraverso gli inganni e rimanere affidabili, il tutto senza dover riaddestrare i loro cervelli.

Il Problema: Il Detective "One-Shot" e il Truccatore Invisibile

Nel mondo della sicurezza industriale, le aziende spesso devono individuare i difetti immediatamente. Aspettare per raccogliere migliaia di foto di ogni possibile difetto non è praticabile. Così, i ricercatori si sono rivolti ai "Vision Foundation Models" — enormi cervelli IA pre-addestrati (come DINOv2) che conoscono già molto su forme e texture. Questi modelli possono essere accoppiati con un semplice sistema "k-nearest-neighbor" (k-NN). Pensate a questo sistema come a un bibliotecario che ha uno scaffale di campioni di "patch" perfetti. Quando arriva una nuova immagine, il bibliotecario la divide in piccoli quadrati (patch) e chiede: "A quale dei miei campioni perfetti somiglia di più questo quadrato?". Se il nuovo quadrato appare molto diverso da tutti quelli perfetti, viene segnalato come anomalia.

Questa configurazione è brillante perché è "senza addestramento" (training-free). Non dovete insegnare nulla di nuovo al bibliotecario; basta dargli alcune foto di riferimento. Tuttavia, gli autori hanno scoperto una vulnerabilità massiccia. Poiché la decisione del bibliotecario si basa su una semplice formula matematica (distanza), un hacker può calcolare esattamente come modificare i pixel di un'immagine "perfetta" per farla apparire "guasta" al bibliotecario, o viceversa. È come un falsario che sa esattamente quanto inchiostro aggiungere a una firma per farla sembrare autentica per un giudice specifico, anche se il giudice è molto severo.

Il documento conferma che questi sistemi efficienti, "few-shot", sono incredibilmente fragili. Quando attaccati con un tipo specifico di rumore digitale (chiamato PGD-20 con una forza di $\epsilon = 8/255$), la capacità del sistema di distinguere tra immagini normali e guaste crolla. Su un set di test standard chiamato MVTec-AD, l'accuratezza del sistema è scesa da un solido 97,5% a un disastroso 25,8%. Le immagini "buone" sono improvvisamente state etichettate come "cattive", e quelle "cattive" come "buone". Il computer era stato completamente ingannato.

La Soluzione: Uno Scudo a Due Strati

Gli autori si sono resi conto che non potevano semplicemente riaddestrare il bibliotecario (il modello di base) perché il punto di forza di questo sistema è che è congelato e pronto all'uso. Avevano bisogno di una difesa che lavorasse intorno al bibliotecario. Hanno costruito uno scudo in due fasi: PatchShift e FeaturePurifier.

Passaggio 1: Il trucco di "Scuotere il Tappeto" (PatchShift)
Immaginate di avere un tappeto con un motivo specifico, e qualcuno ha disegnato una linea perfetta e invisibile su di esso per ingannarvi. Se spostate il tappeto di un pochino, quella linea non si allinea più con il motivo nel modo in cui il truffatore intendevva. Gli autori hanno usato questa idea. Prendono l'immagine e la spostano leggermente in diverse direzioni (su, giù, sinistra, destra) prima di fornirla al rilevatore. Lo fanno otto volte, creando otto "visioni" leggermente diverse della stessa immagine.

Poiché l'inganno dell'hacker è stato progettato per un allineamento specifico, spostare l'immagine rompe il trucco. Alcune viste potrebbero ancora apparire un po' strane, ma altre sembreranno normali. Il sistema prende quindi la "mediana" (il valore centrale) di tutti gli otto risultati. È come chiedere a otto persone di indovinare la risposta; anche se alcune sono confuse dal trucco, la maggioranza vedrà la verità. Questo semplice passaggio di "scuotimento" aiuta, ma non è sufficiente per catturare ogni trucco.

Passaggio 2: Il "Filtro Mentale" (FeaturePurifier)
Anche dopo aver spostato l'immagine, parte del rumore dell'hacker potrebbe ancora scivolare nel "cervello" del computer (lo spazio delle caratteristiche). Per risolvere questo, gli autori hanno aggiunto un "FeaturePurifier". Pensate a questo come a un traduttore specializzato che siede tra l'immagine e il bibliotecario. Il suo compito è prendere la descrizione "confusa" o "contaminata" dell'immagine e tradurla nuovamente in una descrizione "pulita".

Questo traduttore è un'IA piccola e leggera che impara come pulire il rumore. Viene addestrato usando proprio le poche foto di riferimento che il sistema possiede già. Impara a riconoscere cosa sia una patch "pulita" e cosa sia una patch "contaminata", e poi impara a spingere quelle contaminate verso le pulite. È come un editor di foto che rimuove automaticamente gli effetti di "glitch" aggiunti da un hacker, ripristinando l'immagine al suo vero stato prima ancora che il bibliotecario la veda.

I Risultati: Più Forti di Prima

Gli autori hanno testato il loro nuovo scudo su tre diversi dataset industriali (MVTec-AD, VisA e MPDD) usando solo 4 foto di riferimento (un'impostazione "4-shot"). I risultati sono stati impressionanti.

Senza alcuna difesa, il sistema hackerato era inutile. Ma con il loro scudo a due strati (PatchShift + FeaturePurifier), il sistema è tornato in gioco.

• Rilevamento dell'Immagine: Sul dataset MVTec-AD, il sistema è tornato da un tasso di successo del 25,8% sotto attacco a un 76,1% (AUROC a livello di immagine).
• Accuratezza a Livello di Pixel: Il sistema ha registrato un enorme salto di circa 51 punti percentuali nell'accuratezza a livello di pixel (PRO) rispetto alla baseline attaccata non difesa.
• Prestazioni "Clean": Fondamentalmente, lo scudo non ha rotto il sistema quando non c'erano hacker intorno. L'accuratezza "clean" è rimasta quasi identica, scendendo di meno del 3%. Ciò significa che il sistema è ancora altrettanto bravo a individuare i veri difetti di quanto lo fosse prima, ma ora può anche ignorare quelli falsi.
• Confronto: Il loro metodo ha performato quanto, o anche meglio, di sistemi molto più pesanti che richiedono enormi quantità di dati di addestramento e complessi addestramenti avversari per essere robusti.

Perché Questo è Importante

Il documento non sostiene di aver risolto ogni problema dell'universo, ma ha colmato una lacuna pericolosa. Ha dimostrato che il popolare ed efficiente metodo di usare modelli IA congelati con solo poche foto è vulnerabile a trucchi invisibili. Ancora più importante, ha provato che non è necessario rinunciare a questa efficienza per ottenere la sicurezza. Usando una combinazione intelligente di "scuotere" l'immagine e "pulire" la visione interna del computer, si possono rendere questi rilevatori veloci e flessibili robusti contro gli hacker.

Gli autori hanno usato un tipo specifico di attacco (white-box, dove l'hacker conosce il sistema) per testare la loro difesa, e il loro metodo ha retto anche quando l'hacker ha cercato di adattare i suoi trucchi al nuovo scudo. Ciò suggerisce che la combinazione "PatchShift + FeaturePurifier" è una soluzione pratica e forte per mantenere onesti i nostri sistemi di IA industriali e medici, anche quando qualcuno cerca di ingannarli. È un promemoria del fatto che, a volte, il modo migliore per proteggere un sistema intelligente non è renderlo più intelligente, ma dargli occhiali migliori e una mente più limpida.