Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

Stel je een wereld voor waarin computers over superkrachtige ogen beschikken, getraind op miljoenen foto's om te begrijpen wat "normaal" is. Deze digitale detectives worden overal ingezet, van het opsporen van minuscule scheurtjes in auto-onderdelen op een productielijn tot het vinden van verborgen tumoren in medische scans. Ze werken door een nieuwe afbeelding te vergelijken met een bibliotheek van perfecte, normale voorbeelden. Als de nieuwe afbeelding er te veel van afwijkt, slaat de computer alarm. Maar hier zit de crux: deze digitale ogen kunnen worden bedrogen. Net zoals een goochelaar een menselijke toeschouwer kan misleiden met een goocheltruc, kan een slimme hacker onzichtbare "ruis" aan een afbeelding toevoegen—kleine, bijna onmerkbare veranderingen die de computer in verwarring brengen. Voor het menselijk oog ziet de afbeelding er hetzelfde uit; voor de computer ziet het er volkomen normaal uit wanneer het eigenlijk kapot is, of kapot wanneer het perfect is. Dit is de angstaanjagende realiteit van "adversarial attacks" (tegenstrijdige aanvallen), en het is een groot probleem voor veiligheidskritische systemen.

Stel je nu een nieuw soort detective voor die niet getraind hoeft te worden op duizenden voorbeelden. In plaats daarvan leert deze detective van slechts een handvol foto's—misschien zelfs maar één of vier. Dit wordt "few-shot" detectie genoemd, en het is een gamechanger omdat het snel, goedkoop en flexibel is. Het artikel dat u zo gaat lezen, pakt een grote, onbeantwoorde vraag aan: als we deze supersnelle, few-shot detectives gebruiken, zijn ze dan veilig voor hackers? De auteurs ontdekten dat deze efficiënte detectives zonder bescherming verrassend kwetsbaar zijn. Een kleine, onzichtbare duw kan ervoor zorgen dat ze volledig falen. Maar maak u geen zorgen—ze hebben niet alleen het probleem gevonden; ze hebben een schild gebouwd. Ze hebben een tweeledig verdedigingssysteem gecreëerd dat werkt als een bril en een mentaal filter, waardoor deze few-shot detectives door de trucs heen kunnen kijken en betrouwbaar blijven, zonder dat ze hun hersenen opnieuw hoeven te trainen.

Het Probleem: De "One-Shot" Detective en de Onzichtbare Tructeur

In de wereld van industriële veiligheid moeten bedrijven vaak defecten onmiddellijk opsporen. Wachten tot er duizenden foto's zijn verzameld van elk mogelijk defect is niet praktisch. Daarom richtten onderzoekers zich op "Vision Foundation Models"—massieve, vooraf getrainde AI-breinen (zoals DINOv2) die al veel weten over vormen en texturen. Deze modellen kunnen worden gekoppeld aan een eenvoudig "k-nearest-neighbor" (k-NN) systeem. Zie dit systeem als een bibliothecaris die een plank heeft met "perfecte" patch-monsters. Wanneer een nieuwe afbeelding arriveert, breekt de bibliothecaris deze op in kleine vierkantjes (patches) en vraagt: "Waar lijkt dit vierkantje het meest op mijn perfecte monsters?" Als het nieuwe vierkantje er erg anders uitziet dan alle perfecte exemplaren, wordt het als een anomalie gemarkeerd.

Deze opzet is briljant omdat het "training-free" is. U hoeft de bibliothecaris niets nieuws te leren; u geeft hem gewoon een paar referentiefoto's. De auteurs ontdekten echter een enorme kwetsbaarheid. Omdat de beslissing van de bibliothecaris gebaseerd is op een eenvoudige wiskundige formule (afstand), kan een hacker precies berekenen hoe hij de pixels van een "perfect" beeld moet aanpassen om het voor de bibliothecaris "kapot" te laten lijken, of andersom. Het is als een vervalser die precies weet hoeveel inkt hij aan een handtekening moet toevoegen om het authentiek te laten lijken voor een specifieke rechter, zelfs als de rechter zeer streng is.

Het artikel bevestigt dat deze efficiënte, few-shot systemen ongelooflijk broos zijn. Wanneer ze worden aangevallen met een specifiek type digitale ruis (genaamd PGD-20 met een sterkte van $\epsilon = 8/255$), stort het vermogen van het systeem om het verschil tussen normale en kapotte afbeeldingen te zien volledig in. Op een standaard testset genaamd MVTec-AD daalde de nauwkeurigheid van het systeem van een solide 97,5% naar een rampzalige 25,8%. De "goede" afbeeldingen werden plotseling als "slecht" gelabeld, en de "slechte" als "goed". De computer was volledig misleid.

De Oplossing: Een Twee-Lagen Schild

De auteurs realiseerden zich dat ze de bibliothecaris (het foundation model) niet simpelweg konden hertrainen, omdat het hele punt van dit systeem is dat het bevroren en klaar voor gebruik is. Ze hadden een verdediging nodig die rondom de bibliothecaris werkte. Ze bouwden een tweestapsschild: PatchShift en FeaturePurifier.

Stap 1: De "Tapijt Schudden" Truc (PatchShift)
Stel je voor dat je een tapijt hebt met een specifiek patroon, en iemand heeft daar een perfecte, onzichtbare lijn op getekend om je te misleiden. Als je het tapijt slechts een klein beetje verschuift, komt die lijn niet meer overeen met het patroon op de manier die de tructeur bedoelde. De auteurs gebruikten dit idee. Ze nemen de afbeelding en verschuiven deze licht in verschillende richtingen (omhoog, omlaag, links, rechts) voordat ze de detector in gaan. Ze doen dit acht keer, waardoor ze acht licht verschillende "weergaven" van dezelfde afbeelding creëren.

Omdat de truc van de hacker ontworpen was voor één specifieke uitlijning, breekt het verschuiven van de afbeelding de truc. Sommige weergaven zien er misschien nog steeds een beetje vreemd uit, maar andere zullen er normaal uitzien. Het systeem neemt vervolgens de "mediaan" (de middelste waarde) van alle acht resultaten. Dit is als het vragen aan acht mensen om het antwoord te raden; zelfs als een paar mensen in verwarring raken door de truc, ziet de meerderheid de waarheid. Deze eenvoudige "schud"-stap helk helpt alleen, maar is niet voldoende om elke truc te vangen.

Stap 2: Het "Mentale Filter" (FeaturePurifier)
Zelfs nadat de afbeelding is verschoven, kan een deel van de ruis van de hacker nog steeds in het "brein" (de feature space) van de computer glippen. Om dit op te lossen, voegden de auteurs een "FeaturePurifier" toe. Denk aan dit als een gespecialiseerde vertaler die tussen de afbeelding en de bibliothecaris zit. Zijn taak is om de "verwarde" of "besmette" beschrijving van de afbeelding te nemen en deze terug te vertalen naar een "schone" beschrijving.

Deze vertaler is een kleine, lichtgewicht AI die leert hoe hij de ruis kan opschonen. Hij wordt getraind met de weinige referentiefoto's die het systeem al heeft. Hij leert te herkennen hoe een "schoon" patch eruitziet en hoe een "besmet" patch eruitziet, en leert vervolgens de besmette patches terug te duwen naar de schone staat. Het is als een fotobewerker die automatisch de "glitch"-effecten verwijdert die een hacker heeft toegevoegd, waardoor de afbeelding wordt hersteld naar zijn ware staat voordat de bibliothecaris deze zelfs maar ziet.

De Resultaten: Sterker dan Voorheen

De auteurs testten hun nieuwe schild op drie verschillende industriële datasets (MVTec-AD, VisA, en MPDD) met slechts 4 referentiefoto's (een "4-shot" setting). De resultaten waren indrukwekkend.

Zonder enige verdediging was het gehackte systeem nutteloos. Maar met hun tweelagenschild (PatchShift + FeaturePurifier) herstelde het systeem zich.

• Afbeeldingsdetectie: Op de MVTec-AD dataset herstelde het systeem zijn succespercentage onder aanval van 25,8% naar 76,1% (image-level AUROC).
• Pixel-niveau Nauwkeurigheid: Het systeem zag een enorme sprong van ongeveer 51 procentpunten in pixel-niveau nauwkeurigheid (PRO) vergeleken met de onverdedigde, aangevallen baseline.
• Schone Prestaties: Cruciaal is dat het schild het systeem niet brak wanneer er geen hackers aanwezig waren. De "schone" nauwkeurigheid bleef bijna exact hetzelfde, met een daling van minder dan 3%. Dit betekent dat het systeem nog steeds net zo goed is in het opsporen van echte defecten als voorheen, maar nu ook in staat is om valse defecten te negeren.
• Vergelijking: Hun methode presteerde even goed als, of zelfs beter dan, veel zwaardere systemen die enorme hoeveelheden trainingsdata en complexe adversarial training vereisen om robuust te zijn.

Waarom Dit Belangrijk Is

Het artikel beweert niet dat het alle problemen in het universum heeft opgelost, maar het heeft een gevaarlijke kloof gedicht. Het toonde aan dat de populaire, efficiënte methode van het gebruiken van bevroren AI-modellen met slechts een paar foto's kwetsbaar is voor onzichtbare trucs. Belangrijker nog, het bewees dat u die efficiëntie niet hoeft op te offeren om veiligheid te krijgen. Door een slimme combinatie van het "schudden" van de afbeelding en het "opschonen" van het interne beeld van de computer, kunt u deze snelle, flexibele detectoren robuust maken tegen hackers.

De auteurs gebruikten een specifiek type aanval (white-box, waarbij de hacker het systeem kent) om hun verdediging te testen, en hun methode hield stand, zelfs toen de hacker probeerde zijn trucs aan te passen aan het nieuwe schild. Dit suggereert dat de "PatchShift + FeaturePurifier"-combinatie een sterke, praktische oplossing is om onze industriële en medische AI-systemen eerlijk te houden, zelfs wanneer iemand probeert hen te misleiden. Het is een herinnering dat de beste manier om een slim systeem te beschermen soms niet is om het slimmer te maken, maar om het een betere bril en een heldere geest te geven.