NatADiff: Adversarial Boundary Guidance for Natural Adversarial Diffusion

In dit paper wordt NatADiff voorgesteld, een methode die gebruikmaakt van denoising diffusion en adversariële randgeleiding om natuurlijke, hoogtransfereerbare adversariële voorbeelden te genereren die beter overeenkomen met echte testfouten dan bestaande technieken.

De kern

NatADiff: Hoe we AI's laten struikelen met "natuurlijke" trucs

Stel je voor dat je een zeer slimme, maar soms wat naïeve robot hebt die foto's herkent. Als je een foto van een goudvis laat zien, zegt hij: "Dat is een goudvis!" Maar als je een heel klein, onzichtbaar korreltje pixel-vervorming toevoegt (zoals een onzichtbare vlekje), kan de robot plotseling denken: "Oh, dit is een bobslee!" Dit heet een adversariaal voorbeeld.

Tot nu toe waren de meeste manieren om deze robot te bedriegen gebaseerd op het toevoegen van die onzichtbare vlekjes. Maar in de echte wereld maken mensen geen foto's met vlekjes. Soms maken robots gewoon fouten op foto's die er perfect uitzien. Dit zijn natuurlijke fouten.

De onderzoekers van dit paper (Max Collins en zijn team) hebben een nieuwe manier bedacht om AI's te testen, genaamd NatADiff. Hier is hoe het werkt, vertaald naar simpele taal:

1. Het probleem: De robot zoekt naar "afkortingen"

Onze robot (de AI) is niet zo slim als hij denkt. In plaats van echt te leren wat een goudvis is, leert hij vaak afkortingen (of "trucs").

• Voorbeeld: Als de robot vaak foto's van haaien ziet in de oceaan, denkt hij: "Als ik blauw water zie, is het een haai."
• Als je hem een foto van een haai toont die op het zand ligt (geen water), raakt hij in de war. Hij ziet het zand en denkt: "Geen water, dus geen haai." Of hij ziet iets anders en denkt: "Oh, dat lijkt op een walvis!"

De onderzoekers ontdekten dat deze fouten vaak ontstaan omdat de robot zich laat leiden door verkeerde contextuele hints.

2. De oplossing: De "Twee-Wegen" Straat

Stel je voor dat er een grote stad is met twee wijken: de Goudvis-wijk en de Apen-wijk.

• Normale foto's wonen in het midden van de Goudvis-wijk.
• De robot maakt een fout als hij dacht dat hij in de Goudvis-wijk was, maar eigenlijk in de Apen-wijk belandde.

De oude methoden probeerden de robot te bedriegen door een foto van een goudvis een beetje te vervormen (alsof je een beetje modder op de foto smeert). Dat werkt, maar het is niet echt "natuurlijk".

NatADiff doet iets anders. Het gebruikt een Diffusiemodel.

• De Analogie: Stel je voor dat je een foto van een goudvis in een emmer met troebel water gooit. De foto wordt steeds waziger tot het alleen nog maar ruis is.
• NatADiff is als een magische emmer die het water weer helder maakt, maar met een twist: de onderzoekers zeggen tegen de emmer: "Maak de foto helder, maar zorg dat hij een beetje lijkt op een aap, terwijl hij er nog steeds uitziet als een goudvis."

Ze sturen het proces naar de grens tussen de twee wijken. Ze laten het systeem een foto genereren die echt bestaat (geen modderige vlekjes), maar die zo'n beetje op een goudvis én een aap lijkt. Omdat de robot zo graag "afkortingen" gebruikt, denkt hij: "Oh, dat lijkt op een aap!" en maakt hij een fout.

3. Waarom is dit zo slim? (De "Tijdsreizen" en "Vergroting")

Het team gebruikte twee coole trucs om dit te laten werken:

• Tijdsreizen (Time-Travel): Soms raakt de magische emmer in de war en maakt hij een lelijke, onherkenbare foto. De onderzoekers laten de emmer dan even "terug in de tijd" gaan, het water opnieuw troebel maken en het proces opnieuw proberen. Zo zorgen ze dat de foto er altijd mooi en natuurlijk uitziet.
• De "Vergrotings-lens" (Classifier Guidance): Ze gebruiken een tweede robot om te kijken of de foto werkt. Als de tweede robot nog niet bedrogen is, passen ze de lens iets aan om de "aap-achtige" kenmerken sterker te maken, maar zonder de "goudvis-achtige" kenmerken te vernietigen.

4. Het resultaat: Een superkrachtige test

Deze methode is geweldig om twee redenen:

1. Het werkt op bijna elke robot: Als je een foto maakt die de ene robot (bijv. een ResNet) laat denken dat het een aap is, werkt diezelfde foto vaak ook op een heel andere robot (bijv. een Vision Transformer). De oude methoden met "modderige vlekjes" werken vaak alleen op de robot waarvoor ze gemaakt zijn. NatADiff is als een universele sleutel.
2. Het is echt natuurlijk: De foto's die NatADiff maakt, lijken op echte fouten die mensen ook maken. Ze zijn niet gemaakt van pixel-vlekjes, maar van echte, logische (maar verkeerde) combinaties.

Conclusie

Kortom: NatADiff is een manier om kunstmatige intelligentie te testen door niet te knoeien met de foto's, maar door slimme, nieuwe foto's te creëren die precies op de rand van de verwarring zitten. Het helpt ons te begrijpen waarom AI's soms stomme fouten maken, zodat we in de toekomst slimmere en veiligere systemen kunnen bouwen.

Het is alsof je een spiegel voorhoudt aan de AI, maar dan een spiegel die laat zien waar de AI echt zwak is, zonder dat je de foto hoeft te beschadigen.

Technische samenvatting

Probleemstelling

Dieplerningmodellen zijn kwetsbaar voor adversarial examples (tegenstrijdige voorbeelden). Bestaande literatuur concentreert zich voornamelijk op beperkte (constrained) adversarial attacks, waarbij onzichtbare pixel-perturbaties worden toegevoegd aan een schoon beeld om een foutclassificatie te forceren. Deze benadering weerspiegelt echter niet altijd de fouten die in de echte wereld optreden.

De auteurs richten zich op natuurlijke adversarial samples (ook wel test-time errors genoemd). Dit zijn beelden die natuurlijk voorkomen (geen toegevoegde perturbaties) maar toch door het model verkeerd worden geclassificeerd. Deze fouten ontstaan vaak doordat modellen "kortsluitingen" gebruiken: ze vertrouwen op foutieve contextuele aanwijzingen (bijv. een haai op het strand wordt herkend als een haai omdat hij in de oceaan hoort, niet omdat hij een haai is). Bestaande generatieve methoden (zoals GANs of eerdere diffusion-methoden) om dergelijke samples te genereren, hebben vaak last van:

1. Slechte beeldkwaliteit.
2. Gebrek aan theoretische onderbouwing voor het verstoren van het steekproefpad.
3. Het genereren van beperkte perturbaties in plaats van echt natuurlijke fouten.
4. Beperkte overdraagbaarheid (transferability) tussen verschillende modelarchitecturen.

Methodologie: NatADiff

De auteurs stellen NatADiff voor, een methode die gebruikmaakt van Denoising Diffusion Probabilistic Models (DDPM) om natuurlijke adversarial samples te genereren. De kern van de methode is het benutten van de observatie dat natuurlijke fouten vaak structurele elementen bevatten van de adversarial class (de verkeerde klasse).

De methode combineert drie belangrijke componenten:

1. Adversarial Boundary Guidance (De kerninnovatie):
   In plaats van de diffusie-richting puur te sturen naar de doelklasse (zoals bij standaard classifier guidance), sturen de auteurs de diffusie-straal naar het snijpunt van de ware klasse en de adversarial klasse.

   • Dit wordt bereikt door een specifieke term in de score-functie van de diffusie te introduceren: $\mu \rho v_{y \cap \tilde{y}}$.
   • Hierbij is $v_{y \cap \tilde{y}}$ een vector die wijst naar regio's in het beeldmanifold waar beelden van beide klassen voorkomen.
   • Door de parameter $\mu$ te regelen, wordt de steekproef geleid naar gebieden waar de modelclassificatie onzeker is en waar foutieve contextuele cues (de "shortcut") dominant worden, terwijl het beeld visueel nog steeds lijkt op de ware klasse.

2. Augmented Classifier Guidance:
   Om te voorkomen dat de methode vastloopt in beperkte perturbaties (die gevoelig zijn voor transformaties), passen ze differentieerbare beeldtransformaties toe op de geschatte schone afbeelding ($\hat{x}_0$) voordat deze naar de victim-classifier wordt gestuurd.

   • Dit "mittelt" het lokale adversarial signaal uit en dwingt het model om semantisch betekenisvolle kenmerken van de adversarial klasse te introduceren in plaats van ruis.

3. Time-Travel Sampling:
   Om de beeldkwaliteit te behouden en te voorkomen dat de steekproef het natuurlijke beeldmanifold verlaat, wordt time-travel sampling toegepast.

   • Tijdens het generatieproces wordt de diffusie-straal op bepaalde tijdstippen tijdelijk "teruggezet" (forward process) en opnieuw bemonsterd (reverse process). Dit stelt het model in staat om suboptimale trajecten te corrigeren en de kwaliteit van het gegenereerde beeld te verhogen.

4. Similarity Targeting (voor ongerichte aanvallen):
   Voor ongerichte aanvallen (waarbij elke verkeerde klasse voldoet) kiezen de auteurs voor een doelklasse die semantisch het meest lijkt op de ware klasse (gemeten via CLIP-embeddings). Dit vergemakkelijkt het vinden van het snijpunt in het manifold.

Belangrijkste Bijdragen

1. NatADiff Framework: Een nieuwe, diffusion-based aanpak voor het genereren van natuurlijke adversarial samples die specifiek gericht is op het uitbuiten van contextuele kortsluitingen in diepe netwerken.
2. Adversarial Boundary Guidance: Een algoritme dat de diffusie-straal effectief navigeert naar het snijpunt van klassen, wat leidt tot samples die beter lijken op natuurlijk optredende test-time errors dan eerdere methoden.
3. Verbeterde Transferability: De gegenereerde samples zijn aanzienlijk beter overdraagbaar naar verschillende modelarchitecturen (CNNs en Transformers) dan bestaande state-of-the-art methoden.
4. Analyse van Feature Representaties: Het paper onthult hoe convolutionele en transformer-gebaseerde modellen natuurlijke fouten waarnemen, en toont aan dat NatADiff samples produceert die beter aligneren met de distributie van ImageNet-A (een dataset van natuurlijke fouten).

Resultaten

De auteurs evalueren NatADiff op de ImageNet-dataset met een reeks van surrogate- en victim-modellen (o.a. ResNet-50, Inception-v3, ViT-H, en adversariaal getrainde varianten).

• Attack Success Rate (ASR): NatADiff bereikt vergelijkbare white-box ASR (zelfde model) als de beste bestaande technieken.
• Transferability: In black-box scenario's (verschillende victim-modellen) presteert NatADiff aanzienlijk beter dan PGD, AutoAttack, NCF, DiffAttack en zelfs eerdere diffusion-methoden zoals AdvClass. Vooral de overdracht naar Transformer-modellen (ViT-H) is indrukwekkend, hoewel ViT-H over het algemeen robuuster is.
• Beeldkwaliteit:
  • NatADiff-samples hebben een lagere FID (Fréchet Inception Distance) ten opzichte van ImageNet-A dan andere generatieve methoden, wat betekent dat ze statistisch meer lijken op natuurlijke test-time errors.
  • De beeldkwaliteit (gemeten via IS en FID-Val) blijft hoog, hoewel gerichte aanvallen op ViT-H soms leiden tot artefacten vanwege de strenge besluitgrenzen van dit model.
• Robuustheid: De samples zijn minder vatbaar voor standaard verdedigingen zoals beeldtransformaties (rotatie, crop) en DiffPure (purificatie via diffusion), omdat ze geen expliciete perturbaties bevatten die door deze methoden kunnen worden verwijderd.

Betekenis en Conclusie

NatADiff demonstreert dat het genereren van natuurlijke adversarial samples via diffusion-modellen een krachtige manier is om de fundamentele kwetsbaarheden van diepe leermodellen te onderzoeken. Door de diffusie te sturen naar het snijpunt van klassen, kunnen de auteurs samples creëren die niet alleen effectief zijn in het misleiden van modellen, maar ook een hogere mate van realisme en overdraagbaarheid vertonen dan eerdere generatieve benaderingen.

De studie benadrukt dat veel classificatiefouten in de praktijk niet het gevolg zijn van kleine pixel-veranderingen, maar van het misbruik van contextuele cues door het model. NatADiff biedt een nieuw instrument voor onderzoekers om deze "kortsluitingen" te identificeren en uiteindelijk robuustere, meer interpreteerbare modellen te bouwen die niet afhankelijk zijn van dergelijke spurious correlations.