Diffusion or Non-Diffusion Adversarial Defenses: Rethinking the Relation between Classifier and Adversarial Purifier

Dit artikel betoogt dat niet-diffusiemodellen als adversariële purificators niet alleen vergelijkbare prestaties leveren, maar ook superieure generalisatie en overdraagbaarheid bieden, zelfs zonder extra trainingsdata.

De kern

De Strijd tegen Onzichtbare Valspelers: Waarom "Niet-Diffusie" Wint

Stel je voor dat je een zeer slimme, maar soms naïeve rechter hebt (de classificator). Deze rechter is getraind om foto's te bekijken en te zeggen: "Dat is een kat" of "Dat is een hond".

Maar er zijn valsers (de adversariale aanvallen). Deze valsers voegen onzichtbare ruis toe aan de foto's. Voor het menselijk oog ziet de foto er hetzelfde uit, maar voor de rechter verandert de foto van "kat" in "hond". De rechter wordt gek.

Om dit op te lossen, hebben wetenschappers een schoonmaakteam bedacht (de purifier). Dit team moet de foto schoonmaken voordat de rechter hem bekijkt, zodat de valsers verdwijnen.

Tot nu toe dachten de meeste mensen dat de beste schoonmakers Diffusiemodellen waren. Dit zijn geavanceerde AI's die werken als een kunstenaar die een foto eerst helemaal in de war sticht (door er ruis op te gooien) en hem daarna weer langzaam en zorgvuldig "ontwikkelt" tot een schone foto. Het klinkt als magie, maar de auteurs van dit paper zeggen: "Wacht even, deze magie heeft een groot nadeel."

Hier is wat ze hebben ontdekt, vertaald in alledaags taal:

1. Het Probleem met de "Magische" Schoonmaker (Diffusie)

De diffusiemodellen zijn geweldig in het verwijderen van ruis, maar ze zijn te perfectionistisch. Ze proberen de foto terug te brengen naar de exacte manier waarop ze eruitzagen tijdens de training.

• De Analogie: Stel je voor dat de rechter alleen foto's van bruine katten heeft gezien. Als er nu een zwarte kat voorbij komt (een kleine verandering in kleur), denkt de "magische" schoonmaker: "Nee, dit is niet de juiste kat! Ik ga hem omtoveren naar een bruine kat, want zo hoort het."
• Het Resultaat: De schoonmaker verandert de zwarte kat in een bruine, maar hij verandert ook de vorm van de kat een beetje. De rechter kijkt naar deze "nieuwe" bruine kat en denkt: "Ik ken deze kat niet, ik weet niet wat het is!" De rechter faalt.

De auteurs noemen dit generalisatieverlies. De schoonmaker is zo bang om iets fout te doen, dat hij de foto zo verandert dat de oorspronkelijke betekenis (de "ziel" van de foto) verloren gaat.

2. De Nieuwe Held: De "Slimme" Schoonmaker (MAEP)

De auteurs hebben een nieuwe methode bedacht die geen diffusie gebruikt. Ze noemen het MAEP (Masked AutoEncoder Purifier).

• De Analogie: In plaats van de hele foto te vernietigen en opnieuw te bouwen, werkt deze schoonmaker als een puzzelmeester. Hij bedekt een deel van de foto met een deken (maskeren) en vraagt: "Als ik dit stukje zie, wat zou er dan onder de deken moeten zitten?"
• De Kracht: Hij leert niet om de foto perfect te maken zoals in de training, maar om de essentie van de foto te behouden. Hij verwijdert alleen de "verkeerde" ruis (de valsers) en laat de echte details van de foto intact.
• Het Resultaat: Als de zwarte kat binnenkomt, verwijdert de schoonmaker alleen de ruis van de valsers. Hij maakt de kat niet bruin. De rechter kijkt naar de zwarte kat en zegt: "Ah, dat is een kat!"

3. De Grote Test: De "Kleurige" Uitdaging

Om dit te bewijzen, hebben de auteurs een speciale testbedacht genaamd ColoredImageNet. Ze namen duizenden foto's en veranderden de kleuren (bijvoorbeeld een gele auto in een blauwe auto).

• De Diffusie-schoonmakers werden er paniekerig van. Ze probeerden de auto's terug te kleuren naar de oorspronkelijke training, wat de herkenning verstoorde.
• De MAEP-schoonmaker bleef kalm. Hij zag dat het een auto was, ongeacht de kleur, en verwijderde alleen de ruis.

4. De Grootste Overwinning: Van Kleintje naar Reus

Het meest verbazingwekkende resultaat is dit:
Ze hebben een MAEP-schoonmaker getraind op een heel klein datasetje (CIFAR-10, kleine, wazige plaatjes). Vervolgens hebben ze hem getest op een gigantisch, super-scherp dataset (ImageNet, echte foto's van duizenden dieren en objecten).

• De Diffusie-modellen die specifiek getraind waren op die grote ImageNet-dataset, faalden of deden het slecht.
• De MAEP (die op de kleine dataset was getraind) deed het beter dan de modellen die speciaal voor de grote dataset waren gemaakt!

Waarom? Omdat de MAEP leert om de structuur van de foto te begrijpen, in plaats van alleen de kleuren en details van de training te kopiëren. Het is alsof je iemand leert lezen met een kinderboek, en die persoon daarna een complex juridisch boek kan lezen zonder dat hij de woorden moet memoriseren.

Conclusie

De boodschap van dit papier is simpel:
Soms is "meer geavanceerd" (zoals diffusiemodellen) niet altijd "beter". Door te proberen een foto te perfect te maken, verlies je de essentie. De nieuwe methode (MAEP) is slimmer omdat hij niet probeert de foto te herscheppen, maar alleen de "vuilnis" verwijdert en de foto laat zoals hij is.

Dit betekent dat we in de toekomst veiligere AI-systemen kunnen bouwen die niet alleen sterk zijn tegen aanvallen, maar ook goed begrijpen wat ze zien, zelfs als de wereld om hen heen verandert (andere kleuren, andere lichtomstandigheden).

Technische samenvatting

Probleemstelling

Adversarial verdedigingen (defenses) tegen kwaadaardige aanvallen op deep learning-modellen staan voor grote uitdagingen. Hoewel recente studies zich richten op diffusiemodellen als "adversarial purifiers" (reinigingsmodellen) die ruis verwijderen uit aangevallen beelden, identificeeren de auteurs een fundamenteel probleem: het verlies aan generalisatievermogen van de classifier.

De kern van het probleem is een discrepantie tussen het doel van een diffusiemodel en dat van een classifier:

1. Diffusiemodellen zijn getraind om beelden te genereren die passen bij de verdeling van de trainingsdata. Ze neigen ernaar om afwijkingen (zoals kleurvariaties of lichte vervormingen) weg te halen om het beeld "natuurlijker" te maken volgens de trainingsverdeling.
2. Classifiers worden echter getraind met data-augmentatie (zoals kleurverschuivingen, rotaties) om robuust te zijn tegen variaties in de echte wereld.

Wanneer een diffusiemodel een beeld "reinigt", kan het onbedoeld de specifieke kenmerken verwijderen die de classifier nodig heeft om een correcte voorspelling te doen, vooral bij beelden die licht afwijken van de trainingsdata (bijvoorbeeld andere kleuren). Dit leidt tot een daling in de "clean accuracy" (nauwkeurigheid op niet-aangevallen data) en beperkt de overdraagbaarheid (transferability) naar andere datasets.

Methodologie

De auteurs stellen een nieuwe aanpak voor die afwijkt van de dominantie van diffusiemodellen: de Masked AutoEncoder Purifier (MAEP).

1. Analyse van Generalisatieverlies:
   De auteurs analyseren wiskundig en empirisch waarom diffusiemodellen falen bij kleurvariaties. Ze tonen aan dat diffusiemodellen beelden terugduwen naar de trainingsverdeling ($q(x)$), wat in strijd is met de generalisatie-eisen van de classifier die getraind is op geaugmenteerde data.

2. Ontwerp van MAEP:
   In plaats van een generatief diffusiemodel te gebruiken, combineren de auteurs een Masked Autoencoder (MAE) met een reinigingsverlies (purification loss).

   • Architectuur: Het model gebruikt een MAE-encoder en -decoder.
   • Maskering: Het model werkt met een masker ($M$) dat een deel van het beeld bedekt.
   • Tweeledig Verlies:
     • Reconstructieverlies: Het model leert de gemaskerde delen van het beeld te reconstrueren op basis van de ongemaskerde delen (gebaseerd op MLM-principes). Dit helpt bij het leren van robuuste representaties.
     • Reinigingsverlies (Purification Loss): Een specifieke loss-functie ($\ell_1$-norm) die de afstand minimaliseert tussen het gereinigde adversarial beeld en het oorspronkelijke schone beeld, maar dan enkel toegepast op de ongemaskerde regio's. Dit zorgt ervoor dat het model de adversarial ruis verwijdert zonder de semantische informatie van het beeld te vernietigen.

3. ColoredImageNet:
   Om het effect van kleurvariaties te testen, creëren de auteurs een nieuwe dataset, ColoredImageNet, waarbij de kleurverdeling van ImageNet wordt aangepast aan die van andere doelbeelden. Dit dient als testomgeving om de gevoeligheid voor kleurverschuivingen te evalueren.

Belangrijkste Bijdragen

• Identificatie van Generalisatieverlies: Het paper is de eerste die systematisch het verlies aan classifier-generalisatie blootlegt dat wordt veroorzaakt door diffusie-gebaseerde purifiers, in plaats van alleen te focussen op het verbeteren van de reinigingsprestaties.
• Theoretische Uitleg: De auteurs leggen uit waarom diffusiemodellen gevoelig zijn voor kleurvariaties (door het vermijden van data-augmentatie tijdens training) en waarom niet-diffusiemodellen (zoals MAEP) dit beter kunnen hanteren.
• MAEP Propositie: Introductie van MAEP, een niet-diffusie purifier die state-of-the-art prestaties bereikt zonder extra data buiten de trainingsset te vereisen.
• Nieuwe Dataset: De introductie van ColoredImageNet om de impact van kleurverschuivingen op reinigingsmethodes te kwantificeren.

Resultaten

De experimenten tonen aan dat MAEP superieur is aan bestaande diffusie-gebaseerde methoden (zoals DiffPure, ScoreOpt, MimicDiffusion) in diverse scenario's:

1. Robuustheid en Clean Accuracy: Op CIFAR-10 en CIFAR-100 behaalt MAEP een hogere clean accuracy en vergelijkbare of betere robust accuracy dan diffusiemodellen.
2. Gevoeligheid voor Kleur: Op de ColoredImageNet-dataset presteren diffusiemodellen aanzienlijk slechter (ongeveer twee keer zo grote nauwkeurigheidsdaling) bij kleurvariaties vergeleken met MAEP.
3. Transferability (Overdraagbaarheid):
   • Tussen datasets: Wanneer een purifier getraind is op CIFAR-100 en getest op CIFAR-10 (en vice versa), behoudt MAEP zijn prestaties veel beter dan DiffPure.
   • Resolutie-overdracht: Het meest opvallende resultaat is dat een MAEP getraind op CIFAR-10 (laagresolutie) direct getest op ImageNet (hoogresolutie) state-of-the-art resultaten behaalt. Het slaagt erin om een clean accuracy van ~75% te halen op ImageNet, terwijl diffusiemodellen die specifiek op ImageNet zijn getraind, lagere scores halen (rond 68-70%).
4. Beeldkwaliteit: MAEP behoudt meer details en textuur van het originele beeld na reiniging, terwijl diffusiemodellen vaak significante semantische veranderingen en detailsverlies introduceren.

Betekenis en Conclusie

De paper daagt de huidige consensus uit dat diffusiemodellen de beste oplossing zijn voor adversarial purification. De auteurs concluderen dat het gebruik van diffusiemodellen als purifier een "prijs" heeft: het vermindert het generalisatievermogen van de classifier, vooral bij real-world variaties zoals kleurverschuivingen.

De voorgestelde MAEP biedt een efficiënter alternatief dat:

• Geen extra trainingsdata vereist.
• Beter presteert bij overdracht naar nieuwe datasets en resoluties.
• De semantische integriteit van het beeld beter behoudt.

Dit werk suggereert een verschuiving in het onderzoeksveld: van het verbeteren van generatieve modellen voor reiniging naar het ontwerpen van specifieke, niet-generatieve reinigingsarchitecturen die beter aansluiten bij de behoeften van de classifier.