FlowPure: Continuous Normalizing Flows for Adversarial Purification

Probleemstelling

Diepe neurale netwerken zijn kwetsbaar voor adversariële aanvallen: subtiel geconstrueerde verstoringen in invoerdata die leiden tot verkeerde voorspellingen. Hoewel er veel onderzoek is gedaan naar verdedigingsmechanismen, blijft adversariële robuustheid een kritieke uitdaging.

• Adversariële Training (AT) vereist het opnieuw trainen van het model, wat vaak ten koste gaat van de prestaties op schone data (benign accuracy).
• Adversariële Zuivering (Adversarial Purification - AP) is een alternatieve strategie die probeert de adversariële verstoringen te verwijderen tijdens de inferentie, zonder het classifier-model opnieuw te hoeven trainen.
• Huidige state-of-the-art (SOTA) methoden voor zuivering maken gebruik van diffusiemodellen. Deze modellen injecteren Gaussisch ruis in een voorwaartse stap om de adversariële verstoringen te verdunnen, gevolgd door een denoising-stap om schone data te reconstrueren. Een groot nadeel hiervan is dat ze afhankelijk zijn van een vast ruisproces en vaak semantische informatie verliezen, wat leidt tot een daling in de standaard nauwkeurigheid.

Methodologie: FlowPure

De auteurs stellen FlowPure voor, een nieuwe zuiveringsmethode die Continuous Normalizing Flows (CNFs) combineert met Conditional Flow Matching (CFM). In plaats van te vertrouwen op een stochastisch diffusieproces, leert FlowPure een deterministische of stochastische stroom die adversariële voorbeelden direct afbeeldt op hun schone tegenhangers.

Het paper introduceert twee varianten:

1. Deterministische FlowPure:

   • Principe: Dit model leert een directe, continue transformatie (via een ODE) van een adversariële verdeling naar een schone verdeling.
   • Training: Het model wordt getraind met CFM op paren van (adversariële, schone) data. De snelheidsveld ($v_\theta$) wordt geleerd om samples langs optimale transportpaden (OT) te bewegen.
   • Voordeel: Het kan specifieke kennis over aanvallen gebruiken tijdens het trainen (bijv. getraind op PGD-aanvallen). Dit resulteert in een zeer effectieve zuivering voor bekende bedreigingen zonder de standaard nauwkeurigheid te verlagen.
   • Inferentie: Het proces is volledig deterministisch; het adversariële invoerbeeld wordt als startpunt gebruikt en via de geleerde ODE naar $t=1$ geïntegreerd.

2. Stochastische FlowPure (Gaussian Variant):

   • Principe: Deze variant is "aanval-agnostisch" en lijkt meer op DiffPure, maar gebruikt een CNF in plaats van een diffusiemodel. Het leert een transformatie van een Gaussische verdeling naar de data-verdeling.
   • Innovatie: Om adaptieve aanvallen te weerstaan (waarbij de aanvaller de verdediging kent), introduceert de auteurs een nieuwe stochastische inferentiemethode. Tijdens het oplossen van de ODE wordt er op tussenliggende tijdstippen ruis geïntroduceerd (volgens een specifieke tijdsafhankelijke schedule).
   • Doel: Deze extra ruis verhoogt de onzekerheid voor de aanvaller en verstoort de nauwkeurige gradiënten die nodig zijn voor adaptieve aanvallen, waardoor de robuustheid in "white-box" scenario's verbetert.

Adversariële Detectie:
FlowPure kan ook worden gebruikt als detector. De auteurs gebruiken de grootte van het geleerde snelheidsveld ($||v_\theta||^2$) bij $t=0$ als detectiescore. Adversariële voorbeelden, die buiten de data-maanifold liggen, vertonen een hogere initiële snelheid dan schone samples, waardoor ze eenvoudig kunnen worden gefilterd.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: FlowPure is de eerste methode die CNFs toepast op adversariële zuivering, in plaats van diffusiemodellen. Dit stelt het in staat om directe mappingen tussen willekeurige verdelingen te leren.
2. Twee Varianten:
   • Een deterministische variant voor hoge prestaties bij bekende aanvallen (zonder verlies aan standaard nauwkeurigheid).
   • Een stochastische variant voor robuustheid tegen onbekende of adaptieve aanvallen.
3. Superieure Prestaties: De methode overtreft bestaande SOTA-methoden (zoals DiffPure, GDMP, LM, ADBM) in zowel "preprocessor-blind" als "white-box" scenario's.
4. Detectiecapaciteit: FlowPure fungeert niet alleen als zuiveraar, maar ook als een uiterst effectieve detector voor adversariële voorbeelden.

Resultaten

De methodologie werd geëvalueerd op de datasets CIFAR-10 en CIFAR-100 met een WideResNet-28-10 als slachtoffer-classifier.

• Preprocessor-Blind Scenario's (Aanvaller weet niet van de zuivering):

  • De deterministische varianten (bijv. getraind op PGD) behalen state-of-the-art robuustheid tegen PGD- en CW-aanvallen.
  • Cruciaal: Er is geen degradatie in de standaard nauwkeurigheid (benign accuracy); in sommige gevallen is er zelfs een lichte verbetering, omdat het model ook ruis in schone data verwijdert.
  • De methoden tonen goede transferabiliteit naar andere aanvalsnormen (bijv. van PGD naar CW), hoewel dit afhankelijk is van de aard van de verstoring.

• Fully Adaptive White-Box Scenario's (Aanvaller kent de verdediging):

  • In dit worst-case scenario (met adaptieve aanvallen zoals DiffHammer en BPDA) daalt de robuustheid voor alle methoden aanzienlijk.
  • Desalniettemin presteert de stochastische (Gaussian) variant van FlowPure beter dan bestaande diffusie-gebaseerde methoden.
  • De deterministische varianten zijn kwetsbaarder voor gradiëntgebaseerde aanvallen dan de stochastische variant, wat de noodzaak van ruisinjectie bevestigt voor extreme bedreigingen.

• Detectie:

  • FlowPure bereikt bijna perfecte detectienauwkeurigheid (AUC) voor PGD-aanvallen op zowel CIFAR-10 als CIFAR-100, zelfs bij lage verstoringen. Het presteert hierin beter dan de huidige SOTA-detector BEYOND.

Betekenis en Conclusie

FlowPure markeert een belangrijke stap voorwaarts in het veld van adversariële verdediging. Het bewijst dat Continuous Normalizing Flows een krachtig alternatief zijn voor diffusiemodellen bij het verwijderen van adversariële ruis.

• Praktische Toepasbaarheid: Voor realistische scenario's waar de aanvaller geen kennis heeft van de zuiveringslaag (preprocessor-blind), biedt FlowPure een ideale oplossing: het verwijdert aanvallen effectief zonder de prestaties op schone data te beïnvloeden.
• Inzicht in Robuustheid: De resultaten bevestigen dat zuiveringsmethodes kwetsbaar blijven voor volledig adaptieve white-box aanvallen, maar dat stochastische elementen (zoals geïntroduceerd in FlowPure) de barrière voor aanvallen kunnen verhogen.
• Dual Use: Het vermogen van FlowPure om zowel te zuiveren als te detecteren, maakt het een veelzijdig instrument voor het beveiligen van ML-systemen.

De auteurs concluderen dat FlowPure een realistische en inzetbare verdediging biedt die de balans tussen robuustheid en standaard nauwkeurigheid beter bewaakt dan bestaande technieken, en dat toekomstig onderzoek zich meer moet richten op realistische bedreigingsmodellen in plaats van puur theoretische white-box scenario's.