CEAR: Certified Ensemble Adversarial Robustness in DNNs

Technische Samenvatting: CEAR: Certified Ensemble Adversarial Robustness in DNNs

Probleemstelling
Diepe Neurale Netwerken (DNN's) behalen een hoge nauwkeurigheid op standaard testsets, maar blijven zeer kwetsbaar voor adversariële perturbaties—kleine, onwaarneembare wijzigingen in de input die voorspellingen drastisch veranderen. Deze kwetsbaarheid belemmert de inzetbaarheid in veiligheidskritische toepassingen. Bestaande verdedigingsmechanismen vallen uiteen in twee categorieën:

1. Empirische Verdediging: Methoden zoals adversariële training en defensive distillation verbeteren de robuustheid tijdens de training, maar missen formele garanties en falen vaak tegen sterke, adaptieve white-box aanvallen (bijv. C&W, AutoAttack).
2. Gecertificeerde Verdediging: Methoden zoals randomized smoothing bieden bewijsbare garanties dat voorspellingen invariant blijven binnen een specifieke perturbatie-radius. Echter, individuele classificatiesystemen hebben vaak moeite om een hoge gecertificeerde nauwkeurigheid te behouden bij grotere perturbatie-radii.
   Hoewel ensemble-methoden veelbelovend zijn gebleken voor het verbeteren van robuustheid door aggregatie, lijden bestaande benaderingen vaak aan een hoge adversariële transfereerbaarheid (waarbij aanvallen op één netwerk ook slagen op andere netwerken) en een steile daling van de gecertificeerde nauwkeurigheid naarmate de perturbatie-budgetten toenemen.

Methodologie
De auteurs stellen CEAR (Certified Ensemble Adversarial Robustness) voor, een framework dat empirische en gecertificeerde verdedigingsmechanismen verenigt binnen een ensemble-trainingspipeline. De methode werkt in twee fasen:

1. Robuuste Training:

   • Variable Gaussian Augmentation (VGA): In tegen tegenstelling tot standaard ensembles die uniforme ruis delen, traint CEAR elk netwerk in het ensemble met een verschillend ruisniveau. Een basisstandaarddeviatie ($\sigma_{tr}$) wordt geperturbeerd door een willekeurige variabele $\beta$ die wordt gesampled uit een uniforme distributie, wat resulteert in unieke ruisdistributies ($\sigma_{tr} + \beta$) voor elk student-netwerk. Deze diversiteit vermindert de adversariële transfereerbaarheid.
   • Distillation with Temperature Scaling (DTS): Een teacher-netwerk wordt getraind om soft labels te genereren (waarbij de waarschijnlijkheidsdistributies worden afgevlakt door een temperatuurparameter $t$). Student-netwerken worden vervolgens getraind op Gaussian-geaugmenteerde inputs met behulp van deze soft labels. Dit proces vlakt de beslissingsgrenzen af en legt inter-klasse gelijkenissen vast, wat de generalisatie tegen onvoorziene aanvallen verbetert.

2. Robuuste Inferentie:

   • Noisy Logits: Om te voorkomen dat aanvallers de originele logits kunnen herstellen (een kwetsbaarheid in standaard distillatie), wordt er bij de inferentie Gaussian ruis in de inputdata geïnjecteerd. Dit creëert inherent stochastische logits zonder de modelparameters aan te passen, waardoor gradiënten worden geobfusceerd tegen iteratieve aanvallen zoals C&W.
   • Aggregatiemechanismen: CEAR maakt gebruik van twee stemstrategieën, afhankelijk van het vertrouwensregime:
     • Geometric Median (GM): Aggregeert softmax-waarschijnlijkheden met behulp van de geometrische mediaan. Dit is robuust tegen uitschieters en effectief in regio's met een hoge mate van vertrouwen en lage perturbatie.
     • Robust Weighted Ensemble (RW): Wint gewichten toe aan elk student-netwerk op basis van hun individuele gecertificeerde nauwkeurigheid op een held-out validatieset. Netwerken met een hogere gecertificeerde nauwkeurigheid dragen meer bij aan de uiteindelijke voorspelling. Dit mechanisme is ontworpen om grotere perturbatie-budgetten en regimes met een laag vertrouwen op te vangen.

3. Gecertificeerde Verificatie:
   Het artikel breidt de randomized smoothing verificatiemethode uit om de robuustheid van ensemble-gebaseerde classificatiesystemen te verifiëren. Het definieert een gesmoothde ensemble-classifier $G$ en gebruikt Monte Carlo-sampling om een ondergrens van het betrouwbaarheidsinterval te berekenen voor de waarschijnlijkheid van de voorspelde klasse. Als deze ondergrens groter is dan 0,5, wordt het model als robuust gecertificeerd binnen een berekende radius $R$.

Belangrijkste Bijdragen

1. CEAR Framework: Een verenigd verdedigingsframework dat DTS en VGA combineert in een ensemble-pipeline om de gladheid van de beslissingsgrens en diversiteit te bevorderen. Het maakt gebruik van noisy logits bij inferentie om gradiënt-gebaseerde aanvallen te hinderen en gebruikt GM en RW stemming om de 'clean accuracy' te herstellen terwijl de robuustheid wordt verbeterd.
2. Uitgebreide Verificatie: De auteurs breiden de randomized smoothing verificatiemethode uit om de robuustheid van ensemble-gebaseerde classificatiesystemen formeel te verifiëren, waarbij zij een corolarium afleiden voor de robuustheidsradius van een ensemble.
3. Empirische Validatie: Uitgebreide experimenten op MNIST, CIFAR10 en TinyImageNet tonen aan dat CEAR een hogere gemiddelde gecertificeerde nauwkeurigheid bereikt bij grotere radii en een grotere veerkracht vertoont tegen gradiënt-gebaseerde white-box aanvallen vergeleken met state-of-the-art baselines (RandSmooth en SWEEN).

Experimentele Resultaten

• Gecertificeerde Nauwkeurigheid: Op MNIST en CIFAR10 presteren CEAR-varianten beter dan de baselines. Specifiek bereikt CEAR(GM) een superieure gecertificeerde nauwkeurigheid in regio's met een hoog vertrouwen (kleine radii), terwijl CEAR(RW) een hogere nauwkeurigheid behoudt naarmate de perturbatie-radii toenemen en de modelvertrouwen afneemt. Bijvoorbeeld, op CIFAR10 met $\sigma_v=1.0$, bereikt CEAR(RW) 20% gecertificeerde nauwkeurigheid bij $R=1.0$, waarmee het baselines overtreft.
• Robuustheidsradius: CEAR(RW) bereikt consistent grotere gecertificeerde robuustheidsradii dan baselines, met name in regio's met een laag vertrouwen onder hoge perturbaties.
• Transfereerbaarheid: CEAR vermindert het succespercentage van aanvallers tegen transfereerbare aanvallen aanzienlijk. Onder de $\ell_\infty$ norm op CIFAR10 verminderde CEAR(RW) het succespercentage van de aanvaller tot 46,00%, vergeleken met 96,56% voor RandSmooth en 60,10% voor SWEEN.
• Computationele Overhead: Als ensemble-methode brengt CEAR een lineaire computationele groei met zich mee in verhouding tot het aantal netwerken ($M$). De auteurs merken echter op dat deze overhead acceptabel is voor veiligheidskritische toepassingen waar verifieerbare garanties vereist zijn.

Betekenis en Claims
Het artikel beweert dat CEAR de fundamentele uitdaging aanpakt om de robuustheid bij grotere perturbatie-radii te vergroten door effectief ensemble-diversiteit te combineren met gecertificeerde verdedigingsmechanismen. De auteurs benadrukken dat de keuze van de aggregatiestrategie cruciaal is: geoptimaliseerde geometric median aggregatie is te prefereren wanneer de ensemble-voorspellingen zelfverzekerd zijn, terwijl vaste robuuste weging superieur is in scenario's met hoge onzekerheid door adversariële invloeden. Het werk demonstreert dat het integreren van variabele ruisdistributies tijdens de training met adaptieve of robuuste stemmechanismen kan leiden tot bewijsbare garanties die superieur zijn aan bestaande single-network en uniforme ensemble-verdedigingen. De auteurs concluderen door op te merken dat toekomstig werk zal onderzoeken hoe de systematische invloed van temperature scaling in DTS de ensemble-diversiteit en kalibratie beïnvloedt.