🤖 machine learning

Improving Certified Robustness via Adversarial Distillation

Het artikel introduceert AD-CERT, een gecertificeerd trainingsframework dat adversariële distillatie van een empirisch robuuste docent combineert met Interval Bound Propagation om een staat van de kunst gecertificeerde robuustheid te bereiken, terwijl de afruil tussen standaard nauwkeurigheid en formele verificatie aanzienlijk wordt verbeterd.

Oorspronkelijke auteurs: Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme student hebt (een computerprogramma) die moet leren hoe hij afbeeldingen moet herkennen, zoals katten of honden. Maar er is een addertje onder het gras: iemand probeert de student te bedriegen door kleine, bijna onzichtbare "ruis" aan de afbeeldingen toe te voegen—zoals een stofje dat een kat op een hond laat lijken voor de computer. Dit wordt een adversarial attack genoemd.

Dit artikel introduceert een nieuwe manier om deze student te trainen, genaamd AD-CERT, om hem zowel goed te laten worden in het herkennen van normale plaatjes als onwrikbaar tegen deze trucjes. Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De twee problemen: Sterk zijn versus Veilig zijn

In de wereld van AI-training zijn er meestal twee verschillende benaderingen, en die vechten vaak met elkaar:

De "Street Fighter" (Adversarial Training): Deze methode traint de student door hem duizenden getrukeerde afbeeldingen te laten zien. De student leert terug te vechten en het juiste antwoord te geven, zelfs wanneer de afbeelding is aangepast. Dit maakt de student erg sterk in realiteitstests, maar hun interne logica wordt zo rommelig en complex dat niemand kan bewijzen waarom ze veilig zijn. Het is als een vechter die elke wedstrijd wint, maar geen regelboek heeft om zijn bewegingen uit te leggen.
De "Veiligheidsinspecteur" (Certified Training): Deze methode probeert wiskundig te bewijzen dat de student nooit bedrogen zal worden, wat er ook gebeurt. Het gebruikt een strikt "veiligheidsnet" (genoemd IBP) dat elke mogelijke manier controleert waarop een afbeelding veranderd zou kunnen worden. Dit creëert een model dat bewezen veilig is, maar vaak wordt de student te voorzichtig en begint hij fouten te maken op normale, schone afbeeldingen. Het is als een veiligheidsinspecteur die zo bezorgd is over ongelukken dat hij weigert om mensen überhaupt te laten rijden.

2. De nieuwe oplossing: De "Leraar en het Veiligheidsnet"

De auteurs van dit artikel realiseerden zich dat je het beste van beide werelden kon hebben door Knowledge Distillation te gebruiken. Denk hierbij aan een meesterleraar en een student.

De Leraar: Ze trainen eerst een "Leraar"-model met de "Street Fighter"-methode. Deze leraar is ongelooflijk goed in het afhandelen van getrukeerde afbeeldingen (empirisch robuust).
De Student: Vervolgens trainen ze een "Student"-model. Maar in plaats van alleen maar zelf tegen de trucjes te vechten, luistert de student naar de Leraar.

Het AD-CERT Recept:
De student leert met een tweeledig recept:

Het gefluister van de Leraar (Adversarial Distillation): De student kijelt naar een getrukeerde afbeelding en probeert het denkproces (de "logits" of interne scores) van de Leraar te evenaren. De Leraar zegt: "Hoewel deze afbeelding verpest is, ben ik voor 90% zeker dat dit een kat is." De student leert op dezelfde manier te denken. Dit geeft de student de straatwijze kracht van de Leraar.
Het Veiligheidsnet (IBP): Tegelijkertijd wordt de student gedwongen door de strikte "Veiligheidsinspecteur"-wiskunde te lopen. Dit zorgt ervoor dat het uiteindelijke antwoord van de student wiskundig gegarandeerd veilig is tegen elke mogelijke truc.

3. Waarom dit bijzonder is

Meestal is het mengen van deze twee methoden moeilijk omdat ze verschillende talen spreken. De "Street Fighter" gebruikt harde, specifieke voorbeelden, terwijl de "Veiligheidsinspecteur" breed en vaag rekenwerk gebruikt.

Het grote inzicht van het artikel is dat het "gefluister" van de Leraar fungeert als een surrogaat (een vervanger) voor de moeilijke wiskunde.

Stel je voor dat de Leraar een ervaren detective is die precies weet hoe een crimineel zich kan verbergen.
De Student hoeft niet te raden hoe de crimineel zich verbergt; hij hoeft alleen maar de intuïtie van de Detective te kopiëren.
Ondertussen zorgt het Veiligheidsnet (IBP) ervoor dat, zelfs als de Detective het mis heeft, de wiskunde bewijst dat de Student veilig is.

4. De Resultaten

Het artikel testte dit op standaard beelddatasets (zoals MNIST, CIFAR-10 en TinyImageNet).

De Uitkomst: De AD-CERT student werd de kampioen. Het bereikte de hoogste "gecertificeerde nauwkeurigheid" (het vermogen om wiskundig bewezen veilig te zijn) vergeleken met alle andere eerdere methoden.
De Trade-off: Het verloor niet veel op "standaard nauwkeurigheid" (hoe goed het normale plaatjes ziet). Sterker nog, het was vaak beter dan andere veilige methoden.
Het Addertje: Er is nog steeds een kloof tussen de "Street Fighter" Leraar en de "Veilige" Student. De Student is zeer veilig, maar soms is hij niet zo goed in het herkennen van normale afbeeldingen als de Leraar dat was. De auteurs geven toe dat het dichten van deze kloof bij zeer moeilijke puzzels de volgende grote uitdaging is.

Samenvattende Analogie

Denk aan het trainen van een beveiligingsbeambte voor een bank.

Oude Methode A: Je traint de beambte door stenen naar hem te gooien en hem te leren te ontwijken. Hij wordt goed in ontwijken, maar je kunt niet bewijzen dat hij een subtiele truc niet mist.
Oude Methode B: Je leert hem een strikt regelboek dat elke mogelijke hoek dekt. Hij is perfect veilig, maar hij is zo rigide dat hij over zijn eigen voeten struikelt op normale dagen.
AD-CERT: Je huurt een legendarische, ervaren beambte in (de Leraar) om een nieuwe recruit (de Student) te onderwijzen. De nieuwe recruit leert de instincten van de legendarische beambte om stenen te ontwijken (Distillatie), terwijl hij tegelijkertijd wordt getest tegen een strikte, wiskundige veiligheidschecklist (IBP). Het resultaat is een beambte die zowel instinctief taai als wiskundig bewezen veilig is.

Technische Samenvatting: Verbeteren van Gecertificeerde Robuustheid via Adversariële Distillatie

Probleemstelling
Neurale netwerken zijn kwetsbaar voor adversariële voorbeelden, waarbij kleine perturbaties in de input leiden tot misclassificatie. Hoewel adversariële training (AT) empirische robuustheid verbetert, zijn de resulterende modellen moeilijk formeel te verifiëren. Daarentegen produceren methoden voor gecertificeerde training, die de bovengrenzen van de worst-case loss optimaliseren (meestal via Interval Bound Propagation, of IBP), verifieerbare modellen, maar lijden ze vaak aan een verminderde standaard nauwkeurigheid. Recente state-of-the-art benaderingen proberen dit evenwicht te vinden door te interpoleren tussen adversariële ondergrenzen en IBP-bovengrenzen. Echter, de trade-off tussen standaard nauwkeurigheid en gecertificeerde nauwkeurigheid blijft een significante uitdaging, vooral naarmate de perturbatieradii toenemen.

Methodologie: AD-CERT
De auteurs stellen AD-CERT (Adversarial Distillation for Certification) voor, een nieuwe trainingsdoelstelling die adversariële kennisdistillatie combineert met IBP-grenzen. De kernhypothese is dat het overdragen van adversariële kennis van een empirisch robuuste docent naar een gecertificeerde student kan dienen als een effectieve surrogaat voor de adversariële ondergrens, wat de standaard-gecertificeerde nauwkeurigheid verbetert.

De AD-CERT verliesfunctie wordt geformuleerd als een lineaire combinatie van twee termen:
$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{Adversariële Distillatie}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$

Waar:

$f_{\theta_t}$ een bevroren docent netwerk is, getraind via standaard adversariële training (PGD).
$f_{\theta_s}$ het student netwerk is dat wordt getraind voor certificering.
$x_{adv}$ een adversarieel voorbeeld is gegenereerd tegen de student.
De Adversariële Distillatie (AD) term minimaliseert de Kullback-Leibler (KL) divergentie tussen de predictieve distributie van de docent op schone inputs ( $P_{\theta_t}(x)$ ) en de predictieve distributie van de student op adversariële inputs ( $P_{\theta_s}(x_{adv})$ ).
De IBP term berekent de standaard gecertificeerde bovengrens loss met behulp van Interval Bound Propagation.
$\alpha \in [0, 1]$ balanceert de empirische en gecertificeerde doelstellingen.

Theoretische Inzichten
Het artikel biedt een theoretische analyse die AD-CERT karakteriseert:

Surrogaat Ondergrens: Er wordt aangetoond dat de AD-term gelijk is aan adversariële training met soft-label docenten, wat fungeert als een "docent-gestuurde ondergrens surrogaat". In tegenstelling tot standaard AT, dat een harde ondergrens optimaliseert, gebruikt AD-CERT de soft labels van de docent om het gedrag van de student op adversariële voorbeelden te sturen.
Scalarisatie: De doelstelling is een scalarisatie tussen een soft-label adversariële ondergrens surrogaat en een gecertificeerde IBP-bovengrens.
Geometrisch Verschil: In tegen tegenstelling tot standaard AT, dat streeft naar willekeurig grote klasse-marges, induceert de AD-tak een eindige target in de logit-ruimte gedefinieerd door de predictieve distributie van de docent ( $\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$ ). Dit suggereert een gladdere optimalisatie-landschap.

Experimentele Resultaten
De auteurs hebben AD-CERT geëvalueerd op MNIST, CIFAR-10 en TinyImageNet met behulp van de CTBench library en de $\alpha,\beta$ -CROWN verifier.

State-of-the-Art Prestaties: AD-CERT bereikt state-of-the-art gecertificeerde nauwkeurigheid over alle geëvalueerde ReLU-gebaseerde architecturen.
- Op MNIST zorgt het voor consistente, bescheiden verbeteringen ten opzichte van bestaande methoden.
- Op CIFAR-10 verbetert het de beste eerdere ReLU-gebaseerde gecertificeerde nauwkeurigheid met gemiddeld 0,37 procentpunt, met de grootste winst bij $\epsilon = 2/255$ .
- Op TinyImageNet bereikt AD-CERT de hoogste gecertificeerde nauwkeurigheid onder alle vergeleken methoden, waarbij de standaard nauwkeurigheid aanzienlijk wordt verbeterd ten opzichte van eerdere niet-distillatie gecertificeerde trainingmethoden.
Vergelijking met Distillatiemethoden: In een gecontroleerde vergelijking met CC-DIST (die robuuste feature-space distillatie uitvoert), bereikt AD-CERT (logit-level distillatie) een hogere gecertificeerde nauwkeurigheid, terwijl CC-DIST een iets hogere standaard nauwkeurigheid behoudt. AD-CERT verbetert de gecertificeerde nauwkeurigheid ten opzichte van CC-DIST met wel 5,40 procentpunt in specifieke settings.
Ablatie-studies:
- Het verwijderen van de IBP-component om pure distillatietechnieken te testen, laat zien dat het matchen van een docent enkel op schone inputs (Natural KL) faalt in het overdragen van adversariële robuustheid.
- Adversariële logit-level distillatie (AD) behoudt de docent-niveau robuustheid effectiever dan feature-space distillatie of andere adversariële distillatie varianten (zoals RSLAD) wanneer deze als het empirische eindpunt wordt gebruikt.
- Gevoeligheidsanalyse van de IBP-coëfficiënt $\alpha$ bevestigt dat het verminderen van de IBP-sterkte de standaard nauwkeurigheid verbetert, maar uiteindelijk de gecertificeerde nauwkeurigheid verslechtert, wat consistent is met trends in de expressieve loss literatuur.

Betekenis en Claims
Het artikel claimt dat AD-CERT er succesvol in slaagt de kloof tussen empirische robuustheid en formele verificatie te overbruggen. Door het empirische eindpunt (gebruikmakend van een docent-gestuurde logit-level distillatie) te ontkoppelen van het gecertificeerde eindpunt (gebruikmakend van pure IBP), vermijdt de methode de complexiteit van nauw gekoppelde expressieve losses die in eerder werk werden gevonden.

De auteurs benadrukken dat hoewel AD-CERT superieure gecertificeerde prestaties levert, er een aanzienlijke kloof blijft bestaan tussen de standaard/adversariële nauwkeurigheid van de empirisch robuuste docent en de certificeerbaar robuuste student, met name bij grotere perturbatieradii (bijv. CIFAR-10 bij $\epsilon = 8/255$ ). Het artikel concludeert dat hoewel logit-level distillatie een effectief mechanisme is voor het overdragen van robuustheid, toekomstig werk nodig is om sterkere methoden te ontwikkelen voor het overdragen van empirische robuustheid naar certificeerbare robuustheid zonder de standaard nauwkeurigheid op te offeren.