🤖 machine learning

Improving Certified Robustness via Adversarial Distillation

Das Papier stellt AD-CERT vor, ein zertifiziertes Trainingsframework, das adversarielles Distillieren von einem empirisch robusten Lehrer mit Interval Bound Propagation kombiniert, um eine erstklassige zertifizierte Robustheit zu erreichen und gleichzeitig den Kompromiss zwischen Standardgenauigkeit und formaler Verifikation signifikant zu verbessern.

Ursprüngliche Autoren: Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen Schüler (ein Computerprogramm), der lernen muss, Bilder zu erkennen, wie zum Beispiel Katzen oder Hunde. Aber es gibt einen Haken: Jemand versucht, den Schüler auszutricksen, indem er winzige, fast unsichtbare „Rauschsignale“ zu den Bildern hinzufügt – wie ein Staubkorn, das eine Katze für den Computer wie einen Hund aussehen lässt. Dies wird als Adversarial Attack (gegnerischer Angriff) bezeichnet.

Dieses Paper stellt eine neue Art und Weise vor, diesen Schüler zu trainieren, genannt AD-CERT, um ihn sowohl kompetent im Erkennen normaler Bilder als auch unerschütterlich gegenüber solchen Tricks zu machen. So funktioniert es, unterteilt in einfache Konzepte:

1. Die zwei Probleme: Stark sein vs. Sicher sein

In der Welt des KI-Trainings gibt es normalerweise zwei verschiedene Ansätze, die oft gegeneinander kämpfen:

Der „Straßenkämpfer“ (Adversarial Training): Diese Methode trainiert den Schüler, indem man ihm tausende von getrickten Bildern zeigt. Der Schüler lernt, sich zu wehren und die richtige Antwort zu geben, selbst wenn das Bild manipuliert ist. Das macht den Schüler sehr stark in realen Tests, aber seine interne Logik wird so chaotisch und komplex, dass niemand beweisen kann, warum er sicher ist. Es ist wie ein Kämpfer, der zwar jedes Match gewinnt, aber kein Regelwerk besitzt, um seine Züge zu erklären.
Der „Sicherheitsinspektor“ (Certified Training): Diese Methode versucht, mathematisch zu beweisen, dass der Schüler niemals ausgetrickst werden kann, egal was passiert. Sie verwendet ein strenges „Sicherheitsnetz“ (genannt IBP), das jeden möglichen Weg prüft, auf dem ein Bild verändert werden könnte. Dies erschafft ein Modell, das bewiesenermaßen sicher ist, aber oft wird der Schüler zu vorsichtig und macht Fehler bei normalen, sauberen Bildern. Es ist wie ein Sicherheitsinspektor, der so besorgt über Unfälle ist, dass er niemanden mehr Autofahren lässt.

2. Die neue Lösung: „Der Tutor und das Sicherheitsnetz“

Die Autoren dieses Papers haben erkannt, dass man beides haben kann, indem man Knowledge Distillation (Wissensdestillation) verwendet. Denken Sie an einen Meisterlehrer und einen Schüler.

Der Lehrer: Zuerst trainieren sie ein „Lehrer“-Modell mit der „Straßenkämpfer“-Methode. Dieser Lehrer ist unglaublich gut darin, mit getrickten Bildern umzugehen (empirisch robust).
Der Schüler: Dann trainieren sie ein „Schüler“-Modell. Aber anstatt den Tricks allein zu trotzen, hört der Schüler auf den Lehrer.

Das AD-CERT-Rezept:
Der Schüler lernt mit einem zweiteiligen Rezept:

Das Flüstern des Lehrers (Adversarial Distillation): Der Schüler betrachtet ein getricktes Bild und versucht, den Denkprozess (die „Logits“ oder internen Scores) des Lehrers nachzuahmen. Der Lehrer sagt: „Obwohl dieses Bild manipuliert ist, bin ich mir zu 90 % sicher, dass es eine Katze ist.“ Der Schüler lernt, genauso zu denken. Dies verleiht dem Schüler die straßenschlaue Stärke des Lehrers.
Das Sicherheitsnetz (IBP): Gleichzeitig wird der Schüler gezwungen, durch die strenge Mathematik des „Sicherheitsinspektors“ zu laufen. Dies stellt sicher, dass die endgültige Antwort des Schülers mathematisch garantiert sicher ist.

3. Warum dies besonders ist

Normalerweise ist das Mischen dieser beiden Methoden schwierig, da sie unterschiedliche Sprachen sprechen. Der „Straßenkämpfer“ nutzt harte, spezifische Beispiele, während der „Sicherheitsinspektor“ breite, vage Mathematik nutzt.

Die große Erkenntnis des Papers ist, dass das „Flüstern“ des Lehrers als Surrogat (Stellvertreter) für die harte Mathematik fungiert.

Stellen Sie sich vor, der Lehrer ist ein erfahrener Detektiv, der genau weiß, wie ein Krimineller sich verstecken könnte.
Der Schüler muss nicht raten, wie der Kriminelle sich versteckt; er kopiert einfach die Intuition des Detektivs.
Gleichzeitig stellt das Sicherheitsnetz (IBP) sicher, dass selbst wenn der Detektiv falsch liegt, die Mathematik beweist, dass der Schüler sicher ist.

4. Die Ergebnisse

Das Paper hat dies auf Standard-Bilddatensätze (wie MNIST, CIFAR-10 und TinyImageNet) getestet.

Das Ergebnis: Der AD-CERT-Schüler wurde zum Champion. Er erreichte die höchste „Certified Accuracy“ (die Fähigkeit, mathematisch als sicher bewiesen zu werden) im Vergleich zu allen anderen bisherigen Methoden.
Der Kompromiss: Er verlor nicht viel an „Standard Accuracy“ (wie gut er normale Bilder erkennt). Tatsächlich war er oft besser als andere sichere Methoden.
Der Haken: Es gibt immer noch eine Lücke zwischen dem „Straßenkämpfer“-Lehrer und dem „Sicheren“ Schüler. Der Schüler ist sehr sicher, aber manchmal erkennt er normale Bilder nicht ganz so gut wie der Lehrer. Die Autoren geben zu, dass das Schließen dieser Lücke bei sehr schwierigen Rätseln die nächste große Herausforderung ist.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie trainieren einen Sicherheitswachmann für eine Bank.

Alte Methode A: Sie trainieren den Wachmann, indem Sie Steine nach ihm werfen und ihn lehren, auszuweichen. Er wird gut darin, auszuweichen, aber Sie können nicht beweisen, dass er einem subtilen Trick nicht erliegen wird.
Alte Methode B: Sie lehren den Wachmann ein strenges Regelwerk, das jeden möglichen Winkel abdeckt. Er ist vollkommen sicher, aber er ist so starr, dass er an normalen Tagen über seine eigenen Füße stolpert.
AD-CERT: Sie stellen einen legendären, kampferprobten Wachmann (den Lehrer) ein, der einem Neuling (dem Schüler) das Handwerk lehrt. Der Neuling lernt die Instinkte des legendären Wachmanns, um Steinen auszuweichen (Distillation), während er gleichzeitig gegen eine strenge, mathematische Sicherheitscheckliste (IBP) getestet wird. Das Ergebnis ist ein Wachmann, der sowohl instinktiv hart im Nehmen als auch mathematisch als sicher bewiesen ist.

Technisches Resümee: Verbesserung der zertifizierten Robustheit durch adversarielle Destillation

Problemstellung
Neuronale Netze sind anfällig für adversarielle Beispiele, bei denen kleine Eingabestörungen zu Fehlklassifikationen führen. Während adversarielles Training (AT) die empirische Robustheit verbessert, sind die resultierenden Modelle schwer formal verifizierbar. Im Gegensatz dazu erzeugen zertifizierte Trainingsmethoden, die obere Schranken auf den Worst-Case-Verlust optimieren (typischerweise mittels Interval Bound Propagation oder IBP), verifizierbare Modelle, leiden jedoch oft unter einer degradierten Standardgenauigkeit. Aktuelle State-of-the-Art-Ansätze versuchen, dies durch eine Interpolation zwischen adversariellen unteren Schranken und IBP-oberen Schranken auszubalancieren. Dennoch bleibt der Zielkonflikt zwischen Standardgenauigkeit und zertifizierter Genauigkeit eine signifikante Herausforderung, insbesondere bei zunehmenden Perturbationsradien.

Methodik: AD-CERT
Die Autoren schlagen AD-CERT (Adversarial Distillation for Certification) vor, ein neuartiges Trainingsziel, das adversarielles Wissen aus der Destillation mit IBP-Schranken kombiniert. Die Kernhypothese ist, dass der Transfer von adversariellem Wissen von einem empirisch robusten Lehrer zu einem zertifizierten Schüler als effektiver Surrogat für die adversarielle untere Schranke dienen kann, was den Trade-off zwischen Standard- und zertifizierter Genauigkeit verbessert.

Die AD-CERT-Verlustfunktion wird als Linearkombination zweier Terme formuliert:
$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{Adversarielle Destillation}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$

Hierbei gilt:

$f_{\theta_t}$ ist ein eingefrorenes Lehrer-Netzwerk, das mittels Standard-Adversarial-Training (PGD) trainiert wurde.
$f_{\theta_s}$ ist das Schüler-Netzwerk, das für die Zertifizierung trainiert wird.
$x_{adv}$ ist ein adversarielles Beispiel, das gegen den Schüler generiert wurde.
Der Adversarielle Destillations-Term (AD) minimiert die Kullback-Leibler-Divergenz zwischen der prädiktiven Verteilung des Lehrers auf reinen Eingaben ( $P_{\theta_t}(x)$ ) und der prädiktiven Verteilung des Schülers auf adversariellen Eingaben ( $P_{\theta_s}(x_{adv})$ ).
Der IBP-Term berechnet den Standard-zertifizierten oberen Verlust mittels Interval Bound Propagation.
$\alpha \in [0, 1]$ balanciert die empirischen und zertifizierten Ziele aus.

Theoretische Erkenntnisse
Die Arbeit liefert eine theoretische Analyse zur Charakterisierung von AD-CERT:

Surrogat-Untere Schranke: Es wird gezeigt, dass der AD-Term äquivalent zu adversariellem Training mit Soft-Label-Lehrern ist und als „lehrergeführter Surrogat für die untere Schranke“ fungiert. Im Gegensatz zum Standard-AT, das eine harte untere Schranke optimiert, nutzt AD-CERT die Soft-Labels des Lehrers, um das Verhalten des Schülers auf adversariellen Beispielen zu steuern.
Skalarisierung: Das Ziel ist eine Skalarisierung zwischen einem Soft-Label-Adversarial-Lower-Bound-Surrogat und einer zertifizierten IBP-oberen Schranke.
Geometrischer Unterschied: Im Gegensatz zum Standard-AT, das nach beliebig großen Klassengrenzen (Margins) strebt, induziert der AD-Zweig ein endliches Ziel im Logit-Raum, das durch die prädiktive Verteilung des Lehrers definiert ist ( $\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$ ). Dies deutet auf eine glattere Optimierungslandschaft hin.

Experimentelle Ergebnisse
Die Autoren evaluierten AD-CERT auf MNIST, CIFAR-10 und TinyImageNet unter Verwendung der CTBench-Bibliothek und des $\alpha,\beta$ -CROWN Verifiers.

State-of-the-Art-Leistung: AD-CERT erreicht eine State-of-the-Art zertifizierte Genauigkeit über alle evaluierten ReLU-basierten Architekturen hinweg.
- Auf MNIST bietet es konsistente, moderate Verbesserungen gegenüber bestehenden Methoden.
- Auf CIFAR-10 verbessert es die beste bisherige ReLU-basierte zertifizierte Genauigkeit um durchschnittlich 0,37 Prozentpunkte, mit dem größten Gewinn bei $\epsilon = 2/255$ .
- Auf TinyImageNet erreicht AD-CERT die höchste zertifizierte Genauigkeit unter allen verglichenen Methoden und verbessert die Standardgenauigkeit gegenüber bisherigen Nicht-Destillations-zertifizierten Trainingsmethoden erheblich.
Vergleich mit Destillationsmethoden: In einem kontrollierten Vergleich mit CC-DIST (welches robuste Feature-Space-Destillation durchführt) erreicht AD-CERT (Logit-Level-Destillation) eine höhere zertifizierte Genauigkeit, während CC-DIST eine leicht höhere Standardgenauigkeit beibehält. AD-CERT verbessert die zertifizierte Genauigkeit gegenüber CC-DIST in spezifischen Settings um bis zu 5,40 Prozentpunkte.
Ablationsstudien:
- Das Entfernen der IBP-Komponente zur Testung reiner Destillationstechniken zeigt, dass das bloße Abgleichen eines Lehrers auf reinen Eingaben (Natural KL) die Übertragung adversarieller Robustheit nicht bewirkt.
- Adversarielle Destillation auf Logit-Ebene (AD) bewahrt die Robustheit des Lehrers effektiver als Feature-Space-Destillation oder andere Varianten der adversariellen Destillation (wie RSLAD), wenn diese als empirischer Endpunkt verwendet werden.
- Eine Sensitivitätsanalyse des IBP-Koeffizienten $\alpha$ bestätigt, dass eine Reduzierung der IBP-Stärke die Standardgenauigkeit verbessert, aber letztlich die zertifizierte Genauigkeit verschlechtert, was konsistent mit Trends in der Literatur zu expressiven Verlustfunktionen ist.

Bedeutung und Ansprüche
Das Paper behauptet, dass AD-CERT erfolgreich die Lücke zwischen empirischer Robustheit und formaler Verifikation schließt. Durch die Entkopplung des empirischen Endpunkts (unter Verwendung einer lehrergeführten Logit-Level-Destillation) vom zertifizierten Endpunkt (unter Verwendung von reinem IBP) vermeidet die Methode die Komplexität eng gekoppelter expressiver Verluste, wie sie in vorangegangenen Arbeiten zu finden waren.

Die Autoren betonen, dass trotz der überlegenen zertifizierten Leistung von AD-CERT eine signifikante Lücke zwischen der Standard-/Adversarial-Genauigkeit des empirisch robusten Lehrers und dem zertifiziert robusten Schüler besteht, insbesondere bei größeren Perturbationsradien (z. B. CIFAR-10 bei $\epsilon = 8/255$ ). Das Paper kommt zu dem Schluss, dass AD-CERT zwar zeigt, dass die Destillation auf Logit-Ebene ein effektiver Mechanismus für den Transfer von Robustheit ist, zukünftige Arbeiten jedoch notwendig sind, um stärkere Methoden zu entwickeln, die empirische Robustheit in zertifizierbare Robustheit überführen können, ohne die Standardgenauigkeit zu opfern.