🤖 machine learning

CEAR: Certified Ensemble Adversarial Robustness in DNNs

Dieses Paper stellt CEAR vor, eine Ensemble-basierte Verteidigungsmethode, die empirisches Training mit Randomized Smoothing und neuartigen Voting-Mechanismen kombiniert, um eine überlegene zertifizierte Robustheit gegenüber adaptiven White-Box-Angriffen über mehrere Datensätze hinweg zu erreichen.

Ursprüngliche Autoren: Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Sadig, Mohammadreza Maleki, Hamed Karimi, Reza Samavi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein Team von Experten-Wachleuten (ein tiefes neuronales Netz), die ein wertvolles Gebäude bewachen. Ihre Aufgabe ist es, Besucher zu erkennen und die richtigen Personen hereinzulassen. Aber es gibt clevere Diebe (adversarial attacks), die es schaffen, das Erscheinungsbild eines Besuchers durch winzige, fast unsichtbare Veränderungen – wie einen etwas anderen Hut oder eine subtile Änderung der Körperhaltung – zu manipulieren, um die Wachleute zu täuschen und einen Kriminellen hereinzulassen.

Das Papier stellt ein neues Sicherheitssystem namens CEAR (Certified Ensemble Adversarial Robustness) vor. Anstatt sich nur auf einen einzelnen Wachmann oder eine einzige Art von Trick zu verlassen, um die Diebe zu stoppen, setzt CEAR eine Kombination aus drei intelligenten Strategien ein, die das Sicherheitsteam nahezu unüberwindbar macht.

So funktioniert CEAR, unterteilt in einfache Konzepte:

1. Das Team aus vielfältigen Wachleuten (Das Ensemble)

Die meisten Sicherheitssysteme nutzen einen einzelnen Wachmann oder ein Team identischer Wachleute. Wenn ein Dieb herausfindet, wie man einen austrickst, kann er sie alle austricksen.

Die CEAR-Lösung: CEAR stellt ein ganzes Team aus unterschiedlichen Wachleuten ein (ein „Ensemble“). Aber hier ist der Clou: Jeder Wachmann sieht die Welt ein wenig anders.
Die Analogie: Stellen Sie sich vor, Sie geben jedem Wachmann eine etwas andere Brille mit leicht unterschiedlicher Beschlagung. Ein Paar ist etwas beschlagener als das andere. Da sie den Besucher durch diese unterschiedlichen „Linsen“ sehen, könnte ein Trick, der Wachmann A verwirrt, Wachmann B nicht verwirren. Dies macht es für einen Dieb viel schwieriger, einen einzigen Trick zu finden, der beim gesamten Team funktioniert.

2. Das „sanfte“ Training (Distillation mit Temperatur)

Normalerweise werden Wachleute sehr streng trainiert: „Das ist eine Katze, das ist ein Hund.“ Aber strenge Wachleute lassen sich leicht durch kleine Veränderungen verwirren.

Die CEAR-Lösung: Das System nutzt einen „Oberlehrer“, um die Wachleute zu trainieren. Anstatt nur zu sagen: „Das ist eine Katze“, sagt der Oberlehrer: „Das sieht zu 80 % wie eine Katze aus, aber es hat auch ein kleines bisschen Hund in sich.“
Die Analogie: Das ist so, als würde man ein Kind darin unterrichten, Tiere zu erkennen, indem man ihm zeigt, wie ähnlich ein Wolf einem Hund ist, anstatt nur starre Definitionen auswendig zu lernen. Dies macht die Entscheidungsfindung der Wachleute „geschmeidiger“. Wenn ein Dieb das Ohr einer Katze nur ein winziges Stück verändert, gerät der Wachmann nicht plötzlich in Panik und denkt, es sei ein Auto; er sagt immer noch voller Zuversicht: „Es ist immer noch eine Katze.“

3. Die „statische“ Inferenz (Rauschen in den Logits)

Wenn tatsächlich ein Besucher an der Tür ankommt, versuchen die Diebe, die Reaktionen der Wachleute zu studieren, um herauszufinden, wie sie einbrechen können.

Die CEAR-Lösung: Jedes Mal, wenn ein Besucher überprüft wird, fügt das System dem Bild ein wenig zufälliges „Rauschen“ oder „Statik“ hinzu, bevor die Wachleute es sehen.
Die Analogie: Stellen Sie sich vor, die Wachleute schauen durch ein Fenster, das ständig leicht vibriert. Selbst wenn der Dieb genau berechnen versucht, wie er sein Gesicht bewegen muss, um den Wachmann zu täuschen, macht die ständige Vibration diese Berechnung nutzlos. Der Dieb kann nicht vorhersagen, was der Wachmann als Nächstes sehen wird.

4. Das intelligente Abstimmungssystem

Sob es alle Wachleute getroffen haben, wie entscheidet das Team, wer recht hat? CEAR nutzt zwei verschiedene Abstimmungsmethoden, je nachdem, wie sicher sich die Wachleute sind.

Methode A: Der „Geometrische Median“ (Für sichere Situationen)
- Wie es funktioniert: Wenn sich die Wachleute weitgehend einig sind, findet diese Methode den „Mittelweg“, der Ausreißer ignoriert.
- Die Analogie: Stellen Sie sich eine Gruppe von Freunden vor, die das Gewicht einer Wassermelone schätzen. Wenn ein Freund 5 Pfund und ein anderer 500 Pfund schätzt, aber alle anderen 20 Pfund sagen, ignoriert der „Geometrische Median“ die verrückten Schätzungen und hält sich an den realistischen Konsens. Das ist ideal, wenn sich alle recht sicher sind.
Methode B: Die „Robuste Gewichtete“ Abstimmung (Für verwirrende Situationen)
- Wie es funktioniert: Wenn der Besucher schwer zu identifizieren ist (hohes Rauschen), hört diese Methode eher auf die Wachleute, die historisch gesehen am genauesten im Umgang mit schwierigen Fällen waren.
- Die Analogie: Wenn die Wassermelone in eine Decke eingewickelt ist und schwer zu sehen ist, hört man nicht jedem gleichermaßen zu. Man hört eher dem Freund zu, der dafür bekannt ist, der Beste im Schätzen von eingewickelten Objekten zu sein. Dies stellt sicher, dass das Team nicht von den Wachleuten beeinflusst wird, die gerade verwirrt sind.

5. Das „Sicherheitszertifikat“

Der spannendste Teil an CEAR ist, dass es nicht nur hofft, sicher zu sein, sondern es auch beweist.

Die Analogie: Die meisten Sicherheitssysteme sagen: „Wir glauben, dass wir sicher sind.“ CEAR ist wie ein Sicherheitsinspektor, der um das Gebäude herumgeht und sagt: „Ich kann mathematisch beweisen, dass das Schloss nicht bricht, egal wie sehr der Dieb an der Tür rüttelt (bis zu einem gewissen Limit).“
Das Papier zeigt, dass CEAR seine Sicherheit über einen viel größeren Bereich des „Rüttelns“ (Perturbationen) beweisen kann als bisherige Methoden.

Was haben sie herausgefunden?

Die Forscher haben dieses System auf drei verschiedenen „Trainingsplätzen“ (Datensätzen) getestet:

MNIST: Einfache handgeschriebene Zahlen (wie ein Basistest für die Sicherheit).
CIFAR10: Farbige Bilder von Alltagsgegenständen (wie eine belebte Straße).
TinyImageNet: Komplexere, hochauflösende Bilder (wie ein belebter Flughafen).

Die Ergebnisse:

Bessere Sicherheit: CEAR konnte beweisen, dass es stärkeren Angriffen standhalten kann als bisherige Methoden.
Geringere Übertragbarkeit: Ein Trick, der bei einem Wachmann im Team funktionierte, funktionierte nicht bei den anderen, sodass die Diebe ihre Tricks nicht wiederverwenden konnten.
Intelligente Anpassung: Das System wusste, wann es den „Geometrischen Median“ (wenn die Dinge klar waren) verwenden und wann es zur „Robusten Gewichteten“ Abstimmung (wenn die Dinge chaotisch waren) wechseln sollte, wodurch die Sicherheit aufrechterhalten wurde.

Kurz gesagt: CEAR ist ein Sicherheitsteam, das durch vielfältige Perspektiven, sanftes Training, zufälliges Rauschen und intelligentes Abstimmen garantiert, dass es nicht von cleveren Dieben getäuscht werden kann – selbst wenn die Diebe genau wissen, wie die Wachleute arbeiten.

Technische Zusammenfassung: CEAR: Certified Ensemble Adversarial Robustness in DNNs

Problemstellung
Tiefe neuronale Netze (DNNs) erreichen eine hohe Genauigkeit auf Standard-Testsets, bleiben jedoch äußerst anfällig für adversarielle Perturbationen – kleine, unmerkliche Eingabeänderungen, die Vorhersagen drastisch verändern können. Diese Anfälligkeit behindert den Einsatz in sicherheitskritischen Anwendungen. Bestehende Verteidigungsmechanismen lassen sich in zwei Kategorien unterteilen:

Empirische Abwehrmethoden: Methoden wie adversarielles Training und defensive Destillation verbessern die Robustheit während des Trainings, bieten jedoch keine formalen Garantien und versagen oft gegenüber starken, adaptiven White-Box-Angriffen (z. B. C&W, AutoAttack).
Zertifizierte Abwehrmethoden: Methoden wie Randomized Smoothing bieten beweisbare Garantien, dass Vorhersagen innerhalb eines spezifischen Perturbationsradius invariant bleiben. Einzelne Klassifikatoren haben jedoch oft Schwierigkeiten, eine hohe zertifizierte Genauigkeit bei größeren Perturbationsradien aufrechtzuerhalten.
Ensemble-Methoden haben durch Aggregation vielversprechende Ansätze gezeigt, doch bestehende Ansätze leiden häufig unter hoher adversarieller Transferierbarkeit (bei der Angriffe auf ein Netzwerk auch auf andere erfolgreich sind) und einem steilen Rückgang der zertifizierten Genauigkeit mit steigenden Perturbationsbudgets.

Methodik
Die Autoren schlagen CEAR (Certified Ensemble Adversarial Robustness) vor, ein Framework, das empirische und zertifizierte Abwehrmechanismen innerhalb einer Ensemble-Trainings-Pipeline vereint. Die Methode operiert in zwei Phasen:

Robustes Training:
- Variable Gaussian Augmentation (VGA): Im Gegensatz zu Standard-Ensembles, die ein einheitliches Rauschen teilen, trainiert CEAR jedes Netzwerk im Ensemble mit einem unterschiedlichen Rauschpegel. Eine Basis-Standardabweichung ( $\sigma_{tr}$ ) wird durch eine Zufallsvariable $\beta$ gestört, die aus einer Gleichverteilung gezogen wird, was zu einzigartigen Rauschverteilungen ( $\sigma_{tr} + \beta$ ) für jedes Student-Netzwerk führt. Diese Diversität reduziert die adversarielle Transferierbarkeit.
- Distillation mit Temperaturskalierung (DTS): Ein Teacher-Netzwerk wird trainiert, um Soft-Labels (durch einen Temperaturparameter $t$ geglättete Wahrscheinlichkeitsverteilungen) zu generieren. Die Student-Netzwerke werden dann auf Gauß-augmentierten Eingaben unter Verwendung dieser Soft-Labels trainiert. Dieser Prozess glättet die Entscheidungsgrenzen und erfasst inter-klassenähnlichkeiten, was die Generalisierung gegen unbekannte Angriffe verbessert.
Robustes Inference:
- Verrauschte Logits (Noisy Logits): Um zu verhindern, dass Angreifer die ursprünglichen Logits rekonstruieren (eine Schwachstelle bei Standard-Destillation), wird zum Zeitpunkt der Inferenz Gaußsches Rauschen in die Eingabedaten injiziert. Dies erzeugt inhärent stochastische Logits, ohne die Modellparameter zu modifizieren, wodurch Gradienten gegen iterative Angriffe wie C&W verschleiert werden.
- Aggregationsmechanismen: CEAR verwendet zwei Abstimmungsstrategien, abhängig vom Konfidenzregime:
  - Geometrischer Median (GM): Aggregiert Softmax-Wahrscheinlichkeiten mittels des geometrischen Medians. Dies ist robust gegenüber Ausreißern und effektiv in Bereichen mit hoher Konfidenz und geringer Perturbation.
  - Robuster Gewichtetes Ensemble (RW): Weist jedem Student-Netzwerk Gewichte basierend auf seiner individuellen zertifizierten Genauigkeit auf einem separaten Validierungsdatensatz zu. Netzwerke mit höherer zertifizierter Genauigkeit tragen stärker zur endgültigen Vorhersage bei. Dieser Mechanismus ist darauf ausgelegt, größere Perturbationsbudgets und Regime mit niedriger Konfidenz zu handhaben.
Zertifizierte Verifizierung:
Die Autoren erweitieren das Verfahren des Randomized Smoothing, um Ensemble-basierte Klassifikatoren zu verifizieren. Sie definieren einen geglätteten Ensemble-Klassifikator $G$ und nutzen Monte-Carlo-Sampling, um eine untere Konfidenzuntergrenze für die Wahrscheinlichkeit der vorhergesagten Klasse zu berechnen. Wenn diese Untergrenze 0,5 überschreitet, gilt das Modell innerhalb eines berechneten Radius $R$ als zertifiziert robust.

Wesentliche Beiträge

CEAR-Framework: Ein vereinheitlichtes Verteidigungsframework, das DTS und VGA in einer Ensemble-Pipeline kombiniert, um die Glättung der Entscheidungsgrenzen und Diversität zu fördern. Es nutzt verrauschte Logits bei der Inferenz, um Gradienten-basierte Angriffe zu erschweren, und nutzt GM- sowie RW-Voting, um die reine Genauigkeit wiederherzustellen und gleichzeitig die Robustheit zu verbessern.
Erweiterte Verifizierung: Die Autoren erweitern die Methode der Randomized-Smoothing-Verifizierung, um die Robustheit von Ensemble-basierten Klassifikatoren formal zu verifizieren, indem sie eine Korollar für den Robustheitsradius eines Ensembles ableiten.
Empirische Validierung: Umfangreiche Experimente auf MNIST, CIFAR10 und TinyImageNet zeigen, dass CEAR eine höhere durchschnittliche zertifizierte Genauigkeit bei größeren Radien erreicht und eine größere Resilienz gegenüber Gradienten-basierten White-Box-Angriffen als State-of-the-Art-Baselines (RandSmooth und SWEEN) aufweist.

Experimentelle Ergebnisse

Zertifizierte Genauigkeit: In den Varianten auf MNIST und CIFAR10 übertrifft CEAR die Baselines. Insbesondere erreicht CEAR(GM) eine überlegene zertifizierte Genauigkeit in High-Confidence-Regionen (kleine Radien), während CEAR(RW) eine höhere Genauigkeit beibehält, wenn die Perturbationsradien steigen und die Modellkonfidenz sinkt. Beispielsweise erreicht CEAR(RW) bei CIFAR10 mit $\sigma_v=1.0$ eine zertifizierte Genauigkeit von 20 % bei $R=1.0$ und übertrifft damit die Baselines.
Robustheitsradius: CEAR(RW) erreicht konsistent größere zertifizierte Robustheitsradien als die Baselines, insbesondere in Regionen mit niedriger Konfidenz unter hohen Perturbationen.
Transferierbarkeit: CEAR reduziert die Erfolgsrate von Angreifern gegen transferierbare Angriffe signifikant. Unter der $\ell_\infty$ -Norm auf CIFAR10 reduzierte CEAR(RW) die Erfolgsrate der Angreifer auf 46,00 %, verglichen mit 9-6,56 % für RandSmooth und 60,10 % für SWEEN.
Rechenaufwand: Als Ensemble-Methode verursacht CEAR ein lineares Wachstum des Rechenaufwands mit der Anzahl der Netzwerke ( $M$ ). Die Autoren merken jedoch an, dass dieser Overhead für sicherheitskritische Anwendungen, bei denen verifizierbare Garantien erforderlich sind, akzeptabel ist.

Bedeutung und Behauptungen
Das Paper behauptet, dass CEAR die grundlegende Herausforderung adressiert, die Robustheit bei größeren Perturbationsradien zu erhöhen, indem es die Diversität von Ensembles effektiv mit zertifizierten Abwehrmechanismen kombiniert. Die Autoren betonen, dass die Wahl der Aggregationsstrategie entscheidend ist: Eine optimierte geometrische Median-Aggregation ist vorzuziehen, wenn die Ensemble-Vorhersagen konfident sind, während eine feste robuste Gewichtung in Szenarien mit hoher Unsicherheit und adversiellen Bedingungen überlegen ist. Die Arbeit zeigt, dass die Integration variabler Rauschverteilungen während des Trainings mit adaptiven oder robusten Voting-Mechanismen beweisbare Garantien liefern kann, die bestehende Single-Network- und Uniform-Ensemble-Verteidigungen übertreffen. Die Autoren schließen mit dem Hinweis, dass zukünftige Arbeiten den systematischen Einfluss der Temperaturskalierung in DTS auf die Ensemble-Diversität und Kalibrierung untersuchen werden.