🤖 machine learning

Rethinking Evaluation Paradigms in IBP-based Certified Training

Dieses Paper schlägt ein neues Evaluierungsparadigma für das auf IBP basierende zertifizierte Training vor, welches eine automatisierte multikriterielle Hyperparameteroptimierung nutzt, um Pareto-Fronten zwischen natürlicher und zertifizierter Genauigkeit zu konstruieren, wodurch eine signifikante Unteroptimierung in vorangegangenen Arbeiten aufgedeckt und faire, unvoreingenommene Vergleiche ermöglicht werden, die einen neuen Stand der Technik etablieren.

Ursprüngliche Autoren: Konstantin Kaulen, Hadar Shavit, Holger H. Hoos

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Konstantin Kaulen, Hadar Shavit, Holger H. Hoos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Sicherheit vs. Geschwindigkeit“-Dilemma

Stellen Sie sich vor, Sie trainieren einen Roboter, der ein Auto fahren soll. Sie wollen zwei Dinge:

Natürliche Genauigkeit: Der Roboter fährt an normalen, sonnigen Tagen perfekt.
Zertifizierte Robustheit: Dem Roboter ist mathematisch garantiert, dass er nicht abstürzt, wenn ein winziger, seltsamer Fehler auftritt (wie etwa ein Aufkleber auf einem Stoppschild, der die Kamera verwirrt).

Das Problem ist, dass diese beiden Ziele normalerweise gegeneinander kämpfen. Wenn Sie den Roboter extrem sicher gegen Fehler machen, wird er an normalen Tagen vielleicht ungeschickt. Wenn Sie ihn zu einem großartigen Fahrer an normalen Tagen machen, könnte er leicht durch Fehler getäuscht werden.

Seit Jahren versuchen Forscher, den „perfekten“ Roboter zu finden, der diese beiden Ziele ausbalanciert. Aber die Art und Weise, wie sie ihre Roboter getestet haben, war fehlerhaft.

Das Problem: Ein Buch nach einer einzigen Seite beurteilen

Bis jetzt haben Forscher die Einstellungen ihres Roboters so angepasst, dass sie eine einzige „beste“ Einstellung fanden. Sie wählten ein spezifisches Gleichgewicht zwischen Sicherheit und Geschwindigkeit, berichteten diese Zahlen und sagten: „Schaut her, unser Roboter ist der Beste!“

Die Autoren dieser Arbeit argumentieren, dass dies so ist, als würde man ein Restaurant nach nur einem einzigen Gericht beurteilen. Vielleicht ist das Restaurant fantastisch bei Steaks, aber schrecklich bei Pasta. Wenn Sie nur das Steak bestellen, denken Sie, es sei das beste Restaurant der Stadt. Aber wenn Sie die Pasta probieren würden, würden Sie vielleicht merken, dass es gar nicht so toll ist.

In der Welt der KI wählten Forscher nur einen einzigen Punkt auf dem Spektrum von „Sicherheit vs. Geschwindigkeit“. Das bedeutete, dass sie das volle Bild nicht sahen. Einige Methoden sind vielleicht großartig in der Sicherheit, aber schlecht in der Geschwindigkeit, während andere das Gegenteil sind. Indem sie nur einen Punkt betrachteten, erhielt die wissenschaftliche Gemeinschaft eine irreführende Sicht darauf, wer tatsächlich der Beste war.

Die Lösung: Die „Pareto-Front“-Karte

Die Autoren schlagen eine neue Art vor, diese Roboter zu bewerten. Anstatt nach einer einzigen „besten“ Einstellung zu suchen, kartieren sie das gesamte Spektrum der Möglichkeiten.

Stellen Sie sich eine Karte vor, bei der die X-Achse die „Fahrleistung“ (Natürliche Genauigkeit) und die Y-Achse die „Unfallresistenz“ (Zertifizierte Genauigkeit) darstellt.

Einige Roboter sind hoch in der Fahrleistung, aber niedrig in der Unfallresistenz.
Einige sind hoch in der Unfallresistenz, aber niedrig in der Fahrleistung.
Einige liegen in der Mitte.

Die Autoren verwenden einen speziellen Computer-Algorithmus, um den Rand der Karte (die sogenannte Pareto-Front) zu finden. Dieser Rand stellt die bestmöglichen Kompromisse dar. Wenn ein Roboter auf diesem Rand liegt, können Sie seine Fahrleistung verbessern, ohne dass er weniger unfallresistent wird, und umgekehrt.

Indem sie den gesamten Rand verschiedener Roboter vergleichen, anstatt nur einen einzelnen Punkt, können sie sehen, wer wirklich überlegen ist.

Was sie herausgefunden haben: Die „verborgenen Juwelen“

Als die Autoren diese neue Methode der Kartenerstellung auf bestehende KI-Methoden anwandten, entdeckten sie zwei wesentliche Dinge:

1. Frühere „Gewinner“ waren unteroptimiert
Viele der Methoden, die zuvor als „State of the Art“ (Stand der Technik) galten, waren in Wirklichkeit nur schlecht abgestimmt. Die Forscher fanden heraus, dass diese älteren Methoden viel besser funktionieren, wenn man ihre Einstellungen korrekt anpasst (unter Verwendung ihrer neuen Karte).

Analogie: Es ist, als fände man heraus, dass ein Auto, das alle für langsam hielten, eigentlich 160 km/h fahren kann, aber der Vorbesitzer das Gaspedal mit Klebeband festgedrückt hat. Sobald man das Band entfernte, war das Auto eine Rakete.

2. Es gibt nicht den einen „besten“ Roboter
Die Studie zeigte, dass es nicht die eine Methode gibt, die in allem gewinnt.

Methode A (SABR) ist wie ein Sportwagen: Sie ist fantastisch darin, schnell und geschmeidig zu fahren (hohe natürliche Genauigkeit), bietet aber einen ordentlichen, wenn auch nicht perfekten Unfallschutz.
Methode B (MTL-IBP) ist wie ein Panzer: Er ist auf der offenen Straße etwas langsamer, bietet aber den stärksten, mathematisch garantierten Unfallschutz.
Fazit: Je nachdem, was Sie brauchen (ein schnelles Auto oder einen Panzer), sollten Sie eine andere Methode wählen. Sie sind komplementär, nicht Konkurrenten.

Der Preis der Wahrheit

Die Autoren geben zu, dass das Erstellen dieser neuen Karte teuer ist. Es erfordert viel Rechenleistung, um tausende verschiedene Einstellungen für jeden Roboter zu testen.

Analogie: Um die beste Route für einen Roadtrip zu finden, könnten Sie einfach einen Pfad raten. Oder Sie nutzen einen Supercomputer, um jede mögliche Route, jede Verkehrsbedingung und jedes Wetterszenario zu simulieren. Der zweite Weg kostet mehr Zeit und Strom, aber er garantiert, dass Sie die wahre beste Route finden und nicht nur einen glücklichen Zufallstreffer.

Das Fazit

Diese Arbeit erfindet keinen neuen Roboter; sie erfindet ein besseres Lineal.

Sie sagt der wissenschaftlichen Gemeinschaft: „Hören Sie auf, eine zufällige Einstellung zu wählen und den Sieg zu beanspruchen. Kartieren Sie die gesamte Trade-off-Kurve. Wenn Sie das tun, werden Sie sehen, dass viele unserer alten Champions einfach nur untervorbereitet waren, und dass die wahren Gewinner davon abhängen, was Sie am meisten schätzen: Geschwindigkeit oder Sicherheit.“

Durch die Verwendung dieser neuen, faireren Art der Messung etabliert das Paper einen neuen Standard dafür, wie KI-Sicherheit in Zukunft getestet werden sollte.

Technisches Resümee: Überdenken von Evaluationsparadigmen im IBP-basierten zertifizierten Training

Problemstellung

Tiefe neuronale Netze (DNNs) erzielen eine hohe Leistung bei überwachten Lernaufgaben, bleiben jedoch anfällig für adversarielle Störungen. Während die Verifikation neuronaler Netze mathematisch rigorose Robustheitsgarantien bietet, ist dies rechenintensiv (NP-vollständig). Zertifizierte Trainingsmethoden, insbesondere solche auf Basis von Interval Bound Propagation (IBP), zielen darauf ab, die verifizierbare Robustheit während des Trainings zu optimieren. Diese Methoden induzieren jedoch einen grundlegenden Trade-off zwischen natürlicher Genauigkeit (Performance auf sauberen Daten) und zertifizierter Genauigkeit (Performance auf nachweislich robusten Eingaben).

Das aktuelle Evaluationsparadigma auf diesem Gebiet ist fehlerhaft: Forscher berichten typischerweise über eine einzige Konfiguration (einen einzelnen Punkt im Trade-off-Raum), die durch manuelles Tuning oder Grid Search bestimmt wurde. Diese Praxis ist problematisch, weil:

Bias: Der Vergleich einzelner Konfigurationen hängt stark vom gewählten spezifischen Trade-off-Punkt ab, was zu verzerrten Schlussfolgerungen über den Stand der Technik führt.
Unter-Optimierung (Under-tuning): Vorangegangene Arbeiten versäumen es oft, den vollständigen Hyperparameterraum zu explorieren, wodurch potenziell überlegene Konfigurationen, die die berichteten Ergebnisse dominieren würden, unentdeckt bleiben.
Mangelnde Standardisierung: Es gibt kein unvoreingenommenes, standardisiertes Verfahren, um neue Methoden gegenüber bestehenden Methoden über das gesamte Spektrum von Robustheit und Genauigkeit hinweg zu positionieren.

Methodik

Die Autoren schlagen einen Paradigmenwechsel von der Einzelpunkt-Evaluation hin zur Pareto-Front-basierten Evaluation vor. Anstatt ein einzelnes Ziel zu optimieren (z. B. die Maximierung der zertifizierten Genauigkeit), behandeln sie das Problem als ein Multi-Objective-Optimierungsproblem, um die Menge der nicht-dominierten Konfigurationen (die Pareto-Front) zu finden.

Kernansatz

Multi-Objective Hyperparameter Optimization (MO-HPO): Die Autoren verwenden Multi-Objective Bayesian Optimization mit Gauß-Prozess-Surrogaten und der Expected Hypervolume Improvement (EHVI) Akquisitionsfunktion. Dies ermöglicht die gleichzeitige Optimierung von natürlicher Genauigkeit und zertifizierter Genauigkeit.
Design des Suchraums: Um einen unvoreingenommenen Vergleich zu gewährleisten, ist der Suchraum umfassend und beinhaltet:
- Allgemeine Deep-Learning-Hyperparameter (Lernrate, Optimierer wie Adam/AdamW/RAdam, Decay-Schedules).
- Methode-spezifische Trade-off-Parameter (z. B. $\kappa$ für IBP/CROWN-IBP, $\alpha$ für MTL-IBP, $\tau$ für SABR).
- Trainings-Schedule-Parameter (Warm-up-Epochen, Ramp-up-Epochen, $\epsilon$ -Skalierungsfaktoren).
- Attack-Parameter (PGD-Schritte, Schrittweite, Restarts).
- Entscheidend: Der Suchraum enthält Parameter, die in der bisherigen Literatur oft fixiert oder ignoriert wurden (z. B. die Erlaubnis von $\kappa$ -Transitionen, Variation von Warm-up-Längen), was die Entdeckung zuvor unerforschter Konfigurationen ermöglicht.
Effizienter Evaluations-Proxy: Da eine vollständige Verifikation (erforderlich für die endgültige zertifizierte Genauigkeit) für jeden Versuch rechentechnisch prohibitiv ist, nutzt die Optimierungsschleife eine unvollständige Verifikation (IBP, CROWN, CROWN-IBP) als Proxy-Zielgröße.
Finale Verifikation: Sobald die Pareto-optimalen Konfigurationen via Proxy identifiziert wurden, werden diese mittels State-of-the-Art vollständiger Verifikation (speziell $\alpha\beta$ -CROWN) re-evaluiert, um die finale Pareto-Front zu etablieren. Um die Kosten zu kontrollieren, wird Single-Linkage-Clustering verwendet, um redundante Konfigurationen vor der vollständigen Verifikation zu filtern.
Standardisiertes Budget: Alle Methoden werden unter einem festen Rechenbudget evaluiert (100 Versuche pro Seed, 3 Seeds pro Methode), um einen fairen Vergleich zu gewährleisten.

Zentrale Beiträge

Neuer Evaluationsstandard: Die Arbeit etabliert ein standardisiertes, Multi-Objective-Evaluationsprotokoll, das den Einzelpunkt-Vergleich durch eine Pareto-Front-Analyse ersetzt. Dies ermöglicht eine differenzierte Bewertung, bei der Forscher Methoden basierend auf ihren spezifischen Anforderungen wählen können (z. B. Priorisierung von Clean Accuracy vs. zertifizierter Garantien).
Entdeckung unter-optimierter Konfigurationen: Durch die systematische Exploration des Hyperparameterraums zeigen die Autoren, dass viele zuvor berichtete „State-of-the-Art“-Ergebnisse durch durch ihre automatisierte Optimierung gefundenen Konfigurationen dominiert werden. Dies offenbart ein erhebliches „Under-tuning“ in der bestehenden Literatur.
Umfassendes Benchmarking: Die Studie liefert den ersten umfassenden Multi-Objective-Vergleich der wichtigsten IBP-basierten zertifizierten Trainingsmethoden (IBP, CROWN-IBP, SABR, MTL-IBP) über CIFAR-10 und Tiny ImageNet mit variierenden Perturbationsradien ( $\epsilon$ ).
Hyperparameter-Erkenntnisse: Mittels fANOVA identifizieren die Autoren, dass komplexe Interaktionen zwischen Hyperparametern (z. B. der Übergang von $\kappa$ während des Ramp-ups, $\epsilon$ -Skalierung und die Dauer des Warm-ups) entscheidend für das Erreichen optimaler Trade-offs sind – Erkenntnisse, die durch manuelles Tuning oft übersehen werden.

Ergebnisse

Überlegene Performance: Die vorgeschlagene Evaluation deckt Konfigurationen auf, die vorangegangene Ergebnisse dominieren. Beispielsweise erzielt SABR auf CIFAR-10 mit $\epsilon = 2/255$ Gewinne von über 1 % sowohl in der natürlichen als auch in der zertifizierten Genauigkeit im Vergleich zur Literatur. Auf Tiny ImageNet zeigt MTL-IBP Verbesserungen von ca. 2 % in beiden Metriken.
Komplementarität der Methoden: Keine einzelne Methode dominiert universell.
- SABR zeichnet sich generell dadurch aus, eine hohe natürliche Genauigkeit zu erreichen.
- MTL-IBP tendiert dazu, die stärksten zertifizierten Garantien zu liefern, insbesondere bei kleineren Perturbationsradien.
- IBP und CROWN-IBP bleiben wettbewerbsfähig, insbesondere wenn höhere natürliche Genauigkeiten gewünscht sind oder bei größeren Perturbationsradien ( $\epsilon = 8/255$ ), was die Annahme infrage stellt, sie seien obsolet.
Stagnation bei großen Radien: Die Analyse deutet darauf hin, dass der Fortschritt bei größeren Perturbationsradien stagniert hat, wobei ältere Methoden signifikant zur kombinierten Pareto-Front beitragen.
Validierung vs. Testset-Tuning: Die Autoren zeigen, dass das Tuning von Hyperparametern direkt auf dem Testset (eine gängige, aber problematische Praxis) zu Pareto-Fronten führt, die jene aus dem Validation-Set-Tuning strikt dominieren, was darauf hindeutet, dass vorangegangene Evaluationen die Generalisierungsleistung wahrscheinlich überschätzt haben.
Recheneffizienz: Die Studie zeigt, dass die Reduzierung des Verifikations-Timeouts (z. B. von 1000s auf 100s bei CIFAR-10) die Form der Pareto-Front bewahrt, während die Rechenkosten um eine Größenordnung gesenkt werden.

Bedeutung und Behauptungen

Das Paper behauptet, dass der aktuelle Stand der Technik im zertifizierten Training aufgrund mangelhafter Hyperparameter-Optimierung und fehlerhafter Evaluationsmethodiken signifikant unterschätzt wurde. Durch die Übernahme einer Multi-Objective-Perspektive:

Neubewertung des State of the Art: Jüngste Fortschritte sind weniger ausgeprägt als bisher angenommen, insbesondere bei größeren Perturbationsradien.
Handlungsorientierte Erkenntnisse: Die Arbeit liefert konkrete Leitlinien für die Community und hebt hervor, dass komplexe Interaktionen zwischen Hyperparametern (die oft übersehen werden) essenziell für die optimale Performance sind.
Zukünftige Ausrichtung: Die Autoren plädieren für einen Wechsel hin zu standardisierten Multi-Objective-Evaluationsprotokollen. Sie schlagen vor, dass sich die Community auf „billige Verifikationsstrategien“ konzentrieren sollte, anstatt sich auf zunehmend größere Verifikations-Timeouts zu verlassen, um Methoden zu unterscheiden, da kleinere Timeouts oft ausreichen, um die Pareto-Front zu identifizieren.

Letztlich argumentiert das Paper, dass eine faire Evaluation die Untersuchung des vollständigen Trade-off-Raums erfordert, um die Entwicklung zertifizierter Modelle zu ermöglichen, die sowohl robust als auch praktisch nutzbar sind, und gleichzeitig irreführende Schlussfolgerungen aus Einzelkonfigurations-Vergleichen zu verhindern.