🤖 machine learning

Certification of Machine Learning Models via Directional Sharpness

Dieses Paper führt „directional sharpness“ ein, eine recheneffiziente und zuverlässige Metrik, die bestehende Maße bei der Zertifizierung der Generalisierung von Modellen des maschinellen Lernens übertrifft, selbst wenn Trainingsprozesse gestört werden oder die Datensicherheit mittels Zero-Knowledge-Proofs gewahrt bleiben muss.

Ursprüngliche Autoren: Gefei Tan, Adria Gascon, Sarah Meiklejohn, Mariana Raykova

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gefei Tan, Adria Gascon, Sarah Meiklejohn, Mariana Raykova

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie engagieren einen Koch, um ein riesiges Bankett zuzubereiten. Sie wollen sicherstellen, dass das Essen nicht nur den wenigen Leuten schmeckt, die Sie bei der Verkostung testen konnten, sondern allen, die es später essen werden. In der Welt des maschinellen Lernens nennt man dies Generalisierung: die Fähung eines Computermodells, auch bei neuen, ungesehenen Daten gut zu funktionieren.

Das Problem ist: Wie stellt man fest, ob der Koch wirklich talentiert ist oder ob er einfach nur die spezifischen Gerichte auswendig gelernt hat, die Sie ihm beim Geschmackstest gegeben haben?

Dieses Paper stellt eine neue Methode vor, um die „Kochkünste“ eines Modells unter dem Namen Directional Sharpness (Richtungsabhängige Schärfe) zu überprüfen. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien.

Das Problem: Die „Flache“ Falle

In der Welt des maschinellen Lernens betrachten wir oft die „Loss Landscape“ (Verlustlandschaft) eines Modells. Stellen Sie sich dies als hügeliges Gelände vor, in dem der Boden eines Tals ein perfektes Modell darstellt.

Das Ziel: Wir wollen, dass das Modell in einem weiten, flachen Tal liegt. Wenn das Tal breit ist, ist das Modell stabil. Selbst wenn man es leicht anstößt (wie durch einen neuen Datensatz), bleibt es im Tal und funktioniert weiterhin gut.
Die Falle: Manchmal sitzt ein Modell in einem schmalen, spitzen Gipfel, der aus der Ferne wie ein Tal ausset. Es sieht bei den Daten, mit denen es trainiert wurde, perfekt aus, aber wenn man es auch nur ein winziges Stück bewegt, fällt es vom Gipfel und stürzt ab. Dies ist „Overfitting“ (Überanpassung) oder ein „Backdoor“ (eine versteckte Schwachstelle).

Der alte Weg: Eine einzige Momentaufnahme zu machen

Früher versuchten Experten, zu messen, wie „flach“ ein Tal war, indem sie ein einziges, statisches Foto machten. Sie betrachten das Modell, gaben ihm einen winzigen Stoß und schauten, wie stark der Fehler anstieg.

Der Fehler: Dies ist wie der Blick auf einen Berggipfel aus einem einzigen Winkel. Man könnte übersehen, dass der Gipfel in Wirklichkeit eine dünne Nadel ist, die zusammenbricht, wenn man sie aus einem anderen Winkel betrachtet. Wenn ein Modell „schummelt“ (z. B. eine versteckte Backdoor besitzt oder die Daten auswendig gelernt hat), könnte eine einzelne Momentaufnahme immer noch flach aussehen und den Inspektor täuschen.

Die neue Lösung: Directional Sharpness

Die Autoren schlagen Directional Sharpness vor. Anstatt nur ein Foto zu machen, stellen Sie sich vor, Sie rollen einen Ball durch das Tal, während Sie den Boden leicht erschüttern.

Der dynamische Test: Sie betrachten das Modell nicht nur einmal. Sie wenden eine Reihe von kleinen, zufälligen Stößen an (wie ein sanftes Erdbeben) und beobachten, wie das Modell über die Zeit reagiert.
Das stabile Modell: Wenn das Modell wirklich gut ist (in einem weiten, flachen Tal), wird es zwar ein wenig wackeln, aber ruhig bleiben. Der „Schärfe“-Wert bleibt niedrig und stabil.
Das schummelnde Modell: Wenn ein Modell auf einem schmalen Gipfel sitzt oder versteckte Fehler hat, werden diese kleinen Stöße es schließlich aus dem Gleichgewicht bringen. Der „Schärfe“-Wert wird anfangen zu sprunghaft zu steigen und wild zu fluktuieren.

Die Analogie:

Alte Methode: Zu prüfen, ob ein Seiltänzer das Gleichgewicht hält, indem man ihn bittet, eine Sekunde lang regungslos dazustehen.
Neue Methode (Directional Sharpage): Den Seiltänzer zu bitten, auf dem Seil zu laufen, während eine Windmaschine zufällig auf ihn einwirkt. Wenn er wackelt und fällt, wissen Sie, dass er nicht bereit ist, selbst wenn er in dieser einen Sekunde perfekt stillgestanden hat.

Warum das wichtig ist

Das Paper behauptet, dass diese neue Methode aus drei Gründen besser ist:

Es ist ein besserer Prädiktor: Sie korreliert viel stärker damit, ob ein Modell tatsächlich auf neuen Daten funktionieren wird, als die alten „Momentaufnahme“-Methoden. Sie entlarvt Modelle, die gut aussehen, aber eigentlich fragil sind.
Es entlarvt Betrüger: Es ist sehr gut darin, Modelle zu erkennen, die „vergiftet“ wurden (mit schlechten Daten trainiert wurden) oder „Backdoors“ (versteckte Trigger) besitzen. Diese Modelle sehen bei einem Standardtest oft perfekt aus, scheitern aber am „Erschütterungstest“.
Es ist schnell und privat:
- Geschwindigkeit: Es ist viel schneller zu berechnen als die alten Methoden (in einigen Fällen bis zu 4-mal schneller als die bloße Überprüfung der Testgenauigkeit).
- Privatsphäre: Sie können einen kryptografischen Trick namens „Zero-Knowledge Proof“ verwenden, um zu beweisen, dass das Modell diesen Test bestanden hat, ohne dass der Prüfer jemals die geheimen Trainingsdaten zu Gesicht bekommt. Es ist, als würde man beweisen, dass man einen Gewinnlottoschein besitzt, ohne den Schein jemandem zeigen zu müssen.

Das Fazit

Das Paper argumentt, dass wir, um einer KI wirklich zu vertrauen, nicht nur fragen sollten: „Hast du die richtige Antwort in der Übungsprüfung gegeben?“ Wir sollten stattdessen fragen: „Kannst du das Gleichgewicht halten, wenn der Boden anfängt zu beben?“

Directional Sharpness ist das Werkzeug, das den Boden erschüttert und uns sagt, ob das Modell wirklich stabil ist oder nur so tut als ob. Dies hilft Auditoren und Unternehmen sicherzustellen, dass KI-Modelle sicher, zuverlässig und frei von bösen Überraschungen sind.

Technisches Resümee: Zertifizierung von Modellen des maschinellen Lernens via Richtungsabhängiger Schärfe (Directional Sharpness)

Problemstellung

Modellzertifizierung zielt darauf ab, Gewissheit über die Vertrauenswürdigkeit und Qualität von Modellen des maschinellen Lernens zu schaffen, insbesondere hinsichtlich ihrer Fähigkeit zur Generalisierung auf ungesehene Daten. Die direkte Messung der Generalisierung ist unmöglich, da sie von unbekannten Datenverteilungen abhängt. Bestehende Proxys, wie etwa die Testgenauigkeit, sind unzuverlässig, da sie aufgrund von Datensatzfehlern, Overfitting oder Verteilungsverschiebungen irreführend sein können. Darüber hinaus sind theoretische Generalisierungsschranken oft zu lose oder trivial (vacuous) für moderne überparametrisierte Netzwerke.

Obwohl „Schärfe“ (Sharpness – die Sensitivität des Verlusts gegenüber Parameterstörungen) als vielversprechender empirischer Proxy für die Generalisierung hervorgetreten ist, stehen bestehende Schärfemesswerte im Kontext der Zertifizierung vor zwei kritischen Barrieren:

Zuverlässigkeit bei Abweichungen: Derzeitige Metriken werden primär an ehrlich trainierten Modellen validiert. Es ist unklar, ob sie eine schlechte Generalisierung erkennen können, wenn das Training von vorgeschriebenen Verfahren abweicht (z. B. durch Backdoors, Overfitting oder Label-Rauschen).
Recheneffizienz: Bestehende Metriken sind rechenintensiv, was sie für die Modellprüfung (Auditing) – wo ein Verifizierer Zugriff auf die Trainingsdaten hat – unpraktisch und für die Modellzertifizierung – wo ein Verifizierer ein kryptografisches Protokoll ohne Zugriff auf die Trainingsdaten prüfen muss – unmöglich macht.

Methodik: Richtungsabhängige Schärfe (Directional Sharpness)

Die Autoren schlagen die Richtungsabhängige Schärfe vor, eine Metrik, die darauf ausgelegt ist, die dynamische Stabilität eines Modells zu messen, anstatt dessen statische geometrische Eigenschaften.

Kernkonzept

Im Gegensatz zur statischen Schärfe, die die Verlustlandschaft an einem einzelnen Punkt bewertet (oft gemittelt über den gesamten Datensatz), bewertet die richtungsabhängige Schärfe, wie sich ein Modell unter einer Sequenz kontinuierlicher, stochastischer Störungen verhält. Die Intuition dahinter ist, dass ein Modell in einem tatsächlich flachen, breiten Becken unter diesen Störungen stabil bleiben wird, während ein Modell in einer engen, instabilen Tasche (oder mit inkohärenter Geometrie) in scharfe Regionen gedrängt wird und dadurch detektierbare Fluktuationen zeigt.

Algorithmus

Die Berechnung der richtungsabhängigen Schärfe (Algorithmus 1) umfasst:

Initialisierung: Beginn mit einem trainierten Modell $w_0$ .
Probing-Trajektorie: Anwendung von $T$ $T$ Schritten von Sharpness-Aware Minimization (SAM)-ähnlichen Updates. In jedem Schritt $t$ $t$ :
- Stichprobenentnahme eines Mini-Batches $\xi_t$ aus den Trainingsdaten.
- Berechnung der pro-Schritt-Schärfe $s_t$ (z. B. ASAM-Schärfe) auf dem Mini-Batch.
- Aktualisierung der Modellparameter $w_{t+1}$ mittels des SAM-Update-Operators.
Fluktuationsstatistik: Aufzeichnung der Sequenz der Schärfewerte $\{s_0, \dots, s_{T-1}\}$ . Die endgültige Metrik ist eine Fluktuationsstatistik (speziell die Standardabweichung des Log-Verhältnisses der quadrierten Schärfe zum Verlust) dieser Sequenz.

Theoretische Fundierung

Die Arbeit liefert eine theoretische Analyse, die die richtungsabhängige Schärfe mit SAM-Stabilität verknüpft:

Stabilitätsgrenze: Wenn ein Modell in einem SAM-stabilen Minimum liegt, ist die erwartete quadrierte Schärfe unter kontinuierlicher Störung einheitlich durch ein Vielfaches des initialen Trainingsverlustes beschränkt.
Instabilitätsdetektion: Wenn die erwartete quadrierte Schärfe hingegen exponentiell wächst, befindet sich das Modell in einer instabilen Region.
Gradientenkohärenz: Die Autoren formalisieren eine Klasse von Trainingsabweichungen, die durch geringe Gradientenkohärenz charakterisiert sind (wo per-Beispiel-Gradienten sich im Full-Batch-Durchschnitt gegenseitig aufheben, aber individuell groß bleiben). Sie beweisen, dass während die statische Full-Batch-Schärfe gering erscheinen mag (was die Abweichung maskiert), die Root-Mean-Square (RMS) Mini-Batch-Schärfe hoch bleibt. Die richtungsabhängige Schärfe verstärkt diese Lücke durch die Aggregation von Mini-Batch-Signalen über die Zeit und macht sie somit sensitiv für solche Abweichungen.

Wichtigste Beiträge

Neue Metrik (Richtungsabhängige Schärfe): Eine Generalisierungsmetrik, die von der statischen geometrischen Messung zur Messung der dynamischen Stabilität übergeht.
Überlegene Korrelation: Empirische Belege zeigen, dass die richtungsabhängige Schärfe signifikant stärker mit der Generalisierungslücke korreliert als bestehende statische Metriken (z. B. Worst-Case Sharpness, ASAM).
Robustheit gegenüber Abweichungen: Nachgewiesene Fähigkeit, Modelle mit schlechter Generalisierung zu identifizieren, die durch Trainingsabweichungen (Label-Rauschen, Overfitting auf Scheinmerkmale, Backdoors) verursacht wurden, bei denen Testgenauigkeit und statische Schärfe versagten.
Effizienz für die Zertifizierung:
- Auditing: Die Berechnung ist bis zu $4\times$ schneller als die Berechnung der Testgenauigkeit und um Größenordnungen schneller als die statische Schsärfe.
- Zertifizierung (Zero-Knowledge): Die Autoren demonstrieren, wie Zero-Knowledge-Beweise (ZKPs) für die richtungsabhängige Schärfe generiert werden können. Sie zeigen, dass das Beweisen der richtungsabhängigen Schärfe bis zu 80.000-mal schneller ist als das Beweisen des gesamten Trainingsprozesses (zkPoT) für Modelle wie VGG-11.

Experimentelle Ergebnisse

Korrelation mit der Generalisierung

In einem groß angelegten Experiment, bei dem 1.152 Modelle mit variierenden Architekturen und Hyperparametern auf CIFAR-10/100 trainiert wurden:

Erreichte die richtungsabhängige Schärfe einen Spearman-Korrelationskoeffizienten ( $\rho$ ) von 0,902 mit der Generalisierungslücke.
Dies übertraf die besten statischen Baselines wie ASAM mit Full-Batch ( $\rho \approx 0,64$ ) und Worst-Case Sharpness ( $\rho \approx 0,60$ ) deutlich.

Zuverlässigkeit unter Trainingsabweichungen

Die Autoren führten Unterscheidbarkeitsexperimente durch, bei denen benigne Modelle mit fehlerhaften Modellen gepaart wurden, die eine nahezu identische beobachtete Testgenauigkeit aufwiesen. Die richtungsabhängige Schärfe konnte die Modelle in allen Szenarien trennen, während statische Metriken und die Testgenauigkeit versagten:

Noisy Labels: Benigne/Fehlerhafte Ratio von 0,177 (Richtungsabhängig) vs. 0,991 (Statisch).
Overfitting auf Scheinmerkmale (Spurious Features): Ratio von 0,084 (Richtungsabhängig) vs. 0,963 (Statisch).
Backdoors: Ratio von 0,061 (Richtungsabhängig) vs. 0,587 (Statisch).
Quantisierung und kleine Testsets: Die richtungsabhängige Schärfe bot konsistent stärkere Separationsmargen.

Effizienz und ZKP

Laufzeit: Die Berechnung der richtungsabhängigen Schärfe auf einem kleinen Batch dauerte 0,21 Sekunden, verglichen mit 0,92 Sekunden für die Testgenauigkeit und 210,32 Sekunden für die statische Worst-Case Sharpness.
ZKP-Kosten: Für ein VGG-11 Modell, das über 150 Epochen trainiert wurde, dauerte ein ZKP der richtungsabhängigen Schärfe 88,87 Minuten, während ein ZKP des gesamten Trainingsprozesses (LATE-SAM Baseline) auf geschätzte 118.671 Stunden (ca. 13,5 Jahre) anwuchs.

Bedeutung und Behauptungen

Das Paper behauptet, dass die richtungsabhängige Schärfe eine effiziente und robuste Metrik zur Bewertung der Modell-Generalisierung darstellt. Ihre Bedeutung liegt in der Ermöglichung einer praktischen Modellzertifizierung in zwei Szenarien:

Auditing: Wo ein vertrauenswürdiger Verifizierer mit Zugriff auf die Trainingsdaten effizient eine schlechte Generalisierung und Trainingsabweichungen erkennen kann.
Zertifizierung: Wo ein externer Verifizierer die Modellqualität kryptografisch über ZKPs verifizieren kann, ohne Zugriff auf die Trainingsdaten zu haben, wodurch die prohibitiven Rechenkosten bestehender Trainingsbeweise überwunden werden.

Die Autoren behaupten, dass die Messung der dynamischen Stabilität der richtungsabhängigen Schärfe ein zuverlässigeres Signal für die Modellqualität liefert als statische geometrische Eigenschaften, insbesondere in adversariellen oder nicht-idealen Trainingsszenarien. Sie kommen zu dem Schluss, dass diese Metrik ein geeignetes Instrument zur Milderung von Angriffen in der adversariellen Maschinellen Lernforschung und zur Verbesserung der Transparenz in ML-Systemen ist.