🤖 AI

Sharpness-Aware Minimization with Z-Score Gradient Filtering

Die vorgestellte Arbeit schlägt eine modifizierte Sharpness-Aware Minimization vor, die durch Z-Score-basiertes Filtern der Gradienten nur die signifikantesten Komponenten für die Parameterstörung nutzt, um die Generalisierungsfähigkeit von Deep Neural Networks auf verschiedenen Datensätzen und Architekturen im Vergleich zu bestehenden Methoden zu verbessern.

Ursprüngliche Autoren: Vincent-Daniel Yun

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Vincent-Daniel Yun

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der verwirrte Wanderer

Stell dir vor, du versuchst, einen Berg zu besteigen, um den tiefsten Punkt im Tal zu finden (das ist das Ziel beim Trainieren einer KI: den Fehler zu minimieren). Normalerweise läuft man einfach bergab, indem man dem Gefühl folgt, wo es steiler abgeht (das nennt man den "Gradienten").

Aber manchmal ist der Boden voller kleiner Steine, loser Erde und Rauschen. Wenn du auf jeden einzelnen kleinen Stein achtest, stolperst du vielleicht, weil du versuchst, auch die winzigsten Unebenheiten zu umgehen. Du kommst voran, aber du landest in einem kleinen, flachen Loch statt im tiefsten Tal. In der KI-Welt nennt man das "Overfitting": Die KI lernt die Trainingsdaten auswendig, versteht aber die Welt nicht wirklich.

Die bisherige Lösung: SAM (Der vorsichtige Wanderer)

Es gab bereits eine Methode namens SAM (Sharpness-Aware Minimization). Der Idee nach war SAM wie ein Wanderer, der nicht nur bergab schaut, sondern auch kurz zur Seite schaut: "Wenn ich hier einen Schritt zur Seite mache, wird es dann steiler oder flacher?"

SAM wollte flache Täler finden, weil diese stabiler sind. Aber SAM hatte einen Haken: Er schaute sich jeden einzelnen Stein auf dem Weg an – auch die winzigen, die nur vom Wind bewegt wurden (das "Rauschen"). Weil er sich von diesen kleinen, unwichtigen Details ablenken ließ, war seine Entscheidung, wo er hinsteigen sollte, manchmal etwas chaotisch.

Die neue Lösung: ZSharp (Der fokussierte Wanderer)

Hier kommt die neue Methode ZSharp ins Spiel. Die Forscher (Vincent-Daniel Yun) haben sich gedacht: "Warte mal, warum schauen wir uns den ganzen Müll an? Wir sollten uns nur auf die großen Steine konzentrieren, die wirklich zählen!"

Stell dir vor, du hast einen riesigen Sack voller Murmeln. Die meisten sind winzig und unbedeutend, aber ein paar sind riesig und schwer.

Der Z-Score-Filter: ZSharp nimmt den Sack und sortiert die Murmeln nach ihrer Größe im Verhältnis zum Durchschnitt. Es fragt: "Ist diese Murmel deutlich größer als der Durchschnitt?"
Die Auswahl: Es wirft alle kleinen Murmeln weg und behält nur die top 5% der größten, wichtigsten Murmeln.
Der Schritt: Anstatt sich von tausend kleinen Steinen ablenken zu lassen, macht der Wanderer seinen Schritt nur in Richtung der wenigen, wirklich großen Hindernisse.

Warum ist das besser?

Weniger Lärm: Durch das Ignorieren der kleinen, verrauschten Details wird der Weg klarer.
Bessere Generalisierung: Die KI lernt nicht mehr auswendig, wie man über jeden einzelnen kleinen Stein balanciert, sondern lernt den echten Weg durch das Tal. Das bedeutet, sie funktioniert auch besser mit neuen, unbekannten Daten (z. B. neue Bilder, die sie noch nie gesehen hat).
Einfachheit: Es ist wie ein neuer Filter für die Kamera. Man muss die Kamera nicht neu bauen, man stellt nur den Filter ein, und plötzlich sind die Bilder schärfer.

Was haben die Tests gezeigt?

Die Forscher haben ZSharp auf verschiedenen "Bergen" getestet (verschiedene KI-Modelle wie ResNet und Vision Transformers) und mit verschiedenen "Landkarten" (Daten wie CIFAR-10 und Tiny-ImageNet).

Das Ergebnis war eindeutig: ZSharp war fast immer besser.

Die KI machte weniger Fehler bei neuen Bildern.
Sie fand die tiefsten Täler schneller.
Es funktionierte sowohl bei klassischen KI-Modellen als auch bei den modernen "Transformer"-Modellen (die heute sehr beliebt sind).

Zusammenfassung in einem Satz

ZSharp ist wie ein Wecker für die KI, der ihr sagt: "Vergiss die kleinen, nervigen Details und konzentriere dich nur auf die wirklich wichtigen Signale, damit du nicht stolperst und den besten Weg findest."

Das Ergebnis ist eine KI, die nicht nur auswendig lernt, sondern wirklich versteht und sich besser an die echte Welt anpasst.

Titel: Z-Score Filtered Sharpness-Aware Minimization (ZSharp)

Veröffentlichung: NeurIPS OPT 2025 / ICASSP 2026
Autor: Vincent-Daniel Yun (USC & MODULABS)

1. Problemstellung

Tiefe neuronale Netze (DNNs) erzielen zwar hohe Leistungen, neigen jedoch bei der Optimierung zu schlechter Generalisierung, wenn diese durch kleine oder verrauschte Gradientenkomponenten beeinflusst wird. Ein Hauptgrund hierfür ist die Konvergenz in „scharfe Minima" (sharp minima) – Regionen der Verlustlandschaft mit hoher Krümmung, in denen kleine Störungen zu großen Verluststeigerungen führen.

Die etablierte Methode Sharpness-Aware Minimization (SAM) adressiert dies, indem sie Parameter in Richtung der Gradienten stört, um das Worst-Case-Verlust innerhalb einer $\ell_2$ -Kugel zu minimieren.
Das Kernproblem von SAM: SAM verwendet den gesamten Gradientenvektor für die Aufwärtsbewegung (Ascent-Step). Dies beinhaltet viele Komponenten mit geringer Magnitude, die oft nur Rauschen (Minibatch-Rauschen) darstellen und wenig Information über die Krümmung liefern. Da der Gradient vor der Störung normalisiert wird, haben diese kleinen, verrauschten Koordinaten denselben Einfluss auf die Störungsrichtung wie große, informative Gradienten. Dies verzerrt die Störung, führt zu einer falschen Ausrichtung bezüglich der scharfen Krümmungsrichtungen und verstärkt die Stochastik in hochdimensionalen Parameterräumen.

2. Methodik: ZSharp

Die Autoren schlagen ZSharp (Z-Score Filtered Sharpness-Aware Minimization) vor. Diese Methode verbessert SAM durch eine statistische Filterung der Gradienten vor der Störung.

Der Algorithmus im Detail:

Layer-weise Z-Score-Normalisierung: Für jede Schicht $\ell$ des Netzes werden die Gradientenvektoren $g^{(\ell)}$ unabhängig voneinander normalisiert.
- Berechnung des Mittelwerts $\mu$ und der Standardabweichung $\sigma$ der Gradientenkomponenten innerhalb einer Schicht.
- Transformation zu Z-Scores: $\Omega(g^{(\ell)})_i = \frac{g^{(\ell)}_i - \mu}{\sigma}$ .
- Dies hebt Komponenten hervor, die stark von der Schichtstatistik abweichen.
Selektives Maskieren (Filtering):
- Es wird eine binäre Maske $m$ erstellt, die nur die Komponenten behält, deren absoluter Z-Score einen bestimmten Perzentilschwellenwert $q_{Q_p}$ überschreitet.
- Der Hyperparameter $Q_p$ (z. B. 0,95) bestimmt den Anteil der verworfenen Gradienten. Nur die Top $(1 - Q_p)\%$ der Komponenten mit den größten absoluten Z-Scores werden beibehalten (z. B. die Top 5%).
- Der gefilterte Gradient ist $\nabla L(w)_\Omega = \nabla L(w) \odot m$ .
Störungsberechnung (Ascent Step):
- Anstatt den vollen Gradienten zu verwenden, wird der gefilterte Gradient $\nabla L(w)_\Omega$ zur Berechnung der Störung $\epsilon$ verwendet.
- Falls der gefilterte Gradient null ist, wird auf den ursprünglichen Gradienten zurückgegriffen (Fallback).
- Die Störung lautet: $\epsilon = \rho \cdot \frac{\nabla L(w)_\Omega}{\|\nabla L(w)_\Omega\|_2 + \delta}$ .
Optimierungsschritt:
- Die Schritte (ii) Gradientenberechnung am gestörten Punkt und (iii) Gewichtsupdate mit dem Basis-Optimierer (z. B. AdamW) bleiben identisch zu SAM.

3. Theoretische Analyse

Die Autoren leiten Konvergenzgarantien für ZSharp ab, die denen von SAM entsprechen:

Unter den Annahmen einer $\beta$ -glatten Verlustfunktion und eines unverzerrten stochastischen Gradienten mit beschränkter Varianz wird gezeigt, dass ZSharp zu stationären Punkten konvergiert.
Theorem 4 & Korollar 5: Beweisen, dass das Filtern der Gradienten die Konvergenzeigenschaften von SAM nicht beeinträchtigt. Die Konvergenzrate bleibt erhalten, solange die Schrittweite und der Aufwärtsradius bestimmte Schranken einhalten.

4. Experimentelle Ergebnisse

Die Methode wurde auf den Datensätzen CIFAR-10, CIFAR-100 und Tiny-ImageNet mit verschiedenen Architekturen getestet:

Modelle: ResNet-56/110, VGG-16/BN und Vision Transformer (ViT) Varianten.
Vergleich: ZSharp wurde gegen AdamW (Baseline), SAM, ASAM (Adaptive SAM) und Friendly-SAM verglichen.

Ergebnisse:

Generalisierung: ZSharp erzielt konsistent die höchste oder vergleichbar beste Testgenauigkeit (Top-1 Accuracy) über alle Architekturen und Datensätze hinweg.
Beispiel CIFAR-10 (ResNet-56): ZSharp erreicht 92,64 % Genauigkeit, im Vergleich zu SAM (91,60 %) und ASAM (92,28 %).
Beispiel ViT: Auch bei Transformer-Architekturen zeigt ZSharp signifikante Verbesserungen gegenüber SAM und ASAM.
Trainingsverlust vs. Testgenauigkeit: ZSharp zeigt typischerweise einen etwas höheren Trainingsverlust als SAM, erreicht aber eine bessere Testgenauigkeit. Dies deutet darauf hin, dass die Methode zu flacheren Minima konvergiert, was die Generalisierung auf ungesehene Daten verbessert.
Hyperparameter-Sensitivität: Die Analyse des Perzentilschwellenwerts $Q_p$ zeigt, dass ein Wert von 0,95 (Behalten der Top 5 % der Gradienten) optimal ist. Werte, die näher an 0 liegen (mehr Gradienten), nähern sich dem Verhalten von SAM an, während zu strenge Filterung die Leistung mindert.

5. Wichtige Beiträge und Signifikanz

Neue Perspektive auf Gradientenrauschen: Das Paper identifiziert, dass kleine Gradientenkomponenten in SAM oft Rauschen darstellen und die Störungsrichtung verzerren. Die Lösung besteht nicht in einer anderen Normalisierung, sondern in einer selektiven Filterung.
Effizienz und Einfachheit: ZSharp führt nur einen zusätzlichen Hyperparameter ( $Q_p$ ) ein und erfordert keine Änderungen an der Netzarchitektur oder dem Basis-Optimierer. Es ist kompatibel mit bestehenden SAM-Implementierungen.
Robustheit: Die Methode funktioniert sowohl bei CNNs (ResNet, VGG) als auch bei modernen Transformern (ViT) effektiv, was die Skalierbarkeit der Technik unterstreicht.
Theoretische Fundierung: Im Gegensatz zu vielen heuristischen Verbesserungen wird die Konvergenz von ZSharp mathematisch rigoros bewiesen.

Fazit:
ZSharp stellt eine effiziente und theoretisch fundierte Verbesserung von Sharpness-Aware Minimization dar. Durch die Fokussierung auf statistisch signifikante Gradientenkomponenten mittels Z-Score-Filterung reduziert es den Einfluss von Rauschen auf die Störungsrichtung, führt zu flacheren Minima und verbessert dadurch signifikant die Generalisierungsfähigkeit von Deep Learning-Modellen.