🤖 machine learning

Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning

Dieser Artikel zeigt, dass sowohl die Flachheit des Verlustlandschafts als auch die Gradientenausrichtung strukturell notwendig sind, um das übermäßige Risiko beim Lernen über mehrere Verteilungen hinweg zu minimieren, was zur Entwicklung von SAGE führt, einer neuen Methode, die diese Eigenschaften gleichzeitig durch spektralbewusste Störungen und isotrope Rauscheinspeisung optimiert, um state-of-the-art-Leistung in der Domänengeneralisierung und beim Multi-Task-Learning zu erzielen.

Ursprüngliche Autoren: Aristotelis Ballas, Christos Diou

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aristotelis Ballas, Christos Diou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum „Gut Genug" nicht gut genug ist

Stellen Sie sich vor, Sie versuchen, den besten Platz für ein Camp in einer weitläufigen, nebligen Berglandschaft zu finden. Sie wollen einen Ort, der:

Flach ist: Damit Ihr Zelt nicht wegrutscht oder einstürzt, wenn ein kleiner Wind weht (dies wird als Flachheit bezeichnet).
Einvernehmlich ist: Damit, wenn Sie fünf verschiedene Führer fragen (die unterschiedliche Wege gegangen sind), alle auf denselben Ort zeigen und zustimmen, dass er sicher ist (dies wird als Gradienten-Alignment bezeichnet).

Lange Zeit dachten Forscher, man müsse sich nur um eines dieser Dinge kümmern. Einige Methoden suchten nach dem flachsten Boden. Andere suchten nach dem Ort, an dem sich alle Führer einig waren.

Dieses Paper argumentiert, dass Sie beides benötigen.

Die Autoren, Aristotelis Ballas und Christos Diou, entdeckten eine mathematische „Falle". Sie bewiesen, dass Sie einen Ort haben können, der perfekt flach ist, aber an dem die Führer sich gegenseitig anbrüllen (wild voneinander abweichen). Umgekehrt können Sie einen Ort haben, an dem sich alle Führer einig sind, der aber auf einer messerscharfen Spitze thront, wo eine winzige Brise Sie umwerfen wird.

Wenn Sie nur nach Flachheit suchen, landen Sie möglicherweise in einem flachen Tal, in dem die Führer streiten. Wenn Sie nur nach Einigkeit suchen, landen Sie möglicherweise an einem Ort perfekter Einigkeit, der jedoch gefährlich instabil ist. Um die Reise zu überstehen (sich gut auf neue, ungesehene Situationen zu verallgemeinern), benötigen Sie einen Ort, der sowohl flach als auch einvernehmlich ist.

Das Problem mit aktuellen Methoden

Stellen Sie sich aktuelle KI-Trainingsmethoden als Wanderer mit einem einzigen Werkzeug vor:

Die „Flachheits"-Wanderer (wie SAM): Sie tragen einen langen Stock, um den Boden zu stupsen. Wenn der Boden zu stark kippt, bewegen sie sich weiter. Sie finden flache Stellen, aber ihnen ist egal, ob die Führer streiten. Sie könnten eine flache Stelle finden, an der die Hälfte der Führer sagt „Nach Links" und die andere Hälfte „Nach Rechts".
Die „Alignment"-Wanderer: Sie bewegen sich nur, wenn alle fünf Führer in dieselbe Richtung zeigen. Sie finden Einigkeit, aber sie könnten auf einer winzigen, scharfen Nadelspitze stehen, wo ein Schritt in jede Richtung eine Katastrophe auslöst.

Das Paper zeigt, dass diese beiden Ziele oft in entgegengesetzte Richtungen ziehen. Man kann nicht einfach das eine beheben und das andere ignorieren.

Die Lösung: SAGE (Der intelligente Entdecker)

Die Autoren schlagen eine neue Methode namens SAGE (Spectral-Aware Gradient-Aligned Exploration) vor. Stellen Sie sich SAGE als einen Wanderer mit einem superschlauen Kompass und einem Sicherheitsnetz vor.

SAGE tut zwei Dinge gleichzeitig, um den perfekten Campingplatz zu finden:

1. Die „Alle-Richtungen"-Sonde (Behebung der Flachheit)

Standardmethoden stupsen den Boden in die Richtung, in die der Wanderer gerade läuft. Wenn der Wanderer schnell läuft, ist der Stoß groß; wenn er langsam läuft, ist der Stoß winzig. Das ist unzuverlässig.

SAGEs Trick: Anstatt in eine Richtung zu stoßen, verwendet SAGE einen speziellen mathematischen „Orthogonalisierer" (basierend auf etwas, das Newton-Schulz-Iteration genannt wird). Stellen Sie sich vor, Sie nehmen ein unordentliches, verwickeltes Seil von Richtungen und richten es so aus, dass es den Boden mit gleicher Kraft in jede einzelne Richtung gleichzeitig stößt.

Die Analogie: Anstatt den Boden mit einem einzelnen Stock zu stupsen, lässt SAGE einen perfekt runden, schweren Ball fallen. Er testet die Stabilität des Bodens in jeder Richtung gleichzeitig. Wenn der Boden in irgendeiner Richtung wackelig ist, weiß SAGE, dass es kein guter Ort ist. Dies stellt sicher, dass die Lösung wirklich flach ist und nicht nur in einer bestimmten Richtung flach.

2. Der „Uneinigkeit"-Rauschen (Behebung des Alignments)

Wenn die Führer (verschiedene Datenquellen oder Aufgaben) anfangen zu streiten, ignoriert SAGE sie nicht einfach oder zwingt sie nicht zur Einigkeit. Stattdessen fügt es ein wenig „Schütteln" oder „Rauschen" zum Schritt des Wanderers hinzu.

Die Analogie: Stellen Sie sich vor, der Wanderer läuft auf einen Ort zu. Wenn alle Führer „Nach Norden" sagen, läuft der Wanderer geradeaus. Aber wenn die Führer streiten (einige sagen Norden, einige Süden), fügt SAGE ein wenig zufälliges Zittern zum Schritt des Wanderers hinzu. Dieses Zittern lässt den Wanderer zögern und diesen spezifischen Ort meiden.
Warum? Dieses „Zittern" drückt den Wanderer von Bereichen weg, in denen die Führer streiten. Es zwingt den Wanderer, einen Ort zu finden, an dem die Führer natürlich übereinstimmen, denn das ist der einzige Ort, an dem das Zittern ihn nicht vom Kurs bringt.

Die Ergebnisse: Das Rennen gewinnen

Die Autoren testeten SAGE an zwei Arten von Herausforderungen:

Domänen-Verallgemeinerung: Eine KI beibringen, Objekte auf Fotos zu erkennen, die an verschiedenen Orten aufgenommen wurden (z. B. Skizzen, Cartoons, echte Fotos), damit sie auf eine neue Art von Foto funktioniert, die sie noch nie gesehen hat.
Multi-Task-Lernen: Eine KI beibringen, mehrere Dinge gleichzeitig zu tun (z. B. Objekte in einer Straßenszene zu identifizieren und abzuschätzen, wie weit sie entfernt sind).

Das Ergebnis:

Bei der Herausforderung „Domänen-Verallgemeinerung" (ein berühmter Benchmark namens DomainBed) schlug SAGE jede andere Methode und stellte einen neuen Rekord auf.
Bei der „Multi-Task"-Herausforderung agierte SAGE wie ein universelles Upgrade. Als sie SAGE zu bestehenden KI-Trainern hinzufügten, wurden diese Trainer besser in ihrer Arbeit, ohne dass sie von Grund auf neu aufgebaut werden mussten.

Zusammenfassung

Das Paper beweist, dass man für den Aufbau einer robusten KI nicht nur nach einer „flachen" Lösung oder einer „einvernehmlichen" Lösung suchen kann. Man benötigt eine Lösung, die in jede Richtung flach ist und von allen Datenquellen einvernehmlich ist. Die neue Methode, SAGE, erreicht dies, indem sie den Boden in alle Richtungen gleichzeitig stößt und die KI von Stellen wegschüttelt, an denen die Datenquellen nicht übereinstimmen.

Technische Zusammenfassung: Flachheit und Gradientenausrichtung sind beide notwendig

Problemstellung

In Multi-Verteilungs-Lernszenarien, wie z. B. Domain Generalization (DG) und Multi-Task Learning (MTL), zielen bestehende Optimierungsmethoden typischerweise auf eine einzige geometrische Eigenschaft der Verlustlandschaft ab: entweder die Flachheit des Minimums (Sharpness-Aware Minimization, SAM) oder die Ausrichtung der Gradienten über verschiedene Verteilungen hinweg (Gradient Alignment).

Die Autoren argumentieren, dass diese Trennung strukturell unzureichend ist. Ein flaches Minimum kann sich in einem Bereich befinden, in dem verteilungsspezifische Gradienten in Konflikt stehen, was zu einer schlechten Generalisierung auf nicht gesehene Domänen führt. Umgekehrt kann ein Minimum mit gut ausgerichteten Gradienten in einem scharfen Becken liegen, wodurch die Lösung anfällig für Störungen wird. Die aktuelle Literatur fehlt eine formale Behandlung des Zusammenspiels dieser beiden Eigenschaften und behandelt sie oft als eigenständige Ziele.

Theoretische Analyse

Die Arbeit etabliert eine theoretische Grundlage, die zeigt, dass Flachheit und Gradientenausrichtung unabhängig voneinander sind und gemeinsam optimiert werden müssen.

Zusatzrisiko-Zerlegung (Satz 1):
Die Autoren leiten eine Zusatzrisiko-Zerlegung für den empirischen Minimierer erster Ordnung im Multi-Verteilungs-Lernen ab. Das erwartete Zusatzrisiko besteht aus zwei additiven führenden Termen:

Ausrichtungsterm: Skaliert als $\frac{1}{2K} \text{tr}(\bar{H}^{-1}\Sigma_g)$ , wobei $\bar{H}$ die durchschnittliche Hesse-Matrix (Krümmung) und $\Sigma_g$ die Kovarianz der Gradienten über die Verteilungen hinweg ist.
Krümmungsterm: Skaliert als $\frac{\sigma^2}{2} \text{tr}(\bar{H})$ und repräsentiert die Schärfe der Landschaft.

Kritischerweise erscheint $\bar{H}$ im Ausrichtungsterm invertiert und im Krümmungsterm nicht invertiert. Dieser strukturelle Zielkonflikt impliziert, dass die Minimierung eines Terms durch Umgestaltung der Hesse-Matrix den anderen Term strikt aufblähen kann.

Entkopplungsergebnis (Gegenbeispiel 1):
Um zu beweisen, dass die Optimierung einer Eigenschaft die andere nicht garantiert, stellen die Autoren ein Gegenbeispiel innerhalb der Familie quadratischer Verluste bereit. Sie zeigen, dass für jedes $M > 0$ Probleminstanzen existieren, die:

Flach, aber nicht ausgerichtet: Niedrige Krümmung ( $\text{tr}(\bar{H})$ ), aber hohe Gradientenabweichung ( $\text{tr}(\bar{H}^{-1}\Sigma_g)$ ).
Ausgerichtet, aber scharf: Niedrige Gradientenabweichung, aber hohe Krümmung.
Dies bestätigt, dass keine der Größen die andere beschränkt und Algorithmen, die nur einen Term anvisieren, kein geringes Zusatzrisiko garantieren können.

Methodik: SAGE

Motiviert durch die Zerlegung schlagen die Autoren SAGE (Spectral-Aware Gradient-Aligned Exploration) vor, einen Algorithmus, der sowohl den Krümmungs- als auch den Ausrichtungsterm über zwei heuristische Mechanismen gemeinsam anvisiert.

1. Spektrale Perturbation (Anvisierung der Krümmung)

Standard-SAM verwendet eine gradienten-skalierte Perturbation ( $\epsilon \propto \nabla L$ ), die Krümmungsinformationen ignoriert und von der Richtung des Gradientenvektors dominiert wird. SAGE ersetzt dies durch eine isotrope spektrale Perturbation:

Orthogonalisierung: Für die Gewichtsmatrix $W$ einer Schicht mit Gradient $G$ berechnet SAGE den orthogonalen Polarfaktor $Q = UV^T$ (wobei $G = U\Sigma V^T$ die SVD ist). Dies setzt alle Singulärwerte auf 1, erhält die Richtungsstruktur des Gradienten und gleicht die Magnitude über alle spektralen Richtungen aus.
Effiziente Berechnung: Anstelle einer vollständigen SVD approximiert SAGE $Q$ mittels der Newton–Schulz-Iteration, die unter Verwendung nur von Matrixmultiplikationen kubisch konvergiert.
Skalenadaptivität: Der Perturbationsradius wird durch die Frobenius-Norm der Gewichtsmatrix ( $\|W\|_F$ ) skaliert, wodurch sichergestellt wird, dass das Schärfe-Maß invariant gegenüber Parameternachparametrisierung ist (z. B. $W \to \alpha W$ ).

2. Gradientenausgerichtete Rauscheinjection (Anvisierung der Ausrichtung)

Um den Ausrichtungsterm ohne den rechenintensiven Aufwand der direkten Schätzung von $\Sigma_g$ zu adressieren, injiziert SAGE isotropes Gaußsches Rauschen im Abstiegschritt:

Rauschmagnitude: Die Rauschskala $\beta$ ist umgekehrt proportional zur Gradientenübereinstimmung $S(\theta)$ , definiert als die durchschnittliche paarweise Kosinusähnlichkeit der Gradienten über die Verteilungen hinweg. Spezifisch gilt $\beta = \gamma(1 - S(\theta))$ .
Mechanismus: Wenn Gradienten in Konflikt stehen ( $S(\theta) \ll 1$ ), wird signifikantes Rauschen injiziert, um den Optimierer von Bereichen mit hohem Konflikt wegzubiasen. Wenn Gradienten ausgerichtet sind ( $S(\theta) \approx 1$ ), verschwindet das Rauschen.

Experimentelle Ergebnisse

SAGE wurde auf fünf Domain-Generalization-Benchmarks (PACS, VLCS, OfficeHome, TerraIncognita, DomainNet) und zwei Multi-Task-Learning-Benchmarks (Cityscapes, NYU-v2) evaluiert.

Domain Generalization: SAGE erreichte eine neue State-of-the-Art-Durchschnittsgenauigkeit von 78,9 % auf dem DomainBed-Benchmark und übertraf spezialisierte DG-Methoden (z. B. BOA mit 78,1 %) sowie schärfenbewusste Anpassungen (z. B. SAGM mit 76,4 %).
Multi-Task Learning: SAGE fungierte als allgemeine Verbesserung für Basis-MTL-Löser. Bei Integration mit Lösern wie FairGrad, LS und MGDA verbesserte es die Leistung konsistent und reduzierte den Leistungsabfall pro Aufgabe im Vergleich zu Baselines für Single-Task-Learning.
Ablationsstudien: Experimente bestätigten, dass jede Komponente von SAGE (Newton-Schulz-Orthogonalisierung, Gewichtsskalierung und Rauscheinjection) positiv zur endgültigen Leistung beiträgt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass eine robuste Generalisierung in Multi-Verteilungs-Szenarien Minimums erfordert, die gleichzeitig über alle Richtungen hinweg flach sind und eine verbesserte Gradientenübereinstimmung aufweisen.

Theoretischer Beitrag: Die Arbeit liefert die erste formale Zusatzrisiko-Zerlegung, die Ausrichtungs- und Krümmungsterme explizit trennt und deren Unabhängigkeit durch ein Gegenbeispiel beweist.
Algorithmischer Beitrag: SAGE bietet einen leichten, direkt einsetzbaren Ersatz für Optimierer-Schritte, der beide geometrischen Eigenschaften adressiert, ohne die Speicherung von Gradienten pro Umgebung (über das für die Kosinusähnlichkeit Notwendige hinaus) oder das Lösen zusätzlicher Optimierungsprobleme zu erfordern.
Praktische Auswirkungen: Die Methode etabliert einen neuen State-of-the-Art auf Standard-DG-Benchmarks und demonstriert Vielseitigkeit durch die Verbesserung bestehender MTL-Löser, was darauf hindeutet, dass der Zielkonflikt zwischen Flachheit und Ausrichtung eine fundamentale Einschränkung im Multi-Verteilungs-Lernen ist, die von früheren Methoden übersehen wurde.

Die Autoren räumen Einschränkungen ein und stellen fest, dass die theoretischen Garantien asymptotisch und lokal sind (gültig in der Nähe stationärer Punkte) und die empirischen Gewinne, obwohl stark, nicht über jeden einzelnen Metrik im MTL im Vergleich zu hochspezialisierten Methoden einheitlich State-of-the-Art sind. Sie verweisen zudem auf die zusätzlichen rechenintensiven Kosten pro Schritt aufgrund der Newton-Schulz-Iterationen und der Gradientenberechnung pro Verteilung.