🤖 machine learning

Rethinking Bregman Divergences in Kronecker-Factored Optimizers

Diese Arbeit analysiert, wie verschiedene Bregman-Divergenzen die Fehler der Kronecker-Approximation über das Kovarianzspektrum verteilen, wobei sie aufzeigt, dass die obersten Eigenräume zuverlässig sind, während der Ausläufer verrauscht ist, was einen neuen substratbewussten Optimierer motiviert, der eigenwertbasierte Präkonditionierung mit adaptiver isotroper Beschleunigung kombiniert.

Ursprüngliche Autoren: Bing Liu, Wenjie Zhou, Chengcheng Zhao

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bing Liu, Wenjie Zhou, Chengcheng Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Eine Navigation durch einen nebligen Berg

Stellen Sie sich vor, Sie versuchen, einen massiven, schweren Roboter (ein KI-Modell) einen Berg hinunterzuführen, um das tiefste Tal (die bestmögliche Leistung) zu finden. Der Roboter ist zu groß, um auf der Stelle zu wenden, also benötigt er eine Karte, die ihm sagt, in welche Richtung es „abwärts“ geht.

In der Welt der KI wird diese Karte als Präkonditionierer bezeichnet. Er sagt dem Roboter, wie steil der Boden in jede Richtung ist, damit er die perfekte Schrittweite wählen kann.

Das Problem? Der Berg ist riesig, und eine perfekte, detaillierte Karte von jedem einzelnen Felsen und Kieselstein zu zeichnen, ist unmöglich und viel zu langsam. Deshalb nutzen Ingenieure eine Abkürzung: Sie approximieren die Karte mithilfe einer „Kronecker-faktorisierten“ Struktur. Man kann sich das so vorstellen, als versuche man, eine komplexe 3D-Landschaft zu beschreiben, indem man nur zwei separate 2D-Schnitte betrachtet (wie einen Schatten von der Seite und einen Schatten von vorne) und diese dann kombiniert.

Das Problem: Der „Schatten“ ist nicht perfekt

Die Autoren weisen auf einen grundlegenden Fehler in dieser Abkürzung hin: Der Schatten entspricht niemals perfekt dem echten Objekt.

Da der echte Berg (die Daten) komplex ist, kann man ihn niemals perfekt aus nur zwei 2D-Schnitten rekonstruieren. Es wird immer einen „Approximationsfehler“ geben – Teile der Karte, die leicht falsch sind.

Lange Zeit glaubten Forscher, dass all diese Abkürzungsmethoden im Grunde dieselben seien, nur dass sie leicht unterschiedliche mathematische Formeln (genannt Bregman-Divergenzen) verwenden, um zu messen, wie „falsch“ der Schatten ist. Die Arbeit stellt die Frage: Wenn wir keine perfekte Karte bekommen können, spielt es dann eine Rolle, welche Formel wir verwenden, um den Fehler zu messen?

Die Entdeckung: Unterschiedliche Formeln, unterschiedliche blinde Flecken

Die Autoren haben herausgefunden, dass es tatsächlich sehr wohl eine Rolle spielt. Unterschiedliche Formeln behandeln die „Fehler“ in der Karte unterschiedlich:

Frobenius (Der „Große-Kontext“-Fan): Diese Formel kümmert sich hauptsächlich um die großen, offensichtlichen Merkmale des Berges (die großen Gipfel und tiefen Täler). Sie ignoriet die winzigen Kieselsteine. Es ist wie ein Kartograf, der nur die Hauptverkehrsadern einzeichnet und die Nebenstraßen ignoriert.
LogDet (Das „Mikroskop“): Diese Formel ist besessen von den winzigen Details. Sie reagiert extrem empfindlich auf die kleinen, verrauschten Teile der Karte. Sie versucht, jeden winzigen Kieselstein zu korrigieren, selbst wenn dieser Stein nur ein zufälliger Felsbrocken ist, der nichts über die wahre Form des Berges aussagt.
von Neumann (Der „Mittelweg“): Diese liegt irgendwo dazwischen; sie achtet auf die großen Merkmale, aber nicht so aggressiv wie die erste Methode.

Die zentrale Erkenntnis: Die Autoren fanden heraus, dass die „großen Merkmale“ (das obere Spektrum der Daten) meist gut mit der wahren Form des Berges (der Hessian) übereinstimmen. Die „winzigen Details“ (das untere Spektrum) sind jedoch oft nur Rauschen – zufälliges Statik-Rauschen, das dem Roboter bei der Navigation nicht wirklich hilft.

Wenn man den „Mikroskop“-Ansatz (LogDet) verwendet, versucht man, den Roboter basierend auf zufälligem Rauschen zu steuern, was dazu führt, dass er schwankt und sich langsamer bewegt. Wenn man den „Große-Kontext“-Ansatz nutzt, konzentriert man sich auf die zuverlässigen Teile.

Die Lösung: Der „Subraum-bewusste“ Optimierer

Anstatt zu versuchen, die gesamte Karte mit einer einzigen Formel zu korrigieren, schlagen die Autoren eine neue Strategie namens BregTop vor. Sie teilen die Karte in zwei Zonen auf:

Die „Hochkonfidenz“-Zone (Oberes Spektrum):
- Was es ist: Die großen, klaren Merkmale des Berges.
- Strategie: Verwenden Sie hier eine präzise, eigenwertbasierte Karte. Dies sagt dem Roboter genau, wie er lenken muss und wie schnell er fahren soll, basierend auf dem tatsächlichen Gelände.
- Analogie: Das ist wie die Verwendung eines GPS mit hochauflösenden Satellitenbildern für die Hauptverkehrsstraßen.
Die „Verrauschte“ Zone (Unteres Spektrum):
- Was es ist: Die winzigen, unzuverlässigen Details, die größtenteils nur aus statischem Rauschen bestehen.
- Strategie: Hören Sie auf, diese Details kartieren zu wollen! Geben Sie dem Roboter stattdessen einfach einen stetigen, gleichmäßigen Stoß. Versuchen Sie nicht, jedem winzigen Kieselstein auszuweichen; bewegen Sie sich stattdessen einfach mit einer konstanten Geschwindigkeit vorwärts.
- Analogie: Das ist wie das Fahren durch ein nebliges Feld, in dem man den Boden nicht sehen kann. Anstatt zu versuchen, jedem unsichtbaren Stein auszuweichen, fahren Sie einfach mit einer sicheren, konstanten Geschwindigkeit geradeaus.

Die Ergebnisse

Die Autoren haben diese neue „Split-Strategie“ (BregTop) gegen die alten Methoden (wie den Standard-Shampoo und dessen Varianten) bei einer Aufgabe zum Training eines Sprachmodells getestet.

Das Ergebnis: Die neue Methode erreichte die Zielleistung schneller (in weniger Schritten) als die anderen.
Warum: Indem sie den zuverlässigen „großen Kontext“-Daten vertrauten und die „winzigen Details“ ignorierten, verschwendete der Roboter keine Energie mit Schwankungen. Er bewegte sich effizienter den Berg hinunter.

Zusammenfassung

Das Paper argumentiert, dass wir nicht versuchen sollten, jeden winzigen Fehler zu korrigieren, wenn wir die komplexe Welt der KI-Daten nicht perfekt abbilden können. Stattdessen sollten wir:

Den großen, klaren Mustern vertrauen.
Die verrauschten, unzuverlässigen Details, indem wir sie einfach und gleichmäßig behandeln, ignorieren.

Dieser Ansatz des „Wissens, was man vertrauen und was man ignorieren muss“, führt zu einem schnelleren und effizienteren Training von KI.

Technisches Resümee: Überdenken von Bregman-Divergenzen in Kronecker-faktorierten Optimierern

Problemstellung
Shampoo-artige Optimierer approximieren die Gradienten-Kovarianzmatrix $C = E[\text{vec}(G)\text{vec}(G)^\top]$ mithilfe einer Kronecker-faktorierten Struktur $L \otimes R$ , um die Rechenkomplexität zu reduzieren. Jüngste Arbeiten (Lin et al., 2026) haben verschiedene Shampoo-Varianten vereinheitlicht, indem sie diese als Minimierungsprobleme von Bregman-Matrix-Divergenzen zwischen $C$ und $L \otimes R$ formulierten. Es besteht jedoch eine kritische Lücke: Für generische dichte Kovarianzmatrizen ist eine exakte Kronecker-Faktorisierung unmöglich, was bedeutet, dass Approximationsfehler unvermeidlich sind. Es ist unklar, wie verschiedene Bregman-Divergenzen diesen Fehler über das Kovarianzspektrum verteilen und ob die resultierenden Präconditioner alle Teile des Spektrums gleichermaßen vertrauen. Da die Gradienten-Kovarianz oft signifikant von der wahren Hesse-Matrix abweicht, sind nicht alle Spektralkomponenten für das Preconditioning geeignet. Die zentrale Frage lautet: Wenn eine exakte Kronecker-Anpassung unmöglich ist, welche Teile des Kovarianzspektrums sollte ein strukturierter Optimierer approximieren und vertrauen?

Methodik und Analyse
Die Autoren gehen dieses Problem durch zwei primäre analytische Perspektiven an: die spektrale Geometrie von Bregman-Approximationen und die empirische Zuverlässigkeit von Kovarianz-Eigenräumen.

Spektrale Geometrie der Bregman-Approximation:
Die Arbeit charakterisiert, wie Frobenius-, von-Neumann- und LogDet-Divergenzen Approximationsfehler unterschiedlich bestrafen. Durch die Zerlegung der Divergenz in marginale Spektrumsterme und einen Kreuz-Spektral-Kopplungsterm $g_F(\lambda_i, \omega_j)$ zeigen die Autoren:
- Frobenius-Divergenz: Der Kopplungsterm $-\lambda_i \omega_j$ erzwingt eine bilineare Magnituden-Bestrafung, was das obere (große Eigenwert-) Spektrum stark betont.
- von-Neumann-Divergenz: Der Term $-\lambda_i \log \omega_j$ behält eine Präferenz für das obere Spektrum bei, dämpft diese jedoch logarithmisch.
- LogDet-Divergenz: Der Term $\lambda_i / \omega_j$ erzeugt eine relative Verhältnis-Verzerrung, was die Approximation extrem sensitiv gegenüber kleinen Eigenwerten (dem Tail-Spektrum) macht.
Theorem 2 etabliert, dass stationäre Punkte dieser Minimierungsprobleme nicht durch das rohe Residuum $(S^* - C)$ bestimmt werden, sondern durch ein divergenz-gewichtetes Residuum $\nabla^2 F(S^*)[S^* - C]$ . Infolgedessen richten sich die resultierenden Kronecker-Faktoren nach den spezifischen spektralen Präferenzen der gewählten Divergenz aus (z. B. sind LogDet-Faktoren sensitiver gegenüber kleinen Eigenwerten, während Frobenius-Faktoren dominante Subräume fokussieren).
Spektrale Zuverlässigkeit der Kovarianz-Präconditionierung:
Die Autoren untersuchen empirisch die Ausrichtung zwischen der Gradienten-Kovarianz und den Hesse-Eigenräumen auf einem Transformer-Modell, das auf SST-2 trainiert wurde. Die Ergebnisse (Tabelle 3) deuten darauf hin, dass der obere Kovarianz-Eigenraum wesentlich besser mit der Hesse-Matrix korreliert als die Komponenten mit niedrigeren Eigenwerten. Das Tail-Spektrum wird als verrauschter und weniger zuverlässig für das Preconditioning beobachtet, was im Einklang mit früheren Befunden steht (Kunstner et al., 2019; Thomas et al., 2020).
Vorgeschlagene Lösung: Subraum-bewusster Kronecker-Optimierer (BregTop):
Motiviert durch die Diskrepanz zwischen der divergenz-induzierten spektralen Präferenz und der tatsächlichen Zuverlässigkeit des Spektrums, schlagen die Autoren BregTop vor. Dieser Optimierer kombiniert die Stärken beider Beobachtungen:
- Er wählt Kronecker-Faktoren mittels einer top-sensitiven Divergenz (z. B. von-Neumann oder Frobenius).
- Er wendet die eigenwertbasierte Präconditionierung nur innerhalb des oberen Subraums an (die größten $\lceil \rho mn \rceil$ Einträge des gemeinsamen Kronecker-Spektrums).
- Er behandelt den komplementären unteren Subraum mit einer adaptiven isotropen Beschleunigungskonstante ( $\chi_{\rho, q}$ ), anstatt zu versuchen, das verrauschte Tail-Spektrum mit potenziell irreführenden Krümmungsinformationen zu präconditionieren.
Theoretisch zerlegt dies den Präconditioner in eine krümmungs-skalierte Top-Komponente und eine uniforme Beschleunigungskomponente für den Bottom-Raum (Theorem 4).

Wesentliche Beiträge

Charakterisierung der spektralen Geometrie: Die Arbeit liefert eine formale Charakterisierung dafür, wie Frobenius-, von-Neumann- und LogDet-Divergenzen unterschiedliche eigenwertabhängige Bestrafungen induzieren, und zeigt, dass stationäre Kronecker-Faktoren durch divergenz-gewichtete Residuen und nicht durch rohe Fehler bestimmt werden.
Empirische spektrale Zuverlässigkeit: Die Arbeit demonstriert, dass während das vollständige Kovarianzspektrum unzuverlässig für das Preconditioning ist, der obere Eigenraum eine starke Ausrichtung zur Hesse-Matrix beibehält, was einen subraum-bewussten Ansatz rechtfertigt.
Design eines Subraum-bewussten Optimierers: Die Autoren führen BregTop ein, einen Algorithmus, der adaptiv zwischen Eigenwert-basierter Skalierung im zuverlässigen oberen Subraum und isotroper Beschleunigung im verrauschten unteren Subraum wechselt.

Experimentelle Ergebnisse
Die Autoren evaluierten BregTop gegen Standard-Shampoo, KL-Shampoo, VN-Shampoo und F-Shampoo auf einem 4-Schicht-Transformer, der auf dem vollständigen SST-2-Datensatz trainiert wurde. Als Metrik wurde die Anzahl der Schritte verwendet, die benötigt werden, damit der EMA-geglättete Trainingsverlust unter 0,05 fällt.

BregTop-VN-v2 erreichte den Zielverlust in 1003 Schritten und übertraf damit das Standard-Shampoo (1119 Schritte) und das Baseline-VN-Shampoo (1127 Schritte).
Die BregTop-Varianten verbesserten die entsprechenden Divergenz-Baselines konsistent (z. B. verbesserte BregTop-VN gegenüber VN-Shampoo; BregTop-F gegenüber F-Shampoo), was den Nutzen der Isolierung des oberen Subraums für das Preconditioning validiert.

Bedeutung und Ansprüche
Das Paper behauptet, dass das Design strukturierter Optimierer die unvermeidliche Approximationsfehlers bei der Kronecker-Faktorisierung und die variierende Zuverlässigkeit des Kovarianzspektrums berücksichtigen sollte. Durch die Erkenntnis, dass verschiedene Bregman-Divergenzen inhärent unterschiedliche spektrale Regionen priorisieren und dass nur das obere Spektrum zuverlässig mit der Hesse-Matrix ausgerichtet ist, bietet der vorgeschlagene subraum-bewusste Ansatz eine robustere Präconditionierungsstrategie. Die Autoren merken an, dass ihr Design konsistent mit den in Song et al. (2025) beobachteten Trainingsdynamiken ist, bei denen das Lernen im unteren Subraum stattfindet; die Anwendung isotroper Beschleunigung dort bewahrt den notwendigen Gradientenfluss, während sie gleichzeitig verrauschte Updates in Richtungen hoher Krümmung über die Top-Subraum-Präconditionierung dämpft. Die Ergebnisse legen nahe, dass dieser hybride Ansatz die Schritt-Effizienz verbessert, ohne dass vollständige Sekundordaten erforderlich sind.