🤖 machine learning

Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning

Dieses Paper stellt Zeta vor, einen dualen Whitening-Optimizer, der die kritische Schwachstelle bestehender matrixbewusster Methoden adressiert, indem er Coordinate Whitening vor Spectral Whitening anwendet, um Skalenheterogenität zu korrigieren und dadurch die Konvergenz sowie Generalisierung über großskalige Sprach- und Vision-Modelle hinweg zu verbessern.

Ursprüngliche Autoren: Kaiwen Chen, Shuhai Zhang, Qiuwu Chen, Zimo Liu, Linxiao Li, Ying Sun, Yuchen Li, Yifan Zhang, Bo Han, Mingkui Tan

Veröffentlicht 2026-06-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kaiwen Chen, Shuhai Zhang, Qiuwu Chen, Zimo Liu, Linxiao Li, Ying Sun, Yuchen Li, Yifan Zhang, Bo Han, Mingkui Tan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem riesigen, komplexen Roboter (einem neuronalen Netz) eine neue Fähigkeit beizubringen, wie zum Beispiel das Schreiben von Gedichten oder das Erkennen von Katzen. Um dies zu tun, benötigen Sie einen „Coach“ (einen Optimierer), der dem Roboter sagt, wie er seine Gehirnzellen (Parameter) nach jedem Fehler anpassen muss.

Lange Zeit behandelten die besten Coaches jede einzelne Gehirnzelle als Individuum. Sie betrachteten jede Zelle, sahen, wie sehr sie sich vertan hatte, und gaben ihr einen winzigen Anstoß. Das funktionierte ganz ordentlich, ignorierte aber die Tatsache, dass Gehirnzellen in Teams arbeiten.

Vor kurzem kam ein neuer Typ von Coach namens Muon auf den Markt. Anstatt sich auf einzelne Zellen zu konzentrieren, betrachtete Muon ganze Teams (Matrizen) auf einmal. Er versuchte sicherzustellen, dass sich das Team auf eine perfekt ausbalancierte, koordinierte Weise bewegte, wie ein Synchronschwimmteam. Das funktionierte großartig für riesige Roboter, doch die Autoren des Papers entdeckten einen verborgenen Fehler in der Logik von Muon.

Das Problem: Die „Lautsprecher“-Teammitglieder

Die Autoren entdeckten, dass in Muons Synchronschwimmteam einige Teammitglieder so laut schrien, dass sie alle anderen übertönten.

In technischen Begriffen bedeutet das: Der „Momentum“ (das Gedächtnis vergangener Fehler) für einige Teile der Matrix war riesig, während er für andere winzig war. Wenn Muon versuchte, seinen schicken „synchronisierten Tanz“ (eine sogenannte Newton–Schulz-Iteration) auszuführen, brachten die Lautsprecher den Rhythmus durcheinander. Das Team konnte sich nicht richtig koordinieren, weil der Input unausgewogen war. Es ist wie der Versuch, ein Orchester zu dirigieren, bei dem die Trompeten mit voller Lautstärke dröhnen, während die Violinen nur flüstern; die Musik klingt schrecklich, egal wie gut der Dirigent auch ist.

Die Autoren bewiesen dies, indem sie einen „Uniformitätstest“ (eine statistische Prüfung) durchführten. Sie fanden heraus, dass die „Lautstärkewerte“ über die Matrix hinweg vor jeder Korrektur völlig ungeordnet waren.

Die Lösung: Zeta (Der Zwei-Schritte-Coach)

Die Autoren schlagen einen neuen Coach namens Zeta vor. Zeta erkennt, dass man den Rhythmus des Orchesters nicht korrigieren kann, bevor man nicht zuerst die Lautstärkewerte in den Griff bekommen hat. Daher nutzt Zeta einen strikten Zwei-Schritte-Prozess:

Schritt 1: Der Lautstärkeregler (Coordinate Whitening)
Bevor das Team versucht zu tanzen, geht Zeta herum und dreht die Lautstärke bei den schreienden Trompeten leiser und bei den flüsternden Violinen lauter. Es normalisiert die „Lautstärke“ jedes einzelnen Eintrags in der Matrix. Jetzt sind alle auf einer gleichen Ebene. Das Team wird nicht mehr von ein paar lauten Stimmen domiert.
Schritt 2: Der synchronisierte Tanz (Spectral Whitening)
Jetzt, da die Lautstärke ausgeglichen ist, lässt Zeta das Team seinen schicken synchronisierten Tanz aufführen. Da der Input nun ruhig und ausgewogen ist, funktioniert der Tanz perfekt. Das Team bewegt sich in einem wunderschönen, koordinierten geometrischen Muster, das Muon zwar zu vollbringen versuchte, aber aufgrund der unausgewogenen Lautstärke scheiterte.

Warum die Reihenfolge wichtig ist: Das Paper betont, dass man diese Schritte nicht vertauschen darf. Wenn man versucht, zuerst zu tanzen (Schritt 2) und erst danach die Lautstärke zu korrigieren (Schritt 1), wird der Tanz immer noch durch das anfängliche Geschrei ruiniert werden. Die Korrektur der Lautstärke muss zuerst erfolgen, um das stabile Fundament zu schaffen, das der Tanz benötigt.

Die Ergebnisse: Schneller und Schlauer

Die Autoren testeten Zeta auf verschiedenen „Robotern“ (KI-Modellen), die von kleinen (0,6 Milliarden Parameter) bis hin zu massiven (8 Milliarden Parameter) sowie auf Modellen, die eine „Mixture of Experts“ verwenden (bei denen verschiedene Teile des Gehirns unterschiedliche Aufgaben übernehmen).

Schnelleres Lernen: Zeta lernte schneller als die alten Coaches (AdamW und Muon). Es erreichte das gleiche Niveau an Geschicklichkeit in weniger Trainingsschritten.
Bessere Generalisierung: Die mit Zeta trainierten Modelle waren besser in Aufgaben, die sie vorher noch nicht gesehen hatten, wie zum Beispiel das Beantworten kniffliger Fragen oder das Erkennen von Bildern.
Effizienz: Zeta machte die Prozesse nicht langsamer. Es lernte schneller, ohne viel zusätzliche Zeit pro Schritt zu beanspruchen.

Das Fazit

Betrachten Sie Zeta als einen Coach, der begriffen hat, dass man, bevor man ein Team lehrt, sich in perfekter Harmonie zu bewegen, zuerst sicherstellen muss, dass alle die gleiche Lautstärke sprechen. Indem er zuerst das „Lautstärke-Ungleichgewicht“ behebt, kann das Team schließlich den „Harmonie-Tanz“ korrekt ausführen, was zu einer klügeren, schneller lernenden KI führt.

Das Paper behauptet, dass dies eine fundamentale Korrektur eines strukturellen Problems in der Funktionsweise dieser fortgeschrittenen Optimierer ist, und beweist, dass das Ausbalancieren der Waagschalen bevor man versucht, die Geometrie zu optimieren, der Schlüssel zum Erfolg ist.

Technisches Resümee: Zeta – Duales Whitening zur Matrix-Optimierung mittels koordinaten-adaptiver Präkonditionierung

Problemstellung

Das Training großer neuronaler Netze hat sich zunehmend hin zu matrixbewussten Optimierern verschoben, die die strukturellen Eigenschaften von Gewichtsparametern ausnutzen und über die elementweise Adaption hinausgehen. Ein führendes Beispiel ist Muon, das orthogonale Beschränkungen auf Gewichts-Updates erzwingt, indem es eine spektrale Whitening-Methode (speziell die Newton–Schulz-Iteration) verwendet, um Singularwerte zu egalisieren und zu verhindern, dass eine einzelne Richtung das Update dominiert.

Dieses Paper identifiziert jedoch eine kritische, unterschätzte Schwachstelle bei Muon und ähnlichen Spektralmethoden: Die Newton–Schulz-Iteration reagiert hochsensibel auf die Konditionierung des Inputs. Während die Iteration funktioniert, wenn die Singularwerte gut verteilt sind, weisen rohe Momentum-Matrizen im Training tiefer Netzwerke oft eine schwere koordinatenweise Skalenheterogenität auf. In diesen Matrizen besitzen einige Koordinaten unverhältnismäßig große Magnituden, was das Singular-Spektrum verzerrt. Wenn solche unkonditionierten Matrizen in den Newton–Schulz-Schritt eintreten, degradiert der Orthogonalisierungsprozess, was zu verzerrten Update-Richtungen führt, die die Gradientengeometrie nicht mehr originalgetreu widerspiegeln. Die Autoren argumentieren, dass spektrales Whitening implizit ein skalen-normalisiertes Input erfordert – eine Bedingung, die das rohe Momentum systematisch verletzt.

Methodik: Zeta-Optimizer

Um diese strukturelle Lücke zu schließen, schlagen die Autoren Zeta vor, einen dualen Whitening-Optimizer, der Koordinaten-Whitening und Spektral-Whitening in einer strikt geordneten, nicht-abstimmbaren Pipeline organisiert. Die zentrale Erkenntnis ist, dass spektrales Whitening auf statistischer Stabilisierung aufgebaut sein muss: Koordinaten-Whitening etabliert die statistische Isotropie, die erforderlich ist, damit das spektrale Whitening zuverlässig funktioniert.

Die Zeta-Pipeline arbeitet wie folgt:

Koordinaten-Whitening (Präkonditionierung):
Bevor sie die spektrale Phase erreicht, wendet Zeta eine koordinatenweise Normalisierung auf die Momentum-Matrix an. Es führt exponentielle gleitende Mittelwerte des ersten Moments ( $M_t$ ) und des zweiten Moments ( $V_t$ ) – ähnlich wie Adam. Die Momentum-Matrix wird dann elementweise durch das laufende zweite Moment normalisiert:
$\tilde{G}_t = \frac{M_t}{\sqrt{V_t} + \epsilon}$
Dieser Schritt homogenisiert die Skalenunterschiede über die Koordinaten hinweg und transformiert die Matrix in einen statistisch isotropen Zustand. Theoretisch fungiert dies als ein approximierter diagonaler Präkonditionierer, der das Skalenungleichgewicht adressiert, welches das Singular-Spektrum andernfalls verzerren würde.
Spektrales Whitening (Orthogonalisierung):
Die homogenisierte Matrix $\tilde{G}_t$ wird anschließend in die Newton–Schulz-Iteration eingespeist. Da der Input nun frei von extremen elementweisen Skalenunterschieden ist, ist sein Singular-Spektrum besser konditioniert. Die Iteration konvergiert gegen eine getreue orthogonale Approximation und gleicht die Singularwerte an, um eine balancierte Update-Richtung zu erzeugen.
Update-Konstruktion:
Die resultierende orthogonale Matrix $U_t$ wird mit einem RMS-normalisierten Faktor skaliert, um sicherzustellen, dass die Größe des Updates mit Standard-Optimizer-Konfigurationen (z. B. AdamW-Zweige) kompatibel ist, ohne die spektrale Richtung zu verändern.
Dual-Path-Ausführung:
Für matrixwertige Parameter (z. B. Attention- und Feed-Forward-Projektionen) wird die volle duale Pipeline angewendet. Für Nicht-Matrix-Parameter (z. B. Biases, LayerNorm-Skalen) wird der spektrale Schritt übersprungen, und der Optimizer fällt auf ein AdamW-ähnliches Update zurück.

Theoretische Beiträge

Das Paper liefert drei zentrale theoretische Garantien zur Unterstützung des Designs:

Approximatives Whitening: Der Schritt der Koordinaten-Normalisierung wird als effiziente diagonale Approximation der idealen Whitening-Transformation bewiesen (Theorem 1), was über heuristische Skalierung hinausgeht und zu einem fundierten Präkonditionierungsschritt führt.
Reduzierter Orthogonalisierungsfehler: Die Autoren beweisen, dass Koordinaten-Whitening die Konditionszahl des Inputs für die Newton–Schulz-Iteration strikt verbessert. Folglich wird der Orthogonalisierungsfehler der Spektralphase im Vergleich zum Betrieb auf rohem Momentum strikt reduziert (Theorem 2).
Skalenerhaltung: Die abschließende RMS-Skalierung bewahrt die spektrale Richtung des Updates und synchronisiert gleichzeitig dessen globale Magnitude mit dem Rest des Netzwerks (Theorem 3).

Empirische Ergebnisse

Zeta wurde über Sprachmodellierung (0,6B bis 8B Parameter), Mixture-of-Experts (MoE)-Architekturen und Vision-Aufgaben hinweg evaluiert und übertraf konsistent starke Baselines (AdamW, Muon und AdaMuon).

Konvergenzgeschwindigkeit: In Pretraining-Aufgaben demonstrierte Zeta eine schnellere Konvergenz als Muon und AdamW. Beispielsweise erreichte Zeta bei einem 1,7B-Parameter-Modell eine 1,67-fache Beschleunigung (relativ zu AdamW), um das gleiche Verlustniveau zu erreichen, und übertraf damit Muon (1,52×) und AdaMuon (1,61×). Bei einem 8B-Modell erreichte Zeta eine 1,25× Beschleunigung gegenüber Muon (1,19×).
Effizienz: Die pro Iteration anfallenden Zeitkosten von Zeta blieben vergleichbar mit AdamW (z. B. 25,47 s gegenüber 24,46 s für das 8B-Modell auf 16 GPUs), was zeigt, dass der duale Whitening-Prozess keine signifikanten Laufzeit-Penalties verursacht.
MoE-Performance: In MoE-Architekturen, in denen die spärliche Expert-Aktivierung eine erhebliche Gradienten-Heterogenität erzeugt, behielt Zeta einen klaren Vorteil bei und konvergierte mit weniger Fluktuationen zu einem niedrigeren Verlust als die Wettbewerber.
Downstream-Aufgaben: Auf 12 Sprachverständnis-Benchmarks (z. B. MMLU, GSM8k) erreichten mit Zeta trainierte Modelle die höchste durchschnittliche Genauigkeit sowohl bei 1,7B als auch bei 8B Skalen. Ähnlich erzielte Zeta bei CIFAR-100 Vision-Aufgaben die höchste Top-1 Validierungsgenauigkeit für sowohl ViT-Tiny als auch ViT-Base.
Hyperparameter-Robustheit: Eine Grid-Suche über die Momentum-Koeffizienten ( $\beta_1, \beta_2$ ) zeigte, dass Zeta robust gegenüber Hyperparameter-Wahlen ist, wobei die finale Trainingsverlust-Varianz über den getesteten Bereich weniger als 1,2 % betrug.

Bedeutung und Ansprüche

Das Paper behauptet, dass Zeta einen grundlegenden Mismatch in bestehenden matrixbewussten Optimierern löst: die Anwendung mächtiger geometrischer Operationen (spektrales Whitening) auf Signale mit unkontrollierten koordinatenweisen Skalen. Durch die Verifizierung der Verbreitung von Intra-Matrix-Skalenimbalancen mittels Chi-Quadrat-Uniformitätstests und den Nachweis, dass Koordinaten-Whitening dieses effektiv korrigiert, etablieren die Autoren, dass die Behebung des Skalenungleichgewichts vor der Orthogonalisierung eine Voraussetzung für stabile Spektralmethoden ist.

Die Bedeutung von Zeta liegt in der Vereinigung zweier zuvor konkurrierender Optimierungsparadigmen (koordinatenweise adaptive Skalierung und spektrale Orthogonalisierung) in eine einzige, logisch notwendige Pipeline. Die Reihenfolge der Operationen ist kein abstimmbarer Hyperparameter, sondern eine mathematische Abhängigkeit: Koordinaten-Whitening muss dem Spektral-Whitening vorausgehen, um sicherzustellen, dass der Input gut konditioniert ist. Dieser Ansatz führt zu schnellerer Konvergenz und besserer Generalisierung, ohne die geometrischen Vorteile der Matrix-Level-Optimierung zu opfern.