🤖 machine learning

Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer

Das Papier stellt Nora vor, einen skalierbaren Matrix-Optimierer, der Effizienz, Stabilität und Geschwindigkeit vereint, indem er eine zeilenweise Momentum-Projektion zur Stabilisierung von Gewichtsnormen und Winkelgeschwindigkeiten einsetzt und gleichzeitig eine strukturierte Vorkonditionierung mit optimaler $\mathcal{O}(mn)$ -Rechenkomplexität approximiert.

Ursprüngliche Autoren: Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinghui Yuan, Jiaxuan Zou, Shuo Wang, Yong Liu, Feiping Nie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein riesiges Gehirn unterrichten

Stellen Sie sich vor, Sie trainieren ein massives künstliches Intelligenz-Gehirn (KI), wie ein Large Language Model (LLM). Dieses Gehirn besteht aus Milliarden winziger Knöpfe und Schalter (Parameter), die justiert werden müssen, damit es lernt, menschliche Sprache zu sprechen.

Der Prozess des Justierens dieser Knöpfe heißt Optimierung. Der „Optimierer" ist der Lehrer, der den Knöpfen sagt, wie stark sie gedreht werden sollen und in welche Richtung.

Lange Zeit war Adam der beliebteste Lehrer. Doch Adam behandelt die Knöpfe des Gehirns wie einen flachen, unordentlichen Haufen Murmeln. Er erkennt nicht, dass diese Knöpfe eigentlich in sauberen, strukturierten Gittern (Matrizen) angeordnet sind.

Kürzlich traf ein neuer Lehrer namens Muon ein. Muon ist brillant darin, die Gitterstruktur zu verstehen, aber er ist unglaublich langsam und rechenintensiv – wie ein Lehrer, der für jede einzelne Knopf-Drehung stehen bleibt, um eine komplexe mathematische Gleichung zu lösen. Ein weiterer Lehrer, RMNP, ist schnell, bringt die Knöpfe aber manchmal in die falsche Richtung zum Wackeln, was das Training instabil macht.

Nora ist der neue Lehrer, der in diesem Paper vorgestellt wird. Er behauptet, der „Goldlöckchen"-Optimierer zu sein: Er ist schnell wie RMNP, klug wie Muon und stabil genug, um das Training auf Kurs zu halten, ohne abzustürzen.

Die drei Regeln eines guten Lehrers

Die Autoren argumentieren, dass ein perfekter Optimierer drei Regeln erfüllen muss:

Effizienz: Er muss die intelligente „Gitterstruktur" nutzen, um schneller zu lernen.
Stabilität: Er darf das System nicht erschüttern. Wenn die Knöpfe zu stark wackeln, vergisst die KI, was sie gelernt hat.
Geschwindigkeit: Er muss rechnerisch günstig sein, damit er nicht ewig dauert.

Die meisten bestehenden Lehrer versagen bei einer dieser Regeln. Muon ist zu langsam. RMNP ist zu wackelig. Nora zielt darauf ab, alle drei zu beheben.

Wie Nora funktioniert: Die „Tanzboden"-Analogie

Um Nora zu verstehen, stellen Sie sich die Gewichte der KI (die Knöpfe) als Tänzer auf einem Boden vor.

1. Das Problem: Das „radiale" Wackeln

In moderner KI ist die Größe des Tänzers weniger wichtig als die Richtung, in die er schaut. Dies nennt man Skaleninvarianz.

Der Fehler: Alte Optimierer drücken die Tänzer manchmal direkt auf den oder vom Zentrum des Raums zu (radiale Bewegung). Das ist wie ein Tänzer, der auf der Stelle dreht und sich gleichzeitig näher an die Wand bewegt. Das hilft ihnen nicht, die Tanzschritte zu lernen; es verschwendet nur Energie und macht sie schwindelig (instabil).
Das Ziel: Wir wollen nur, dass sich die Tänzer seitwärts (tangential) bewegen, ihre Richtung ändern, ohne ihren Abstand zum Zentrum zu verändern.

2. Die Lösung: Die „zeilenweise" Projektion

Nora nutzt einen cleveren Trick namens Zeilenweise Orthogonale Projektion.

Stellen Sie sich die Gewichtsmatrix als ein Gitter von Tänzern vor, zeilenweise.
Bevor Nora einer Reihe von Tänzern sagt, sie sollen sich bewegen, prüft sie: „Versucht ihr, zum Zentrum zu bewegen?"
Wenn ja, schneidet Nora diesen Teil der Bewegung ab. Sie projiziert die Bewegung so, dass sich die Tänzer nur seitwärts bewegen, senkrecht zu ihrer aktuellen Position.
Das Ergebnis: Die Tänzer bleiben auf ihrem „Tanzkreis", was sicherstellt, dass das System stabil bleibt und nicht schwindelig wird.

3. Der Geschwindigkeits-Trick: Der „diagonale Abkürzungsweg"

Der „kluge" Lehrer (Muon) versucht, den perfekten Pfad für das gesamte Gitter auf einmal zu berechnen. Dies erfordert schwere Mathematik (Newton-Schulz-Iteration), die lange dauert.

Noras Abkürzung: Die Autoren stellten fest, dass in diesen KI-Gittern die „Zeilen" gewissermaßen unabhängig voneinander agieren. Sie erkannten, dass sie den klugen Pfad approximieren könnten, indem sie nur die Diagonale des mathematischen Problems betrachten.
Anstatt eine massive, komplexe Berechnung für das gesamte Gitter durchzuführen, normalisiert (skaliert) Nora einfach jede Zeile einzeln.
Die Analogie: Anstatt dass ein Verkehrsleiter die perfekte Route für jedes Auto in einer Stadt gleichzeitig berechnet (langsam), sagt Nora einfach jedem Auto, geradeaus zu fahren und einen sicheren Abstand zum Auto vor ihm zu halten (schnell).

Warum ist Nora besser? (Die Ergebnisse)

Das Paper testete Nora an KI-Modellen (LLaMA) verschiedener Größen (60 Millionen und 135 Millionen Parameter) und verglich es mit Muon, RMNP und Mano.

Bessere Leistung: Nora erreichte die niedrigste Fehlerrate (Loss) und die beste „Perplexity" (ein Maß dafür, wie verwirrt die KI ist) im Vergleich zu den anderen Optimierern. Es lernte die Sprache besser.
Schnelleres Training: Da Nora die schwere Mathematik überspringt und nur einfache Zeilen-Normalisierung durchführt, ist sie deutlich schneller.
- Bei kleinen Modellen war sie etwa 10-mal schneller als die Methode mit schwerer Mathematik.
- Bei riesigen Modellen (1 Milliarde Parameter) war sie über 70-mal schneller.
Stabilität: Durch das Ausschneiden des „radialen Wackelns" hielt Nora das Training glatt, während andere Methoden manchmal oszillierten oder stecken blieben.

Die Behauptung „Zwei Zeilen Code"

Eine der aufregendsten Behauptungen im Paper ist, dass trotz all dieser mathematischen Raffinesse die Kernlogik von Nora unglaublich einfach ist. Die Autoren geben an, dass das gesamte „Gehirn" des Optimierers in nur zwei Zeilen Code geschrieben werden kann. Dies macht es für andere Entwickler sehr einfach, es in ihre bestehenden Systeme einzubinden, ohne alles neu schreiben zu müssen.

Zusammenfassung

Nora ist eine neue Art, KI-Gehirne zu trainieren. Sie behebt die Instabilität schneller Optimierer und die Langsamkeit intelligenter Optimierer. Sie tut dies durch:

Das Ausschneiden unnützer Bewegungen (die KI stabil halten).
Das Nehmen einer klugen Abkürzung (die KI schnell halten).
Besseres Lernen (die besten Ergebnisse erzielen).

Das Paper beweist mathematisch, dass dies funktioniert, und zeigt durch Experimente, dass es derzeit der effizienteste Weg ist, diese massiven Modelle zu trainieren.

Technische Zusammenfassung: Nora (Normalized Orthogonal Row Alignment)

Problemstellung

Das Training von Large Language Models (LLMs) stützt sich stark auf adaptive Optimierer wie Adam, die Parameter als flache Vektoren behandeln und dadurch die reichen strukturellen Wechselwirkungen innerhalb der Verlustlandschaft ignorieren. Zwar sind matrixbasierte Optimierer wie Muon entstanden, um dies durch orthogonalisierte Updates und Newton-Schulz-Iterationen zu adressieren, doch sie verursachen prohibitiv hohe Rechenkosten von $O(m^2n)$ , was die Skalierbarkeit einschränkt.

Im Gegensatz dazu reduzieren vereinfachte Ansätze wie RMNP (Row-wise Momentum Normalized Preconditioning) die Komplexität auf $O(mn)$, indem sie die blockdiagonale Dominanz der Transformer-Hessischen Matrix auf Zeilenebene ausnutzen. RMNP berücksichtigt jedoch nicht die Skaleninvarianz, die modernen neuronalen Netzen inhärent ist (aufgrund von BatchNorm, RMSNorm, LayerNorm). Es erlaubt „radiale Updates" (Updates, die mit dem Gewichtsvektor ausgerichtet sind), die die funktionale Ausgabe nicht verändern, aber Rauschen einführen, die effektive Lernrate destabilisieren und chaotische Oszillationen in den Gewichtsnormen verursachen.

Bestehende Methoden versagen im Allgemeinen darin, drei Kernanforderungen zu vereinen: Effizienz (Muon-ähnliche Vorbedingung), Stabilität (Einhaltung der Skaleninvarianz) und Geschwindigkeit (minimaler Rechenoverhead).

Methodik: Der Nora-Optimierer

Die Autoren schlagen Nora (Normalized Orthogonal Row Alignment) vor, einen Optimierer, der entwickelt wurde, um alle drei Anforderungen gleichzeitig zu erfüllen. Die zentrale Designphilosophie basiert auf der geometrischen Beobachtung, dass bei skaleninvarianten Parametern effektives Lernen entlang angularer (tangentialer) Richtungen und nicht entlang radialer Richtungen stattfindet.

Algorithmische Schritte

Für eine Gewichtsmatrix $w \in \mathbb{R}^{m \times n}$ und Impuls $v_t$ :

Zeilenweise orthogonale Projektion: Nora projiziert den Impuls $v_t$ explizit auf das zeilenweise orthogonale Komplement der Gewichte $w$ . Für jede Zeile $i$ wird die Komponente parallel zur Gewichtszeile entfernt:
$v_{t,i:}^{\perp} = v_{t,i:} - \frac{\langle v_{t,i:}, w_{t,i:} \rangle}{\|w_{t,i:}\|^2} w_{t,i:}$
Dies stellt sicher, dass $\langle v_{t,i:}^{\perp}, w_{t,i:} \rangle = 0$ gilt, filtert radiales Rauschen strikt heraus und stabilisiert die Gewichtsnormen.
Zeilenweise Normalisierung (Vorbedingung): Unter Ausnutzung der blockdiagonalen Dominanz der Transformer-Hessischen Matrix auf Zeilenebene approximiert Nora die strukturierte Vorbedingung von Muon. Anstelle teurer Newton-Schulz-Iterationen wird ein diagonaler Vorbedingungsfaktor auf den projizierten Impuls angewendet. Algebraisch vereinfacht sich dies zu einer einfachen zeilenweisen $\ell_2$ -Normalisierung:
$d_t = \text{RN}(v_t^{\perp}) \implies d_{t,i:} = \frac{v_{t,i:}^{\perp}}{\|v_{t,i:}^{\perp}\|_2}$
Dieser Schritt erreicht eine Muon-ähnliche Effizienz bei der Vorbedingung, während die im Projektionsschritt etablierte Orthogonalität erhalten bleibt.
Update: Die Gewichte werden unter Verwendung der normalisierten Richtung $d_t$ mit einer Lernrate $\eta_t$ aktualisiert.

Theoretische Grundlagen

Skalierbarkeit: Unter Verwendung des Maximal Update Parametrization ( $\mu$ P)-Rahmens beweisen die Autoren, dass Nora für stabiles Feature-Learning, wenn die Netzbreite $n \to \infty$ , eine Lernrate erfordert, die wie $\eta_t \propto 1/\sqrt{n}$ skaliert.
Konvergenz: Die Arbeit liefert rigorose Konvergenzgarantien für nicht-konvexe Optimierungslandschaften. Es wird gezeigt, dass Nora einen $\epsilon$ -stationären Punkt mit einer Komplexität von $O(m L \sigma^2 \Delta \epsilon^{-4})$ unter angepassten $(\infty, 2)$ -Glattheitsannahmen erreicht.
Implementierung: Die Kernlogik erfordert nur zwei Zeilen matrixbasierter Code, was Nora zu einem Plug-and-Play-Modul macht, das mit bestehenden Frameworks kompatibel ist.

Hauptbeiträge

Neues Optimierer-Design: Einführung von Nora, das effiziente Vorbedingungs-Schätzung, Stabilität durch Respektierung der Skaleninvarianz und hohe Rechengeschwindigkeit vereint.
Theoretische Strenge: Beweis, dass Nora ein skalierbarer Optimierer ist, mit abgeleiteten Skalierungsgesetzen ( $\eta \propto 1/\sqrt{n}$ ) und Konvergenzgarantien für nicht-konvexe Probleme.
Empirische Validierung: Umfassende Experimente zum Training von LLaMA-artigen Modellen (60M und 135M Parameter) zeigen, dass Nora sowohl in der Konvergenzgeschwindigkeit als auch in der Wanduhrzeit Muon, Mano und RMNP übertrifft.

Experimentelle Ergebnisse

Die Autoren bewerteten Nora bei Aufgaben des autoregressiven Sprachmodells über verschiedene Lernraten und Modellskalen hinweg:

Leistung: Beim 135M-Modell erreichte Nora den niedrigsten Validierungsverlust (3,079) und die niedrigste Perplexität (21,74) unter allen verglichenen Optimierern (Muon: 3,142/23,17; Mano: 3,097/22,13; RMNP: 3,112/22,46).
Trainingsdynamik: Während RMNP eine starke Leistung in der Frühphase zeigte, stagnierte es. Nora startete mit einem höheren anfänglichen Verlust, verbesserte sich jedoch bis spät ins Training hinein, überholte andere Methoden und erreichte die besten Endmetriken.
Effizienz: Laufzeitbenchmarks auf repräsentativen Matrixformen (z. B. MLP-Matrizen im 1B-Maßstab) zeigten, dass die zeilenweise Normalisierung von Nora etwa 70-mal schneller ist als die 5-stufige Newton-Schulz-Orthogonalisierung, die von Muon verwendet wird.
Ablation: Vergleiche mit Mano (eine ähnliche Projektionsmethode auf Zeilen-/Spaltenebene) bestätigten, dass die Überlegenheit von Nora auf ihrer spezifischen Abhängigkeit von der blockdiagonalen Dominanz auf Zeilenebene und ihrer straffen Architektur beruht, und nicht auf Hyperparameter-Tuning oder Einstellungen für Gewichtsdecay.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Nora zeigt, wie Effizienz, Stabilität und Geschwindigkeit durch ein einfaches zeilenweises geometrisches Prinzip vereint werden können. Durch die rigorose Stabilisierung von Gewichtsnormen und angularen Geschwindigkeiten bei gleichzeitiger Approximation strukturierter Vorbedingung bietet Nora eine „praktische und prinzipielle Richtung für das Design skalierbarer Optimierer". Die Autoren betonen, dass Nora eine State-of-the-Art-Dateneffizienz ohne den prohibitiven Rechenoverhead der vollständigen Matrixorthogonalisierung erreicht, was es zu einem vielversprechenden Kandidaten für das Training von LLMs im großen Maßstab macht.