🤖 machine learning

Riemannian Gradient Descent for Low-Rank Architectures

Diese Arbeit untersucht den Riemannschen Gradientenabstieg über zehn algorithmische Designs für rangfaktorisierte Matrixparameter im Deep Learning, stellt jedoch fest, dass diese Methoden trotz Feinabstimmung nicht schlüssig einen AdamW-Baseline-Wert übertreffen, wenn sie auf Multi-Head-Attention in kleinen Sprachmodellen angewendet werden.

Ursprüngliche Autoren: Nicholas Knight

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicholas Knight

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein Berg navigieren vs. ein Auto fahren

Stellen Sie sich vor, Sie versuchen, den tiefsten Punkt in einem riesigen, nebligen Tal zu finden (dies repräsentiert das Training eines Modells für maschinelles Lernen, um weniger Fehler zu machen). Normalerweise verwenden Informatiker eine Standardmethode namens AdamW, was wie das Fahren eines Autos mit einem sehr intelligenten GPS ist. Das GPS sagt Ihnen, in welche Richtung es „abwärts“ geht, und Sie machen einen Schritt. Wenn Sie über eine Bodenwelle fahren, hilft die Federung des Autos (das Momentum), Sie in Bewegung zu halten. Das funktioniert großartig, aber es behandelt jedes Teil des Motors als ein separates, unabhängiges Teil.

Diese Arbeit stellt eine andere Frage: Was wäre, wenn wir die Motorteile als ein einziges, verbundenes System betrachten würden?

In der modernen KI werden viele Teile des Gehirns (das Modell) mithilfe von „Low-Rank“-Matrizen aufgebaut. Betrachten Sie diese nicht als einen riesigen, massiven Datenblock, sondern als ein gefaltetes Blatt Papier. Man kann die gesamte Form des Papiers beschreiben, indem man lediglich die Koordinaten der Faltenlinien kennt (zwei kleinere Matrizen, $A$ und $B$ ).

Der Autor argumentiert, dass Standardmethoden die Faltenlinien so behandeln, als wären sie unabhängig voneinander – das ist so, als würde man versuchen, ein zerknittertes Blatt Papier glattzustreichen, indem man an den Ecken zieht, ohne zu realisieren, dass das Papier zusammenhängend ist. Stattdessen schlägt der Autor den Riemannschen Gradientenabstieg (Riemannian Gradient Descent) vor.

Die Analogie:

Standardmethode (Euklidisch): Stellen Sie sich vor, Sie gehen auf einem flachen Boden. Sie machen einen Schritt in die Richtung, die das GPS vorgibt. Wenn Sie sich auf einem zerknitterten Papier befinden, könnten Sie versehentlich vom Papier wegtreten und müssten dann mühsam wieder zurückspringen.
Riemannsche Methode: Stellen Sie sich vor, Sie sind ein Surfer, der auf einer Welle reitet. Sie sind darauf beschränkt, auf der Oberfläche der Welle zu bleiben. Sie gehen nicht einfach nur, Sie gleiten entlang der Kurve der Welle. Diese Methode stellt sicher, dass Sie die „Form“ der Low-Rank-Matrix niemals verlassen, was die Mathematik sauber und theoretisch fundiert hält.

Das Experiment: Testen neuer Surfbretter

Der Autor baute zehn verschiedene „Surfbretter“ (Algorithmen), die auf dieser Wellenreiter-Idee basieren. Er testete sie an einem kleinen Sprachmodell (einem Gehirn, das lernt, das nächste Wort in einem Satz vorherzusagen).

Er testete zwei Haupttypen von Wellen:

Fixed-Rank-Wellen: Dabei wird das Papier bei einer spezifischen Festigkeit gefaltet gehalten.
Partielle Isometrie-Wellen: Eine strengere Regel, bei der das Papier perfekt orthogonal sein muss (wie ein perfekter rechter Winkel), was einer starreren, strukturierteren Welle entspricht.

Er testete auch eine „Grid“-Version, bei der mehrere Teile des Modells dieselben Faltenlinien teilen (wie eine Gruppe von Menschen, die dasselbe Seil halten).

Die Ergebnisse: Ein „gutes“, aber kein „großartiges“ Ergebnis

Hier ist das ehrliche Fazit der Arbeit, befreit von jeglichem Hype:

Es funktioniert, ist aber kein magisches Heilmittel: Die neuen Methoden haben das Modell erfolgreich trainiert. Sie sind nicht abgestürzt und haben die Aufgabe gelernt. Dies beweist, dass die Mathematik fundiert ist und der Code funktioniert.
Kein klarer Sieg: Nachdem er die „Geschwindigkeit“ (Lernrate) der neuen Surfbretter sorgfältig abgestimmt hatte, konnten sie den standardmäßigen AdamW-Wagen nicht konsistent schlagen.
- In einigen Fällen waren sie etwas besser.
- In anderen Fällen waren sie etwas schlechter.
- Insgesamt war der Unterschied so gering, dass man ihn auf zufälliges Rauschen zurückführen konnte (wie ein leichter Windzug, der den Pfad eines Blattes verändert).
Die Kosten: Die neuen Methoden sind rechenintensiver. Es ist, als würde man ein hochmodernes Elektroauto fahren, das eine spezielle Ladestation benötigt, während die Standardmethode ein zuverlässiges Auto mit Benzinmotor ist, das überall funktioniert. Da das neue Auto Sie nicht wesentlich schneller oder besser ans Ziel gebracht hat, kommt der Autor zu dem Schluss, dass es noch nicht bereit ist, die Standardmethode für den alltäglichen Gebrauch zu ersetzen.

Wichtige Erkenntnisse für das allgemeine Publikum

Die Theorie ist schön: Die Idee, die Parameter einer Matrix als eine gekrümmte Oberfläche (eine Mannigfaltigkeit/Manifold) statt als ein flaches Gitter zu betrachten, ist mathematisch elegant und logisch konsistent. Sie respektiert die verborgenen Beziehungen zwischen den Zahlen.
Die Praxis ist knifflig: Während die Theorie sagt: „Du solltest schneller ans Ziel kommen“, bedeutet die Realität des Deep Learning (mit seinem Rauschen, den massiven Daten und komplexen Architekturen), dass die Standardmethoden (AdamW) vorerst immer noch die Champions sind.
Zukünftiges Potenzial: Der Autor bleibt optimistisch. Nur weil ein neuer Motor kein Rennen auf einer kleinen Rennstrecke gewinnt, bedeutet das nicht, dass er nicht auf einer riesigen Autobahn gewinnen wird. Der Autor deutet an, dass diese geometrischen Methoden ihre wahre Stärke erst zeigen könnten, wenn Modelle größer werden (Skalierung).

Was die Arbeit nicht behauptet

Sie behauptet nicht, dass diese Methode Krankheiten heilen oder den Klimawandel lösen wird.
Sie behauptet nicht, dass dies die Zukunft der KI im jetzigen Moment ist.
Sie behauptet nicht, dass die Methode schneller oder günstiger ist (tatsächlich gibt sie zu, dass sie wahrscheinlich langsamer und komplexer ist).

Zusammenfassend lässt sich sagen: Der Autor hat eine anspruchsvolle, geometrische Art entwickelt, KI-Modelle zu trainieren, die die interne Struktur der Daten respektiert. Es funktioniert einwandfrei, aber für den Moment ist der alte, einfache Weg (AdamW) immer noch die beste Wahl, um die Arbeit effizient zu erledigen. Die neue Methode ist ein vielversprechender „Long Shot“, der sich vielleicht auszahlt, wenn wir viel größere Modelle bauen.

Technische Zusammenfassung: Riemannsche Gradientenabstiege für Low-Rank-Architekturen

Problemstellung
In modernen Deep-Learning-Modellen sind Modellparameter oft Matrizen, die durch einen niedrigen Rang beschränkt sind, um die Rechenkosten und die Parameteranzahl zu reduzieren (z. B. in Multi-Head-Attention-Mechanismen, bei denen $W = AB^T$ gilt). Standardmäßige Trainings-Updates verwenden die Faktoren $A$ und $B$ unabhängig voneinander unter Verwendung euklidischer Gradienten, wobei die geometrische Struktur der Menge der Rang- $r$ -Matrizen ignoriert wird. Diese Arbeit untersucht, ob die Behandlung der rangbeschränkten Matrix $W$ als Punkt auf einer glatten Mannigfaltigkeit und die Anwendung von Riemannscher Optimierung eine bessere Konvergenz oder bessere Lösungen liefern kann. Die zentrale Herausforderung besteht darin, dass die Faktorisierung $W=AB^T$ nicht eindeutig ist (invariant unter $A \to AS, B \to BS^{-T}$ ) und die Menge der Rang- $r$ -Matrizen eine Mannigfaltigkeit und kein Vektorraum ist. Die Autoren zielen darauf ab, Modifikationen auf den Optimizer zu beschränken, um Änderungen an der Modellarchitektur zu vermeiden, während sie eine pro Iteration vergleichbare Komplexität mit Standardmethoden ( $O(mr^2 + nr^2)$ ) beibehalten.

Methodik
Die Autoren schlagen ein Riemannsches Gradientenabstiegs-Framework vor, das für rangfaktorisierte Parameter angepasst ist. Die allgemeine Iteration umfasst:

Wiederherstellung des euklidischen Umgebungsgradienten $G_W$ aus den Faktorgradienten $G_A$ und $G_B$ .
Projektion dieses Gradienten auf den Tangentialraum der spezifischen Mannigfaltigkeit, um den Riemannschen Gradienten $G_W^R$ zu erhalten.
Aktualisierung des Momentums und Normalisierung der Schrittweite.
Bewegung entlang der Geodäte (unter Verwendung einer Retraktion) zum nächsten Iterationsschritt.
Paralleltransport des Momentum-Vektors in den neuen Tangentialraum.

Das Papier instanziiert dieses Template über zehn spezifische algorithmische Designs, die nach Geometrie und Beschränkungen kategorisiert sind:

Geometrien für Matrizen mit festem Rang ( $R_{r}^{m \times n}$ ):
- Eingebettete Geometrie (Embedded Geometry): Verwendet die euklidische Frobenius-Metrik der Umgebung. Die Retraktion erfolgt über die Rang- $r$ -abgeschnittene SVD von $W + \Xi$ . Der Paralleltransport nutzt die Metrikprojektion.
- Quotienten-Geometrie (Quotient Geometry): Behandelt die Mannigfaltigkeit als Quotient des Produktraums der Faktoren $(A, B)$ . Die Metrik ist „oben“ (upstairs) auf den Faktoren definiert und induziert eine Metrik auf dem Quotienten. Die Retraktion ist additiv auf den Faktoren; der Transport beinhaltet die horizontale Projektion.
Geometrien für Rang- $r$ Teil-Isometrien ( $P_{r}^{m \times n}$ ):
- Hier ist $W$ so beschränkt, dass seine nicht-null Singularwerte alle 1 sind (äquivalent dazu, dass $A$ und $B$ kolonnen-orthonormal sind).
- Eingebettete Geometrie: Beschränkt die Frobenius-Metrik. Die Retraktion verwendet die abgeschnittene SVD mit spezifischen Orthogonalitätsbeschränkungen.
- Quotienten-Geometrie: Verwendet das Produkt der Stiefel-Mannigfaltigkeiten ( $St_{m,r} \times St_{n,r}$ ) als den „oberen“ Raum. Retraktionen nutzen QR- oder Polar-Zerlegungen.
- Kanonische Geometrie: Verwendet die kanonische Metrik auf den Stiefel-Faktoren, was eine Produktmetrik auf dem Quotienten induziert.
Gewichtsteilung (Grid-Mannigfaltigkeiten):
- Erweitert die obigen Ansätze auf Architekturen, bei denen Faktoren über Block-Zeilen und Block-Spalten geteilt werden (z. B. Group-Query Attention).
- Für festen Rang zeigen die Autoren, dass das Stapeln der Faktoren zu größeren Matrizen die Verwendung von Einzelalgorithmen ermöglicht, sofern die Rangerhaltung blockweise überprüft wird.
- Für Teil-Isometrien versagt einfaches Stapeln aufgrund der Orthogonalitätsbeschränkungen. Die Autoren entwickeln komplexere Algorithmen, einschließlich eines „Hybrid“-Ansatzes für den Fall der eingebetteten Geometrie, bei dem sie zu der Quotienten-Geometrie aufsteigen, um Retraktionen und Transporte durchzuführen, und dann wieder nach unten projizieren.

Wesentliche Beiträge

Systematische Untersuchung: Das Paper bietet eine umfassende Bestandsaufnahme und Implementierung von zehn verschiedenen Riemannschen Optimierungsvarianten für Low-Rank-Matrixparameter, die sowohl feste-Rang- als auch Teil-Isometrie-Beschränkungen sowie Szenarien mit geteilten Gewichten abdecken.
Implementierungsdetails: Es beschreibt die spezifischen Retraktionen (SVD, QR, Polar) und Vektor-Transporte, die erforderlich sind, um die Nicht-Eindeutigkeit der Faktorisierungen und die Einhaltung der Mannigfaltigkeitsbeschränkungen (Rang und Orthogonalität) zu adressieren.
Empirische Evaluierung: Die Methoden werden auf die Q-, K-, V- und O-Matrizen in einem kleinskaligen Sprachmodell (6 Schichten, 512 Embedding-Dimension) unter Verwendung des FineWeb-Datensatzes angewendet.

Experimentelle Ergebnisse

Leistung: Nach Abstimmung der Lernraten übertrafen die Riemannschen Methoden die AdamW-Baseline nicht konklusiv. In Multi-Head Attention (MHA) und Group-Query Attention (GQA) Settings lagen die Differenzen im Loss oft innerhalb der Varianz der Random Seeds.
Hyperparameter: Die Metrik-Normalisierung führte zu leichten Verbesserungen (0,01–0,05 Nats). Schweres Momentum ( $\nu=7/8$ ) verschlechterte die Leistung im Allgemeinen oder brachte vernachlässigbare Gewinne gegenüber der Baseline.
Stabilität: Einige Durchläufe zeigten Loss-Spikes (z. B. um Schritt 6660), von denen sie sich jedoch erholten, was oft mit strukturierten Daten im Trainingssatz korrelierte.
Komplexität: Die Autoren räumen ein, dass ihre Methoden zwar mathematisch fundiert sind, die Komplexität pro Iteration jedoch höher ist als die von AdamW, was sie für die spezifischen kleinskaligen Experimente weniger attraktiv macht.

Bedeutung und Ansprüche
Das Paper vertritt eine bescheidene Position hinsichtlich seiner Neuartigkeit und unmittelbaren Wirkung:

Wiederentdeckung: Die Autoren stellen explizit fest, dass jede erscheinende Neuartigkeit „fast sicher eine Wiederentdeckung“ ist, da sie stark auf etablierter Fachliteratur (Absil et al., Boumal) und früherer Literatur aufbauen.
Heuristische Motivation: Die Arbeit wird durch die Heuristik motiviert, dass eine bessere Berücksichtigung von Parameterbeziehungen (über die Mannigfaltsgeometrie) zu einer schnelleren Konvergenz oder besseren Lösungen führen könnte, obwohl dies in den Experimenten nicht eindeutig bewiesen wurde.
Zukünftiges Potenzial: Die Autoren argumentieren, dass das Ausbleiben einer Überlegenheit in kleinskaligen Modellen die Eignung für größere Skalen nicht ausschließt. Sie deuten an, dass der Ansatz mathematisch fundiert ist und sich das „Kosten-Genauigkeits-Verhältnis“ mit größeren Modellen oder anderen Architekturen (z. B. Tensor-basierte Modelle wie MLA, MoLAE) günstig verschieben könnte.
Limitierungen: Die Studie gibt signifikante Einschränkungen zu, einschließlich der geringen Modellgröße, des Fehlens von Learning-Rate-Annealing und der Verwendung einer einzigen Baseline (AdamW) ohne Tuning ihrer Hyperparameter.

Zusammenfassend dient das Paper als rigoröse technische Demonstration der Anwendung von Riemannscher Optimierung auf Low-Rank-Komponenten des Deep Learning, indem es eine Bibliothek von Algorithmen und eine Baseline für zukünftige Forschung bereitstellt, während es gleichzeitig einräumt, dass die aktuellen empirischen Ergebnisse noch keine Ablösung von Standard-Optimierern wie AdamW rechtfertigen.