🤖 machine learning

Riemannian Gradient Descent for Low-Rank Architectures

Dit artikel onderzoekt Riemanniaanse gradiëntafdaling voor tien algoritmische ontwerpen voor rank-gefactoreerde matrixparameters in deep learning, maar stelt vast dat deze methoden, ondanks afstemming, niet conclusief beter presteren dan een AdamW-baseline wanneer ze worden toegepast op multihead attention in kleine taalmodellen.

Oorspronkelijke auteurs: Nicholas Knight

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nicholas Knight

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Berg beklimmen versus een Auto rijden

Stel je voor dat je probeert het laagste punt te vinden in een uitgestrekte, mistige vallei (dit staat voor het trainen van een machine learning-model om minder fouten te maken). Meestal gebruiken computerwetenschappers een standaardmethode genaamd AdamW, wat is als het rijden in een auto met een zeer slimme GPS. De GPS vertelt je welke kant "naar beneden" is, en je neemt een stap. Als je een hobbel raakt, heli de ophanging van de auto (momentum) je om in beweging te blijven. Dit werkt geweldig, maar het behandelt elk onderdeel van de motor van de auto als een afzonderlijk, onafhankelijk onderdeel.

Dit paper stelt een andere vraag: Wat als we de motoronderdelen behandelen als één enkel, verbonden systeem?

In moderne AI worden veel onderdelen van de hersenen (het model) gebouwd met behulp van "low-rank" matrices. Zie deze niet als een gigantisch, solide blok data, maar als een gevouwen stuk papier. Je kunt de hele vorm van het papier beschrijven door alleen de coördinaten van de vouwlijnen te kennen (twee kleinere matrices, $A$ en $B$ ).

De auteur stelt dat standaardmethoden de vouwlijnen behandelen alsof ze onafhankelijk zijn, wat is alsof je een gekreukeld stuk papier probeert glad te strijken door aan de hoeken te treken zonder te beseffen dat het papier verbonden is. In plaats daarvan stelt de auteur Riemannian Gradient Descent voor.

De Analogie:

Standaard Methode (Euclidisch): Stel je voor dat je over een vlakke vloer loopt. Je zet een stap in de richting die de GPS aangeeft. Als je op een gekreukeld papier staat, zou je per ongeluk van het papier af kunnen stappen, waardoor je weer terug moet springen.
Riemanniaanse Methode: Stel je voor dat je een surfer bent die op een golf rijdt. Je bent beperkt tot het blijven op het oppervlak van de golf. Je loopt niet alleen; je glijdt langs de curve van de golf. Deze methode zorgt ervoor dat je nooit de "vorm" van de low-rank matrix verlaat, waardoor de wiskunde schoon en theoretisch sluitend blijft.

Het Experiment: Nieuwe Surfplanken Testen

De auteur bouwde tien verschillende "surfplanken" (algoritmen) gebaseerd op dit idee van het rijden op een golf. Hij testte ze op een klein taalmodel (een brein dat leert om het volgende woord in een zin te voorspellen).

Hij testte twee hoofdtypen golven:

Fixed-Rank Waves: Het simpelweg houden van het papier gevouwen bij een specifieke strakheid.
Partial Isometry Waves: Een strengere regel waarbij het papier perfect orthogonaal moet zijn (zoals een perfecte rechte hoek), wat lijkt op een meer rigide, gestructureerde golf.

Hij testte ook een "Grid"-versie, waarbij meerdere onderdelen van het model dezelfde vouwlijnen delen (zoals een groep mensen die aan hetzelfde touw trekt).

De Resultaten: Een "Goede" maar niet "Geweldige" Uitkomst

Hier is de eerlijke conclusie uit het paper, ontdaan van hype:

Het Werkt, Maar Het Is Geen Magische Oplossing: De nieuwe methoden hebben het model succesvol getraind. Ze zijn niet gecrasht en ze hebben de taak geleerd. Dit bewijst dat de wiskunde klopt en de code werkt.
Geen Duidelijke Overwinning: Na zorgvuldige afstelling van de "snelheid" (learning rate) van de nieuwe surfplanken, hebben ze de standaard AdamW-auto niet consistent verslagen.
- In sommige gevallen waren ze iets beter.
- In andere gevallen waren ze iets slechter.
- Over het algal was het verschil zo klein dat het aan willekeurige ruis toegeschreven kon worden (zoals een lichte bries die het pad van een blad verandert).
De Kosten: De nieuwe methoden zijn computationeel duurder. Het is alsof je een hoogtechnologische elektrische auto rijdt die een speciale laadpaal vereist, terwijl de standaard methode een betrouwbare benzineauto is die overal werkt. Omdat de nieuwe auto je niet significant sneller of beter op de bestemming heeft gebracht, concludeert de auteur dat het nog niet klaar is om de standaardmethode voor dagelijks gebruik te vervangen.

Belangrijkste Punten voor een Algemeen Publiek

De Theorie is Prachtig: Het idee om matrixparameters te behandelen als een gebogen oppervlak (een manifold) in plaats van een plat rooster, is wiskundig elegant en logisch consistent. Het respecteert de verborgen relaties tussen de getallen.
De Praktijk is Tricky: Ho도 de theorie zegt "je zou er sneller moeten komen", betekent de realiteit van deep learning (met al zijn ruis, enorme hoeveelheden data en complexe architecturen) dat de standaard, simpelere methoden (AdamW) voorlopig nog steeds de kampioenen zijn.
Toekomstig Potentieel: De auteur blijft optimistisch. Alleen omdat een nieuwe motor niet wint in een race op een klein circuit, betekent niet dat hij niet zal winnen op een enorme snelweg. De auteur suggereert dat naarmate modellen groter worden (scaling up), deze geometrische methoden eindelijk hun ware kracht kunnen tonen.

Wat het Paper Niet Beweert

Het beweert niet dat deze methode ziekten zal genezen of klimaatverandering zal oplossen.
Het beweert niet dat dit de toekomst van AI is op dit moment.
Het beweert niet dat de methode sneller of goedkoper is (sterker nog, het geeft toe dat het waarschijnlijk langzamer en complexer is).

Samenvattend: De auteur heeft een geavanceerde, geometrische manier gebouwd om AI-modellen te trainen die de interne structuur van de data respecteert. Het werkt prima, maar voorlopig is de oude, simpele manier (AdamW) nog steeds de beste keuze om de klus efficiënt te klaren. De nieuwe methode is een veelbelovende "long shot" die misschien pas echt rendeert wanneer we veel grotere modellen bouwen in de toekomst.

Technische Samenvatting: Riemanniaanse Gradiëntafdaling voor Low-Rank Architecturen

Probleemstelling
In moderne deep learning zijn modelparameters vaak matrices die beperkt zijn tot een lage rang (low rank) om de computationele kosten en het aantal parameters te verminderen (bijv. in multihead attention mechanismen waar $W = AB^T$ ). Standaard trainingsupdates van de factoren $A$ en $B$ gebeuren onafhankelijk met Euclidische gradiënten, waarbij de geometrische structuur van de verzameling van rang- $r$ matrices wordt genegeerd. Dit paper onderzoekt of het behandelen van de rang-beperkte matrix $W$ als een punt op een gladde subvariëteit en het toepassen van Riemanniaanse optimalisatie een betere convergentie of oplossingen kan opleveren. De kernuitdaging is dat de factorisatie $W=AB^T$ niet uniek is (invariant onder $A \to AS, B \to BS^{-T}$ ) en dat de verzameling van rang- $r$ matrices een variëteit is, geen vectorruimte. De auteurs beogen wijzigingen te beperken tot de optimizer alleen, om veranderingen aan de modelarchitectuur te vermijden, terwijl ze een per-iteratie complexiteit behouden die vergelijkbaar is met standaard methoden ( $O(mr^2 + nr^2)$ ).

Methodologie
De auteurs stellen een Riemanniaans gradiëntafdaling-framework voor dat is aangepast voor rang-gefactoreerde parameters. De algemene iteratie omvat:

Het herstellen van de ambivalente Euclidische gradiënt $G_W$ uit de factorgradiënten $G_A$ en $G_B$ .
Het projecteren van deze gradiënt op de raakruimte van de specifieke variëteit om de Riemanniaanse gradiënt $G_W^R$ te verkrijgen.
Het updaten van momentum en het normaliseren van de stapgrootte.
Het bewegen langs de geodeet (met behulp van een retractie) naar de volgende iteratie.
Het parallel transporteren van de momentumvector naar de nieuwe raakruimte.

Het paper instantiëert dit sjabloon over tien specifieke algoritmische ontwerpen, gecategoriseerd door geometrie en beperkingen:

Geometrieën voor vaste-rang matrices ( $R_{r}^{m \times n}$ ):
- Embedded Geometrie: Gebruikt de ambivalente Frobenius-metriek. De retractie wordt uitgevoerd via een rang- $r$ getrunceerde SVD van $W + \Xi$ . Parallel transport gebruikt metriekprojectie.
- Quotient Geometrie: Behandelt de variëteit als een quotient van de productruimte van factoren $(A, B)$ . De metriek is gedefinieerd "bovenstrooms" op de factoren, wat een metriek induceert op de quotient. Retractie is additief op factoren; transport omvat horizontale projectie.
Geometrieën voor Rang- $r$ Partiële Isometrieën ( $P_{r}^{m \times n}$ ):
- Hier is $W$ zodanig beperkt dat de niet-nul singuliere waarden allemaal 1 zijn (equivalent aan $A$ en $B$ te zijn kolom-orthonormaal).
- Embedded Geometrie: Beperkt de Frobenius-metriek. Retractie gebruikt getrunceerde SVD met specifieke orthogonaliteitsbeperkingen.
- Quotient Geometrie: Gebruikt het product van Stiefel-variëteiten ( $St_{m,r} \times St_{n,r}$ ) als de "bovenstroomse" ruimte. Retracties gebruiken QR- of polaire decomposities.
- Canonical Geometrie: Gebruikt de canonieke metriek op de Stiefel-factoren, wat een productmetriek induceert op de quotient.
Gewichtsdeling (Grid Manifolds):
- Breidt de bovenstaande methoden uit naar architecturen waar factoren worden gedeeld over blokrijen en blokkolommen (bijv. Group-Query Attention).
- Voor Vaste-Rang, tonen de auteurs aan dat het stapelen van factoren in grotere matrices het gebruik van singleton-algoritmen mogelijk maakt, mits de rangbehoud per blok wordt gecontroleerd.
- Voor Partiële Isometrieën faalt eenvoudig stapelen vanwege orthogonaliteitsbeperkingen. De auteurs ontwikkelen complexere algoritmen, inclusief een "hybride" benadering voor het embedded geval, waarbij ze naar de quotient-geometrie liften om retracties en transport uit te voeren, en vervolgens terugprojecteren.

Belangrijkste Bijdragen

Systematische Exploratie: Het paper biedt een uitgebreide survey en implementatie van tien verschillende varianten van Riemanniaanse optimalisatie voor low-rank matrixparameters, waarbij zowel vaste-rang als partiële isometrie beperkingen en gewichtsdeling-scenario's worden behandeld.
Implementatiedetails: Het beschrijft de specifieke retracties (SVD, QR, Polar) en vereiste vector-transporten voor elke geometrie, waarbij de niet-uniciteit van factorisaties en het behoud van variëteitsbeperkingen (rang en orthogonaliteit) wordt geadresseerd.
Empirische Evaluatie: De methoden worden toegepast op de Q, K, V, O matrices in kleinschalige taalmodellen (6 lagen, 512 embedding dimensie) met de FineWeb dataset.

Experimentele Resultaten

Prestaties: Na het afstemmen van leerrendementen (learning rates) hebben de Riemanniaanse methoden niet concluderend gepresteerd boven de AdamW-baseline. In Multi-Head Attention (MHA) en Group-Query Attention (GQA) settings waren de verschillen in loss vaak binnen de variantie van de random seeds.
Hyperparameters: Metriek-normalisatie zorgde voor lichte verbeteringen (0.01–0.05 nats). Zwaar momentum ( $\nu=7/8$ ) was over het algemeen schadelijk voor de prestaties of leverde verwaarloosbare winst vergeleken met de baseline.
Stabiliteit: Sommige runs vertoonden loss-spikes (bijv. rond stap 6660) die herstelden, vaak gecorreleerd aan gestructureerde data in de trainingsset.
Complexiteit: De auteurs erkennen dat hoewel de methoden wiskundig solide zijn, hun per-iteratie computationele complexiteit hoger is dan die van AdamW, wat ze minder aantrekkelijk maakt voor de specifieke kleinschalige experimenten die zijn uitgevoerd.

Betekenis en Claims
Het paper neemt een bescheiden houding aan met betrekking tot de nieuwheid en directe impact:

Herontdekking: De auteurs stellen expliciet dat elke schijnbare nieuwheid "bijna zeker een herontdekking is", gebouwd op gevestigde tekstboeken (Absil et al., Boumal) en eerdere literatuur.
Heuristische Motivatie: Het werk wordt gemotiveerd door de heuristiek dat een betere rekening houden met de relaties tussen parameters (via de geometrie van de variëteit) zou kunnen leiden tot snellere convergentie of betere oplossingen, hoewel dit in de experimenten niet definitief is bewezen.
Toekomstig Potentieel: De auteurs beargumenteren dat het gebrek aan uitmuntendheid in kleinschalige modellen de waarde niet uitsluit bij grotere schalen. Ze suggereren dat de aanpak wiskundig solide is en dat de "kosten-nauwkeurigheid-tradeoff" gunstiger kan verschuiven bij grotere modellen of andere architecturen (bijv. tensor-gebaseerde modellen zoals MLA, MoLAE).
Beperkingen: De studie geeft significante beperkingen toe, waaronder de kleine modelgrootte, het gebrek aan learning rate annealing, en het gebruik van een enkele baseline (AdamW) zonder de hyperparameters ervan af te stemmen.

Concluderend dient het paper als een rigoureuze technische demonstratie van het toepassen van Riemanniaanse optimalisatie op low-rank deep learning componenten, waarbij een bibliotheek van algoritmen en een baseline wordt geboden voor toekomstig onderzoek, terwijl wordt erkend dat de huidige empirische resultaten nog niet rechtvaardigen om standaard optimizers zoals AdamW te vervangen.