🤖 machine learning

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

Dit artikel toont aan dat de laag-rang gradiënt-subruimte die wordt verondersteld traceerbaar te zijn door geheugenefficiënte optimalisatoren zoals GaLore, fundamenteel niet-identificeerbaar is vanwege hoge estimatorruis, wat onthult dat de prestatiewinst in plaats voortkomt uit het correct transporteren van de optimizer-toestand over subruimte-vernieuwingen heen in plaats van uit de stabiliteit van de subruimte zelf.

Oorspronkelijke auteurs: Noel Thomas

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Noel Thomas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Geest Achtervolgen

Stel je voor dat je een enorme robot (een Large Language Model) probeert te leren praten. Om dit efficiënt te doen, gebruikt de robot een speciale truc genaamd GaLore.

De truc werkt als volgt: elke paar minuten kijkt de robot naar de "fouten" die hij net heeft gemaakt (de gradiënten) en probeert hij de top 128 richtingen te vinden waarin die fouten plaatsvinden. Daarna negeert hij de rest en leert hij alleen in die 128 richtingen. De aanname is dat deze 128 richtingen als een langzaam bewegende rivier zijn; ze drijven een beetje, maar ze blijven grotendeels hetzelfde, zodat de robot ze kan "volgen".

De belangrijkste ontdekking van het paper is schokkend: De rivier stroomt niet langzaam. Het is zelfs geen rivier. Het is een waterval die elke keer dat je ernaar kijkt, volledig van vorm verandert.

De auteurs bewijzen dat voorbij een kleine kern van ongeveer 39 richtingen, de "top 128 richtingen" die de robot kiest, in essentie willekeurige ruis zijn. Als de robot nu een set richtingen kiest, en 10 seconden later weer een andere set kiest, zullen die twee sets bijna volledig verschillend zijn (zoals twee mensen die 128 willekeurige getallen uit een hoed trekken en bijna geen enkele match hebben).

Waarom werkt GaLore dan wel?

Je vraagt je misschien af: "Als de richtingen constant willekeurig veranderen, waarom leert de robot dan toch?"

Het paper legt uit dat GaLore werkt, niet omdat het een specifiek pad volgt, maar omdat het energie opvangt.

De Analogie: Stel je voor dat je probeert regen op te vangen in een emmer. Je hoeft niet precies te weten waar elke individuele druppel zal vallen. Je moet alleen de emmer in het algemene gebied houden waar de regen valt.
Hoewel de "top 128 richtingen" elke keer volledig veranderen, vangen ze nog steeds ongeveer 67–73% van de totale "energie" (de nuttige informatie) van de fouten op. Dus de robot blijft leren, ook al wisselt hij voortdurend van kaart.

Waarom middelen niet helpt

Een natuurlijk idee om het "veranderende kaart"-probleem op te lossen is: "Laten we gewoon de laatste 10.000 kaarten bekijken en ze middelen om tot één stabiele kaart te komen."

De auteurs hebben dit getest en ontdekten dat dit niet werkt.

De Analogie: Stel je voor dat de regen niet zomaar willekeurige ruis is, maar een specifiek patroon van wind en wolken (een signaal). Als je de regen over de tijd probeert te middelen, krijg je geen helder beeld van waar de regen is; je krijgt alleen een wazige brij.
De "ruis" in de fouten van de robot is niet zomaar statische ruis; het is een complex signaal dat heel langzaam krimpt wanneer je probeert het uit te middelen. Hoeveel je ook middelt, je kunt nooit een stabiele "top 128" lijst creëren, omdat de lijst zelf niet in een stabiele vorm bestaat.

Het Echte Probleem: Het Geheugen van de Robot

Het echte probleem is niet de kaart, maar het geheugen van de robot.
De robot gebruikt een optimizer genaamd Adam, die een langetermijngeheugen heeft (het onthoudt fouten van de laatste 1.000 stappen).

Het Probleem: Elke keer dat de robot zijn kaart ververst (elke 160 stappen), draait de kaart 90 graden. Maar het geheugen van de robot wijst nog steeds naar de oude kaart. Het is alsof je een auto bestuurt waarbij het stuur plotseling 90 graden draait, terwijl je handen nog in de oude positie van het stuur staan. De robot probeert te sturen op basis van een kaart die niet meer bestaat.

De Oplossingen die in het Paper worden gevonden

De auteurs testten twee manieren om dit "stuur"-probleem op te lossen:

Het Geheugen Roteren (Transport): In plaats van het geheugen vast te laten zitten in de oude positie, moet de robot zijn geheugen fysiek roteren om overeen te komen met de nieuwe kaart.
- Resultaat: Dit werkt erg goed. Het is alsof je beseft dat het stuur is gedraaid en je je handen onmiddellijk aanpast aan de nieuwe positie.
Het Geheugen Verkorten: Het geheugen van de robot is te lang (het onthoudt 1.000 stappen terug). Omdat de kaart elke 160 stappen verandert, is het onthouden van 1.000 stappen nutteloos, omdat die oude stappen uit een totaal andere wereld komen.
- Resultaat: Door de robot te vertellen om alleen de laatste 100 stappen te onthouden (in plaats van 1.000), stopt hij met proberen te sturen op basis van verouderde kaarten. Dit werkt ook goed.

De Lessen voor Builders

Als je een systeem bouwt dat deze low-rank trucs gebruikt, is dit het advies uit het paper:

Probeer de subspace niet te volgen. Het is een spook. Het verandert te snel om te kunnen volgen.
Controleer je "Reproducible Rank" ( $k^*$ ). Voordat je een rank van 128 vertrouwt, moet je controleren hoeveel richtingen daadwerkelijk echt zijn. Het paper vond dat slechts ongeveer 39 echt zijn; de rest is ruis.
Als je een rank gebruikt die hoger is dan het werkelijke aantal:
- Roteer je geheugen: Zorg ervoor dat het geheugen van je optimizer meebeweegt met de nieuwe kaart.
- Verkort je geheugen: Laat de robot niet te ver terugkijken.
- Stop met middelen: Verspil geen tijd aan het middelen van de kaarten om ze stabiel te maken; dat zal niet werken.

Kortom: De "low-rank subspace" is geen stabiel object dat je kunt volgen. Het is een snel veranderende wolk. De truc om deze systemen te laten werken is niet om de wolk beter te volgen, maar om te stoppen met het volgen ervan en in plaats daarvan je geheugen aan te passen om de constante veranderingen op te vangen.

Technische Samenvatting: "Geen Subruimte om te Volgen: Niet-identificeerbaarheid en Optimizer-toestand in Low-Rank Training"

Probleemstelling

Geheugenefficiënte optimizers zoals GaLore (Zhao et al., 2024) verminderen de geheugenvoetafdruk van het trainen van grote taalmodellen door gradiënten te projecteren op een periodiek opnieuw berekende low-rank subruimte (rang $r$ ) en Adam binnen die subruimte uit te voeren. De onderliggende geometrische premisse van deze aanpak is dat de top- $r$ gradiëntsubruimte een betekenend, langzaam verschuivend object is dat kan worden gevolgd over verversingsintervallen ( $T$ stappen). Als deze premisse zou kloppen, zouden opeenvolgende schattingen van de subruimte vergelijkbaar zijn, en zou het meevoeren van de optimizer-toestand (momenten) over een verversing slechts kleine correcties vereisen.

Dit artikel daagt die premisse uit door te stellen dat, buiten een kleine reproduceerbare kern, de top- $r$ subruimte geen stabiel object is, maar statistisch niet-identificeerbaar is. Bijgevolg wordt de ogenschijnlijke "rotatie" van de subruimte bij elke verversing gedomineerd door estimator-ruis in plaats van de beweging van een stabiele geometrische structuur.

Methodologie

De auteurs hanteren een rigoureus meetkader om de stabiliteit van de subruimte en de impact van niet-identificeerbaarheid op de prestaties van de optimizer te kwantificeren:

Meting van Subruimte-rotatie: Het artikel introduceert een teken-gecorrigeerde chordale afstandmetriek ( $\|\Delta U\|_F$ ) om de rotatie tussen de oude basis ( $U_{old}$ ) en de nieuwe basis ( $U_{new}$ ) bij elke verversing te meten. Deze metriek varieert van 0 (identiek) tot $\sqrt{2r}$ (orthogonaal).
Same-Step Control (De "Geen Tijd" Test): Om onderscheid te maken tussen echte temporele drift en estimator-ruis, splitsen de auteurs een enkele minibatch in twee disjuncte helften tijdens dezelfde trainingsstap. Ze berekenen de top- $r$ subruimte voor elke helft en meten de mate van onenigheid. Als de subruimte een stabiele eigenschap van de gradiënt zou zijn, zouden schattingen van dezelfde stap overeenstemmen. Als ze evenzeer van mening verschillen als schattingen die $T$ stappen uit elkaar zijn genomen, dan is de rotatie ruis.
Spectrale Analyse: De auteurs analyseren het enkelvoudige waarde-spectrum van gradiënten om te bepalen of er een spectrale kloof bestaat bij rang $r$ die een stabiele subruimte-snede zou rechtvaardigen.
Gemiddelde Experimenten: Het artikel test of het middelen van gradiënten over $N$ stappen (of het middelen van de basis over de tijd) de identificeerbaarheid kan "redden" door een spectrale kloof te creëren.
Evaluatie van Remedies: De auteurs testen drie strategieën om de kosten van subruimte-hertekeningen (redraws) te mitigeren:
- Basis Middeling: Het gebruik van een exponentieel voortschrijdend gemiddelde (EMA) van de covariantie-matrix om de basis te stabiliseren.
- State Transport: Het expliciet transporteren van optimizer-momenten (eerste en tweede) via de rotatiematrix $R = U_{new}^\top U_{old}$ (zoals gedaan in LDAdam).
- Geheugen Verkorten: Het verlagen van de Adam decay-parameter $\beta_2$ om het geheugen van het tweede moment te verkorten, waardoor het voorkomen wordt van het integreren van verouderde statistieken uit vorige subruimten.
  De experimenten werden uitgevoerd over vier modelfamilies (Pythia, GPT-2, Qwen2.5, Llama-3) variërend van 70M tot 6.9B parameters, en een Vision Transformer (ViT-B).

Belangrijkste Bevindingen

1. De Subruimte is Niet-Identificeerbaar

Maximale Rotatie: Bij elke verversing verzadigt de gemeten rotatie $\|\Delta U\|_F$ op 96,7–99,6% van de geometrische maximumwaarde $\sqrt{2r}$ . De nieuwe basis is bijna orthogonaal aan de oude.
Dominantie van Ruis: De same-step control laat zien dat twee schattingen van disjuncte helften van dezelfde batch een onenigheid vertonen van $0,725\sqrt{2r}$ , wat bijna identiek is aan de rotatie over de tijd van $0,742\sqrt{2r}$ . De "rotatie" is geen beweging; het is estimator-ruis.
Reproduceerbare Kern ( $k^\star$ ): Slechts een klein deel van de richtingen is reproduceerbaar. Voor $r=128$ zijn slechts $k^\star \approx 39$ richtingen consistent over minibatches heen. De resterende $r - k^\star$ richtingen zijn effectief willekeurige trekkingen uit een kloofloze spectrale staart.

2. Spectrale Oorzaken en het Falen van Middeling

Kloofloos Spectrum: Het gradiëntspectrum bestaat uit een kleine dominante piek (enkele tot ~20 richtingen), gevolgd door een gladde, bijna isotrope staart zonder kloof bij $r$ . De aangrenzende enkelvoudige waarde-ratio bij $r=128$ is $\approx 1,005$ .
Signaal, Geen Ruis: De diepe spectrale staart is geen monsteringsruis; het is een signaal met een power-law spectrum. Onder $N$ -voudige middeling krimpt deze staart slechts als $N^{-1/4}$ in plaats van de $N^{-1/2}$ die verwacht wordt bij pure ruis. Daarom kan geen enkel eindig middelingbudget een kloof creëren of de subruimte stabiliseren.
Middeling Faalt: Het middelen van de basis over 10.000 stappen vermindert de rotatie per verversing slechts licht (van 97% naar 84% van het maximum) en heeft geen meetbaar effect op de uiteindelijke perplexiteit (een bereik van slechts 0,36).

3. Waarom GaLore Toch Werkt

Ondanks het gebrek aan een stabiele subruimte, werkt GaLore omdat de projectie primair dient voor energie-extractie, niet voor het volgen van een structuur. Omdat de gradiëntstaart bijna-isotroop is, vangt elk willekeurig $r$ -dimensionaal frame dat de dominante piek bevat een ongeveer constante fractie van de gradiëntenergie op ( $\gamma_g \approx 0,67–0,73$ ). De specifieke keuze van de richtingen doet er weinig toe voor de daling-richting, zolang de energiefractie behouden blijft.

4. Effectieve Remedies

De kosten van de hertekening (redraw) zijn de veroudering (staleness) van de meegevoerde optimizer-toestand, met name het tweede moment (variantie).

State Transport: Het transporteren van het eerste moment via $R$ en het tweede moment via de gekwadrateerde elementen van $R$ is optimaal. Het blindelings meevoeren van het tweede moment is bewezen suboptimaal met een factor van $\approx (r - k^\star)/2$ . In gecontroleerde tests bereikte het transporteren van de toestand bij de standaard $\beta_2=0,999$ een perplexiteit van 18,73, wat beter is dan de niet-getransporteerde GaLore (19,28).
Geheugen Verkorten: Het verlagen van $\beta_2$ van 0,999 naar 0,99 helpt bij het verversen van optimizers door het geheugen van het tweede moment te verkorten, wat de integratie van verouderde statistieken uit vorige, nu ongeldige subruimten voorkomt. Dit verbeterde de perplexiteit met 1,8 tot 26 punten, afhankelijk van de optimizer en het recept.
Ineffectiviteit van Basis Middeling: Zoals opgemerkt, werkt het stabiliseren van de basis via middeling niet, omdat de subruimte fundamenteel niet-identificeerbaar is.

Betekenis en Claims

Het artikel claimt de eerste directe meting te bieden van de geometrische premisse die ten grondslag ligt aan low-rank gradiënt-optimizers, waarbij wordt geconstateerd dat deze premisse onjuist is voor de gebruikte rangen.

Verduidelijking van Mechanisme: Het artikel verheldert dat GaLore werkt, niet omdat het een stabiele structuur volgt, maar omdat het een constante fractie van de gradiëntenergie vangt in een frame dat effectief opnieuw wordt getrokken.
Diagnostisch Instrument: De auteurs stellen een praktische probe voor: meet de reproduceerbare rang $k^\star$ door een batch te splitsen. Als de gekozen rang $r > k^\star$ , dan zijn de extra richtingen ruis.
Engineering Voorschrift: Het artikel geeft twee actiegerichte oplossingen voor low-rank training:
1. Transporteer de toestand door de rotatie (zoals in LDAdam) in plaats van deze blindelings mee te dragen.
2. Verlaag $\beta_2$ naar 0,99 om het geheugen van het tweede moment te beperken, wat de veroudering door periodieke hertekeningen mitigeert.
Scope: De bevindingen zijn specifiek van toepassing op optimizers die expliciet een gradiënt-subruimte berekenen en verversen (GaLore-familie). Ze zijn niet van toepassing op parametrisaties zoals LoRA die geen gradiënt-subruimte berekenen.

De auteurs concluderen dat het "object" (de stabiele low-rank subruimte) niet bestaat buiten een kleine kern, en pogingen om dit te volgen zijn het najagen van een fata morgana. De weg vooruit ligt in het erkennen van de hertekening en het dienovereenkomstig aanpassen van de optimizer-toestand.