🤖 machine learning

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

Dieses Paper demonstriert, dass der als durch speichereffiziente Optimierer wie GaLore verfolgbar angenommene niedrigdimensionale Gradienten-Subraum aufgrund hoher Schätzer-Rauschanteile fundamental nicht identifizierbar ist, was offenbart, dass die Leistungssteigerungen stattdessen aus dem korrekten Transport des Optimierer-Zustands über Subraum-Aktualisierungen hinweg resultieren, anstatt aus der Stabilität des Subraums.

Ursprüngliche Autoren: Noel Thomas

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Noel Thomas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Einem Geist nachjagen

Stellen Sie sich vor, Sie versuchen, einem riesigen Roboter (einem Large Language Model) das Sprechen beizubringen. Um dies effizient zu tun, nutzt der Roboter einen speziellen Trick namens GaLore.

Der Trick funktioniert so: Alle paar Minuten schaut der Roboter auf die „Fehler“, die er gerade gemacht hat (die Gradienten), und versucht, die obersten 128 Richtungen zu finden, in denen diese Fehler auftreten. Er ignoriert dann alles andere und lernt nur in diesen 128 Richtungen. Die Annahme ist, dass diese 128 Richtungen wie ein langsam fließender Fluss sind; sie driften ein wenig, aber sie bleiben weitgehend gleich, sodass der Roboter sie „verfolgen“ kann.

Die wichtigste Entdeckung der Arbeit ist schockierend: Der Fluss fließt nicht langsam. Es ist nicht einmal ein Fluss. Es ist ein Wasserfall, der seine Form jedes Mal komplett verändert, wenn man hinsieht.

Die Autoren beweisen, dass jenseits eines winzigen Kerns von etwa 39 Richtungen die „obersten 128 Richtungen“, die der Roboter wählt, im Wesentlichen aus zufälligem Rauschen bestehen. Wenn der Roboter jetzt einen Satz von Richtungen wählt und 10 Sekunden später einen anderen Satz wählt, werden die beiden Sätze fast völlig unterschiedlich sein (wie zwei Personen, die 128 Zufallszahlen aus einem Hut ziehen und fast keine Übereinstimmungen haben).

Warum funktioniert GaLore dann überhaupt?

Sie könnten fragen: „Wenn die Richtungen sich ständig zufällig ändern, warum lernt der Roboter dann trotzdem?“

Die Arbeit erklärt, dass GaLore nicht deshalb funktioniert, weil es einen spezifischen Pfad verfolgt, sondern weil es Energie einfängt.

Die Analogie: Stellen Sie sich vor, Sie versuchen, Regen in einem Eimer aufzufangen. Sie müssen nicht genau wissen, wo jeder einzelne Tropfen fallen wird. Sie müssen nur den Eimer im allgemeinen Bereich halten, in dem der Regen fällt.
Obwohl sich die „obersten 128 Richtungen“ jedes Mal komplett ändern, fangen sie dennoch etwa 67–73 % der gesamten „Energie“ (der nützlichen Information) der Fehler ein. So lernt der Roboter weiter, auch wenn er ständig seine Karte wechselt.

Warum das Mitteln nicht hilft

Eine natürliche Idee, um das Problem der „wechselnden Karte“ zu lösen, ist: „Lassen Sie uns einfach die letzten 10.000 Karten ansehen und sie mitteln, um eine stabile Karte zu erhalten.“

Die Autoren haben dies getestet und festgestellt, dass es nicht funktioniert.

Die Analogie: Stellen Sie sich vor, der Regen ist nicht einfach nur zufälliges Rauschen, sondern ein spezifisches Muster aus Wind und Wolken (ein Signal). Wenn Sie den Regen über die Zeit mitteln, erhalten Sie kein klares Bild davon, wo der Regen ist; Sie erhalten nur ein verschwommenes Durcheinander.
Das „Rauschen“ in den Fehlern des Roboters ist nicht nur statisches Rauschen; es ist ein komplexes Signal, das sehr langsam schrumpft, wenn man versucht, es herauszumitteln. Egal wie viel man mittelt, man kann niemals eine stabile „Top-128“-Liste erstellen, da die Liste in einer stabilen Form gar nicht wirklich existiert.

Das wahre Problem: Das Gedächtnis des Roboters

Das eigentliche Problem ist nicht die Karte, sondern das Gedächtnis des Roboters.
Der Robot verwendet einen Optimierer namens Adam, der ein Langzeitgedächtnis besitzt (er erinnert sich an Fehler der letzten 1.000 Schritte).

Das Problem: Jedes Mal, wenn der Roboter seine Karte aktualisiert (alle 160 Schritte), rotiert die Karte um 90 Grad. Aber das Gedächtnis des Roboters zeigt immer noch auf die alte Karte. Es ist, als würde man ein Auto fahren, bei dem sich das Lenkrad plötzlich um 90 Grad dreht, aber die Hände befinden sich noch in der alten Position am Lenkrad. Der Roboter versucht, basierend auf einer Karte zu steuern, die nicht mehr existiert.

Die in der Arbeit gefundenen Lösungen

Die Autoren testeten zwei Wege, um dieses „Lenkrad-Problem“ zu lösen:

Das Gedächtnis rotieren (Transport): Anstatt das Gedächtnis in der alten Position zu lassen, sollte der Roboter sein Gedächtnis physisch rotieren, um zur neuen Karte zu passen.
- Ergebnis: Dies funktioniert sehr gut. Es ist, als würde man erkennen, dass sich das Lenkrad gedreht hat, und sofort die Hände so bewegen, dass sie wieder passen.
Das Gedächtnis verkürzen: Das Gedächtnis des Roboters ist zu lang (er erinnert sich 1.000 Schritte zurück). Da sich die Karte alle 160 Schritte ändert, ist es nutzlos, 1.000 Schritte zurückzublicken, da diese alten Schritte aus einer völlig anderen Welt stammen.
- Ergebnis: Indem man dem Roboter sagt, dass er sich nur an die letzten 100 Schritte erinnern soll (statt an 1.000), hört er auf, basierend auf veralteten Karten zu steuern. Auch dies funktioniert gut.

Das Fazit für Entwickler

Wenn Sie ein System bauen, das diese Low-Rank-Tricks verwendet, hier ist der Rat aus der Arbeit:

Versuchen Sie nicht, den Subraum zu verfolgen. Er ist ein Geist. Er ändert sich zu schnell, um verfolgt werden zu können.
Überprüfen Sie Ihren „reproduzierbaren Rang“ ( $k^*$ ). Bevor Sie einem Rang von 128 vertrauen, prüfen Sie, wie viele Richtungen tatsächlich real sind. Die Arbeit fand heraus, dass nur etwa 39 real sind; der Rest ist Rauschen.
Wenn Sie einen Rang verwenden, der höher als die reale Zahl ist:
- Rotieren Sie Ihr Gedächtnis: Stellen Sie sicher, dass sich das Gedächtnis Ihres Optimierers mit der neuen Karte mitbewegt.
- Verkürzen Sie Ihr Gedächtnis: Lassen Sie den Roboter nicht zu weit in die Vergangenheit blicken.
- Hören Sie mit dem Mitteln auf: Verschwenden Sie keine Zeit damit, die Karten zu mitteln, um sie stabil zu machen; das wird nicht funktionieren.

Kurz gesagt: Der „Low-Rank-Subraum“ ist kein stabiles Objekt, dem man folgen kann. Er ist eine sich schnell verändernde Wolke. Der Trick, um diese Systeme zum Laufen zu bringen, besteht nicht darin, der Wolke besser zu folgen, sondern darin, aufzuhören, ihr zu folgen, und stattdin das Gedächtnis anzupassen, um mit den ständigen Veränderungen umzugehen.

Technisches Resümee: „No Subspace to Track: Non-Identifiability und Optimizer State in Low-Rank Training“

Problemstellung

Speichereffiziente Optimierer wie GaLore (Zhao et al., 2024) reduzieren den Speicherbedarf beim Training großer Sprachmodelle, indem sie Gradienten periodisch auf einen neu berechneten Low-Rank-Subraum (Rang $r$ ) projizieren und Adam innerhalb dieses Subraums ausführen. Die zugrunde liegende geometrische Prämisse dieses Ansatzes ist, dass der Top- $r$ -Gradienten-Subraum ein bedeutsames, sich langsam bewegendes Objekt ist, das über die Refresh-Intervalle ( $T$ Schritte) hinweg verfolgt werden kann. Wenn diese Prämisse halten würde, müssten die aufeinanderfolgenden Schätzungen des Subraums ähnlich sein, und das Mitführen des Optimizer-Zustands (Momente) über einen Refresh hinweg würde nur geringfügige Korrekturen erfordern.

Dieses Paper stellt diese Prämisse in Frage und argumentt, dass der Top- $r$ -Subraum jenseits eines kleinen, reproduzierbaren Kerns kein stabiles Objekt ist, sondern statistisch nicht identifizierbar ist. Folglich wird die scheinbare „Rotation“ des Subraums bei jedem Refresh durch Schätzrauschen dominiert und nicht durch die Bewegung einer stabilen geometrischen Struktur.

Methodik

Die Autoren verwenden ein rigoroses Messverfahren, um die Subraumstabilität und die Auswirkungen der Nicht-Identifizierbarkeit auf die Performance des Optimierers zu quantifizieren:

Messung der Subraumrotation: Das Paper führt eine zeichenkorrigierte Chordal-Distanz-Metrik ( $\|\Delta U\|_F$ ) ein, um die Rotation zwischen der alten Basis ( $U_{old}$ ) und der neuen Basis ( $U_{new}$ ) bei jedem Refresh zu messen. Diese Metrik reicht von 0 (identisch) bis $\sqrt{2r}$ (orthogonal).
Same-Step Control (Der „No Time“-Test): Um zwischen echtem zeitlichem Drift und Schätzrauschen zu unterscheiden, teilen die Autoren einen einzelnen Minibatch in zwei disjunkte Hälften im selben Trainingsschritt auf. Sie berechnen den Top- $r$ -Subraum für jede Hälfte und messen die Diskrepanz. Wenn der Subraum eine stabile Eigenschaft des Gradienten wäre, müssten die Same-Step-Schätzungen übereinstimmen. Wenn sie jedoch so stark voneinander abweichen wie Schätzungen, die $T$ Schritte auseinander liegen, ist die Rotation Rauschen.
Spektralanalyse: Die Autoren analysieren das Singularwertspektrum der Gradienten, um festzustellen, ob eine Lücke (Spectral Gap) bei Rang $r$ existiert, die einen stabilen Subraum-Schnitt rechtfertigen würde.
Averaging-Experimente: Das Paper testet, ob das Mitteln von Gradienten über $N$ Schritte (oder das Mitteln der Basis über die Zeit) die Identifizierbarkeit durch das Öffnen einer Spektrallücke „retten“ kann.
Evaluierung von Abhilfemaßnahmen: Die Autoren testen drei Strategien, um die Kosten von Subraum-Neuberechnungen (Redraws) zu mildern:
- Basis-Averaging: Verwendung eines exponentiellen gleitenden Durchschnitts (EMA) der Kovarianzmatrix, um die Basis zu stabilisieren.
- State Transport: Expliziter Transport der Optimizer-Momente (erster und zweiter Ordnung) durch die Rotationsmatrix $R = U_{new}^\top U_{old}$ (wie bei LDAdam).
- Verkürzung des Gedächtnisses: Reduzierung des Adam-Decay-Parameters $\beta_2$ , um das Gedächtnis des zweiten Moments zu verkürzen und zu verhindern, dass es veraltete Statistiken aus vorherigen Subräumen integriert.

Die Experimente wurden über vier Modellfamilien (Pythia, GPT-2, Qwen2.5, Llama-3) mit 70 Mio. bis 6,9 Mrd. Parametern sowie einen Vision Transformer (ViT-B) durchgeführt.

Kernergebnisse

1. Der Subraum ist nicht identifizierbar

Maximale Rotation: Bei jedem Refresh sättigt die gemessene Rotation $\|\Delta U\|_F$ bei 96,7–99,6 % des geometrischen Maximums $\sqrt{2r}$ . Die neue Basis ist nahezu orthogonal zur alten.
Dominanz des Rauschens: Die Same-Step-Kontrolle zeigt, dass zwei Schätzungen aus disjunkten Hälften desselben Batches um $0,725\sqrt{2r}$ voneinander abweichen, was fast identisch mit der Rotation über die Zeit von $0,742\sqrt{2r}$ ist. Die „Rotation“ ist keine Bewegung, sondern Schätzrauschen.
Reproduzierbarer Kern ( $k^\star$ ): Nur ein kleiner Bruchteil der Richtungen ist reproduzierbar. Für $r=128$ sind nur $k^\star \approx 39$ Richtungen über Minibatches hinweg konsistent. Die verbleibenden $r - k^\star$ Richtungen sind effektiv Zufallsziehungen aus einem lückenlosen Spektralschwanz.

2. Spektrale Ursachen und das Scheitern des Averaging

Lückenloses Spektrum: Das Gradientenspektrum besteht aus einem kleinen dominanten Peak (wenige bis ~20 Richtungen), gefolgt von einem glatten, nahezu isotropen Schwanz ohne Lücke bei Rang $r$ . Das benachbarte Singularwert-Verhältnis bei $r=128$ beträgt $\approx 1,005$ .
Signal, nicht Rauschen: Der tiefe Spektralschwanz ist kein Sampling-Rauschen, sondern ein Signal mit einem Power-Law-Spektrum. Unter $N$ -facher Mittelung schrumpft dieser Schwanz nur als $N^{-1/4}$ statt der erwarteten $N^{-1/2}$ für reines Rauschen. Daher kann kein endliches Averaging-Budget eine Lücke öffnen oder den Subraum stabilisieren.
Averaging versagt: Das Mitteln der Basis über 10.000 Schritte reduziert die Rotation pro Refresh nur geringfügig (von 97 % auf 84 % des Maximums) und hat keinen messbaren Effekt auf die finale Perplexity (eine Spanne von nur 0,36).

3. Warum GaLore dennoch funktioniert

Trotz des Fehlens eines stabilen Subraums funktioniert Gaло, weil die primäre Rolle der Projektion die Energieerfassung ist, nicht das Tracking. Da der Gradientenschwanz nahezu isotrop ist, erfasst jedes zufällige $r$ -dimensionale Gerüst, das den dominanten Peak enthält, einen annähernd konstanten Anteil der Gradientenenergie ( $\gamma_g \approx 0,67–0,73$ ). Die spezifische Wahl der Richtungen ist für die Abstiegsrichtung nebensächlich, solange der Energieanteil erhalten bleibt.

4. Effektive Abhilfemaßnahmen

Die Kosten des Redraws sind die Veraltung des mitgeführten Optimizer-Zustands, insbesondere des zweiten Moments (Varianz).

State Transport: Der Transport des ersten Moments via $R$ und des zweiten Moments via der quadrierten Einträge von $R$ ist optimal. Das blinde Mitführen des zweiten Moments ist nachweislich suboptimal um den Faktor $\approx (r - k^\star)/2$ . In kontrollierten Tests erreichte der Transport des Zustands bei dem Standard- $\beta_2=0,999$ eine Perplexity von 18,73, was das untransportierte GaLore (19,28) schlägt.
Verkürzung des Gedächtnisses: Eine Reduzierung von $\beta_2$ von 0,999 auf 0,99 hilft beim Refreshing der Optimierer, indem sie verhindert, dass das zweite Moment veraltete Statistiken aus vorherigen, nun ungültigen Subräumen integriert. Dies verbesserte die Perplexity je nach Optimierer und Rezept um 1,8 bis 26 Punkte.
Ineffektivität des Basis-Averaging: Wie festgestellt, stabilisiert das Mitteln der Basis den Subraum nicht, da dieser fundamental nicht identifizierbar ist.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste direkte Messung der geometrischen Prämisse geliefert zu haben, die Low-Rank-Gradienten-Optimierern zugrunde liegt, und stellt fest, dass diese bei den typischerweise verwendeten Rängen falsch ist.

Klärung des Mechanismus: Das Paper klärt, dass GaLore nicht deshalb funktioniert, weil es eine stabile Struktur verfolgt, sondern weil es einen konstanten Anteil der Gradientenenergie in einem Gerüst erfasst, das effektiv neu gezeichnet wird.
Diagnostisches Werkzeug: Die Autoren schlagen eine praktische Untersuchung vor: Messen Sie den reproduzierbaren Rang $k^\star$ durch Aufteilung eines Batches. Wenn der gewählte Rang $r > k^\star$ , sind die überschüssigen Richtungen Rauschen.
Engineering-Vorschrift: Das Paper gibt zwei handlungsrelevante Lösungen für das Low-Rank-Training vor:
1. Transportieren Sie den Zustand durch die Rotation (wie bei LDAdam), anstatt ihn blind mitzuführen.
2. Senken Sie $\beta_2$ auf 0,99, um das Gedächtnis des zweiten Moments zu reduzieren und so die durch periodische Redraws verursachte Veraltung zu mildern.
Geltungsbereich: Die Ergebnisse gelten spezifisch für Optimierer, die explizit einen Gradienten-Subraum berechnen und erneuern (GaLore-Familie). Sie gelten nicht für Parametrisierungen wie LoRA, die keinen Gradienten-Subraum berechnen.

Die Autoren kommen zu dem Schluss, dass das „Objekt“ (der stabile Low-Rank-Subraum) jenseits eines kleinen Kerns nicht existiert und Versuche, ihn zu verfolgen, dem Verfolgen eines Phantomzustands gleichen. Der Weg nach vorn liegt darin, den Redraw zu akzeptieren und den Optimizer-Zustand entsprechend anzupassen.