🤖 machine learning

GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR

Das Paper stellt GeoRA vor, eine geometrieaware Low-Rank-Adaptionsmethode, die durch die Ausnutzung der anisotropen Struktur von RLVR-Updates und die Beibehaltung vortrainierter geometrischer Strukturen die Leistung von Sprachmodellen beim Reinforcement Learning mit verifizierbaren Belohnungen in Bereichen wie Mathematik, Medizin und Programmierung verbessert.

Ursprüngliche Autoren: Jiaying Zhang, Lei Shi, Jiguo Li, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jiaying Zhang, Lei Shi, Jiguo Li, Jun Xu, Jiuchong Gao, Jinghua Hao, Renqing He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen genialen, aber sehr vorsichtigen Koch (das ist dein großes KI-Modell, das bereits viel gelernt hat). Dieser Koch kann fantastische Gerichte kochen, aber er ist in seiner Denkweise festgefahren. Jetzt möchtest du ihm beibringen, komplexe mathematische Rätsel oder medizinische Diagnosen zu lösen.

Das ist wie beim Reinforcement Learning mit überprüfbaren Belohnungen (RLVR). Der Koch probiert neue Rezepte aus, und wenn er richtig liegt, gibt es einen Punkt. Wenn er falsch liegt, nicht. Das Problem: Wenn du den Koch zu wild anstachselst, vergisst er plötzlich, wie man ein einfaches Omelett macht, oder er wird so nervös, dass er gar nichts mehr kocht.

Hier kommt GeoRA ins Spiel. Die Forscher von Meituan und der Peking-Universität haben eine neue Methode entwickelt, um diesen Koch zu trainieren, ohne ihn zu verwirren.

Das Problem: Die falsche Art zu lernen

Bisher gab es zwei Hauptprobleme beim Trainieren solcher KIs:

Die "Standard-Methode" (LoRA/PiSSA): Diese Methoden versuchen, den Koch an den Stellen zu verbessern, wo er am lautesten oder am wichtigsten klingt (die Hauptkomponenten). Aber beim Lösen von Rätseln ist das oft falsch. Der Koch muss an den leisen, versteckten Stellen nachhelfen, nicht an den lauten. Es ist, als würdest du versuchen, ein Auto zu reparieren, indem du nur den Motor polierst, während die Bremskabel lose hängen.
Die "Sparsame Methode" (Sparse Fine-Tuning): Andere versuchen, nur winzige, zufällige Teile des Gehirns zu ändern. Das ist theoretisch gut, aber auf modernen Computern (Hardware) extrem langsam und ineffizient, wie ein Koch, der versucht, mit einer Gabel zu kochen, weil er keine Messer benutzen darf.

Die Lösung: GeoRA (Der geometrische Landkarten-Trick)

GeoRA ist wie ein intelligenter Landkarten-Trainer. Er versteht die "Geometrie" des Gehirns des Kochs.

1. Die Landkarte lesen (SVD-Analyse)
Stell dir das Wissen des Kochs als einen riesigen, dreidimensionalen Berg vor. GeoRA schaut sich diesen Berg genau an. Es stellt fest: "Aha! Die wichtigsten neuen Informationen für das Rätsellösen liegen nicht auf den Gipfeln (den Hauptkomponenten), sondern in bestimmten, sanften Tälern und Schluchten." Diese Täler sind stabil und lassen sich gut anpassen, ohne den ganzen Berg zum Einsturz zu bringen.

2. Der "Anker" (Frozen Residual)
Das ist der geniale Teil. GeoRA nimmt den Koch und sagt: "Wir ändern nur diese spezifischen Täler." Aber um sicherzustellen, dass der Koch nicht vergisst, wie man überhaupt kocht, friert er den Rest des Berges ein.

Analogie: Stell dir vor, du baust eine neue Rutsche auf einem Spielplatz. Du betonierst den Boden fest (das ist der eingefrorene Rest), damit das Haus nicht wackelt. Dann baust du nur die Rutsche (die trainierbaren Teile) darauf. Wenn die Rutsche fertig ist, ist das Haus immer noch stabil, aber die Kinder können jetzt super rutschen.

3. Der Startschuss (Initialisierung)
Andere Methoden starten das Training zufällig. GeoRA startet aber genau dort, wo die Landkarte sagt: "Hier ist der beste Platz für den ersten Schritt." Es ist, als würde ein Trainer dem Koch nicht sagen "Probier mal irgendetwas", sondern "Hier ist der perfekte Griff für den Löffel, den du schon immer benutzt hast, aber jetzt für das neue Rezept".

Warum ist das so toll?

Stabilität: Der Koch lernt schnell, vergisst aber nicht, wie man ein Omelett macht (weniger "Vergessen" bei Aufgaben, die er schon konnte).
Geschwindigkeit: Obwohl GeoRA am Anfang eine komplexe Landkarte liest (eine mathematische Berechnung), läuft das eigentliche Training danach sehr schnell, weil es die Hardware effizient nutzt (keine chaotischen, unstrukturierten Änderungen).
Vielseitigkeit: Es funktioniert nicht nur bei Mathe, sondern auch bei Medizin und Programmieren. Der Koch kann also nicht nur Rätsel lösen, sondern auch Rezepte für Kranke schreiben oder Code für Apps erstellen.

Zusammenfassung in einem Satz

GeoRA ist wie ein weise alter Mentor, der einem talentierten Schüler sagt: "Wir ändern nur diese einen, ganz bestimmten Winkel deiner Denkweise, damit du Rätsel lösen kannst, aber wir lassen den Rest deines Wissens fest verankert, damit du nicht vergisst, wer du bist."

Das Ergebnis: Die KI wird besser im Lösen von komplexen Problemen, ohne dabei ihre allgemeinen Fähigkeiten zu verlieren oder den Computer zu überlasten.

1. Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als Schlüsselparadigma zur Verbesserung von Large Reasoning Models (z. B. OpenAI-o1, DeepSeek-R1) etabliert. Im Gegensatz zum überwachten Feinabstimmen (SFT) folgt RLVR einer anderen Optimierungsdynamik: Es verstärkt latentes Schlussfolgerungsverhalten durch belohnungsinduzierte Sampling-Bias, ohne zwangsläufig neue Fähigkeiten einzuführen.

Die Herausforderungen bestehender Methoden:

Geometrische Fehlanpassung: Gängige Low-Rank-Adaptionsmethoden (PEFT) wie LoRA oder PiSSA sind primär für SFT entwickelt. PiSSA initialisiert Adapter auf den Hauptkomponenten (principal components) der Gewichte. RLVR-Updates neigen jedoch dazu, sich in orthogonalen, niedrig-magnituden Richtungen („off the principals") zu bewegen, um die vortrainierte Struktur zu erhalten. Eine Anpassung an den Hauptkomponenten führt daher zu einer geometrischen Inkompatibilität.
Effizienz-Engpässe: Methoden, die versuchen, die für RLVR bevorzugten unstrukturierten dünnbesetzten (sparse) Subräume direkt zu nutzen, scheitern oft an der Hardware-Effizienz. Moderne Hardware (GPUs) unterstützt unstrukturierte Sparsity schlecht, was zu Overhead und fehlenden Geschwindigkeitsvorteilen führt.

2. Methodik: GeoRA (Geometry-Aware Low-Rank Adaptation)

GeoRA ist ein Low-Rank-Adaptionsframework, das speziell auf die geometrischen Eigenschaften von RLVR-Updates zugeschnitten ist. Es kombiniert eine strukturierte Initialisierung mit einem „Residual Anchor", um Stabilität und Hardware-Effizienz zu gewährleisten.

Kernkomponenten:

Geometrische Prior-Konstruktion (Masking):
Anstatt die ursprünglichen Gewichte $W$ direkt zu nutzen, konstruiert GeoRA eine geometrie-geschränkte Matrix $W_{Geo}$ . Dies geschieht durch die Vereinigung zweier Masken:
- Spektraler Prior ( $M_{Spec}$ ): Selektiert Einträge mit niedriger Magnitude aus einer Rang- $r$ -Approximation der Gewichte, um hochenergetische (instabile) Richtungen zu unterdrücken.
- Euklidischer Prior ( $M_{Euc}$ ): Selektiert Gewichte mit niedriger absoluter Magnitude im ursprünglichen Gewichtsraum, um plastische Parameter zu identifizieren.
  Das Ergebnis ist eine Matrix $W_{Geo}$ , die stabile und anpassungsfähige Bereiche isoliert.
Strukturierte Initialisierung via SVD:
Auf $W_{Geo}$ wird eine Singulärwertzerlegung (SVD) durchgeführt: $W_{Geo} = U_{Geo}\Sigma_{Geo}V_{Geo}^T$ .
Die Low-Rank-Adapter $A_{Geo}$ und $B_{Geo}$ werden initialisiert, um die dominanten singulären Komponenten dieses geometrisch eingeschränkten Raums zu approximieren. Dies stellt sicher, dass das Training in den für RLVR relevanten Richtungen beginnt.
Residualer Anker (Frozen Residual):
Um die vortrainierten Fähigkeiten zu bewahren, wird eine Residual-Matrix $W_{res}$ berechnet:
$W_{res} = W - \frac{\alpha}{r} B_{Geo}A_{Geo}$
Während des Trainings wird $W_{res}$ eingefroren (frozen). Der Vorwärtspass berechnet den Output als Summe aus dem eingefrorenen Anker und dem trainierbaren Adapter. Dies wirkt als „struktureller Anker", der verhindert, dass die Optimierung die vortrainierte Repräsentation zerstört (verhindert „Catastrophic Forgetting").

3. Wichtige Beiträge

Erste geometrie-bewusste PEFT für RLVR: GeoRA ist das erste Framework, das die spezifische Optimierungsgometrie von RLVR explizit in die Low-Rank-Adaption integriert.
Nachweis der Struktur von RLVR-Updates: Die Arbeit zeigt, dass der effektive Update-Raum von RLVR nicht isotrop ist, sondern eine komprimierbare, niedrig-rangige Struktur aufweist, die sich von SFT-Updates unterscheidet.
Überwindung des Effizienz-Dilemmas: Durch die Nutzung von dichten Low-Rank-Matrizen (statt unstrukturierter Sparsity) ermöglicht GeoRA hardware-effizientes Training, während es gleichzeitig die Vorteile der Parameter-Effizienz beibehält.

4. Ergebnisse

Die Methode wurde an Modellen der Größenordnung 1,5B bis 32B (Qwen und Llama) in den Domänen Mathematik, Medizin und Codierung evaluiert.

In-Distribution (Mathematik): GeoRA übertrifft konsistent starke Baselines (LoRA, PiSSA, MiLoRA, SparseFT) auf Benchmarks wie AIME24/25, MATH-500 und OlymMATH. Auf dem Qwen3-8B-Modell erreichte GeoRA beispielsweise 23,75 Punkte auf AIME24 (vs. 22,50 bei PiSSA und 19,58 bei LoRA).
Out-of-Distribution (Generalisierung): GeoRA zeigt eine überlegene Generalisierung auf Aufgaben außerhalb des Trainingsbereichs (Coding, Wissenschaft, Allgemeinwissen) und leidet weniger unter „Forgetting" als andere Fine-Tuning-Methoden.
Trainingsstabilität: GeoRA erreicht schneller hohe Belohnungswerte und zeigt eine stabilere Konvergenz, selbst bei aggressiven Lernraten, bei denen andere Methoden (insbesondere PiSSA) kollabieren.
Effizienz: GeoRA reduziert die trainierbaren Parameter um 99,5 % im Vergleich zum Full Fine-Tuning, senkt den VRAM-Verbrauch um ca. 28,5 % und beschleunigt den Trainingsschritt um fast 20 %, ohne die Vorteile unstrukturierter Sparsity zu benötigen.

5. Bedeutung und Fazit

GeoRA adressiert eine kritische Lücke in der Forschung zu Large Reasoning Models. Es demonstriert, dass die reine Anwendung von SFT-orientierten PEFT-Methoden auf RLVR suboptimal ist, da sie die zugrundeliegende Geometrie der Optimierung ignoriert.

Durch die Kombination von geometrischer Sensitivität (Initialisierung im richtigen Unterraum) und struktureller Stabilität (eingefrorener Residual-Anker) bietet GeoRA einen neuen Standard für das effiziente und stabile Feinabstimmen von Modellen mittels Reinforcement Learning. Die Methode ermöglicht es, die komplexen Schlussfolgerungsfähigkeiten von LLMs zu skalieren, ohne die zugrundeliegenden allgemeinen Fähigkeiten zu zerstören oder massive Rechenressourcen zu verschwenden.