🤖 machine learning

Geometry-Preserving Orthonormal Initialization for Low-Rank Adaptation in RLVR

Dieses Paper schlägt eine geometrieerhaltende orthonormale Initialisierung für Low-Rank Adaptation (LoRA) in Reinforcement Learning with Verifiable Rewards (RLVR) vor, wobei theoretisch nachgewiesen wird, dass dieser Ansatz die Lücke zum Full Fine-Tuning minimiert, das Training stabilisiert und bestehende Varianten wie PiSSA und MiLoRA bei mathematischen Reasoning-Benchmarks übertrifft.

Ursprüngliche Autoren: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Veröffentlicht 2026-07-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruijia Zhang, Jiacheng Zhu, Hanqing Zhu, Laixi Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, unglaublich intelligente Bibliothek (ein Large Language Model), die bereits fast alles auf der Welt gelesen hat. Sie möchten dieser Bibliothek eine neue, spezifische Fähigkeit beibringen, wie zum Beispiel das Lösen komplexer mathematischer Probleme.

Es gibt zwei Wege, dies zu tun:

Full Fine-Tuning: Sie schreiben den gesamten Katalog der Bibliothek um und organisieren jedes einzelne Buch neu. Das ist leistungsstark, erfordert aber eine gewaltige Menge an Energie und Speicherplatz (als bräuchte man ein ganzes neues Lagerhaus).
LoRA (Low-Rank Adaptation): Anstatt die gesamte Bibliothek umzuschreiben, fügen Sie einfach eine kleine, klebende Indexkarte an der Vorderseite der Bibliothek hinzu. Diese Karte enthält die neuen Anweisungen. Das ist kostengünstig, schnell und erfordert kein neues Lagerhaus.

Das Problem: Das „RLVR“-Workout

Kürzlich wurde eine neue Art, diese Modelle zu lehren, namens RLVR (Reinforcement Learning with Verifiable Rewards), populär. Betrachten Sie dies nicht als eine Vorlesung im Klassenzimmer, sondern als ein hochintensives Fitnessstudio-Workout.

In einem Klassenzimmer (Supervised Fine-Tuning) korrigiert der Lehrer nur Ihre Hausaufgaben.
Im Fitnessstudio (RLVR) probiert das Modell viele verschiedene Antworten aus, erhält eine Punktzahl (Reward) basierend darauf, ob es richtig oder falsch war, und lernt aus dieser Erfahrung.

Das Problem ist, dass die „kleinen, klebenden Indexkarten“ (LoRA), die im Klassenzimmer perfekt funktionierten, im Fitnessstudio anfingen zu versagen. Einige fortgeschrittene Versionen dieser Karten (genannt PiSSA und MiLoRA) führten sogar zum Kollaps des Modells – so als würde ein Gewichtheber versuchen, eine Hantel zu heben, die von Anfang an zu schwer war. Das Training wurde instabil, und das Modell hörte auf zu lernen.

Die Untersuchung: Warum sind die Karten zerbrochen?

Die Forscher untersuchten, warhaft die Karten scheiterten. Sie fanden zwei Hauptschuldige:

Der „schwere“ Start: Die fortgeschrittenen Karten versuchten, die „wichtigsten“ Teile des bestehenden Wissens der Bibliothek (die schweren, populären Bücher) sofort zu greifen und zu verstärken. In der Fitnessstudio-Umgebung war dies so, als würde man versuchen zu sprinten, bevor man sich überhaupt aufgewärmt hat. Dies verursachte, dass sich das Modell zu schnell und zu weit bewegte, wodurch es die Regeln des Workouts brach.
Die falsche Richtung: Das Fitnessstudio (RLVR) benötigt das Modell dazu, neue Richtungen zu erkunden, anstatt nur das zu verstärken, was es bereits weiß. Die alten Karten waren zu sehr auf die „Hauptpfade“ konzentriert, was dazu führte, dass das Modell stecken blieb oder die Kontrolle verlor.

Die Lösung: Die „geometrieerhaltende“ Indexkarte

Die Forscher erkannten, dass die Indexkarte für das Fitnessstudio orthonormal sein muss.

Die Analogie:
Stellen Sie sich vor, das Wissen der Bibliothek ist ein 3D-Raum.

Standard-LoRA ist wie das Zeichnen einer zufälligen Linie auf einem Blatt Papier. Es funktioniert, ist aber ein wenig unordentlich.
PiSSA/MiLoRA sind wie eine Linie, die versucht, die schwersten Bücher im Regal zu umarmen. Im Fitnessstudio ist diese Linie zu „steif“ und bricht.
Die neue Methode (LoRA-RLPO/RLMO): Die Forscher entwarfen eine neue Indexkarte, die perfekt starr und strukturiert (orthonormal) ist. Sie versucht nicht, die schweren Bücher zu verstärken; stattdessen fügt sie sich perfekt in die bestehende Geometrie der Bibliothek ein, ohne zusätzliches Gewicht hinzuzufügen.

Betrachten Sie es wie einen Tanzpartner.

Die alten fortgeschrittenen Karten versuchten, den Tanz mit zu viel Kraft zu führen, was den Partner (das Modell) zum Stolpern brachte.
Die neue Methode ist ein Partner, der sich in perfektem Einklang mit der Musik (der bestehenden Struktur der Bibliothek) bewegt, aber nicht zu fest drückt. Sie bewahrt die Form der Tanzfläche, damit das Modell sich frei bewegen kann, ohne umzufallen.

Was sie taten

Sie entwickelten zwei neue Arten von Indexkarten:

LoRA-RLPO: Richtet sich an den „Hauptpfaden“ aus, hält aber die Struktur leicht und ausgewogen.
LoRA-RLMO: Richtet sich an den „Nebenpfaden“ (den weniger offensichtlichen Routen) aus, hält aber ebenfalls die Struktur leicht und ausgewogen.

Die Ergebnisse

Als sie diese neuen Karten im „Fitnessstudio“ (mathematische Denk-Benchmarks) testeten:

Stabilität: Das Training stürzte nicht ab. Das Modell blieb ruhig und stetig.
Leistung: Das Modell lernte schneller und erzielte bessere Ergebnisse als die Standardmethode.
Das „Warum“: Sie bewiesen mathematisch, dass, indem sie die Indexkarte „orthonormal“ (perfekt strukturiert) halten und nicht das Gewicht des bestehenden Wissens verstärken, das Modell nahe an der idealen „vollständigen Umschreibung“-Leistung bleibt, ohne die massiven Energiekosten zu verursachen.

Zusammenfassung

Das Paper sagt: „Wenn Sie ein intelligentes KI-Modell mit der neuen ‚Fitnessstudio‘-Methode (RLVR) trainieren wollen, verwenden Sie nicht die schicken, schweren Indexkarten, die im Klassenzimmer funktionierten. Verwenden Sie stattdessen unsere neuen, perfekt strukturierten, leichten Karten. Sie halten das Modell stabil, verhindern, dass es zusammenbricht, und helfen ihm, mathematische Probleme viel besser zu lösen.“

Sie merkten auch an, dass dies für verschiedene Größen von Modellen und sogar für Programmieraufgaben funktioniert, aber die Kernentdeckung liegt darin, wie man das Training beginnt, damit es nicht explodiert.

Technisches Resümee: Geometrieerhaltende orthogonale Initialisierung für Low-Rank-Adaption in RLVR

Problemstellung

Während Low-Rank-Adaption (LoRA) und deren Varianten zum Standard für das parametereffiziente Fine-Tuning unter dem Paradigma des Supervised Fine-Tuning (SFT) geworden sind, bleibt ihr Verhalten unter Reinforcement Learning with Verifiable Rewards (RLVR) unzureichend verstanden. Jüngste Beobachtungen deuten darauf hin, dass SVD-basierte Initialisierungsstrategien – insbesondere PiSSA (Principal Singular values and Singular vectors Adaptation) und MiLoRA (Minor LoRA), die unter SFT exzellieren – unter RLVR-Bedingungen oft schlechter als Standard-LoRA abschneiden und Trainingsinstabilitäten aufweisen. Diese Methoden initialisieren Adapter mithilfe der Top- $r$ (PiSSA) oder Bottom- $r$ (MiLoRA) Singularkomponenten der vortrainierten Gewichte, wobei sie häufig eine Skalierung der Singulärwerte vornehmen. Die Arbeit postuliert, dass die distinkten Optimierungsdynamiken von RLVR – charakterisiert durch implizite KL-Divergenz-Constraints, die den Policy-Drift begrenzen – die für SFT optimierten Initialisierungsprinzipien unwirksam oder gar kontraproduktiv machen. Die zentrale Herausforderung besteht darin, eine Initialisierungsstrategie zu identifizieren, die das Training in RLVR stabilisiert und gleichzeitig die Effizienz der Low-Rank-Adaption beibehält.

Methodik

Die Autoren schlagen eine theoretische Analyse der LoRA-Optimierungsdynamik in RLVR vor, um eine fundierte Initialisierungsstrategie abzuleiten.

Theoretische Analyse

Die Arbeit stellt fest, dass die Approximationslücke zwischen LoRA und Full Fine-Tuning minimiert wird, wenn die Matrix $A$ mit orthonormalen Zeilen initialisiert wird und $B$ mit Null initialisiert wird.

Optimierungsdynamik: Unter der Annahme eines $L$ -glatten Verlusts und beschränkter Gradienten beweist das Paper (Theorem 5.2), dass der Fehler zwischen der LoRA-Trajektorie und der Full Fine-Tuning-Trajektorie durch den Term $\|I_n - A_0^\top A_0\|_2$ kontrolliert wird. Dieser Term erreicht seinen minimalen Wert von 1 genau dann, wenn $A_0$ orthogonale Zeilen besitzt ( $A_0 A_0^\top = I_r$ ).
Stabilitätsgrenzen: Des Weiteren zeigt Proposition 5.3, dass eine orthogonale Initialisierung mit $B_0=0$ garantiert, dass die Magnitude der Gewichtsupdatierung im ersten Schritt die des Full Fine-Tunings nicht überschreitet. Diese beschränkte Aktualisierung ist entscheidend, um die impliziten KL-Divergenz-Constraints in RLVR zu erfüllen und aggressive Policy-Shifts zu verhindern, die zum Trainingskollaps führen.

Vorgeschlagene Initialisierungsstrategien

Geleitet von diesen theoretischen Erkenntnissen schlagen die Autoren zwei „geometrieerhaltende orthogonale“ Initialisierungsmethoden vor, welche die spektralen Informationen der vortrainierten Gewichte beibehalten, ohne die destabilisierende Skalierung der Singulärwerte, wie sie bei PiSSA und MiLoRA vorkommt:

LoRA-RLPO (Principal): Initialisiert $A_0$ unter Verwendung der Top- $r$ Rechts-Singulärvektoren ( $V_r^\top$ ) der vortrainierten Gewichtmatrix $W_0$ , mit $B_0 = 0$ . Dies richtet den Adapter an den Hauptrichtungen des vortrainierten Modells aus, während die Orthonormalität gewahrt bleibt.
LoRA-RLMO (Minor): Initialisiert $A_0$ unter Verwendung der Bottom- $r$ Rechts-Singulärvektoren ( $V_{-r}^\top$ ) von $W_0$ , mit $B_0 = 0$ . Dies zielt auf den Nebenraum ab, vermeidet aber im Gegensatz zu MiLoRA die Skalierung durch Singulärwerte.

Beide Methoden unterscheiden sich von PiSSA und MiLoRA dadurch, dass sie $B_0=0$ setzen und ein orthonormales $A_0$ verwenden, ohne durch Singulärwerte ( $\Sigma^{1/2}$ ) zu skalieren.

Kernergebnisse

Experimente wurden auf mathematischen Reasoning-Benchmarks (GSM8K, MATH500, AIME 2022/2023/2024) unter Verwendung des DAPO-Algorithmus auf den Modellen DeepSeek-R1-Distill-Qwen-1.5B und Qwen2.5-7B durchgeführt.

Performance: LoRA-RLPO erreichte die höchste durchschnittliche Genauigkeit (65,03 %) über die Benchmarks hinweg und übertraf damit Standard-LoRA (62,40 %), LoRA-RLMO (63,76 %) und übertraf PiSSA (4,57 %) sowie MiLoRA (51,71 %) signifikant.
Trainingsstabilität: Die Überwachung der KL-Divergenz und der Gradientennormen zeigte, dass PiSSA und MiLoRA unter einem rapiden KL-Wachstum und Gradientenexplosion leiden, was zu einem Reward-Kollaps führt. Im Gegensatz dazu hielten LoRA-RLPO und LoRA-RLMO niedrige KL-Divergenz-Trajektorien aufrecht, die vergleichbar mit oder niedriger als die von Standard-LoRA sind, was auf eine stabile Optimierung hindeutet.
Ablationsstudien:
- Orthonormalität vs. Geometrie: Modellagnostische orthogonale Baselines (DCT-LoRA, Wavelet-LoRA) übertrafen Standard-LoRA, was den Nutzen der Orthonormalität allein bestätigt. Jedoch übertraf LoRA-RLPO diese modellagnostischen Methoden signifikant, was zeigt, dass die Bewahrung der geometrischen Struktur der vortrainierten Gewichte (via SVD) zusätzliche Gewinne liefert.
- Fehleranalyse: Das Paper widerlegt die Hypothese, dass MiLoRA aufgrund von nahezu Null-Initialisierungsmagnituden scheitert, da die initiale Adapter-Norm nicht vernachlässigbar ist. Stattdessen wird die Instabilität der Kombination aus Subraum-Geometrie und Singulärwert-Skalierung zugeschrieben, welche die Updates über das KL-Budget hinaus verstärkt.
- Generalisierung: Die vorgeschlagenen Methoden zeigten auch eine verbesserte Konvergenz und Performance in SFT-Aufgaben (GLUE, GSM8K), was darauf hindeutet, dass die Vorteile über RLVR hinausgehen.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste theoretische Erklärung dafür geliefert zu haben, warum SVD-basierte LoRA-Varianten (PiSSA, MiLoRA) in RLVR scheitern, während sie in SFT erfolgreich sind. Die Autoren identifizieren zwei gekoppelte Faktoren, die zu diesem Scheitern führen:

Subraum-Geometrie: Die Wahl des Singulärsubraums bestimmt die Optimierungsdynamik.
Singulärwert-Skalierung: Der Skalierungsfaktor in PiSSA/MiLoRA verstärkt die Update-Magnituden und verursacht so schnelle Verletzungen der impliziten KL-Divergenz-Constraints, die für stabiles RLVR-Training erforderlich sind.

Die Bedeutung dieser Arbeit liegt in der Feststellung, dass eine orthogonale Initialisierung, gepaart mit der Standardwahl von $B_0=0$ , eine fundierte Lösung für die Low-Rank-Adaption in RLVR darstellt. Durch die Minimierung der Approximationslücke zum Full Fine-Tuning und die Begrenzung der Update-Magnituden bietet die geometrieerhaltende orthogonale Initialisierung (LoRA-RLPO/RLMO) eine robuste Basis für parametereffizientes RL und löst die Instabilitäten auf, die bei früheren SVD-basierten Methoden beobachtet wurden. Die Autoren betonen, dass ihre Analyse einen einheitlichen Rahmen bietet, der sowohl das Scheitern bestehender Varianten als auch den Erfolg ihres eigenen Ansatzes erklärt.