💬 NLP

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

Dieser Beitrag stellt RELEX vor, eine rechen-effiziente Methode, die die Entdeckung nutzt, dass RLVR-Gewichtstrajektorien hochgradig vorhersagbar und niedrigrangig sind, um zukünftige Modell-Checkpoints mittels linearer Regression zu extrapolieren und dabei durch das Filtern stochastischer Optimierungsrauschen eine Leistung zu erzielen, die mit dem vollständigen Training vergleichbar ist oder dieses übertrifft, und zwar mit nur einem Bruchteil der Schritte.

Ursprüngliche Autoren: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Trainieren von KI ist wie ein Bergstieg

Stellen Sie sich vor, Sie möchten ein großes Sprachmodell (eine KI) darin unterrichten, komplexe mathematische Probleme zu lösen. Der derzeit beste Weg, dies zu tun, ist ein Prozess namens RLVR (Reinforcement Learning with Verifiable Rewards, also Verstärkungslernen mit überprüfbaren Belohnungen).

Denken Sie an RLVR als daran, die KI auf eine sehr lange, teure Wanderung den Berg hinauf zu schicken, um den Gipfel des „Mathe-Genius" zu erreichen.

Die Kosten: Diese Wanderung erfordert Tage an Rechenzeit leistungsfähiger Computer (GPU-Stunden).
Der Prozess: Die KI unternimmt Tausende von kleinen Schritten und überprüft ihre Arbeit an jedem Kontrollpunkt.
Das Ziel: Sie möchten, dass die KI ganz nach oben gelangt (die beste Leistung), aber die Wanderung ist so lang und kostspielig, dass Sie gerne mitten auf dem Weg stoppen und einfach nur „raten" würden, wo der Gipfel liegt.

Die Entdeckung: Die Wanderung ist überraschend gerade

Die Forscher in diesem Papier stellten etwas Seltsames fest, wie die KI lernt. Sie betrachteten die „Fußabdrücke" (die Änderungen in den Gewichten des KI-Gehirns), die während dieser Wanderung hinterlassen wurden.

Sie fanden zwei erstaunliche Dinge heraus:

Der Pfad ist eine gerade Linie: Obwohl sich die KI durch einen riesigen, komplexen 3D-Raum bewegt, ist ihr tatsächlicher Verbesserungsverlauf unglaublich einfach. Es ist, als würde man durch einen dichten Wald laufen, sich aber nur in eine einzige, gerade Richtung bewegen.
Das Tempo ist vorhersehbar: Die Geschwindigkeit, mit der sich die KI entlang dieser geraden Linie verbessert, ist fast perfekt linear. Wenn man einen Graphen ihres Fortschritts zeichnet, sieht er wie eine mit dem Lineal gezogene gerade Linie aus, nicht wie eine wellige, chaotische Kurve.

Die Analogie: Stellen Sie sich vor, Sie fahren mit einem Auto durch eine neblige Stadt. Normalerweise erwarten Sie, dass die Straße sich windet und biegt. Doch die Forscher stellten fest, dass für diese spezifische Art des KI-Trainings die Straße tatsächlich eine perfekt gerade Autobahn ist und das Auto mit einer konstanten, vorhersehbaren Geschwindigkeit beschleunigt.

Die Lösung: RELEX (Die „Kristallkugel"-Methode)

Basierend auf dieser Entdeckung entwickelten die Autoren eine Methode namens RELEX (REinforcement Learning EXtrapolation).

Anstatt die KI die gesamte 500-Schritte-Wanderung beenden zu lassen, sagt RELEX: „Lassen Sie uns einfach die ersten 75 Schritte beobachten (etwa 15 % der Reise). Da wir wissen, dass der Pfad eine gerade Linie ist und die Geschwindigkeit konstant ist, können wir mathematisch exakt vorhersagen, wo das Auto bei Schritt 500, 1.000 oder sogar 2.000 sein wird."

Wie es funktioniert (Der „Denoising"-Trick):
Der Lernprozess der KI ist etwas verrauscht, wie statisches Rauschen im Radio.

Das Rauschen: Die meisten winzigen, zufälligen Zuckungen im Gehirn der KI sind nur „Störgeräusche" oder Fehler, die ihr nicht wirklich helfen, schlauer zu werden.
Das Signal: Das eigentliche „Genie" ist in dieser einen geraden Linie verborgen (genannt eine Rank-1-Trajektorie).
Die Magie: RELEX verwendet einen mathematischen Filter (SVD), um all das störende Rauschen zu ignorieren und nur diese eine gerade Linie zu betrachten. Es zieht dann eine gerade Linie durch die frühen Schritte und verlängert sie nach vorne.

Die Ergebnisse: Schneller, günstiger und genauso gut

Die Forscher testeten dies an drei verschiedenen KI-Modellen (Qwen2.5-Math, Qwen3-4B und Qwen3-8B).

Die Behauptung: Indem sie nur für 15 % bis 20 % der üblichen Zeit trainieren, kann RELEX einen Checkpoint vorhersagen, der genauso gut oder manchmal sogar besser abschneidet als das vollständig trainierte Modell.
Der Beweis: Sie testeten diese „vorhergesagten" Modelle an Mathematiktests. Die vorhergesagten Modelle erzielten fast exakt die gleichen Ergebnisse wie die Modelle, die tatsächlich die gesamte, teure Wanderung beendet hatten.
Der Bonus: Da die Methode das „Rauschen" filtert, generalisieren die vorhergesagten Modelle manchmal besser auf neue, ungesehene Mathematikprobleme (Out-of-Domain-Benchmarks) als die vollständig trainierten Modelle.

Warum das wichtig ist (laut dem Papier)

Kein neues Lernen erforderlich: RELEX muss keine neue KI trainieren, um die Zukunft vorherzusagen. Es führt einfach eine einfache mathematische Berechnung (lineare Regression) mit den bereits vorhandenen Daten durch.
Es ist „minimalistisch": Das Papier beweist, dass Sie keine komplexen, ausgefallenen Vorhersagen benötigen. Eine einfache gerade Linie reicht aus, weil der Lernpfad der KI von Natur aus so einfach ist.
Spektrales Denoising: Die Methode funktioniert so gut, weil sie wie ein Noise-Cancelling-Kopfhörer wirkt. Sie entfernt die zufälligen, chaotischen Teile des Trainings, die Vorhersagen normalerweise durcheinanderbringen, und hinterlässt nur das reine Signal der Verbesserung.

Zusammenfassung

Stellen Sie sich vor, Sie beobachten einen Raketenstart. Normalerweise müssen Sie sie bis ins All verfolgen, um zu wissen, ob sie funktioniert hat. Dieses Papier sagt: „Warten Sie, die Rakete fliegt in einer perfekt geraden Linie mit konstanter Geschwindigkeit. Wenn wir sie nur die erste Minute beobachten, können wir exakt berechnen, wo sie in einer Stunde sein wird, und sie wird genauso erfolgreich sein, als hätten wir die ganze Zeit gewartet."

RELEX ist dieser Rechner. Es spart enorme Mengen an Zeit und Geld, indem es erkennt, dass das KI-Training, obwohl es chaotisch aussieht, tatsächlich einem sehr einfachen, vorhersehbaren Pfad folgt.

Technische Zusammenfassung: Sie benötigen nur minimales RLVR-Training: Extrapolation von LLMs über Rang-1-Trajektorien

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als dominantes Paradigma zur Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) etabliert, insbesondere in Domänen wie Mathematik. Der Standard-RLVR-Pipeline ist jedoch rechnerisch prohibitiv und erfordert oft mehrere Tage GPU-Zeit, um Leistungsplateaus zu erreichen. Der Prozess umfasst die Generierung einer Trajektorie von Checkpoints über Hunderte von Optimierungsschritten, wobei die Kosten linear mit der Anzahl der Schritte skalieren. Während frühere Arbeiten nahelegen, dass RLVR latente Verhaltensweisen verstärkt, anstatt völlig neue Fähigkeiten zu lehren, bleibt die zugrundeliegende geometrische Struktur dieser Parameter-Trajektorien weitgehend unerforscht. Die zentrale Frage lautet, ob zukünftige RLVR-Checkpoints aus einem kurzen Präfix des Trainingsverlaufs vorhergesagt werden können, wodurch die Notwendigkeit für umfangreiches weiteres Training umgangen wird.

Methodik: RELEX

Die Autoren schlagen RELEX (REinforcement Learning EXtrapolation) vor, eine trainingsfreie Methode, die die geometrische Regelmäßigkeit von RLVR-Gewichtsaktualisierungen nutzt, um zukünftige Checkpoints vorherzusagen. Die Methode basiert auf der Hypothese, dass RLVR-Trajektorien extrem rangniedrig und nahezu linear sind.

Die RELEX-Pipeline besteht aus drei Schritten, die auf den ersten $T_{cut}$ beobachteten Checkpoints angewendet werden (z. B. die ersten 15–20 % der Trainingsschritte):

Rang-1-Unterraum-Schätzung:
Für jeden Gewichtungstensor $W^{(\ell)}$ berechnet die Methode Parameterdeltas $\Delta \theta_t = \theta_t - \theta_0$ relativ zum Basismodell. Diese Deltas werden flachgelegt und zu einer Trajektorienmatrix $M^{(\ell)}$ gestapelt. Auf $M^{(\ell)}$ wird eine Singulärwertzerlegung (SVD) durchgeführt, und der top-rechte Singulärvektor $v_1^{(\ell)}$ wird extrahiert. Dieser Vektor definiert die dominante Richtung der Parameteränderung über den Beobachtungsfenster.
Lineare Koeffizienten-Extrapolation:
Die beobachteten Deltas werden auf den dominanten Singulärvektor projiziert, um eine skalare Koeffizienten-Trajektorie $c_t = \langle \text{flatten}(\Delta \theta_t), v_1 \rangle$ zu erhalten. Empirische Analysen zeigen, dass sich diese Koeffizienten nahezu linear mit dem Trainingsschritt entwickeln ( $R^2 > 0,98$ ). Eine einfache lineare Regression ($c(t) = at + b$) wird an diese Koeffizienten unter Verwendung des beobachteten Präfix angepasst.
Vorhersage zukünftiger Gewichte:
Um einen Checkpoint zum Zielzeitpunkt $T$ vorherzusagen, extrapoliert die Methode den Koeffizienten $\hat{c}_T = aT + b$ und rekonstruiert den Gewichtungstensor als $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ . Dieser Vorgang wird für alle Tensoren wiederholt, um den vollständigen vorhergesagten Checkpoint $\hat{\theta}_T$ zusammenzustellen.

Kritischerweise erfordert RELEX keine gelernten Prädiktoren, kein zusätzliches RLVR-Training und beinhaltet nur geschlossene Form-Operationen (abgeschnittene SVD und Kleinste-Quadrate-Anpassung).

Hauptbeiträge

Empirische Entdeckung der Rang-Niedrigkeit und Linearität: Die Autoren zeigen, dass RLVR-Parameteraktualisierungstrajektorien extrem rangniedrig und vorhersagbar sind. Konkret erfasst eine Rang-1-SVD-Approximation die überwiegende Mehrheit der für Downstream-Aufgaben relevanten Parameteränderungen, und die entsprechenden skalaren Koeffizienten entwickeln sich über mehrere Modellfamilien hinweg (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base) nahezu linear mit den Trainingsschritten.
RELEX-Rahmenwerk: Die Einführung einer einfachen, rechen-effizienten Extrapolationsmethode, die zukünftige Checkpoints unter Verwendung nur des frühen Trainingspräfixes vorhersagt.
Spektraler Denoising-Mechanismus: Die Arbeit identifiziert, dass die Rang-1-Projektion als „spektraler Denoiser" wirkt. Durch die Projektion von Aktualisierungen auf den dominanten Unterraum verwirft die Methode stochastisches Optimierungsrauschen (erfasst durch höher-rangige Komponenten), das andernfalls die Leistung während der Extrapolation verschlechtern würde.
Minimalistische Ausreichendheit: Ablationsstudien bestätigen, dass eine Erhöhung des Unterrangs (z. B. auf Rang-5 oder Rang-10) oder der Einsatz nicht-linearer Modellierung (Polynome, neuronale Netze) keine weiteren Gewinne bringt und die Leistung oft verschlechtert, was die Ausreichendheit des Rang-1-linearen Ansatzes validiert.

Experimentelle Ergebnisse

Die Methode wurde an drei Qwen-basierten Modellen über in-Domain (MATH) und fünf Out-of-Distribution (OOD) Benchmarks (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023) evaluiert.

Leistung vs. Kosten: Unter Verwendung von nur 15–20 % der vollen RLVR-Trainingskosten (Beobachtung der ersten 75–125 Schritte) erzeugt RELEX Checkpoints, die die Leistung vollständig trainierter RLVR-Modelle erreichen oder übertreffen.
- Qwen2.5-Math-1.5B: RELEX erreichte 71,6 % auf MATH (vs. 71,5 % für volles RLVR) und schnitt auf 4 von 5 OOD-Benchmarks besser ab als RLVR.
- Qwen3-4B-Base: RELEX erreichte 85,6 % auf MATH (vs. 85,5 % für volles RLVR).
- Qwen3-8B-Base: RELEX erreichte 87,4 % auf MATH (vs. 88,5 % für volles RLVR) und blieb innerhalb von 1,1 % der Leistung des vollständigen Trainings.
Extrapolation über lange Horizonte: RELEX extrapoliert erfolgreich weit über das Beobachtungsfenster hinaus. So ermöglichte beispielsweise die Beobachtung der ersten 50 Schritte stabile Vorhersagen bis zu 1000 Schritten (das 20-fache des Beobachtungsfensters) mit weiterer Leistungsverbesserung.
Vergleich mit Baselines: RELEX übertraf andere Extrapolations-Baselines einheitlich, einschließlich Weight Extrapolation (lineare Interpolation im rohen Gewichtsraum), Logits Extrapolation, ExPO und AlphaRL. Die Überlegenheit gegenüber Weight Extrapolation unterstreicht die Bedeutung des SVD-Schritts beim Filtern von Rauschen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RL-Training trotz seiner stochastischen und nicht-konvexen Natur überraschend einfache Pfade im rangniedrigen Parameterraum schneidet. Die Bedeutung dieser Arbeit liegt in:

Effizienz: Sie bietet einen Weg, nahezu optimale RLVR-Leistung mit einem Bruchteil der Rechenkosten zu erreichen, indem effektiv der Großteil der Trainingsschritte „übersprungen" wird, ohne neu zu trainieren.
Theoretische Einsicht: Sie liefert Belege dafür, dass das „Signal" des RLVR-Lernens in einer einzigen dominanten Richtung konzentriert ist, während höher-rangige Komponenten primär Optimierungsrauschen darstellen.
Generalisierung: Die Methode zeigt, dass extrapolierte Checkpoints übertragbare reasoning-Gewinne erfassen, wie durch die starke Leistung auf OOD-Benchmarks belegt wird, was darauf hindeutet, dass das Modell nicht lediglich die Trainingsverteilung überanpasst.

Die Autoren weisen auf Einschränkungen hin und geben zu, dass die aktuelle Studie auf GRPO für mathematische Reasoning-Aufgaben mit Qwen-Modellen beschränkt ist. Sie schlagen vor, dass das optimale Beobachtungsfenster ( $T_{cut}$ ) modellabhängig ist und dass eine adaptive Rangauswahl für eine breitere Generalisierung auf andere Algorithmen (z. B. PPO) oder Modellfamilien notwendig sein könnte.