💬 NLP

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

Dit artikel introduceert RELEX, een rekenkracht-efficiënte methode die gebruikmaakt van de ontdekking dat RLVR-gewichtstrajecten sterk voorspelbaar en laag-rang zijn, om toekomstige modelcheckpoints te extrapoleren via lineaire regressie en zo prestaties te bereiken die vergelijkbaar zijn met of zelfs beter zijn dan volledige training met slechts een fractie van de stappen door het filteren van stochastische optimalisatieruis.

Oorspronkelijke auteurs: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: AI Trainen is als een Berg Beklimmen

Stel je voor dat je een groot taalmodel (een AI) wilt leren complexe wiskundeproblemen op te lossen. Op dit moment is de beste manier om dit te doen een proces genaamd RLVR (Versterkend Leren met Verifieerbare Beloningen).

Zie RLVR als het sturen van de AI op een zeer lange, dure wandeling naar de top van een berg om de piek van "wiskundig genie" te bereiken.

De Kosten: Deze wandeling kost dagen aan krachtige rekentijd (GPU-uur).
Het Proces: De AI zet duizenden kleine stappen en controleert haar werk bij elk checkpoint.
Het Doel: Je wilt dat de AI de allerhoogste top bereikt (de beste prestatie), maar de wandeling is zo lang en kostbaar dat je graag halverwege zou stoppen en zou "raden" waar de top ligt.

De Ontdekking: De Wandeltocht is Verrassend Recht

De onderzoekers in dit paper merkten iets vreemds op over hoe de AI leert. Ze keken naar de "voetafdrukken" (de veranderingen in de gewichten van het brein van de AI) die achtergelaten werden tijdens deze wandeling.

Ze ontdekten twee geweldige dingen:

Het Pad is een Rechte Lijn: Hoewel de AI zich verplaatst door een enorme, complexe 3D-ruimte, is haar daadwerkelijke pad van verbetering ongelooflijk eenvoudig. Het is alsof je door een dicht bos loopt, maar alleen in één enkele, rechte richting beweegt.
Het Tempo is Voorspelbaar: De snelheid waarmee de AI zich verbetert langs deze rechte lijn is bijna perfect lineair. Als je een grafiek tekent van haar vooruitgang, lijkt het op een rechte liniaal, geen kronkelende, chaotische curve.

De Analogie: Stel je voor dat je door een mistige stad rijdt met de auto. Normaal gesproken verwacht je dat de weg kronkelt en bochten maakt. Maar de onderzoekers ontdekten dat voor dit specifieke type AI-training de weg eigenlijk een perfect rechte snelweg is, en dat de auto versnelt met een constante, voorspelbare snelheid.

De Oplossing: RELEX (De "Kristallen Bol" Methode)

Gebaseerd op deze ontdekking creëerden de auteurs een methode genaamd RELEX (REinforcement Learning EXtrapolation).

In plaats van de AI de hele 500-stappen wandeling te laten afmaken, zegt RELEX: "Laten we gewoon de eerste 75 stappen bekijken (ongeveer 15% van de reis). Omdat we weten dat het pad een rechte lijn is en de snelheid constant, kunnen we wiskundig precies voorspellen waar de auto bij stap 500, 1.000 of zelfs 2.000 zal zijn."

Hoe het werkt (De "Denoising" Truc):
Het leerproces van de AI is een beetje ruisig, zoals statiek op de radio.

De Ruis: Het grootste deel van de kleine, willekeurige trillingen in het brein van de AI is gewoon "statiek" of fouten die haar niet echt slimmer maken.
Het Signaal: Het echte "genie" zit verborgen in die ene rechte lijn (genaamd een Rank-1 traject).
De Magie: RELEX gebruikt een wiskundig filter (SVD) om alle ruisende statiek te negeren en alleen naar die ene rechte lijn te kijken. Het trekt vervolgens een rechte lijn door de vroege stappen en strekt deze naar voren uit.

De Resultaten: Sneller, Goedkoper en Even Goed

De onderzoekers testten dit op drie verschillende AI-modellen (Qwen2.5-Math, Qwen3-4B en Qwen3-8B).

De Claim: Door slechts 15% tot 20% van de gebruikelijke tijd te trainen, kan RELEX een checkpoint voorspellen dat precies even goed presteert als, en soms zelfs beter dan, het volledig getrainde model.
Het Bewijs: Ze testten deze "voorspelde" modellen op wiskundetoetsen. De voorspelde modellen scoorden bijna exact hetzelfde als de modellen die daadwerkelijk de volledige, dure wandeling hadden afgelegd.
De Bonus: Omdat de methode de "ruis" filtert, generaliseren de voorspelde modellen soms beter naar nieuwe, onbekende wiskundeproblemen (out-of-domain benchmarks) dan de volledig getrainde modellen.

Waarom Dit Belangrijk Is (Volgens het Paper)

Geen Nieuw Leren Vereist: RELEX hoeft geen nieuwe AI te trainen om de toekomst te voorspellen. Het doet gewoon een eenvoudige wiskundige berekening (lineaire regressie) op de data die het al heeft.
Het is "Minimalistisch": Het paper bewijst dat je geen complexe, fancy voorspellingen nodig hebt. Een simpele rechte lijn is genoeg, omdat het leerpad van de AI van nature zo eenvoudig is.
Spectrale Denoising: De methode werkt zo goed omdat het fungeert als een noise-canceling koptelefoon. Het stript de willekeurige, chaotische delen van de training die voorspellingen meestal verpesten, en laat alleen het pure signaal van verbetering achter.

Samenvatting

Stel je voor dat je een raketlancering bekijkt. Normaal gesproken moet je het helemaal tot in de ruimte volgen om te weten of het gelukt is. Dit paper zegt: "Wacht, de raket vliegt in een perfect rechte lijn met een constante snelheid. Als we het maar de eerste minuut bekijken, kunnen we precies berekenen waar het over een uur zal zijn, en het zal net zo succesvol zijn als wanneer we de hele tijd hadden gewacht."

RELEX is die rekenmachine. Het bespaart enorme hoeveelheden tijd en geld door te beseffen dat AI-training, ondanks dat het chaotisch lijkt, eigenlijk een zeer eenvoudig, voorspelbaar pad volgt.

Technische Samenvatting: Je hebt slechts minimale RLVR-training nodig: Extrapolatie van LLM's via Rank-1 Trajecten

Probleemstelling

Versterkend leren met verifieerbare beloningen (RLVR) heeft zich ontwikkeld tot een dominant paradigma voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's), met name in domeinen zoals wiskunde. Het standaard RLVR-pijplijn is echter computergewijs onbetaalbaar, waarbij vaak dagen aan GPU-tijd nodig zijn om prestatieplateaus te bereiken. Het proces omvat het genereren van een traject van checkpoints over honderden optimalisatiestappen, waarbij de kosten lineair toenemen met het aantal stappen. Hoewel eerdere studies suggereren dat RLVR latente gedragingen versterkt in plaats van volledig nieuwe vaardigheden aanleert, blijft de onderliggende geometrische structuur van deze parameterrajecten onderbelicht. De centrale vraag die wordt behandeld, is of toekomstige RLVR-checkpoints kunnen worden voorspeld op basis van een kort prefix van trainingsdynamica, waardoor de noodzaak voor uitgebreide verdere training wordt omzeild.

Methodologie: RELEX

De auteurs stellen RELEX (REinforcement Learning EXtrapolation) voor, een trainingsvrije methode die gebruikmaakt van de geometrische regelmaat van RLVR-gewichtsupdates om toekomstige checkpoints te voorspellen. De methode werkt op de hypothese dat RLVR-trajecten extreem laag-rang en bijna lineair zijn.

De RELEX-pijplijn bestaat uit drie stappen, toegepast op de eerste $T_{cut}$ waargenomen checkpoints (bijvoorbeeld de eerste 15–20% van de trainingsstappen):

Rank-1 Subruimte Schatting:
Voor elke gewichtstensor $W^{(\ell)}$ berekent de methode parametersdelta's $\Delta \theta_t = \theta_t - \theta_0$ ten opzichte van het basismodel. Deze delta's worden afgevlakt en gestapeld in een trajectmatrix $M^{(\ell)}$ . Er wordt een Singuliere Waarde Decompositie (SVD) uitgevoerd op $M^{(\ell)}$ , en de top-rechte singuliere vector $v_1^{(\ell)}$ wordt geëxtraheerd. Deze vector definieert de dominante richting van parameterverandering over het waarnemingsvenster.
Lineaire Coëfficiënt Extrapolatie:
De waargenomen delta's worden geprojecteerd op de dominante singuliere vector om een scalair coëfficiënttraject te verkrijgen $c_t = \langle \text{afvlakken}(\Delta \theta_t), v_1 \rangle$ . Empirische analyse toont aan dat deze coëfficiënten bijna lineair evolueren met de trainingsstap ( $R^2 > 0,98$ ). Een eenvoudige lineaire regressie ($c(t) = at + b$) wordt aangepast aan deze coëfficiënten met behulp van het waargenomen prefix.
Toekomstige Gewichtsvoorspelling:
Om een checkpoint op een doelstap $T$ te voorspellen, extrapoleert de methode de coëfficiënt $\hat{c}_T = aT + b$ en reconstrueert de gewichtstensor als $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ . Dit proces wordt herhaald voor alle tensoren om het volledige voorspelde checkpoint $\hat{\theta}_T$ samen te stellen.

Cruciaal is dat RELEX geen geleerde voorspellers vereist, geen extra RLVR-training, en alleen gesloten-vorm operaties omvat (afgeknotte SVD en kleinste-kwadratenpassing).

Belangrijkste Bijdragen

Empirische Ontdekking van Laag-Rang Lineariteit: De auteurs tonen aan dat RLVR-gewichtsupdate-trajecten extreem laag-rang en voorspelbaar zijn. Specifiek vangt een rank-1 SVD-benadering het overgrote merendeel van downstream-relevante parameterveranderingen, en evolueren de bijbehorende scalair coëfficiënten bijna lineair met trainingsstappen over meerdere modelfamilies (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base).
RELEX Framework: De introductie van een eenvoudige, rekenefficiënte extrapolatiemethode die toekomstige checkpoints voorspelt met uitsluitend het vroege trainingsprefix.
Spectrale Denoising Mechanisme: Het artikel identificeert dat de rank-1 projectie fungeert als een "spectrale denoiser". Door updates te projecteren op de dominante subruimte, verwierpt de methode stochastische optimalisatieruis (vastgelegd door hogere-rang componenten) die anders de prestaties tijdens extrapolatie zou verslechteren.
Minimalistische Toereikendheid: Ablatiestudies bevestigen dat het vergroten van de subruimterang (bijvoorbeeld naar rank-5 of rank-10) of het toepassen van niet-lineaire modellering (polynomen, neurale netwerken) geen verdere winst oplevert en vaak de prestaties verslechtert, wat de toereikendheid van de rank-1 lineaire benadering valideert.

Experimentele Resultaten

De methode werd geëvalueerd op drie op Qwen gebaseerde modellen over in-domein (MATH) en vijf out-of-distribution (OOD) benchmarks (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023).

Prestaties vs. Kosten: Met slechts 15–20% van de volledige RLVR-trainingskosten (waarneming van de eerste 75–125 stappen) produceert RELEX checkpoints die de prestaties van volledig getrainde RLVR-modellen evenaren of overtreffen.
- Qwen2.5-Math-1.5B: RELEX behaalde 71,6% op MATH (tegenover 71,5% voor volledige RLVR) en presteerde beter dan RLVR op 4 van de 5 OOD-benchmarks.
- Qwen3-4B-Base: RELEX behaalde 85,6% op MATH (tegenover 85,5% voor volledige RLVR).
- Qwen3-8B-Base: RELEX behaalde 87,4% op MATH (tegenover 88,5% voor volledige RLVR), binnen 1,1% van de volledige trainingsprestatie blijvend.
Extrapolatie op Lange Termijn: RELEX extrapoleert succesvol ver buiten het waarnemingsvenster. Bijvoorbeeld, het waarnemen van slechts de eerste 50 stappen maakte stabiele voorspellingen mogelijk tot 1000 stappen (20× het waarnemingsvenster), met een doorlopende verbetering van de prestaties.
Vergelijking met Baselines: RELEX presteerde uniform beter dan andere extrapolatiebaselines, waaronder Weight Extrapolation (lineaire interpolatie in ruwe gewichtsruimte), Logits Extrapolation, ExPO en AlphaRL. De superioriteit ten opzichte van Weight Extrapolation benadrukt het belang van de SVD-stap in het filteren van ruis.

Betekenis en Claims

Het artikel beweert dat RL-training, ondanks zijn stochastische en niet-convexe aard, verrassend eenvoudige paden snijdt in de laag-rang parameterruimte. De betekenis van dit werk ligt in:

Efficiëntie: Het biedt een manier om bijna optimale RLVR-prestaties te bereiken met een fractie van de rekenkosten, waardoor het grootste deel van de trainingsstappen effectief wordt "overgeslagen" zonder hertraining.
Theoretisch Inzicht: Het levert bewijs dat het "signaal" van RLVR-lering geconcentreerd is in één dominante richting, terwijl hogere-rang componenten voornamelijk optimalisatieruis vertegenwoordigen.
Generalisatie: De methode toont aan dat geëxtrapoleerde checkpoints overdraagbare redeneerwinsten vastleggen, zoals blijkt uit sterke prestaties op OOD-benchmarks, wat suggereert dat het model niet simpelweg overfit op de trainingsverdeling.

De auteurs merken beperkingen op en erkennen dat de huidige studie beperkt is tot GRPO op wiskundige redeneertaken met Qwen-modellen. Zij suggereren dat het optimale waarnemingsvenster ( $T_{cut}$ ) modelafhankelijk is en dat adaptieve rangselectie noodzakelijk kan zijn voor bredere generalisatie naar andere algoritmen (bijvoorbeeld PPO) of modelfamilies.