🤖 machine learning

ISO: An RLVR-Native Optimization Stack

Dit artikel introduceert ISO, een nieuw optimalisatiekader voor Reinforcement Learning met Verifieerbare Beloningen (RLVR) dat spectrale overerving benut om alleen de enkelvoudige frames van modelgewichten te optimaliseren terwijl het basis-spectrum vast blijft, waardoor uiterst efficiënte online training en effectieve offline fusie van specialistische modellen mogelijk wordt zonder dat extra data of gradiëntupdates vereist zijn.

Oorspronkelijke auteurs: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme robot probeert te leren beter na te denken. Je geeft het hem niet alleen een tekstboek; je laat hem dingen proberen, en wanneer hij het juiste antwoord geeft, geef je hem een high-five (een "beloning"). Dit proces wordt Reinforcement Learning met Verifiable Rewards genoemd, of afgekort RLVR. Het is als een videogame waarin de robot leert door te spelen, en de game vertelt hem pas aan het einde van een level "goed gedaan" of "nog een keer proberen".

Lange tijd hebben wetenschappers dezelfde oude hulpmiddelen gebruikt om de hersenen van de robot bij te werken na deze high-fives. Ze behandelen de hersenen van de robot als een gigantische, rommelige spreadsheet vol getallen en passen dan elk getal een klein beetje aan. Maar hier zit de crux: de hersenen van de robot zijn al best goed in de basis voordat hij aan het spel begint. Misschien zijn de oude hulpmiddelen te onhandig, waardoor ze dingen veranderen die niet veranderd hoeven te worden, of missen ze juist de specifieke onderdelen die wel een duwtje nodig hebben. De grote vraag is: is er een slimmere, preciezere manier om de hersenen van de robot bij te werken die respect heeft voor wat hij al weet, terwijl hij nieuwe trucjes leert?

Dit artikel, getiteld "ISO: An RLVR-Native Optimization Stack", duikt precies in die vraag. De auteurs ontdekten een verborgen patroon in hoe deze robots leren. Ze ontdekten dat wanneer een robot een nieuwe vaardigheid leert via RLVR, hij zijn hele brein niet echt herschrijft. In plaats daarvan houdt hij de "volumeknoppen" (de wiskundige waarden die de sterkte van zijn verbindingen controleren) exact hetzelfde als ze waren vóór de training. Hij verandert alleen de "richtingen" (de hoeken en oriëntaties van die verbindingen).

Denk aan een dansgezelschap. De "volumeknoppen" zijn het aantal dansers en hun energieniveaus, die gelijk blijven. De "richtingen" zijn de choreografie. Het artikel laat zien dat om een nieuwe dans te leren, het gezelschap niet nieuwe mensen hoeft aan te nemen of te veranderen hoe energiek ze zijn; ze hoeven alleen de stappen te herschikken. De auteurs noemen dit "Spectral Inheritance". Ze bewezen dat je de energieniveaus (het spectrum) vast kunt houden en nog steeds geweldige resultaten kunt behalen door simpelweg de choreografie (de frames) aan te passen.

Op basis van deze ontdekking bouwden ze een nieuwe toolkit genaamd ISO (Isospectral Optimization). Deze heeft twee belangrijke trucs. Ten eerste is er "ISO-Merger", die werkt als een magische blender. Als je drie verschillende robots hebt, elk een meester in een andere vaardigheid (de een is een programmeerwizard, de ander een wiskundig genie en de derde een gereedschapsexpert), kun je ze samenvoegen tot één super-robot zonder ze opnieuw te hoeven trainen of nieuwe data te voeren. Het mengt simpelweg hun choreografie terwijl de oorspronkelijke energieniveaus intact blijven.

Ten tweede is er "ISO-Optimizer", een snellere manier om een robot vanaf nul te trainen. In plaats van blindelings het hele brein aan te passen, past het alleen de choreografie aan terwijl de energieniveaus vergrendeld blijven. Het artikel laat zien dat dit een enorme tijdbesparing is. Bijvoorbeeld, op een specifiek model met 8 miljard parameters bereikte de nieuwe methode dezelfde hoge score als de oude methode in slechts 100 stappen, terwijl de oude methode 270 stappen nodig had om daar te komen. Nog beter: het bleef verbeteren en behaalde zelfs een hogere score bij stap 210.

De auteurs zijn zeer voorzichtig om te zeggen dat dit geen magie is; het is wiskunde. Ze hebben het rigoureus getest. Ze lieten zien dat als je probeert alleen de energieniveaus te veranderen (de volumeknoppen) zonder de choreografie te veranderen, de robot niet veel leert. Maar als je de energieniveaus vast houdt en de choreografie verandert, leert de robot snel. Ze controleerden ook of dit patroon standhoudt, zelfs wanneer de robot later een tweede, totaal andere vaardigheid leert.

De belangrijkste les is simpel: wanneer je deze AI-modellen nieuwe redeneervaardigheden leert, probeer dan niet hun hele fundament te herbouwen. Gebruik simpelweg het solide fundament dat ze al hebben en focus op het herschikken van de stappen. Het is een efficiëntere, snellere en verrassend effectieve manier om AI te leren denken.

Technische Samenvatting: ISO: Een RLVR-Native Optimalisatiestack

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een primaire mechanisme geworden voor het schalen van de redeneercapaciteiten van grote taalmodellen (LLM's). De optimalisatielaag die verantwoordelijk is voor het omzetten van beloningsfeedback naar updates in de gewichtsruimte blijft echter slecht begrepen. Huidige RLVR-implementaties erven grotendeels optimalisatiestrategieën (bijv. AdamW, Muon) en parametrisaties van pre-training, ondanks fundamentele structurele verschillen tussen beide regimes. Pre-training leunt op dichte, op tokens gebaseerde supervisie, terwijl RLVR in staat modellerende policies aanpast met behulp van ijle, op uitkomsten gebaseerde beloningen.

Recente analyses suggereren dat RLVR-updates ijl en off-principal zijn, maar bestaande frameworks maken geen expliciet onderscheid tussen wat wordt hergebruikt en wat wordt herschreven tijdens adaptatie. Dit artikel onderzoekt de "ontbrekende laag" van RLVR-optimalisatie door de enkelvoudige structuur van modelgewichten te analyseren om te bepalen of de spectrale eigenschappen van het basismodel functioneel noodzakelijk zijn of slechts incidenteel.

Methodologie: Spectrale Erfenis en Isospectrale Optimalisatie (ISO)

Het artikel introduceert Isospectrale Optimalisatie (ISO), een framework gebouwd op het principe van spectrale erfenis. Dit principe stelt dat RLVR nieuwe gedragingen kan verwerven door de input- en output-singuliere frames ( $U, V$ ) van gewichtsmatrices te wijzigen, terwijl het singulariewaarde-spectrum ( $\Sigma$ ) van het basismodel wordt hergebruikt.

1. Analyse van Spectrale Erfenis

De auteurs formaliseren de observatie dat ongecontroleerde RLVR-checkpoints dicht blijven bij de "fixed-spectrum familie" van hun basisgewichten.

Nabij-Isospectraliteit: Empirische analyse toont aan dat de afstand tussen geleerde RLVR-gewichten en de fixed-spectrum familie van het basismodel minimaal is (ongeveer 3% van de totale checkpoint-verplaatsing), wat aanzienlijk lager is dan bij Supervised Fine-Tuning (SFT).
Functionele Herbruikbaarheid: Door middel van interventies demonstreren de auteurs dat de kleine spectrale veranderingen waargenomen in ongecontroleerde RLVR niet functioneel noodzakelijk zijn.
- Restauratie: Het herstellen van het basis-spectrum ( $\Sigma_0$ ) na training, terwijl de geleerde frames behouden blijven, behoudt de meeste verworven prestaties.
- Fixed-Spectrum Training: Het vastzetten van $\Sigma_0$ tijdens de gehele training en het optimaliseren van enkel de frames ( $U, V$ ) levert sterke winst op, wat vaak beter presteert dan standaard gewichtsruimte-optimizers.
- Spectrum-Alleen Controle: Omgekeeld levert het enkel updaten van het spectrum, terwijl de frames bevroren blijven, beperkte verbetering op.
Frame Adaptiviteit: Structurele analyse onthult dat hoewel het spectrum vast kan blijven staan, zowel de input- ( $V$ ) als de output-frames ( $U$ ) adaptief moeten blijven. Het beperken van adaptatie tot slechts één subspace of het remixen binnen bestaande spans laat een substantieel deel van de checkpoint-verandering onverklaard.

2. Het ISO-Framework

ISO operationaliseert deze bevindingen als een optimalisatiestack met twee complementaire instanties:

A. ISO-Merger (Offline)

Een data-vrije methode voor het samenstellen van gedeelde-basis RL-experts.

Mechanisme: In plaats van Euclidean taakvectoren of on-policy distillatie te gebruiken, brengt ISO-Merger de singuliere frames van meerdere experts in lijn met een gedeeld basis-spectrum. Het projecteert de frame-veranderingen van experts op de Stiefel-tangentruimte van de basis, maskeert instabiele trailing modi, en aggregeert deze met een ridge-gestabiliseerde lineaire combinatie om unit self-retention te targeten.
Proces: Projecteer $\to$ Maskeer $\to$ Merge $\to$ Retract. Het uiteindelijke model wordt gereconstrueerd als $W^* = U^* \Sigma_0 (V^*)^\top$ , wat garandeert dat het tot de fixed-spectrum familie behoort.
Vereiste: Vereist geen post-merge data, rollouts, gradiënt-updates of distillatie.

B. ISO-Optimizer (Online)

Een methode voor online RLVR-training die standaard optimizers toepast op frame-variabelen.

Mechanisme: Gegeven een basis-optimizer (bijv. AdamW, Muon), past ISO-Optimizer de update-regel toe op de singuliere frame-variabelen ( $U, V$ ) terwijl het basis-spectrum $\Sigma_0$ vast blijft.
Gradiëntstroom: Gradiënten worden berekend met betrekking tot de gereconstrueerde gewichtsmatrix $W = U \Sigma_0 V^\top$ en worden via de kettingregel teruggevoerd naar $U$ en $V$ .
Haalbaarheid: Na elke update worden de factoren geprojecteerd op de Stiefel-variëteit met behulp van polar retractie (SVD-gebaseerd) om orthonormaliteit te waarborgen.
Overhead: De polar retractie voegt ongeveer 7% toe aan de end-to-end staptijd, wat niet dominant is in RLVR-systemen waar de tijd voor het genereren van rollouts de bottleneck vormt.

Belangrijkste Resultaten

1. Offline Expert Compositie (ISO-Merger)

Experimenten op Qwen2.5-7B en DeepSeek-R1-Distill-Qwen-1.5B voor het mergen van coding-, tool-use- en memory-experts tonen aan:

ISO-Merger bereikt de sterkste geaggregeerde prestaties onder de data-vrije mergemethoden (bijv. Task Arithmetic, TIES, OrthoMerge).
Op Qwen2.5-7B bereikt het een gemiddelde score van 63.80, waarmee het de beste baseline (62.88) overtreft.
Op DeepSeek-R1-Distill-Qwen-1.5B bereikt het 44.38, waarmee het de beste baseline (43.52) overtreft.
Het herstelt complementaire capaciteiten zonder extra trainingsdata of rollouts te vereisen.

2. Online RLVR Training (ISO-Optimizer)

Experimenten naar wiskundig redeneren (AIME, AMC, Olympiad) en coderen (LiveCodeBench) over verschillende model-schalen (1.5B tot 8B) tonen aan:

Nauwkeurigheidswinst: ISO-AdamW bereikt consistent een hogere geaggregeerde nauwkeurigheid dan standaard AdamW en Muon baselines.
Trainingsefficiëntie: ISO-Optimizer bereikt gelijke scores met substantieel minder trainingsstappen.
- Op Qwen3-4B-Base evenaart ISO-AdamW de uiteindelijke nauwkeurigheid van de beste AdamW-run met 2.2 $\times$ minder stappen.
- Op Qwen3-8B-Base bereikt ISO-AdamW een nauwkeurigheid van 0.495 in 100 stappen, terwijl een standaard AdamW 270 stappen nodig heeft om hetzelfde niveau te bereiken (een 2.7 $\times$ reductie).
Generalisatie: De voordelen blijven bestaan over verschillende optimizers (ISO-Muon) en taken (coding vs. math), wat bevestigt dat de fixed-spectrum restrictie een robuuste inductieve bias is voor RLVR.

Betekenis en Claims

Het artikel claimt een concreet antwoord te bieden op de "ontbrekende optimalisatielaag" in RLVR. In plaats van pre-training optimalisatie integraal over te nemen, pleiten de auteurs voor het ontwerpen van post-training rond de structuur van beloningsgestuurde adaptatie: erf het spectrum, optimaliseer de frames.

Belangrijkste bijdragen zijn:

Formalisering van Spectrale Erfenis: Het demonstreren dat RLVR functioneel het spectrum van de basisgewichten hergebruikt, een eigenschap die verschilt van SFT.
RLVR-Native Stack: Het introduceren van ISO als een framework dat offline expert-compositie en online training verenigt onder één enkel fixed-spectrum principe.
Praktische Efficiëntie: Het aantonen dat het beperken van optimalisatie tot de fixed-spectrum familie de convergentiesnelheid en de uiteindelijke nauwkeurigheid verbetert zonder de bruikbare modelklasse uit te breiden, wat effectief fungeert als een sterke inductieve bias voor RLVR.

De auteurs benadrukken dat ISO niet louter een nieuwe optimizer is, maar een structurele herparametrisatie die de optimalisatie-traject afstemt op de intrinsieke geometrie van RLVR-adaptatie, wat een pad biedt naar efficiëntere en stabielere post-training voor redeneermodellen.