💬 NLP

Rethinking RL for LLM Reasoning: It's Sparse Policy Selection, Not Capability Learning

Dit artikel betoogt dat versterkingsleer het redeneren van LLM's verbetert niet door nieuwe vaardigheden aan te leren, maar door schaarse, voorspelbare correcties aan te brengen op beslispunten met hoge entropie, wat leidt tot de ontwikkeling van ReasonMaxxer, een uiterst efficiënte, RL-vrije methode die de prestaties van volledige RL bereikt met minimale trainingskosten.

Oorspronkelijke auteurs: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ömer Faruk Akgül, Rajgopal Kannan, Willie Neiswanger, Viktor Prasanna

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het Model Kent Het Antwoord Al

Stel je voor dat je een zeer slimme student (het Basismodel) hebt die een wiskundetoets maakt. Deze student weet eigenlijk het grootste deel van de tijd het juiste antwoord, maar is een beetje onbeslist. Als ze bij een lastige stap aankomen, kunnen ze aarzelen en een muntje opgooien tussen twee of drie mogelijke routes.

Lange tijd dachten onderzoekers dat Versterkend Leren (RL) als een superstreng coach was die de student nieuwe manieren leerde om problemen op te lossen, door volledig nieuwe strategieën vanaf nul te bedenken.

Dit artikel stelt dat dit verkeerd is.

De auteurs ontdekten dat de "coach" (RL) de student geen nieuwe trucs leert. In plaats daarvan fluistert de coach: "Hé, toen je bij stap 5 aarzelde, heb je het verkeerde pad gekozen. Kies gewoon de op één na beste optie waar je al aan dacht."

De student wist het juiste antwoord al; ze hadden alleen een kleine duwtje nodig om er zich aan te committeren.

De Ontdekking: Het Draait Alles Om de "Aftakking"

De onderzoekers keken precies naar wat er binnen de computer gebeurt wanneer een AI leert via RL. Ze vonden drie verrassende dingen:

Het is ongelooflijk zeldzaam: De RL-coach verandert slechts in ongeveer 1% tot 3% van de stappen het idee van de student. Voor 97% van de toets doet de student precies wat hij of zij toch al van plan was.
Het is altijd een "veilige" verandering: De coach vertelt de student nooit om een gek, raar antwoord te kiezen dat ze nooit hebben overwogen. Ze vertellen hen alleen om over te schakelen naar de op één na of op twee na beste optie waar de student al aan dacht.
Het gebeurt alleen bij "Aftakking"-momenten: Deze veranderingen gebeuren alleen wanneer de student in de war is (hoge "entropie"). Als de student zeker weet, blijft de coach stil. Als de student onzeker is, wijst de coach naar de juiste aftakking.

De Analogie:
Stel je voor dat je een auto rijdt op een bekende weg. Je kent de route perfect.

Het Basismodel ben jij die rijdt.
De RL-coach is een GPS.
Het Oude Standpunt: We dachten dat de GPS je leerde hoe je een auto moest besturen die je nog nooit had gezien.
Het Nieuwe Standpunt: De GPS zegt gewoon: "Je bent bij een verwarrend kruispunt. Je stond op het punt linksaf te slaan, maar je moet rechtsaf gaan." Je wist al hoe je rechtsaf moest slaan; je moest er alleen aan herinnerd worden.

Het Probleem: De Coach is Te Duur

Momenteel is het trainen van deze "coaches" (RL) als het inhuren van een enorm team ingenieurs om toe te kijken hoe de student de toets maakt, miljoenen scenario's te simuleren en complexe wiskunde te berekenen om die kleine duw te vinden. Het kost duizenden dollars en neemt weken aan computertijd in beslag.

Het artikel vraagt zich af: Als de coach slechts naar een paar specifieke plekken op een kaart wijst die we al hebben, hebben we dan het hele dure coachteam nodig?

De Oplossing: REASONMAXXER (De "Slimme Duw")

De auteurs bouwden een nieuwe, supergoedkope methode genaamd REASONMAXXER. In plaats van een enorme coach, gebruikt het een klein, goedkoop hulpmiddel.

Hier is hoe het werkt, stap voor stap:

Vind de Verwarring: Het systeem kijkt naar de eigen gedachten van de student (het Basismodel). Het vraagt: "Waar raak je in de war?" Het gebruikt een simpele wiskundige truc genaamd Entropie om de "Aftakking"-momenten te vinden waar de student onzeker is.
De Contrastieve Duw: Het neemt een paar voorbeelden van de student die het antwoord goed heeft en een paar voorbeelden waar het fout gaat. Het zegt dan: "Op deze verwarrende momenten, toen je het goed had, heb je dit pad gekozen. Toen je het fout had, heb je dat pad gekozen. Onthoud om de eerste te kiezen."
Kleine Veranderingen: Het update slechts een microscopisch deel van de hersenen van het model (minder dan 1% van zijn parameters) om deze regel te onthouden.

De Resultaten: Dezelfde Slimheid, Piepkleine Kosten

Het artikel testte deze nieuwe methode uit tegen de dure, standaard RL-coaches op zes verschillende wiskundige benchmarks.

Prestatie: REASONMAXXer presteerde net zo goed als, of zelfs beter dan, de dure RL-modellen.
Kosten: Dit is de grote schok.
- Standaard RL: Kost tussen de $200 en $100.000 om te trainen.
- REASONMAXXER: Kost ongeveer $4 tot $25 om te trainen.
- Tijd: Het duurt minuten op één computerkaart, terwijl RL dagen of weken duurt.

De Conclusie

Het artikel concludeert dat de grote industriële trend om massale, dure Versterkende Lering te gebruiken om AI-redeneren te leren, misschien te veel van het goede is.

Het "Redeneren" is geen nieuwe superkracht die we ontgrendelen; het is gewoon een kwestie van de AI helpen de juiste keuze te maken wanneer het onzeker is.

We hebben geen enorm bouwteam nodig om een huis te bouwen dat al grotendeels gebouwd is; we hebben alleen een klusjesman nodig om op de kritieke momenten een paar losse schroeven aan te draaien. REASONMAXXER is die klusjesman, en het doet het werk voor een habbekrats.

Technische Samenvatting: RL voor Redenering in LLM's Heroverwogen

Probleemstelling

Versterkende Leer met Verifieerbare Beloningen (RLVR) is het standaardparadigma geworden voor het verbeteren van redeneercapaciteiten in Large Language Models (LLM's), waarbij systemen zoals DeepSeek-R1 en OpenAI o1 aanzienlijke winsten tonen. De heersende aanname is dat RL modellen in staat stelt om via beloningsgestuurde exploratie echt nieuwe redeneerstrategieën te verwerven. Echter, opkomend bewijs suggereert dat RL mogelijk geen nieuwe capaciteiten leert, maar eerder de waarschijnlijkheidsmassa herverdeelt over oplossingen die het basismodel al bezit.

Dit artikel adresseert een kritieke kloof: terwijl eerdere werken hebben geïdentificeerd dat de effecten van RL geconcentreerd zijn op specifieke punten, opereren deze studies nog steeds binnen het RL-kader. De auteurs vragen zich af of de RL-optimalisatielus zelf noodzakelijk is als het onderliggende mechanisme simpelweg het model stuurt naar paden die het al kent. Zij hypotheseren dat verbetering van redeneren geen kwestie is van capaciteitsverwerving, maar van selectie van een spaarzaam beleid.

Methodologie

1. Mechanistische Analyse van RL-effecten

De auteurs voerden een systematische token-niveau analyse uit over meerdere model-families (Qwen, Mistral, DeepSeek) en RL-algoritmen (GRPO, PPO, RLOO). Zij vergeleken de output van basismodellen met hun RL-getrainde tegenhangers op identieke prompts om de aard van de veranderingen te karakteriseren.

Spaarzaam Disagreement: Zij vonden dat RL-modellen slechts op 1–3% van de token-posities in strijd zijn met basismodellen.
Conservatieve Herordening: De "gepromoveerde" tokens die door RL-modellen worden gekozen, bevinden zich bijna uitsluitend binnen de top-5 kandidaten van het basismodel (gemiddelde rang ~2,2). RL introduceert zelden nieuwe tokens; het verheft bestaande alternatieven.
Entropielocalisatie: Deze meningsverschillen treden bijna uitsluitend op bij hoog-entropie beslispunten (forking tokens) waar het basismodel onzeker is welke redeneervertakking het moet kiezen. De entropie op deze posities is 5–12× hoger dan op onveranderde posities.
Causale Verificatie: Met behulp van een "orakel-interventie" vervingen de auteurs basismodel-tokens door de door de RL-leraar geprefereerde tokens alleen op deze meningsverschilpunten. Deze interventie herstelde exact de nauwkeurigheid van het RL-model, bewijzend dat de spaarzame bewerkingen causaal verantwoordelijk zijn voor de prestatiewinst. Willekeurige substituties op deze punten faalden om de prestaties te verbeteren.
Laag-dimensionaliteit: De auteurs distilleerden het gedrag van de RL-leraar tot een low-rank LoRA-adapter getraind op slechts 100 problemen. Een rank-32 adapter (die <0,5% van de parameters aanpast) was voldoende om de volledige distributieverandering te vangen, wat aangeeft dat de correctie laag-dimensionaal is in de parameter-ruimte.

2. REASONMAXXER: Een RL-vrije Methode

Op basis van deze bevindingen stellen de auteurs REASONMAXXER voor, een minimale, RL-vrije post-training methode die de RL-optimalisatielus volledig omzeilt.

Data-selectie: De methode steekt rollouts uit een bevroren basismodel en behoudt alleen problemen waarbij het basismodel gemengd succes vertoont (sommige correct, sommige incorrect). Dit zorgt voor de aanwezigheid van een tweezijdig contrastief signaal.
Identificatie van Beslispunten: In plaats van een RL-leraar te gebruiken om kritieke tokens te identificeren, gebruikt REASONMAXXER de eigen token-entropie van het basismodel als poort. Posities waar de entropie een drempel $\tau$ overschrijdt, worden gemarkeerd als beslispunten.
Contrastief Fine-tunen:
- Op Beslispunten: Een voordeel-gewogen contrastief verlies wordt toegepast. Correcte rollouts versterken de waargenomen tokens, terwijl incorrecte rollouts deze straffen.
- Op Niet-Beslispunten: Een Kullback-Leibler (KL)-divergentie-verlies verankert het model aan de basisdistributie, voorkomt overfitting en behoudt het gedrag van het basismodel waar geen correctie nodig is.
Architectuur: De methode gebruikt een LoRA-adapter die aan het basismodel is gekoppeld, waarbij de basiskleuren bevroren blijven.

Belangrijkste Resultaten

De auteurs evalueerden REASONMAXXER over drie model-families, zes schalen en zes wiskundige redeneer-benchmarks (MATH-500, GSM8K, AIME, enz.), waarbij zij het vergeleken met volledige RL-baselines.

Prestatiepariteit: REASONMAXXER komt overeen met of overtreft de prestaties van volledig RL-getrainde modellen. Bijvoorbeeld, op Qwen2.5-7B behaalde REASONMAXXER 70,6% op MATH-500, wat SimpleRL-Zoo (65,6%) overtrof en Open-Reasoner-Zero (73,2%) benaderde.
Drastische Kostenreductie: De methode verlaagt de trainingskosten met twee tot drie ordes van grootte.
- Rekenkracht: REASONMAXXER vereist minuten aan single-GPU training (tientallen GPU-uur in totaal), terwijl RL-baselines honderden tot tienduizenden GPU-uur vereisen.
- Data: REASONMAXXER traint op 50 problemen (wat ongeveer 1.000 sequenties genereert), terwijl RL-baselines vaak op tienduizenden problemen trainen (bijv. 57.000 voor Open-Reasoner-Zero).
- Monetaire Kosten: Geschatte trainingskosten voor REASONMAXXER variëren van $4 tot $25, vergeleken met $200 tot $103.000 voor RL-baselines.
Generalisatie: De methode presteert goed, zelfs tegen baselines die geavanceerde verbeteringen gebruiken (bijv. iteratief RL, modelgebaseerde verifiers, multi-domein data), wat suggereert dat de kernwinsten in deze pijplijnen voortkomen uit hetzelfde mechanisme van spaarzame beleidsselectie.

Betekenis en Claims

Het artikel herformuleert het probleem van het verbeteren van LLM-redeneren van capaciteitsverwerving naar selectie van een spaarzaam beleid.

RL is niet Noodzakelijk voor Redeneerwinsten: De auteurs claimen dat de RL-optimalisatielus geen voorwaarde is voor verbetering van redeneren. Het "signaal" dat RL vastlegt, is een spaarzame, voorspelbare correctie op hoog-entropie beslispunten, wat direct kan worden geleerd via contrastief fine-tunen zonder online exploratie.
Het Basismodel Bevat de Oplossing: De bevindingen suggereren dat het basismodel al de nodige redeneerpaden en vocabulair bezit; het moet alleen worden gestuurd om op momenten van onzekerheid de juiste vertakking te kiezen.
Efficiëntie boven Infrastructuur: Het artikel daagt de standaardinvestering van de gemeenschap in zware RL-infrastructuur uit. Het betoogt dat de complexiteit van het probleem (spaarzame selectie) de complexiteit van de oplossing (massale RL-pijplijnen) niet rechtvaardigt, waardoor de deur wordt geopend voor veel efficiëntere post-training methoden.

Concluderend demonstreren de auteurs dat door het identificeren en corrigeren van alleen de kritieke, hoog-entropie beslispunten met behulp van de eigen signalen van het basismodel, men de voordelen van RL kan repliceren met een fractie van de data en rekenkracht, waardoor de kosten-batenanalyse van het trainen van redeneermodellen fundamenteel wordt veranderd.