🤖 machine learning

GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

Het artikel introduceert GRLO, een zeer efficiënte versterkingsleerbenadering die modellen vanaf nul traint op een kleine set open-ended conversationele interacties om sterke generalisatie te bereiken over diverse domeinen zoals wiskunde en programmeren, wat de data- en rekeneisen aanzienlijk verlaagt in vergelijking met traditionele in-domein RLVR-methoden.

Oorspronkelijke auteurs: Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

Gepubliceerd 2026-05-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shangjian Yin, Yu Fu, Yue Dong, Zhouxing Shi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer slimme, goed gelezen student voor (een groot taalmodel) die tijdens de "pre-training"-fase al miljoenen boeken heeft gelezen. Ze weten veel, maar zijn wat onhandig in het volgen van instructies, het oplossen van puzzels of het schrijven van code. Om ze om te vormen tot een topexpert, moeten we hen doorgaans een "post-training"-cursus laten volgen.

Traditioneel zijn er twee manieren om deze cursus te laten verlopen:

De Specialistische Tutor (RLVR): Je huurt een tutor in die alleen wiskunde of codering onderwijst. Ze gebruiken een strikt antwoordmodel (een "verificator") om elke stap te beoordelen. Als de student een wiskundeprobleem goed oplost, krijgen ze een gouden ster. Als ze het fout hebben, krijgen ze een rode X. Dit werkt ongelooflijk goed voor wiskunde, maar de student vergeet vaak hoe ze een normaal gesprek moeten voeren of een creatief verhaal moeten schrijven, omdat ze alleen hebben geoefend voor de toets.
De Algemene Chatcoach (RLHF): Je huurt een coach in die de student leert hoe ze beleefd, behulpzaam en boeiend kunnen zijn in algemene gesprekken. Ze gebruiken menselijke feedback (zoals "dit antwoord was aardig") in plaats van een strikt antwoordmodel.

Het Probleem:
De aanpak van de "Specialistische Tutor" is duur en vereist enorme rekenkracht. Het maakt de student bovendien geweldig in wiskunde, maar slecht in chatten. De "Algemene Chatcoach" is goedkoper, maar is niet bewezen de student beter te maken in moeilijke redeneertaken zoals wiskunde of coderen.

Het Nieuwe Idee: GRLO (De "Open-ended Gym")
De auteurs van dit paper stellen een nieuwe trainingsmethode voor genaamd GRLO. In plaats van de student naar een wiskundige bootcamp of een algemene chatklas te sturen, sturen ze hen naar een gymzaal met open-ended uitdagingen.

Stel je een gymzaal voor waar de apparatuur niet alleen een loopband (wiskunde) of een bokszak (chat) is. In plaats daarvan krijgt de student 5.000 uiteenlopende, lastige en open-ended vragen, zoals:

"Analyseer de geschiedenis van de zuidpool van de Maan."
"Leg uit hoe een specifieke filosofie verband houdt met moderne politiek."
"Ontwerp een handleiding voor het houden van exotische huisdieren."

Deze vragen hebben geen enkel "juist" antwoord dat je met een computer kunt controleren. In plaats daarvan krijgt de student feedback op basis van hoe goed gestructureerd, logisch en behulpzaam hun lange, gedetailleerde antwoorden zijn.

De Grote Verrassing (De "Zero"-Magie)
Het paper beweert dat er iets verrassends is gebeurd: Alleen door te oefenen in deze "open-ended gym" werd de student aanzienlijk beter in wiskunde, coderen én chatten.

De Resultaten: Ze namen een basismodel (Qwen3-4B) en trainden dit gedurende slechts 22,7 uur op een kleine hoeveelheid data (5.000 prompts).
De Vergelijking: Deze kleine hoeveelheid training verhoogde de gemiddelde prestatie van het model van 24,1 naar 63,1.
De Efficiëntie: Dit was 46 keer minder data en 68 keer minder rekenkracht dan de enorme "Specialistische Tutor" (RLVR)-methoden die doorgaans nodig zijn om vergelijkbare resultaten te behalen.
De Transfer: Het model werd niet alleen beter in chatten; het leerde impliciet hoe het beter moest denken, wat hielp bij het oplossen van wiskundeproblemen en het schrijven van code, zelfs al zag het tijdens deze specifieke trainingsfase nooit een enkel wiskundeprobleem of coderingstaak.

Wat Gebeurt Er Vervolgens?
De auteurs probeerden een beetje "Specialistische Tutor"-training (alleen wiskunde) toe te voegen na de open-ended gym. Het hielp een klein beetje, maar alleen bij de allerzwaarste, competitie-niveau wiskundeproblemen. De belangrijkste boost kwam volledig uit de open-ended training.

De Kernboodschap
Het paper suggereert dat je geen enorme, dure, wiskundespecifieke trainingspijplijn hoeft te bouwen om een slimme, redenerende AI te krijgen. Als je een sterk basismodel neemt en het traint op een kleine, diverse set open-ended gesprekken waarbij het diep moet nadenken en zijn gedachten moet ordenen, wordt het van nature beter in alles wat erbij komt, inclusief moeilijke redeneertaken. Het is alsof je zegt: "Als je een atleet traint om een veelzijdige, aanpasbare allrounder te zijn, wordt die van nature beter in rennen, springen en gooien, zelfs als je ze nooit die specifieke sporten hebt laten oefenen."

Kortom: Een beetje slimme, open-ended gesprekstraining kan het verborgen potentieel van een model voor redeneren en coderen vrijmaken, wat een enorme hoeveelheid geld en tijd bespaart in vergelijking met traditionele methoden.

Technische Samenvatting: GRLO – Naar Generaliseerbare Versterkende Leer in Open-Ended Omgevingen vanaf Nul

Probleemstelling
Recente vooruitgang in het post-training van grote taalmodellen (LLMs) heeft zich grotendeels gesplitst in twee paradigma's: Versterkende Leer van Menselijke Feedback (RLHF), die optimaliseert voor menselijke voorkeuren, en Versterkende Leer van Verifieerbare Beloningen (RLVR), die optimaliseert voor correctheid in domeinen zoals wiskunde en code. Hoewel RLVR superieure efficiëntie en prestaties heeft aangetoond op specifieke redeneertaken, kampt het met aanzienlijke beperkingen: het is rekenkundig duur, sterk afhankelijk van verifieerbare ground-truth signalen, en vertoont zwakke overdracht naar algemene conversatievaardigheden. Omgekeerd vereist standaard RLHF vaak grote hoeveelheden domeinspecifieke data en worstelt het met het opwekken van brede redeneercapaciteiten zonder expliciete redeneersporen.

Het kernprobleem dat door dit werk wordt aangepakt, is de "domein-dekkingskloof": huidige methoden specialiseren zich ofwel sterk in verifieerbare domeinen (waardoor ze algemene chatvaardigheid verliezen) of vereisen enorme rekenbudgetten om brede capaciteiten te bereiken. Bovendien is het onduidelijk of versterkende leer die wordt uitgevoerd in open-ended, niet-verifieerbare omgevingen, algemene conversatievaardigheden kan vrijmaken die impliciet overdragen naar downstream redeneer- en codegeneratietaken zonder daaropvolgende domeinspecifieke fijnafstemming.

Methodologie: GRLO
De auteurs stellen GRLO (Generaliseerbare Versterkende Leer uit Open-Ended Omgevingen) voor, een trainingsrecept dat de focus verlegt van de optimizer naar de trainingsomgeving. In plaats van een nieuw algoritmisch optimizer te introduceren, past GRLO standaard RLHF-achtige optimalisatie toe (specifiek PPO) op een kleine, gecureerde pool van open-ended prompts.

Trainingsomgeving: De auteurs construeren een pool van ongeveer 5.000 synthetische prompts die uiteenlopende, cognitief veeleisende en grotendeels niet-verifieerbare domeinen bestrijken, waaronder wetenschappelijke analyse, argumentatieve synthese, conceptuele uitleg en langere redenering. Een onderwerpaudit bevestigt dat de pool niet wiskunde-gericht is, maar beleid, geschiedenis, biomedische wetenschappen, technologie en geesteswetenschappen bestrijkt.
Optimalisatie: Het beleid wordt geïnitieerd vanuit een voorgetraind basismodel (bijv. Qwen3-4B-Base) en geoptimaliseerd met PPO, gebruikmakend van een geleerde beloningsmodel (Skywork-Reward-V2) en een KL-geregulariseerde doelstelling. Cruciaal is dat de trainingsverdeling ( $D_{open}$ ) bestaat uit open-ended prompts waar exacte verificatie niet mogelijk is, in tegenstelling tot de verifieerbare verdelingen ( $D_{ver}$ ) die in RLVR worden gebruikt.
Hypothese: De centrale hypothese is dat het optimaliseren van een model op een kleine set open-ended interacties de outputverdeling kan herschikken om beter gebruik te maken van voorgetrainde capaciteiten, waardoor de algemene conversatievaardigheid verbetert die impliciet overdraagt naar downstream taken zoals wiskundig redeneren en codegeneratie.

Belangrijkste Bijdragen

Herwaardering van In-Domein RL: Het artikel daagt de noodzaak van in-domein RL-training als primaire bron van downstream overdracht uit, en evalueert of open-ended RL een praktisch, lichtgewicht alternatief kan zijn.
Lichtgewicht Generalisatie: De auteurs tonen aan dat een enkele fase van open-ended RL (GRLO) gezamenlijk de prestaties van redeneren, codegeneratie en algemene chat kan verbeteren. Deze aanpak bereikt een aggregate prestatie die vergelijkbaar is met sterke, hulpbronnen-intensieve in-domein RLVR-baselines (zoals General-Reasoner), terwijl er aanzienlijk minder data (46× minder) en rekenkracht (68× minder) wordt gebruikt.
Systematische Analyse: Het werk biedt een gedetailleerde analyse van schaalgedrag, overdracht tussen families (over Qwen- en Llama-architecturen heen) en responslengtes, en verduidelijkt dat de waargenomen winsten niet louter artefacten zijn van woordigheid, maar voortkomen uit verbeterde besluitkwaliteit en responsoptelling.

Experimentele Resultaten
De auteurs hebben GRLO geëvalueerd op meerdere backbones, waaronder Qwen3-4B, Qwen3-8B, Qwen2.5-3B en Llama3.2-3B.

Qwen3-4B Prestaties: Op de Qwen3-4B backbone verhoogde GRLO de gemiddelde prestatie over redeneren (Math500, GPQA), codegeneratie (HumanEval, MBPP) en algemene chat (AlpacaEval 2 LC) van een baseline van 24,1 naar 63,1. Dit resultaat komt bijna overeen met het officiële post-getrainde Qwen3-4B-model (Non-Thinking) en presteert beter dan de General-Reasoner-4B-baseline op aggregate metrieken, ondanks het gebruik van een fractie van de trainingshulpbronnen.
Specifieke Winsten: Relatief tot het basismodel verbeterde GRLO Math500 van 73,6 naar 79,2, HumanEval van 6,1 naar 84,8 en AlpacaEval 2 LC van 1,6 naar 45,8.
Consistentie tussen Modellen: Vergelijkbare trends werden waargenomen bij Qwen3-8B (gemiddelde score stijgend van 33,7 naar 67,3) en Llama3.2-3B (stijgend van 21,5 naar 39,3), wat de robuustheid van de methode over verschillende modelfamilies aangeeft.
Ablatiestudies: Experimenten toonden aan dat het gebruik van in-domein wiskundeprompts voor RL (in plaats van open-ended) de wiskundescores licht verbeterde, maar de chat-overdracht ernstig degradeerde. Evenzo leverde het vervangen van PPO door GRPO in de open-ended setting suboptimale resultaten op, wat bevestigt dat de combinatie van de open-ended omgeving en PPO cruciaal is.
Aanvullende RLVR: Een daaropvolgende in-domein RLVR-fase bood slechts marginale winsten (bijvoorbeeld een stijging van het gemiddelde van 63,1 naar 63,2 op Qwen3-4B), met verbeteringen die voornamelijk zichtbaar waren op moeilijkere wiskundebenchmarks in competitie-stijl (AIME). Dit suggereert dat de brede overdracht wordt gedreven door de initiële open-ended fase, terwijl RLVR dient als een gespecialiseerde verfijning voor moeilijke verifieerbare taken.
Efficiëntie: De training vereiste slechts 5.000 prompts en 22,7 GPU-uren. Analyse van outputlengtes onthulde dat GRLO-modellen kortere, hogere kwaliteit antwoorden produceerden in vergelijking met baselines die vertrouwden op uitgebreide redeneersporen.

Betekenis en Claims
Het artikel beweert dat GRLO een "eenvoudig en efficiënt recept" biedt voor het bouwen van breed capabele post-getrainde modellen. De primaire betekenis ligt in het aantonen dat open-ended RL een groot deel van de brede winsten kan terugwinnen die doorgaans worden toegeschreven aan veel zwaardere, verifieerder-ondersteunde trainingspijplijnen.

De auteurs betogen dat de omgeving waarin RL wordt toegepast een kritieker factor is dan de specifieke optimizer of de schaal van de data. Door RL te verplaatsen naar een cognitief veeleisende open-ended omgeving, kunnen modellen impliciet redeneer- en coderingsvaardigheden verwerven zonder expliciete domeinspecifieke supervisie. Dit daagt de heersende opvatting uit dat hoogwaardig redeneren enorme, domeinspecifieke RLVR-budgetten vereist, en suggereert in plaats daarvan dat een lichtgewicht, open-ended RL-fase vanaf "Nul" voldoende is om generaliseerbare capaciteiten vrij te maken. Het werk concludeert dat hoewel een daaropvolgende in-domein RLVR-fase de prestaties op moeilijke benchmarks verder kan specialiseren, de fundamentele brede overdracht wordt bereikt door de open-ended interactie zelf.

Technische Samenvatting: GRLO – Naar Generaliseerbare Versterkende Leer in Open-Ended Omgevingen vanaf Nul

Meer zoals dit