Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards

Stel je voor dat je een chaotische, maar zeer intelligente robot probeert te leren hoe hij complexe wiskundige puzzels moet oplossen. Je hebt geen leraar die over zijn schouder meekijkt om elke fout te corrigeren; in plaats daarvan krijg je aan het einde van zijn poging alleen een simpel "Ja" of "Nee". Dit is de wereld van Reinforcement Learning met Verifieerbare Beloningen (RLVR). Het is een populaire manier om gigantische AI-hersenen beter te laten redeneren. De robot probeert een oplossing, krijgt een score, en past vervolgens zijn brein aan om het de volgende keer beter te doen.

Er is echter een addertje onder het gras: het leerproces van de robot is als het navigeren van een schip door een mistige storm met een kompas dat wild heen en weer zwiept. Om de "Ja" of "Nee" scores betekenis te geven, heeft de robot twee dingen nodig: een baseline (een referentiepunt om te weten of een score echt goed is of gewoon gemiddeld) en een leersnelheid (hoe groot de stap moet zijn op basis van die score). Momenteel bepalen ingenieurs deze instellingen door te gokken of oude vuistregels te volgen, wat er vaak toe leidt dat de robot door de mist struikelt, te langzaam leert of stappen zo wild zet dat hij alles wat hij net geleerd heeft, weer vergeet.

Dit paper, getiteld "Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards," fungeert als een nieuw, hoogtechnologisch navigatiesysteem voor dat schip. De auteurs, Zixun Huang, Jiayi Sheng en Zeyu Zheng, besloten te stoppen met gokken. Ze bouwden een wiskundige kaart om precies uit te rekenen hoe je het beste referentiepunt en de perfecte stapgrootte voor de robot kiest. Ze ontdekten dat de oude manier van het middelen van scores te onhandig is. In plaats daarvan ontdekten ze dat de robot zijn ervaringen moet wegen op basis van hoeveel "inspanning" (wiskundig gezien de gradiënt-amplitude) elke ervaring vereiste. Bovendien realiseerden ze zich dat de robot grote, zelfverzekerde stappen moet zetten wanneer het signaal duidelijk is, en kleine, voorzichtige stappen wanneer het signaal ruizig is. Door deze twee inzichten te combineren, creëerden ze een nieuwe methode genaamd OBLR-PO (Optimal Baseline and Learning-Rate Policy Optimization). Toen ze dit testten op een wiskunde-oplossende AI genaamd Qwen3-4B-Base, leerde deze sneller en loste deze meer problemen correct op dan de vorige beste methoden, wat bewees dat een beetje wiskunde een lange weg kan afleggen in het temmen van de chaos van AI-training.

Het Probleem: Sturen in de Mist

Denk aan het trainen van een AI als het leren van een hond om te apporteren. Als de hond een stok brengt, zeg je: "Goed!" Als hij een steen brengt, zeg je: "Nee." Maar wat als de hond een stok brengt die half begraven ligt in de modder? Is dat een "Goed" of een "Nee"? In de AI-wereld is dit het baseline-probleem. Je moet weten wat een "normale" prestatie is, zodat je kunt bepalen of een specifieke poging een echte succesvolle actie was of slechts een toevalstreffer.

De meeste huidige methoden gebruiken een simpel gemiddelde. Ze zeggen: "Vorige keer kreeg de hond een stok, een steen en een schoen. Het gemiddelde is een 'gemiddelde' beloning, dus laten we de stok van vandaag vergelijken met dat gemiddelde." Maar dit is als het beoordelen van een marathonloper op basis van de gemiddelde snelheid van iedereen in de stad, inclusid de mensen die naar de supermarkt wandelen. Het houdt geen rekening met hoe hard de loper daadwerkelijk heeft geprobeerd.

Dan is er de leersnelheid. Dit is de grootte van de stap die de AI zet na het leren. Als de AI 100% zeker is dat hij het goed heeft gedaan, moet hij een grote stap voorwaarts zetten. Als de AI in de war is en de data rommelig is, moet hij een kleine, voorzichtige stap zetten. De meeste methoden gebruiken een vaste stapgrootte, zoals een robot die altijd met dezelfde snelheid loopt, of hij nu op een glad trottoir loopt of op een stapel puin. Dit zorgt er vaak voor dat de AI ofwel te langzaam leert, ofwel struikelt en omvalt.

De Oplossing: Een Slimmer Kompas

De auteurs van dit paper stelden twee eenvoudige vragen: "Wat is het perfecte referentiepunt om succes te meten?" en "Hoe groot moet de volgende stap zijn?"

Ze begonnen door te kijken naar de wiskunde achter de "breinupdates" van de AI. Ze ontdekten dat de oude manier van het berekenen van de baseline een cruciaal stukje informatie miste: hoeveel invloed elk specif kind voorbeeld had op het leren. Sommige voorbeelden zijn makkelijk; andere zijn moeilijk. De "moeilijke" voorbeelden dragen meer gewicht in het leerproces.

De Nieuwe Baseline: Het Gewogen Gemiddelde
In plaats van een simpel gemiddelde, stelden de auteurs een variantie-optimale baseline voor. Stel je voor dat je een klas leerlingen beoordeelt. Een simpel gemiddelde telt alle scores op en deelt ze door het aantal leerlingen. Maar de nieuwe methode zegt: "Laten we meer gewicht geven aan de leerlingen die het hardst hebben gestudeerd." In het geval van de AI wegen zij de beloningen op basis van de "gradiënt-amplitude" — een chique manier om te zeggen: "hoeveel inspanning dit specifieke voorbeeld vereiste om te leren."

Ze voegden ook een vangnet toe genaamd KL-regularisatie. Dit is een "blijf trouw aan je wortels"-regel. Het voorkomt dat de AI zijn persoonlijkheid te drastisch verandert terwijl hij leert. De auteurs toonden aan dat wanneer je deze "blijf trouw aan je wortels"-regel mengt met de "gewogen inspanning"-baseline, je een veel stabielere en nauwkeurigere manier krijgt om succes te meten.

De Nieuwe Leersnelheid: De Signaal-Ruisverhouding
Voor de stapgrootte introduceerden de auteurs een concept genaamd de Signaal-Ruisverhouding (SNR). Stel je voor dat je probe eigenlijk de stem van een vriend te horen in een drukke kamer.

• Hoog Signaal: Je vriend schreeuwt duidelijk. Je kunt zijn woorden vertrouwen en direct reageren (neem een grote stap).
• Hoge Ruis: De kamer is luid en je kunt hem nauwelijks horen. Je moet even pauzeren, goed luisteren en misschien alleen maar knikken (neem een kleine stap).

Het paper bewijst wiskundig dat de beste leersnelheid direct verbonden is met deze SNR. Als de gradiënt van de AI (de richting waarin hij wil bewegen) duidelijk en sterk is, gaat de leersnelheid omhoog. Als de gradiënt rommelig en ruizig is, krimpt de leersnelheid. Dit is een enorme verschuiving ten opzichte van de oude methode waarbij men gewoon een vast getal kiest en zich daarbij houdt.

Het Resultaat: OBLR-PO

De auteurs combineerden deze twee ideeën in één krachtige methode genaamd OBLR-PO.

1. De Baseline: Het gebruikt een "gradiënt-gewogen" gemiddelde van de beloningen, wat betekent dat het extra aandacht besteedt aan de voorbeelden die het moeilijkst waren om te leren.
2. De Leersnelheid: Het past de stapgrootte dynamisch aan op basis van hoe duidelijk het leersignaal is.

Ze testten dit op een AI-model met 4 miljard parameters (Qwen3-4B-Base) dat getraind werd op wiskundeproblemen. De resultaten waren indrukwekkend.

• Op zichzelf maakte de nieuwe baseline de AI nauwkeuriger dan standaardmethoden zoals PPO, ReMax en RLOO.
• Op zichzelf verbeterde de nieuwe leersnelheidsregel de prestaties van alle verschillende methoden waarop het getest werd.
• Samen creëerden ze de sterkste presteerder. Op benchmarks zoals GSM8K (een test voor wiskundig redeneren) behaalde de nieuwe methode een nauwkeurigheid van 87,19%, waarmee het de vorige beste van 85,60% (GRPO) en 83,93% (RLOO) versloeg.

Waarom het Ertoe Doet

Dit paper suggereert niet zomaar een kleine aanpassing; het biedt een theoretisch bewijs dat deze veranderingen optimaal zijn onder bepaalde omstandigheden. De auteurs toonden aan dat hun methode de "ruis" in het leerproces vermindert, waardoor het pad van de AI naar intelligentie soepeler en directer wordt.

Ze toonden ook aan dat deze twee verbeteringen modulair zijn. Je kunt de nieuwe leersnelheidsregel gebruiken met elke bestaande AI-trainingsmethode, en het zal het waarschijnlijk beter maken. Je kunt ook de nieuwe baseline met andere methoden gebruiken. Maar wanneer je ze samenvoegt, krijg je de volledige kracht van het nieuwe systeem.

Kortom, de auteurs hebben het chaotische, op gokken gebaseerde proces van het trainen van AI om wiskundeproblemen op te lossen, vervangen door een precieze, wiskundig onderbouwde strategie. Ze hebben laten zien dat door te luisteren naar de "inspanning" van elk voorbeeld en de "stapgrootte" aan te passen op basis van hoe duidelijk het signaal is, we AI kunnen leren om beter, sneller en betrouwbaarder te redeneren. Het is een herinnering dat de beste manier om vooruit te gaan soms is: stoppen met gokken en beginnen met het meten van de ruis.