🤖 machine learning

Maximum Likelihood Reinforcement Learning

Dit artikel introduceert Maximum Likelihood Reinforcement Learning (MaxRL), een nieuw raamwerk dat de kloof tussen expected-reward RL en maximum likelihood overbrugt door een compute-geïndexeerde doelstelling aan te bieden die bestaande methoden Pareto-domineert en de efficiëntie van test-time schaling aanzienlijk verbetert.

Oorspronkelijke auteurs: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Gepubliceerd 2026-08-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie zijn er twee dominante manieren om een computer te leren hoe hij moet denken. De eerste is als een strenge leraar die het juiste antwoord geeft op elke vraag, waardoor de student zijn werk kan vergelijken met een antwoordsleutel en zijn begrip dienovereenkomstig kan bijstellen. Deze methode, bekend als supervised learning (begeleid leren), heeft de meest indrukwekkende beeldherkenners en taaltools aangedreven die we vandaag de gebruiken. De tweede benadering is meer als een kind dat leert lopen: er is geen antwoordsleutel, alleen de omgeving zelf. De leerling zet een stap, valt, probeert het opnieuw, en leert uiteindelijk evenwicht te bewaren door de gevolgen van zijn acties te voelen. Dit is reinforcement learning (versterkend leren), een methode die is ontworpen voor situaties waarin het pad naar een oplossing geen rechte lijn van data is, maar een reeks keuzes die leiden tot een uiteindelijke uitkomst. Jarenlang, wanneer AI-systemen te maken kregen met problemen waarbij de enige feedback een simpel "ja" of "nee" was aan het einde — zoals het oplossen van een wiskundig probleem of het navigeren door een doolhof — vertrouwden onderzoekers op deze tweede methode. Ze behandelden het probleem als een spel om beloningen te maximaliseren, uitgaande van de veronderstelling dat als de AI maar genoeg "ja"-signalen kon krijgen, het zou leren slagen.

Een nieuwe studie daagt deze langgebleven aanname uit en suggereert dat de standaardmanier waarop deze systemen worden onderwezen, eigenlijk een ruwe benadering is van een veel krachtiger, maar voorheen ontoegankelijk principe. De onderzoekers, werkend over verschillende universiteiten heen, ontdekten dat wanneer een AI-model een correct antwoord genereert, het impliciet een waarschijnlijkheid van succes creëert. In een perfecte wereld zou de beste manier om het model te trainen zijn om deze waarschijnlijkheid direct te maximaliseren, een concept dat bekend staat als maximum likelihood (maximale waarschijnlijkheid). Echter, omdat het proces van het genereren van een antwoord vaak onvoorspelbare stappen met zich meebrengt die niet gemakkelijk door de interne wiskunde van een computer kunnen worden gemeten, zijn wetenschappers gedwongen om de "spel"-aanpak van reinforcement learning te gebruiken. Het nieuwe werk bewijst dat deze standaardaanpak slechts een eerste-orde gok is naar het werkelijke doel. Het mist de subtiele, cruciale informatie die verborgen ligt in de zeldzame momenten waarop het model worstelt maar uiteindelijk toch slaagt. Door een nieuw trainingsframework te ontwikkelen genaamd Maximum Likelihood Reinforcement Learning, of MaxRL, heeft het team een manier gevonden om deze kloof te overbruggen, waardoor het systeem met een precisie kan leren van zijn successen die voorheen onmogelijk was.

De kern van de ontdekking ligt in hoe de computer zijn fouten en zijn overwinningen weegt. In de traditionele methode ontvangt het model telkens wanneer het een correct antwoord produceert een beloning, en past het systeem zijn interne instellingen aan om die uitkomst waarschijnlijlijker te maken. Deze methode behandelt een correct antwoord echter op dezelfde manier, ongeacht hoe moeilijk het probleem was. Als het model een eenvoudig puzzeltje en een complexe puzzel met gelijke gemak oplost, geeft het traditionele systeem ze evenveel krediet. Het nieuwe onderzoek laat zien dat dit inefficiënt is. Het werkelijke doel is om de waarschijnlijkheid van correctheid te maximalen, wat wiskundig gezien vereist dat het systeem veel meer aandacht besteedt aan de moeilijke problemen waar succes zeldzaam is. De standaardmethode faalt hierin omdat deze alleen naar het gemiddelde succespercentage kijkt. Het nieuwe framework, MaxRL, verandert de berekening door naar de volledige geschiedenis van pogingen te kijken. Het vraagt: "Als we dit probleem vele malen zouden proberen, hoe vaak zouden we het dan goed hebben?" Door de frequentie van succes over vele pogingen te analyseren, kan het systeem de werkelijke moeilijkheid van het probleem afleiden en het leren dienovereenkomstig aanpassen.

Om dit idee te testen, bouwden de onderzoekers een systeem dat dit meer geavanceerde leerproces kon simuleren. Ze creëerden een familie van doelstellingen die als een draaiknop konden worden afgesteld. Aan de ene kant van de draaiknop gedraagt het systeem zich exact als de standaard reinforcement learning-methoden die vandaag de dag worden gebruikt. Aan de andere kant gedraagt het zich als de ideale maximum likelihood-trainer, die theoretisch perfect is maar meestal onmogelijk uit te voeren is. In het midden laat de draaiknop het systeem toe om meer rekenkracht te gebruiken om een betere, nauwkeurigere benadering van dat ideaal te krijgen. Het team ontdekte dat naarmate zij meer rekenkracht toewezen aan het genereren van meerdere pogingen per probleem, de prestaties van het systeem drastisch verbeterden. Het was niet alleen dat het systeem stabieler werd; de aard van wat het leerde veranderde fundamenteel. Het begon zich intensief te concentreren op de moeilijke problemen die de oude methoden negeerden, wat leidde tot een veel dieper begrip van de taak.

De resultaten van deze aanpak waren opvallend in een verscheidenheid aan tests. In een gecontroleerde omgeving waar de onderzoekers de nieuwe methode direct konden vergelijken met het theoretische ideaal, kwam het nieuwe systeem, naarmate zij meer rekenkracht toevoegden, nauw overeen met de prestaties van de perfecte trainer. In contrast hiermee stuitten de standaardmethoden op een muur en maakten ze geen significante vooruitgang, zelfs niet wanneer ze enorme hoeveelheden data kregen. Wanneer het team overging naar complexere, real-world scenario's zoals het navigeren door doolhoven en het oplossen van wiskundige problemen, werd het voordeel nog duidelijker. Bij taken die wiskundig redeneren vereisten, behaalde de nieuwe methode prestatiewinsten die tot wel twintig keer efficiënter waren dan de huidige state-of-the-art methoden. Dit betekent dat het nieuwe systeem, om hetzelfde niveau van vaardigheid te bereiken, veel minder pogingen en minder rekentijd nodig had. Misschien wel het belangrijkste is dat de nieuwe methode niet leed onder het "overfitting"-probleem dat deze systemen vaak teistert, waarbij een model de trainingsdata zo goed leert te onthouden dat het faalt bij nieuwe, onbekende problemen. Terwijl andere methoden zagen dat hun vermogen om diverse, correcte oplossingen te genereren in de loop van de tijd verslechterde, behield het nieuwe framework een gezonde variëteit aan correcte antwoorden, wat suggereert dat het echt de onderliggende logica leerde in plaats van alleen patronen te memoriseren.

De implicaties van dit werk reiken verder dan alleen het slimmer maken van AI; het verandert hoe we denken over de grenzen van machine learning. Lange tijd werd de moeilijkheid bij het trainen van deze systemen op complexe redeneertaken toegeschreven aan de algoritmen zelf of aan het gebrek aan data. Deze studie suggereert dat de flessenhals eigenlijk de objectieve functie was — het wiskundige doel dat het systeem probeert te bereiken. Door de focus te verschuiven van simpelweg het maximaliseren van de gemiddelde beloning naar het maximaliseren van de waarschijnlijkheid van correctheid, hebben de onderzoekers een nieuw niveau van efficiëntie ontsloten. Het systeem probeert niet langer alleen het juiste antwoord te raden; het leert de waarschijnlijkheid van succes te begrijpen op een manier die weerspiegelt hoe mensen leren van zeldzame, moeilijk bevochten overwinningen. De onderzoekers merken op dat deze aanpak het beste werkt wanneer er een duidelijke manier is om te verifiëren of een antwoord correct is, zoals in wiskunde of programmeren, maar de principes zouden potentieel van toepassing kunnen zijn op andere gebieden waar de uitkomst binair is. Naarmate kunstmatige intelligentie meer complexe en abstracte problemen aanpakt, zal het vermogen om efficiënt te leren van schaarse feedback cruciaal zijn. Dit nieuwe framework biedt een weg vooruit en laat zien dat door de manier waarop we succes definiëren te verfijnen, we machines kunnen leren niet alleen sneller, maar ook beter te leren.

Technische Samenvatting: Maximum Likelihood Reinforcement Learning (MaxRL)

Probleemstelling

Reinforcement Learning (RL) is het standaardparadigma voor het trainen van modellen in omgevingen waar de doelfunctie niet-differentieerbaar is en alleen geëvalueerd kan worden via sampling, zoals bij taken met binaire succes/falen-uitkomsten (bijv. programma-synthese, wiskundig redeneren, navigatie). In dergelijke scenario's induceert het model een impliciete waarschijnlijkheid van correctheid, $p_\theta(y^*(x) | x)$ , voor een gegeven input $x$ . Hoewel Maximum Likelihood (ML) de principiële doelstelling is voor het optimaliseren van dergelijke waarschijnlijkheden in differentieerbare omgevingen, is het hier traditioneel onhandelbaar vanwege het niet-differentieerbare stochastische generatieproces. Bijgevolg grijpen beoefenaars naar standaard RL, dat de verwachte beloning (de verwachte pass rate, $E[p_\theta]$ ) optimaliseert, in plaats van de log-likelihood ( $E[\log p_\theta]$ ).

De auteurs observeren dat standaard RL en ML fundamenteel verschillende optimalisatiegedragingen induceren. Specifiek bevat de gradiënt van de ML-doelstelling een inverse-waarschijnlijkheid herweging ( $1/p_\theta$ ), wat aanzienlijk meer nadruk legt op "moeilijke" inputs met lage succeswaarschijnlijkheden. In contrast hiermee behandelen standaard RL-gradiënten ( $\nabla p_\theta$ ) alle inputs lineair, waardoor moeilijke gevallen vaak ondergewaardeerd worden. Deze mismatch suggereert dat RL slechts een workaround is voor niet-differentieerbaarheid in plaats van de optimale doelstelling voor correctheid-gebaseerde taken.

Methodologie: Maximum Likelihood Reinforcement Learning (MaxRL)

Het artikel introduceert Maximum Likelihood Reinforcement Learning (MaxRL), een raamwerk dat de kloof overbrugt tussen standaard expected-reward RL en exacte Maximum Likelihood door gebruik te maken van verhoogde sampling-rekenkracht.

Theoretische Fundering

De auteurs leiden een populatieniveau-expansie van de Maximum Likelihood-doelstelling af met behulp van een Maclaurin-reeks in termen van faalgebeurtenissen. Voor een pass rate $p$ is de log-likelihood:
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
Differentiatie hiervan levert de ML-gradiënt op als een oneindige harmonische mix van pass@k-gradiënten:
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
Standaard RL komt overeen met de eerste-orde benadering ( $k=1$ ), waarbij alleen $\nabla_\theta \text{pass@}1$ wordt geoptimaliseerd. MaxRL stelt voor om deze reeks te beperken tot een eindige orde $T$ , wat een familie van doelstellingen $J_{MaxRL}^{(T)}$ creëert die interpoleren tussen RL ( $T=1$ ) en exacte ML ( $T \to \infty$ ).

Gradiëntschatting

Om deze afgekapte doelstellingen te schatten zonder adaptieve sampling (wat computationeel duur is voor lage pass rates), stellen de auteurs een eenvoudige on-policy estimator voor.

Sampling: Voor een gegeven input, sample $N$ trajecten $z_1, \dots, z_N$ uit het beleid $m_\theta$ .
Succes Conditionering: Identificeer succesvolle trajecten waar $f(z_i) = y^*(x)$ . Laat $K$ het aantal successen zijn.
Estimator: De gradiëntschatter middelt de scorefuncties ( $\nabla_\theta \log m_\theta(z_i|x)$ ) alleen over de succesvolle trajecten, genormaliseerd door $K$ :
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{indien } K \ge 1)$
waarbij $r_i$ de binaire beloning is en $S_i$ de score.
Variatiereductie: Een control variate (de onvoorwaardelijke gemiddelde score) wordt afgetrokken om variantie te verminderen, wat resulteert in de uiteindelijke estimator gebruikt in Algoritme 1.

Kerninzicht: Stelling 2 stelt vast dat deze estimator een onbevoordeelde estimator is voor de afgekapte ML-doelstelling van orde $T=N$ (of $T=N-1$ met baseline subtractie). Cruciaal is dat het verhogen van het aantal rollouts $N$ niet alleen de variantie van een vaste doelstelling vermindert; het verhoogt de benaderingsorde van de doelstelling zelf, waardoor het optimalisatietarget dichter bij de ware Maximum Likelihood komt te liggen.

Implementatie

MaxRL vereist slechts een eenregige modificatie van standaard on-policy RL-implementaties (zoals RLOO of GRPO). In plaats van de advantage te normaliseren door het totaal aantal samples of de standaarddeviatie, wordt de advantage genormaliseerd door de gemiddelde beloning (of het aantal succesvolle samples), waardoor de gradiënt-signaal effectief wordt hergewogen om aan te sluiten bij de ML-doelstelling.

Belangrijkste Bijdragen

Formalisering: Het artikel formaliseert correctheid-gebaseerde RL als een latent-generatie Maximum Likelihood probleem, en bewijst dat standaard RL slechts de eerste-orde benadering van de ML-doelstelling optimaliseert.
Compute-geïndexeerde Doelstellingen: Het introduceert een familie van doelstellingen die interpoleren tussen verwachte beloning en exacte ML via een Maclaurin-expansie in pass@k gebeurtenissen, gecontroleerd door het sampling-rekenbudget.
Estimator-Doelstelling Equivalentie: Het biedt een eenvoudige, onbevoordeelde on-policy estimator waarbij het verhogen van het aantal rollouts $N$ direct de getrouwheid van de benaderde likelihood-doelstelling verbetert, in plaats van enkel de variantie te verminderen.
Empirische Validatie: Uitgebreide experimenten tonen aan dat MaxRL bestaande methoden (RLOO, GRPO) domineert op het gebied van Pareto-optimaliteit over diverse schalen en dataregimes.

Experimentele Resultaten

De auteurs evalueren MaxRL over vier verschillende regimes:

Gecontroleerde Differentieerbare Setting (ImageNet): Wanneer exacte ML (Cross-Entropy) beschikbaar is, convergeert MaxRL hiermee naarmate het aantal rollouts toeneemt. In contrast hiermee maakt standaard REINFORCE geen vooruitgang vanaf lage initiële pass rates, zelfs niet met enorme sampling-budgetten.
Oneindig Data-regime (Maze Navigatie): In een data-rijke setting met 1M unieke labyrinten, schaalt MaxRL aanzienlijk beter met rekenkracht dan GRPO en RLOO. Terwijl andere methoden een plateau bereiken, blijft MaxRL verbeteren, wat een aanzienlijk gat laat zien tussen pass@1 en pass@k, wat duidt op behouden diversiteit en leerpotentieel.
Data-arme Regime (GSM8K): Op een vaste dataset (GSM8K) getraind voor vele epochs, vertoont MaxRL een superieure weerstand tegen overfitting. Terwijl RLOO en GRPO lijden onder "pass@k degradatie" (verlies van diversiteit) en vroegtijdig stagneren, handhaaft MaxRL verbetering over vele epochs, waarbij een hogere piekprestatie wordt behaald terwijl de outputdiversiteit behouden blijft.
Grootschalige Redenering (Qwen3 Modellen): Bij het trainen van 1.7B en 4B parameter modellen op wiskundige redeneertaken, domineert MaxRL GRPO op het gebied van Pareto-optimaliteit. Het bereikt hogere pass@1 scores terwijl het tegelijkertijd pass@k (dekking) verbetert. Opvallend genoeg levert MaxRL tot wel 20x efficiëntiewinst in test-time scaling op ten opzichte van GRPO wanneer een perfecte verifier wordt gebruikt, omdat het minder samples vereist om dezelfde dekking te bereiken.

Betekenis en Claims

Het artikel claimt dat MaxRL een geprincipeerd alternatief biedt voor standaard RL voor binaire belonings-taken. De primaire betekenis ligt in het herformuleren van de beperkingen van foundation model RL, niet als een inherent probleem van het optimalisatie- of samplingproces, maar als een gevolg van de keuze van de doelstelling.

Optimalisatie Dynamiek: MaxRL concentreert leersignalen op moeilijkere prompts (lage pass rates), in tegen tegenstelling tot GRPO en RLOO die distributies naar extremen (0 of 1) kunnen drijven.
Schaalbaarheid: MaxRL schaalt gunstiger met zowel extra data als rekenkracht. In data-arme settings voorkomt het de diversiteitscollaps die vaak wordt gezien bij langdurige RL-training.
Efficiëntie: Door de trainingsdoelstelling af te stemmen op het test-doel (het maximaliseren van de waarschijnlijkheid om een correcte oplossing te vinden onder $k$ samples), verbetert MaxRL de efficiëntie tijdens de inferentie drastisch.

De auteurs concluderen dat MaxRL een veelbelovende richting is voor het schalen van RL in correctheid-gebaseerde domeinen, en een pad biedt om de voordelen van Maximum Likelihood training in niet-differentieerbare settings te herstellen door middel van verhoogde sampling-rekenkracht.