💬 NLP

GFlowRL: Scaling Distribution-Matching RL to Large Language Models

GFlowRL introduceert een schaalbaar, stabiel GFlowNet-stijl reinforcement learning-algoritme voor grote taalmodellen dat de noodzaak voor een geleerde partitiefunctie elimineert door gebruik te maken van in-batch Monte Carlo-schattingen en gespecialiseerde stabilisatoren, waarmee het state-of-the-art prestaties bereikt op wiskunde-, code- en adversariële benchmarks over zowel dichte als ijle architecturen tot 235B parameters.

Oorspronkelijke auteurs: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Gepubliceerd 2026-07-16

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaodong Liu, Michael Xu, Jack W. Stokes, Paul Smolensky, Doug Burger, Jianfeng Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, razendsnelle student leert hoe hij de moeilijkste puzzels ter wereld moet oplossen, van complexe wiskundige problemen tot het schrijven van computercode die nooit crasht. In de wereld van kunstmatige intelligentie is deze student een "Large Language Model" (LLM), en de methode die we gebruiken om hem te onderwijzen, heet Reinforcement Learning. Denk hierbij aan een videogame waarin de AI punten (beloningen) krijgt voor het doen van de juiste dingen. Een lange tijd was de standaardstrategie om te handelen als een hebzuchtige gamer: "Zoek de enkele zet die op dit moment de meeste punten oplevert, en doe dat keer op keer." Dit werkt goed, maar het heeft een gebrek. Het is als een student die één specifieke manier om een wiskundeprobleem op te lossen uit het hoofd leert en weigert elke andere methode te proberen, zelfs als die andere methode net zo goed is. Ze raken "vast" in één manier van denken en missen de creativiteit en variatie die nodig zijn om nieuwe, lastige situaties aan te kunnen.

Om dit op te lossen, hebben wetenschappers onlangs een andere aanpak geprobeerd genaamd "Generative Flow Networks" (GFlowNets). In plaats van alleen te jagen op de beste zet, leert deze methode de AI om alle goede zetten te verkennen, waarbij ze een kans krijgen om gebruikt te worden op basis van hoe goed ze werken. Het is alsof je de student vertelt: "Probeer elke geldige route door het doolhof, niet alleen de route die er het snelst uitziet." Het doel is om een diverse, flexibele denker te creëren. Het opschalen hiervan naar enorme, superintelligente AI-modellen was echter een nachtmerrie. De instrumenten die wetenschappers bouwden om dit werkend te krijgen, waren zo ingewikkeld en instabiel dat ze de AI vaak lieten craschen of ervoor zorgden dat de AI helemaal niets leerde, vooral wanneer de modellen enorm groot werden of de taken chaotisch werden.

Dit artikel, getiteld "GFlowRL", pakt precies dat hoofdpijndossier aan. De auteurs ontdekten dat het meest ingewikkelde deel van het oude recept voor "divers denken" juist het probleem zelf was. Ze ontdekten dat een specifiek wiskundig hulpmiddel, dat bedoeld was om het leren van de AI te balanceren, eerder werkte als een ruisende, kapotte radio dan als een behulpzame gids. Door dat kapotte hulpmiddel weg te gooien en te vervangen door een veel simpelere, on-the-fly berekening, creëerden ze een nieuwe methode genaamd GFlowRL. Deze nieuwe aanpak is stabiel, snel en verrassend effectief. Het stelt enorme AI-modellen in staat om diverse probleemoplossende strategieën te leren zonder te crashen, zelfs bij de moeilijkste wiskunde- en programmeeruitdagingen. Sterker nog, hun nieuwe methode presteerde beter dan de vorige recordhouders en bereikte een vaardigheidsniveau in competitief programmeren dat wedijvert met de allerbeste AI-systemen van dit moment.

Het Probleem: De "Magische Rekenmachine" Die Alles Kapot Maakte

Om de doorbraak te begrijpen, moeten we eerst kijken naar de oude manier van werken. Wanneer onderzoekers probeerden AI divers te leren te zijn met behulp van GFlowNets, vertrouwden ze op een speciale "rekenmachine" (technisch gezien een partition function) om de beloningen te balanceren. Stel je voor dat je een docent bent die een klas van 1.000 leerlingen probeert te beoordelen. Je wilt ervoor zorgen dat als een leerling een slimme, unieke oplossing vindt, deze ook credit krijgt, maar je wilt ook voorkomen dat de cijfers zo hoog worden dat het hele systeem instort.

De oude methode probeerde een volledig nieuw, klein AI-model te bouwen om als deze rekenmachine te fungeren. Het probleem was dat deze kleine rekenmachine vanaf nul moest leren, terwijl de gigantische student (de hoofd-AI) al een genie was. Het was alsof je een peuter vroeg om de begroting van een miljardenbedrijf te beheren terwijl de CEO beslissingen nam. De peuter (de rekenmachine) raakte in de war, riep willekeurige getallen en veroorzaakte paniek in het hele systeem. De onderzoekers ontdekten dat deze "rekenmachine" eigenlijk meer kwaad dan goed deed. Het was zo instabiel dat het het leerproces van de AI liet exploderen met fouten, en in veel gevallen leerde de AI niets beters dan wanneer de rekenmachine simpelweg met willekeurige ruis zou zijn vervangen.

De Oplossing: De Rekenmachine Weggooien, Gebruik de Groep

De auteurs van GFlowRL stelden een eenvoudige, gedurfde vraag: "Hebben we deze kapotte rekenmachine echt nodig?"

Ze realiseerden zich dat de AI al het werk deed dat de rekenmachine zou moeten doen. Wanneer de AI oefent, probeert hij niet slechts één antwoord; hij probeert een hele groep antwoorden tegelijkertijd (zoals een focusgroep). De onderzoekers merkten op dat ze gewoon naar de groep antwoorden die de AI al had gegenereerd konden kijken om de benodigde balans te bepalen. In plaats van een aparte, fragiele machine te bouwen om de wiskunde te doen, gebruikten ze gewoon de data die direct voor hen lag.

Denk hierbij aan het volgende: In plaats van een aparte, nerveuze accountant in te huren om te vertellen hoeveel geld het team heeft verdiend, kijk je gewoon naar de bonnetjes die het team zojuist heeft overhandigd. Het is dezelfde informatie, maar het is onmiddellijk, het is echt, en het vereist geen nieuwe, dure machine die kapot kan gaan.

Deze eenvoudige overstap — het vervangen van de complexe, geleerde rekenmachine door een snelle, on-the-spot schatting vanuit de groep — veranderde alles.

Stabiliteit: De wilde, exploderende fouten verdwenen. Het trainen werd even vloeiend als de standaardmethoden die vandaag de dag worden gebruikt.
Eenvoud: Ze hadden geen tweede, extra model meer nodig om te trainen. Dit bespaarde een enorme hoeveelheid rekenkracht en tijd.
Prestaties: Verrassend genoeg stopte de AI niet alleen met crashen; hij werd zelfs beter.

De Resultaten: Van Crashen naar Kampioen

Het team testte deze nieuwe methode, GFlowRL, op enkele van de moeilijkste uitdagingen voor AI:

Wiskunde: Ze trainden modellen op moeilijke wiskundewedstrijden. De nieuwe methode hielp de AI om meer problemen op te lossen dan welke eerdere methode die diversiteit stimuleerde dan ook.
Coderen: Ze testten het op competitieve programmeerwebsites zoals Codeforces. Een model met 14 miljard parameters, getraind met GFlowRL, bereikte een rating van 2048. Om dit in perspectief te plaatsen: dit is een niveau van vaardigheid dat ongelooflijk hoog is; het verslaat voorheen gevestigde open-source records en komt slechts 25 punten tekort voor de allerbeste gesloten bron AI (o3-mini) die momenteel beschikbaar is.
Veiligheid (Red Teaming): Ze testten het ook op "red-teaming", wat een manier is om de veiligheidsregels van AI te testen door te kijken of ze standhouden. In deze ruisige, chaotische omgeving waar eerdere methoden volledig faalden, slaagde GFlowRL erin en behaalde het de hoogste succesratio in het aanvallen van veiligheidsfilters, waarmee bewezen werd dat het complexe, diverse strategieën kon leren, zelfs wanneer de feedback verwarrend was.

Misschien wel het meest indrukwekkende deel was hoe goed het schaalde. Toen ze probeerden deze methode toe te passen op enorme "Mixture of Experts" (MoE) modellen — AI-systemen met honderden miljarden parameters — crashten eerdere methoden onmiddellijk. GFlowRL bleef echter perfect functioneren, zelfs op een model met 235 miljard parameters.

Waarom Dit Er Toe Doet

De belangrijkste les hier is niet alleen dat ze een betere AI-trainer hebben gebouwd; het is dat ze beseften dat de "beste" manier om dingen te doen niet altijd de meest ingewikkelde manier is. Door de onnodige, instabiele onderdelen van het oude recept weg te strippen, vonden ze een pad dat zowel simpeler als krachtiger is.

GFlowRL suggereert dat om AI echt slim en divers te maken, we niet meer lagen van complexe machines hoeven toe te voegen. Soms is de beste manier om een superintelligente student te onderwijzen, om te stoppen met het over-engineeren van het lesplan en hen gewoon te laten leren van de groep ideeën die ze al genereren. Het blijkt dat de sleutel tot het opschalen van AI-redeneren niet het toevoegen van meer tools was, maar weten welke tools je precies weg moet gooien.

Technische Samenvatting: GFlowRL

Probleemstelling

Reinforcement Learning (RL) is de standaard post-training paradigm geworden voor grote taalmodellen (LLM's), met name voor redeneertaken zoals wiskunde en programmeren. Echter, dominante RL-benaderingen (bijv. PPO, GRPO) zijn fundamenteel beloningsmaximaliserend. Ze concentreren de waarschijnlijkheidsmassa op de enkele hoogste beloningsmodus, wat leidt tot mode collapse (modus-instorting) en een vermindering van de oplossingsdiversiteit. Dit is structureel beperkend voor chain-of-thought redeneren, waarbij generalisatie en robuustheid afhangen van het dekken van meerdere geldige oplossingspaden.

Generative Flow Networks (GFlowNets) bieden een alternatief door policies te leren die trajecten samplen in verhouding tot hun beloning, waardoor ze de beloningsverdeling matchen in plaats van deze te maximaliseren. Recente pogingen om GFlowNets toe te passen op LLM's (bijv. FlowRL, FOR) maken gebruik van een Trajectory Balance (TB) objectief. Dit objectief vereist het schatten van een partitiefunctie $Z(x)$ , die doorgaans wordt geïmplementeerd als een geleerd hulpnetwerk (bijv. een MLP) geconditioneerd op de prompt.

Het paper identificeert een kritieke schaalbaarheid-bottleneck: in de context van moderne LLM post-training is het gezamenlijk trainen van een willekeurig geïnitialiseerd partitie-netwerk naast een massief, pre-trained policy instabiel. De policy vereist slechts bescheiden verfijning, terwijl de partitiefunctie een complexe hoeveelheid vanaf nul moet leren binnen hetzelfde korte trainingsvenster. Deze asymmetrie zorgt ervoor dat de geleerde partitiefunctie fungeert als een bron van ruis en gradiënt-instabiliteit in plaats van een nuttige normalisator, wat vaak leidt tot divergentie tijdens de training, vooral in regimes met ijle beloningen (bijv. adversariële red-teaming) en op ijle architecturen (Mixture-of-Experts, of MoE).

Methodologie: GFlowRL

De auteurs stellen GFlowRL voor, een gestroomlijnd GFlowNet-stijl RL-algoritme dat de geleerde partitiefunctie volledig elimineert terwijl het belonings-verdeling-matchende objectief behouden blijft.

Kerninzicht

Door middel van systematische analyse tonen de auteurs aan dat de geleerde partitiefunctie $Z_\phi(x)$ een verwaarloosbare bijdrage levert aan de policy-update. Empirisch gezien levert het vervangen van de geleerde $Z_\phi$ door willekeurige ruis vergelijkbare prestaties op, terwijl de geleerde versie orders van grootte grotere gradiëntnormen en frequente gradiënt-explosies introduceert.

Het Algoritme

GFlowRL vervangt de geleerde $Z_\phi(x)$ door een eenvoudige, in-batch Monte Carlo-schatting die direct wordt berekend uit de rollout-groep die al vereist is voor de training (vergelijkbaar met de groep-relatieve normalisatie in GRPO).

In-Batch Estimator: Voor een prompt $x$ en een groep van $G$ rollouts $\{y^{(1)}, \dots, y^{(G)}\}$ , wordt de schatting voor $\log Z(x)$ berekend als het gemiddelde van de TB-targets over de groep:
$\hat{Z}_t(x) := \frac{1}{G} \sum_{i=1}^G \left( \beta r(x, y^{(i)}) + \log \pi_{ref}(y^{(i)} | x) - \log \pi_{old}(y^{(i)} | x) \right)$
Deze estimator dient als een stop-gradient baseline. Het centreert de residu maar draagt geen eigen gradiënt, waardoor de noodzaak voor een hulpnetwerk en zijn optimizer-state wordt weggenomen.
Stabilisatoren: Om stabiliteit te garanderen, bevat GFlowRL twee belangrijke mechanismen:
- Importance-Sampling Correctie: Corrigeert voor de drift tussen de rollout-policy ( $\pi_{old}$ ) en de huidige policy ( $\pi_\theta$ ).
- Asymmetrische Flow-Gap Clipping: De flow gap (het residu vóór de policy-update term) wordt asymmetrisch geclipt. Dit staat agressievere opwaartse correcties toe voor onder-gesamplede correcte oplossingen, terwijl negatieve updates worden begrensd om te voorkomen dat uitschieters de training destabiliseren.
Verliesfunctie: De uiteindelijke loss minimaliseert het kwadraat van het residu van de flow gap, genormaliseerd door de respons-lengte om te voorkomen dat lange sequenties de gradiënt domineren.

Belangrijkste Bijdragen

Identificatie van de Bron van Instabiliteit: Het paper identificeert de geleerde partitiefunctie $Z_\phi$ als de primaire bron van instabiliteit in GFlowNet-gebaseerde RL voor LLM's. Het biedt empirisch bewijs dat $Z_\phi(x)$ bijna geen voordeel biedt voor post-training en in plaats daarvan onnodige optimalisatie-uitdagingen introduceert.
GFlowRL Algoritme: De voorstel van een gestroomlijnd algoritme dat het geleerde partitie-netwerk vervangt door een in-batch Monte Carlo-schatting. Dit verwijdert het hulpnetwerk en de bijbehorende gedistribueerde trainingsoverhead, terwijl het fixed point van het trajectory-balance objectief behouden blijft.
Stabiele Schaalbaarheid: Demonstratie van stabiele training over zowel dense als sparse (MoE) architecturen, inclusief regimes waarin eerdere methoden (FlowRL) divergeren.

Experimentele Resultaten

De auteurs evalueren GFlowRL op benchmarks voor wiskundig redeneren, competitief programmeren en adversariële red-teaming met modellen variërend van 7B tot 235B parameters.

Wiskundig Redeneren: Op het 7B dense model bereikt GFlowRL een gemiddelde nauwkeurigheid van 40.92, waarmee het GRPO (32.48) en FlowRL (35.63) verslaat. Het overtreft ook FlowRL op het 32B model.
Code Generatie: Op de 14B schaal bereikt GFlowRL een Codeforces rating van 2048, waarmee het DeepCoder-14B (+112 Elo), FlowRL-14B (+144 Elo) en OpenAI's o1 (+157 Elo) overtreft. Het zit binnen 25 Elo van o3-mini.
Adversariële Red-Teaming: In noisy-reward regimes waar FlowRL niet convergeert, traint GFlowRL stabiel. Het behaalt de hoogste gemiddelde Attack Success Rate (ASR@1) op AdvBench (82.5%) en HarmBench (79.5%), waarmee het de vorige SOTA multi-turn attacker (SEMA) overtreft.
MoE Scaling: GFlowRL traint succesvol op Qwen3-30B-A3B (3B actieve parameters) en Qwen3-235B-A22B (22B actieve parameters). Op het 30B model bereikt het 1999 Codeforces Elo. In tegenstelling hiertoe divergeert FlowRL op alle geteste MoE benchmarks.
Diversiteit: GFlowRL bereikt een diversiteitsscore van 3.93 (op een schaal van 1-5), wat aanzienlijk hoger is dan GRPO (1.21) en FlowRL (2.64), wat de capaciteit bevestigt om diverse redeneerpaden te behouden.

Betekenis en Claims

Het paper claimt dat GFlowRL het eerste GFlowNet-stijl RL-algoritme is dat stabiel kan schalen over zowel dense als sparse architecturen voor grote redeneermodellen.

De auteurs argumenteren dat de schaalbaarheid-bottleneck voor GFlowNet-stijl RL niet het trajectory-balance objectief zelf is, maar de geleerde partitiefunctie. Door dit onderdeel te vervangen door een eenvoudige, niet-geleerde estimator afgeleid van de rollout-groep, bereikt GFlowRL de voordelen van distributie-matching (diversiteit, robuustheid) zonder de engineering-overhead en instabiliteit van hulpnetwerken. Dit suggereert dat het schalen van GFlowNet-stijl RL naar frontier-modellen minder afhangt van het toevoegen van complexe machinerie en meer van het identificeren en verwijderen van onnodige componenten uit het oorspronkelijke objectief.