🤖 machine learning

Distributional Biases in Post-Training: A Markovian Analysis of Reasoning Trajectories

Dit artikel lost de paradox van exploratie tijdens post-training op door redeneren te modelleren als Markov-transities, waarbij theoretisch wordt bewezen dat standaardmethoden zoals RLVR en ORM/PRM modellen bevoordelen richting paden met een hoge waarschijnlijkheid en zeldzame redeneerstappen vergeten, terwijl wordt aangetoond dat exploratiestrategieën zoals instantie-rejectie en KL-regularisatie helpen deze cruciale trajecten te behouden.

Oorspronkelijke auteurs: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

Gepubliceerd 2026-06-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dake Bu, Wei Huang, Andi Han, Atsushi Nitanda, Bo Xue, Qingfu Zhang, Hau-San Wong, Taiji Suzuki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De "Slimme maar Koppige" Student

Stel je een zeer slimme student voor (het Foundation Model) die elk boek in de bibliotheek heeft gelezen. Ze weten een beetje van alles. Echter, wanneer je ze een specifieke, lastige wiskundevraag geeft, blijven ze soms steken of maken ze fouten.

Om dit te verbeteren, gebruiken docenten Post-Training (zoals Reinforcement Learning met Verifiable Rewards, of RLVR). Dit is als het geven van een toets aan de student, het controleren van het antwoord, en zeggen: "Goed gedaan als je het goed had! Probeer dat nog eens te doen."

Het Probleem: Het paper betoogt dat deze "oefening" vaak averechts werkt. In plaats van het leren van nieuwe manieren om moeilijke problemen op te lossen, raakt de student geobsedeerd door de makkelijkste manieren die ze al kennen. Als een probleem een slimme, zeldzame truc vereist, vergeet de student die omdat ze te druk zijn met het oefenen van de eenvoudige, veelvoorkomende methoden die meestal werken.

De auteurs noemen dit het "Squeezing Effect" (het uitpers-effect). Het is als het uitpersen van een spons: je krijgt al het water eruit, maar je verplettert ook de vorm van de spons. Het model wordt heel goed in veelvoorkomende taken, maar verliest het vermogen om zeldzame, moeilijke taken aan te pakken.

De Analogie: Het Doolhof van Redeneren

Om te begrijpen hoe dit gebeurt, stellen de auteurs redeneren voor als een gigantisch boomvormig doolhof.

Het Begin: Je bent bij de ingang (de vraag).
De Paden: Er zijn veel paden die je kunt nemen om bij de uitgang (het antwoord) te komen.
Makkelijke Paden (Hoge Waarschijnlijkheid): Dit zijn brede, geasfalteerde snelwegen. De meeste mensen nemen deze. Ze werken voor de meeste vragen.
Moeilijke Paden (Lage Waarschijnlijkheid): Dit zijn smalle, overwoekerde paden. Ze worden zelden bewandeld. Maar voor specifieke, lastige vragen zijn dit de enige paden die naar het juiste antwoord leiden.

1. Pre-training: De Kaart Ontdekken

Voordat de student begint met oefenen, verkent hij het doolhof. Hij vindt zowel de snelwegen als de verborgen paden. Hij weet dat de kaart bestaat.

2. Post-Training: Het "Squeezing"

Wanneer de docent begint met het geven van beloningen voor correcte antwoorden, kijkt de student naar de kaart en denkt: "Hé, de snelweg is breed en ik krijg het meestal goed. Ik blijf gewoon op de snelweg."

Het paper bewijst wiskundig dat standaard trainingsmethoden (zoals RLVR, PPO en RAFT) werken als een magneet. Ze trekken de aandacht van de student volledig naar de snelwegen.

Het Resultaat: De student wordt een meester van de snelweg. Maar als een specifieke vraag alleen een oplossing heeft op het verborgen pad, is de student vergeten hoe hij dat pad moet vinden. De student faalt bij de moeilijke vraag.

3. De "Consistentie" Valstrik (ORM/PRM)

Het paper kijkt ook naar een andere methode waarbij een "scorer" (een neuraal netwerk) de stappen van de student beoordeelt terwijl deze aan het nadenken is.

De Valstrik: De scorer is bevooroordeeld naar consistentie. De scorer houdt ervan om steeds dezelfde stappen te zien, omdat dat meestal werkt. De scorer geeft hoge scores aan de "snelweg"-stappen en lage scores aan de "verborgen pad"-stappen, zelfs als het verborgen pad de enige manier is om de huidige probleem op te lossen.
Het Resultaat: De student wordt weggeleid van het verborgen pad nog voordat hij er zelfs maar is.

De Oplossingen: Hoe Houd je de Student Flexibel

Het paper wijst niet alleen op het probleem; het biedt theoretische oplossingen om te voorkomen dat de student de moeilijke paden vergeet.

Oplossing A: Verwerp de Makkelijke Vragen (RL-rej)

Stel je voor dat de docent zegt: "Als je dit probleem met de makkelijke snelweg kunt oplossen, wil ik het niet zien. Ik wil alleen dat je de problemen oplost waar de snelweg faalt."

Hoe het werkt: Door te weigeren de student te belonen voor makkelijke overwinningen, dwing je hem om de verborgen paden te verkennen.
De claim van het paper: Dit dwingt het model om de zeldzame, moeilijke paden te leren zonder ze te vergeten.

Oplossing B: De "Temperatuur" Knop (KL Regularisatie)

Stel je voor dat de student een beetje te enthousiast is om op de snelweg te blijven. De docent voegt een "temperatuur"-knop toe (KL regularisatie).

Hoe het werkt: Deze knop vertelt de student: "Wees niet te zeker van jezelf. Behoud een beetje van je oorspronkelijke nieuwsgierigheid." Het voorkomt dat de student 100% gefocust raakt op de snelweg en zorgt ervoor dat hij nog steeds weet dat de verborgen paden bestaan.
De claim van het paper: Dit houdt het "multi-task" vermogen van het model levend, zodat het niet vergeet hoe het andere soorten problemen moet oplossen terwijl het zich op één ding concentreert.

Oplossing C: De "Doob h-Transform" (DPRM)

Dit is een meer geavanceerde wiskundige truc voor de "scorer"-methode.

De Analogie: In plaats van dat de scorer alleen naar de huidige stap kijkt, kijkt hij naar de volledige toekomst van het pad. Hij berekent: "Als ik nu dit smalle pad neem, wat is de kans dat ik het doel bereik?"
De claim van het paper: Deze methode (genaamd DPRM) is wiskundig equivalent aan een "zachte" versie van het kiezen van het beste antwoord. Het staat het model toe om de verborgen paden open en toegankelijk te houden, in plaats van ze te verpletteren.

Het Eindoordeel

Het paper gebruikt wiskunde om een simpele waarheid te bewijzen: Als je alleen de "makkelijke" manieren van denken beloont, zul je uiteindelijk de "moeilijke" manieren vergeten.

Standaard Training: Maakt het model een specialist in makkelijke taken, maar een mislukking bij moeilijke, zeldzame taken.
De Fix: Je moet actief voorkomen dat het model te veel focust op de makkelijke zaken. Dit doe je door makkelijke overwinningen te negeren, "temperatuur" toe te voegen om diversiteit te behouden, of door slimmere scoring-methoden te gebruiken die de potentie van zeldzame paden waarderen.

De auteurs benadrukken dat hoewel hun wiskunde gebaseerd is op een vereenvoudigd "toy model" (een theoretisch doolhof), het de reële gedragingen verklaart die men vandaag de dag ziet bij grote AI-modellen: waarom ze soms "vastlopen" op eenvoudige patronen en niet in staat zijn om de slimme, zeldzame oplossingen te vinden die nodig zijn voor moeilijke problemen.

Technische Samenvatting: Distributionele Biases in Post-training: Een Markoviaanse Analyse van Redeneerpaden

Probleemstelling

Fundamentele modellen bezitten brede kennis, maar vertonen vaak een beperkt taakspecifiek redeneervermogen. Hoewel post-training strategieën zoals Reinforcement Learning met Verifieerbare Beloningen (RLVR) en inference-time scaling (met behulp van Outcome Reward Models [ORM] of Process Reward Models [PRM]) ernaar streven om taalspecifieke experts te creëren, onthullen empirische observaties een paradox. Deze methoden versterken doorgaans bestaande redeneerpaden in plaats van de redeneeromvang uit te breiden. Specifiek hebben ze de neiging om de distributie van Chain-of-Thought (CoT) trajecten te "samendrukken" (squeezing), waarbij voorkeur wordt gegeven aan frequente, gemakkelijke redeneerpatronen, terwijl zeldzame maar cruciale redeneerstappen die nodig zijn voor moeilijke instanties worden vergeten. Dit roept de vraag op hoe exploratiestrategieën effectief kunnen zijn als post-training niet in staat is om verder te exploreren dan de bestaande boomstructuur van het basismodel.

Methodologie

De auteurs stellen een behapbaar theoretisch kader voor op basis van Boomgestructureerde Markovketens (TMC) om de redeneercapaciteiten van fundamentele modellen te modelleren.

Modelformulering:
- TMC-kader: Redeneren wordt geabstraheerd als een discreet Markovproces waarbij staten logische beweringen vertegenwoordigen (bijv. wiskundige expressies) in plaats van oppervlakte-tokens. De toestandsruimte is gelaagd ( $S_1$ tot $S_L$ ), waarbij transities redeneerstappen vertegenwoordigen.
- Taakdefinitie: Taken worden gedefinieerd door vraag-antwoordparen $(q, a, k)$ . Een taak is "gemeen" (common) als deze ten minste één "gemakkelijk te redeneren" CoT toelaat (hoge-waarschijnlijkheidstransities), en "zeldzaam" (rare) als deze uitsluitend leunt op "moeilijk te redeneren" CoTs (betrokken bij ijle, lage-waarschijnlijkheidstransities).
- Basismodel: Het getrainde basismodel wordt gemodelleerd als een lineaire softmax-voorspeller die getraind is via cross-entropy, wat convergeert naar de ware transitiekansen van de TMC.
- Beloningssignalen: Het artikel maakt onderscheid tussen instantie-niveau correctheid (0/1 beloning) en populatie-niveau beloningen (verwachte nauwkeurigheid), die worden gebruikt door ORMs en PRMs.
Theoretische Analyse:
- De auteurs analyseren de gradiëntdynamica van standaard RLVR-algoritmen (REINFORCE, RAFT, PPO, GRPO) en inference-scaling methoden (ORM/PRM met Best-of-N of Beam Search) binnen deze TMC-setting.
- Ze leiden de "Advantage Gap" af tussen gemakkelijke en moeilijke CoTs, waarbij zij aantonen dat standaard doelstellingen inherent hogere voordelen (advantages) toekennen aan gemakkelijke paden vanwege hun hogere waarschijnlijkheid om correct te zijn over de populatiedistributie.

Belangrijkste Bijdragen

1. Formalisering van Drie Empirische Fenomenen

Het artikel bewijst rigoureus drie fenomenen die in de praktijk worden waargenomen:

Fenomeen 1 (Het Squeezing-effect van RLVR): RLVR-methoden (REINFORCE, RAFT, PPO, GRPO) bevoordelen inherent gemakkelijke CoTs. Theoretische analyse laat zien dat de advantage-gestuurde updates ervoor zorgen dat de waarschijnlijkheidsmassa van moeilijke CoTs afneemt, wat leidt tot het uiteindelijke vergeten ervan.
Fenomeen 2 (Consistentiebias van Neurale Verifiers): Inference scaling met ORM/PRM leunt op populatiebeloningen (verwachte nauwkeurigheid). De auteurs bewijzen dat deze beloningen systematisch gemakkelijke CoTs bevoordelen omdat deze gemiddeld genomen een grotere kans hebben om correct te zijn, zelfs als ze onjuist zijn voor specifieke moeilijke instanties. Bijgevolg faalt de door ORM/PRM gestuurde zoektocht (BoN, Beam Search) in het selecteren van moeilijke CoTs.
Fenomeen 3 (Merites van Zeldzame CoTs): Moeilijke instanties in redeneerdatasets (bijv. GSM8K, AQuA) komen vaak overeen met zeldzame CoTs met een lage vertrouwdheid van het basismodel. Standaard post-training methoden die de distributie laten inklappen op gemakkelijke paden, falen in het oplossen van deze instanties.

2. Theoretische Rechtvaardiging voor Exploratiestrategieën

Het artikel biedt bewijsbare garanties voor strategieën die de eenvoud-bias mitigeren:

Verwerpen van Gemakkelijke Instanties (RL-rej): Door trainingsinstanties te verwerpen waarbij het model al correcte antwoorden genereert met een hoge mate van vertrouwen (d.w.z. instanties die oplosbaar zijn door gemakkelijke CoTs), verschuift het trainingssignaal de focus naar moeilijke CoTs. De auteurs bewijzen dat dit het model in staat stelt om geldige moeilijke CoTs te leren terwijl de prestaties behouden blijven.
KL-Regularisatie: Het opnemen van KL-divergentie regularisatie (zoals in GRPO) voorkomt dat de distributie volledig inklapt op gemakkelijke paden. De optimale oplossing onder KL-regularisatie is een Gibbs-distributie die de brede capaciteiten van het basismodel behoudt, waardoor het mogelijk is om zeldzame CoTs te samplen en de multi-task prestaties te handhaven.
Doob's h-Transform Induced PRM (DPRM): Voor inference scaling stellen de auteurs een theoretisch gefundeerde PRM voor gebaseerd op de Doob's h-transform. Deze methode genereert een procesbeloning die, wanneer gebruikt met sampling (Soft-BoN), asymptotisch equivalent is aan de optimale Gibbs-distributie. In tegen tegenstelling tot standaard likelihood-gebaseerde PRMs, behoudt DPRM de diversiteit van het basismodel en vermijdt het de bias naar gemakkelijke CoTs.

Resultaten

De auteurs valideren hun theoretische bevindingen via empirische simulaties op een synthetische Multi-task TMC met twee taken (één gemeen, één zeldzaam).

Standaard RLVR Falen: Methoden zoals REINFORCE, RAFT en PPO bevoordeelden zwaar gemakkelijke CoTs (90-95% generatiepercentage) en onderdrukten moeilijke CoTs. Dit leidde tot een significante daling in prestaties op de zeldzame taak (Taak 2), wat het "vergetelheid"-fenomeen demonstreert.
Inference Scaling Falen: ORM-BoN en standaard PRM-BoN bevoordeelden ook overmatig gemakkelijke CoTs, waardoor ze faalden in het oplossen van moeilijke instanties die zeldzame redeneerpaden vereisten.
Succes van Voorgestelde Methoden:
- RL-rej en GRPO-KL: Deze methoden slaagden erin om de generatie van gemakkelijke en moeilijke CoTs te balanceren, wat de prestaties op de zeldzame taak aanzienlijk verbeterde terwijl de prestaties op de gemeene taak behouden bleven.
- DPRM-AS: De Doob's h-transform-gebaseerde sampling bereikte een hoge dekking van moeilijke CoTs en behield de multi-task capaciteiten, waarmee het standaard PRM-benaderingen overtrof.

Betekenis en Claims

Het artikel claimt de eerste theoretische verzoening te bieden van de spanning tussen de waargenomen voordelen van exploratie en de "squeezing"-aard van RLVR en inference scaling.

Theoretisch Inzicht: Het werk toont aan dat de "simplicity bias" een intrinsieke eigenschap is van populatie-gebaseerde beloningsschatters en advantage-gestuurde updates in een multi-task setting. Het verklaart waarom standaard post-training vaak faalt in het uitbreiden van redeneercapaciteiten buiten de bestaande hoog-waarschijnlijkheidspaden van het basismodel.
Praktische Begeleiding: De auteurs bieden een theoretische basis voor bestaande empirische praktijken, zoals het verwerpen van gemakkelijke vragen en het gebruik van KL-regularisatie, waarbij zij uitleggen waarom deze werken: ze voorkomen de ineenstorting van de distributie op gemakkelijke paden, waardoor de zeldzame CoTs die nodig zijn voor moeilijk redeneren behouden blijven.
Beperkingen en Omvang: De auteurs zijn bescheiden over hun claims en erkennen dat hun TMC-kader een abstractie is. Ze merken op dat het model een lineaire softmax-voorspeller veronderstelt en de complexiteiten van grootschalige niet-lineaire Transformers, ruisende reward oracles of reward hacking niet volledig vangt. Ze argumenteren echter dat de kerninzichten met betrekking tot distributionele bias en de noodzaak van exploratiestrategieën relevant blijven voor het begrijpen van de beperkingen van huidige RL-gebaseerde fine-tuning en inference scaling in LLM's.

Samenvattend betoogt het artikel dat om robuust redeneren te bereiken, post-training strategieën expliciet moeten tegenwerken tegen de natuurlijke neiging van beloningsgebaseerde optimalisatie om in te storten op eenvoudige, hoog-frequente patronen, en dat technieken die de distributionele diversiteit behouden (zoals KL-regularisatie en h-transforms) theoretisch noodzakelijk zijn om deze moeilijke redeneertaken op te lossen.