🤖 machine learning

Rethinking the Divergence Regularization in LLM RL

Dit artikel stelt Divergence Regularized Policy Optimization (DRPO) voor, een nieuwe RL-methode voor LLM's die de harde gradiëntmaskering gebruikt in eerdere divergentie-gebaseerde benaderingen vervangt door een gladde, advantage-gewogen kwadratische regularisator om continue corrigerende signalen te bieden en de trainingsstabiliteit te verbeteren.

Oorspronkelijke auteurs: Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiarui Yao, Xiangxin Zhou, Penghui Qi, Wee Sun Lee, Liefeng Bo, Tianyu Pang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde maar licht chaotische student (de AI) leert om een moeilijke toets te maken. De student heeft de basis al geleerd, maar nu wil je ze leren hoe ze specifieke, lastige problemen beter kunnen oplossen. Je doet dit door oefenvragen te geven, ze te laten antwoorden, en ze vervolgens te zeggen: "Goed gedaan!" of "Probeer het opnieuw!" op basis van hoe goed ze het deden. Dit proces wordt Reinforcement Learning (RL) genoemd.

Echter, er is een addertje onder het gras: de student oefent in een stille bibliotheek (training), maar maakt de werkelijke toets in een lawaaierige, chaotische examenzaal (inference). Omdat de omgevingen iets verschillend zijn, kan de student in de war raken of hun gewoontes te drastisch veranderen, wat kan leiden tot een meltdown waarbij ze alles wat ze wisten vergeten.

Om dit te voorkomen, gebruiken leraren een "veiligheidszone" (Trust Region). Deze zone zegt: "Je mag je antwoorden aanpassen om beter te worden, maar verander ze niet te veel, anders verlies je je evenwicht."

Het Probleem: De Oude Regels Waren Te Rigide

Lama tijd gebruikten leraren een methode genaamd PPO (Proximal Policy Optimization). Denk aan PPO als een strikt regelboek: "Als je antwoord met meer dan 20% verandert, stop! Trek alle krediet voor dat antwoord in."

Het paper wijst op twee grote gebreken bij deze aanpak:

De "Ratio"-val: PPO meet verandering door te kijken naar hoeveel de kansen op een antwoord zijn veranderd. In een wereld met miljoenen mogelijke woorden (zoals een woordenboek met 50.000+ woorden), kan een klein, onwaarschijnlijk woord (zoals "xylofoon") springen van een 0,0001% kans naar een 0,001% kans. Dat is een enorme ratio-verandering (10x!), maar het doet er in het grote geheel nauwelijks toe. Ondertussen kan een veelvoorkomend woord (zoals "de") dalen van 90% naar 80%. Dat is een kleine ratio-verandering, maar een enorme verschuiving in betekenis. PPO raakt hierdoor in de war: het straft zeldzame woorden te hard af en laat de veelvoorkomende woorden ongecontroleerd rondgaan.
Het "Hard Cut"-probleem: Nieuwere methoden (zoals DPPO) probeerden dit op te lossen door de werkelijke hoeveelheid verandering in waarschijnlijkheid te meten (zoals het meten van de afgelegde afstand in plaats van het percentage). Maar zij gebruikten een "Hard Mask". Stel je een muur voor. Als de student één inch voorbij de muur stapt, geeft de leraar direct een klap op de hand en zegt: "Stop! Geen verdere leerervaring voor deze stap." Het is een binaire schakelaar: je krijgt ofwel volledige credits, of je krijgt er nul. Dit creëert een schokkerig, instabiel leerproces. Als de student slechts iets voorbij de muur is, krijgt hij geen hulp om terug te lopen; hij wordt gewoon genegeerd.

De Oplossing: DRPO (De Soepele Gids)

De auteurs stellen een nieuwe methode voor genaamd DRPO (Divergence Regularized Policy Optimization).

In plaats van een harde muur of een strikte ratio-regel, stel je een slimme, verende trampoline voor die de veiligheidszone omringt.

Binnen de Zone: Als de student goede veranderingen maakt binnen de veiligheidszone, duwt de trampoline hen zachtjes vooruit, wat hen aanmoedigt om te blijven verbeteren.
Aan de Rand: Naarmate de student de rand nadert, wordt de trampoline zachter. Het stopt hen niet abrupt; het vertraagt hen slechts geleidelijk.
Buiten de Zone: Als de student per ongeluk te ver buiten de zone stapt (een "slechte" zet), snijdt de trampoline hen niet zomaar af. In plaats daarvan kaatst het hen terug. Het brengt een zachte, corrigerende kracht uit die zegt: "Oeps, je bent te ver gegaan. Laten we je terug naar het midden trekken."

Waarom Dit Beter Werkt

Het paper beweert dat DRPO werkt als een soepele, continue gids in plaats van een broze, aan/uit-schakelaar.

Het gaat beter om met de "Long Tail": In de wereld van AI zijn er duizenden zeldzame woorden. DRPO meet de werkelijke "afstand" die een woord is bewogen, niet de "ratio". Dit betekent dat het niet in de war raakt wanneer een zeldzaam woord van bijna nul naar een klein getal springt. Het behandelt de verandering eerlijk, ongeacht hoe gebruikelijk het woord is.
Het stopt nooit met leren: Zelfs wanneer de student een fout maakt en buiten de veiligheidszone stapt, gooit DRPO de les niet weg. Het gebruikt de fout om de student weer zachtjes in de juiste richting te sturen. Dit voorkomt dat het trainen instabiel wordt of "crasht".
Het werkt overal: De auteurs hebben DRPO getest op verschillende formaten AI-modellen (van klein tot enorm), verschillende soorten computerchips en zelfs wanneer de computer met een lagere precisie werkt (zoals het gebruik van een iets wazige lens). In elk geval was DRPO stabieler en hielp het de AI sneller en beter te leren dan de oude methoden.

De Kernboodschap

Beschouw de oude methoden als een leraar die ofwel "STOP!" roept zodra je een kleine fout maakt, of je volledig negeert als je iets uit de bocht vliegt.

DRPO is als een wijze coach die zegt: "Je doet het geweldig, maar je komt wel een beetje te ver. Laten we even rustig aan doen. Als je te ver gaat, zal ik je zachtjes terugtrekken zodat je niet valt." Deze soepele, continue correctie maakt het hele leerproces veel veiliger, sneller en betrouwbaarder.

Technische Samenvatting: Het heroverwegen van de Divergentie-regularisatie in LLM RL

1. Probleemstelling

Reinforcement learning (RL) is een hoeksteen van post-training voor grote taalmodellen (LLM's) om deze af te stemmen op menselijke voorkeuren en het verbeteren van redeneervermogen. De moderne LLM RL-training is echter inherent off-policy vanwege discrepanties tussen training en inferentie-engines (numerieke verschillen) en de praktijk waarbij rollouts worden opgesplitst in meerdere mini-batches. Dit maakt Trust Region Policy Optimization (TRPO) noodzakelijk om stabiele updates te garanderen door de divergentie tussen de huidige policy ( $\pi$ ) en de gedragspolicy ( $\mu$ ) te beperken.

Huidige mainstream methoden kampen met twee primaire beperkingen in deze context:

Ratio-gebaseerde beperkingen (PPO, GRPO, SPO): Deze methoden gebruiken de belangrijksheidsratio $r_t = \pi(y_t|s_t)/\mu(y_t|s_t)$ om de trust region te definiëren. In LLM's met grote, lang-staarted vocabularia is de ratio een slechte indicator voor de distributieve verschuiving. Een kleine waarschijnlijkheidstoename op een token met een lage waarschijnlijkheid kan een enorme ratio opleveren met een verwaarloosbare verschuiving in massa, terwijl een moderate ratio-verandering op een hoog-waarschijnlijkeken een significante beleidswijziging kan induceren. Dit leidt tot overmatige beperking van zeldzame tokens en ondermatige beperking van veelvoorkomende tokens.
Hard Masking (DPPO): Recent werk zoals Divergence Proximal Policy Optimization (DPPO) pakt het ratio-probleem aan door een divergentie-gebaseerd masker te gebruiken (specifiek Binary-TV, die de absolute waarschijnlijkheidsverschuiving $|\pi - \mu|$ meet). DPPO dwingt de trust region echter af via een hard binair masker. Zodra een token de grens in een schadelijke richting overschrijdt, wordt de gradiënt weggegooid (op nul gezet). Dit voorkomt verdere divergentie, maar biedt geen correctief signaal om de policy terug naar de trust region te trekken, wat leidt tot breekbare optimalisatie nabij de drempelwaarde.

2. Methodologie: Divergence Regularized Policy Optimization (DRPO)

De auteurs stellen DRPO voor, een methode die het harde masker van DPPO vervangt door een gladde, voordeel-gewogen kwadratische regularisator op de beleidsverschuiving, terwijl dezelfde Binary-TV trust region geometrie behouden blijft.

Kernformulering

DRPO afleiden zijn doelstelling door de Binary-TV beperking $|\pi(y_t|s_t) - \mu(y_t|s_t)| \leq \delta$ te herschrijven als een token-adaptieve ratio-grens. In plaats van clipping, past het een gladde regularisator toe op de surrogate doelstelling:

$\mathcal{L}_{DRPO}(x, \pi) = \mathbb{E}_{y \sim \mu} \left[ \sum_{t=1}^{|y|} \left( r_t \hat{A}_t - \frac{|\hat{A}_t|}{2\delta} \mu(y_t|s_t) (r_t - 1)^2 \right) \right]$

Waar:

$r_t$ de belangrijksheidsratio is.
$\hat{A}_t$ de advantage-schatting is.
$\delta$ de trust region drempelwaarde is.
De term $\mu(y_t|s_t)$ de regularisator schaalt, waardoor de straf wordt omgezet van een ratio-gebaseerde $\chi^2$ -vorm (zoals in SPO) naar een absolute waarschijnlijkheidsverschuivingsvorm ( $\ell_2^2$ ).

Gradiëntgedrag

De gradiënt van de DRPO-doelstelling introduceert een continue gewicht $w_t$ voor de gradiënt van elke token:
$w_t = 1 - \text{sign}(\hat{A}_t(r_t - 1)) \frac{|\pi(y_t|s_t) - \mu(y_t|s_t)|}{\delta}$

Dit gewicht vertoont drie belangrijke gedragingen:

Binnen de Trust Region: Het gewicht is positief maar wordt geleidelijk afgetopt naarmate de verschuiving $\delta$ nadert, waardoor updates kunnen doorgaan maar met een verminderde magnitude.
Buiten de Trust Region (Divergerend): Wanneer de update verder weg beweegt van de gedragspolicy ( $|\pi - \mu| > \delta$ ), wordt het gewicht negatief. Dit keert de gradiënt om en levert een correctief signaal dat de policy terug naar de grens trekt, in tegen tegenover de nul-gradiënt van harde maskers.
Convergerende Updates: Wanneer de update terug beweegt naar de gedragspolicy, wordt het gewicht versterkt ( $>1$ ), wat een vloeiende terugkeer naar de trust region stimuleert.

Theoretische Onderscheidingen

vs. SPO: SPO gebruikt een $\chi^2$ -type regularisator (delen door $\mu$ ), wat ervoor zorgt dat gradiëntgewichten in de long-tail van laag-waarschijnlijke tokens onbegrensd groeien. DRPO gebruikt een $\ell_2^2$ -type regularisator (vermenigvuldigen met $\mu$ ), waardoor de gradiëntgewichten begrensd blijven, ongeacht de token-waarschijnlijkheid.
vs. DPPO: DRPO behoudt de Binary-TV geometrie van DPPO, maar vervangt het discontinue masker door een gladde, differentieerbare regularisator.

3. Belangrijkste Bijdragen

DRPO Algoritme: Een nieuwe policy optimalisatiemethode die harde divergentie-maskers vervangt door een gladde, kwadratische regularisator gebaseerd op absolute waarschijnlijkheidsverschuiving (Binary-TV).
Begrensde Gradiëntgewichten: Theoretische en empirische demonstratie dat de gradiëntgewichten van DRPO begrensd blijven in long-tailed vocabularia, waardoor de instabiliteit wordt vermeden die wordt veroorzaakt door ratio-gebaseerde methoden (PPO, SPO) waar gewichten kunnen exploderen voor laag-waarschijnlijke tokens.
Correctiemechanisme: Introductie van een continu correctief signaal voor updates die de trust region overschrijden, wat de "gradiënt-dood" voorkomt die wordt waargenomen bij hard-mask approaches zoals DPPO.
Ontwerpprincipes: Identificatie van drie praktische criteria voor effectieve regularisatoren in LLM RL:
- Induceert een stabiele grens die is uitgelijnd met de distributieve verschuiving (niet alleen ratio's).
- Houdt per-token gradiëntgewichten begrensd in long-tailed vocabularia.
- Biedt gladde correctieve signalen wanneer de policy divergeert.

4. Experimentele Resultaten

De auteurs evalueerden DRPO in diverse settings, waaronder:

Modellen: Qwen3-4B, Qwen3-30B-A3B, Qwen3.5-35B-A3B, en DeepSeek-R1-Distill-Qwen-1.5B.
Architecturen: Dense en Mixture-of-Experts (MoE).
Precisie: BF16, FP8 (rollout alleen), en FP8 (end-to-end).
Benchmarks: AIME 2024 en AIME 2025 (wiskundige redeneertaken).

Belangrijkste Bevindingen:

Stabiliteit: DRPO maakt consistent stabiele training mogelijk in alle settings. In contrast leden ratio-gebaseerde methoden (GRPO, SPO) vaak onder instabiliteit of instorting, vooral in low-precision (FP8) settings.
Prestaties: DRPO mat of overtrof de beste evaluatie-accuratesse van alle baselines. Het presteerde beter dan hard-mask methoden (DPPO) wat betreft convergentiesnelheid en finale accuratesse.
Ablaties:
- Het verwijderen van de absolute advantage weighting $|\hat{A}_t|$ uit de regularisator leidde tot prestatieverlies en instabiliteit, wat bevestigt dat de trust region grens onafhankelijk moet zijn van de beloningsschaal.
- Alternatieve divergentie-maten (KL, TV penalties) presteerden minder goed dan DRPO, wat suggereert dat de specifieke geometrie van de Binary-TV regularisator cruciaal is.
- Het toepassen van de regularisator alleen buiten de trust region (Mask-DRPO) leverde prestaties op die vergelijkbaar waren met volledige DRPO, wat aangeeft dat de primaire winst komt van de correctieve regularisatie buiten de grens.

5. Betekenis en Claims

Het artikel claimt dat de geometrie van de gradiënt geïnduceerd door een regularisator belangrijker is dan de nominale divergentie-maat in de doelstelling. Terwijl voorgaande werken vaak focussen op standaard divergenties (KL, JS), toont dit werk aan dat:

Ratio-gebaseerde beperkingen fundamenteel gebrekkig zijn voor LLM's vanwege de long-tailed vocabularia.
Hard masks, hoewel beter dan ratio's, breekbaarheid introduceren door correctieve signalen weg te gooien.
DRPO een verenigde oplossing biedt die de geometrische correctheid van divergentie-gebaseerde beperkingen (Binary-TV) combineert met de optimalisatie-stabiliteit van gladde regularisatoren.

De auteurs positioneren DRPO niet slechts als een specifiek algoritme, maar als een empirische lens voor het ontwerpen van stabiele policy-optimalisatie doelstellingen, waarbij zij benadrukken dat effectieve regularisatoren begrensde, continue en correctieve gradiëntsignalen moeten bieden om de unieke uitdagingen van LLM RL aan te pakken.