💬 NLP

Two is better than one: A Collapse-free Multi-Reward RLIF Training Framework

Dit artikel stelt een instortingsvrij multi-beloning RLIF-trainingskader voor dat antwoordniveau-clusterstemming en token-voor-token zelfzekerheidsbeloningen combineert met GDPO-normalisatie en KL-Cov-regularisatie om stabiele, onbewaakte lang-horizon redenering in LLM's mogelijk te maken zonder afhankelijkheid van externe grond-waarheid toezicht.

Oorspronkelijke auteurs: Shourov Joarder, Diganta Sikdar, Ahsan Habib Akash, Binod Bhattarai, Prashnna Gyawali

Gepubliceerd 2026-05-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shourov Joarder, Diganta Sikdar, Ahsan Habib Akash, Binod Bhattarai, Prashnna Gyawali

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar onervaren student (een AI-model) leert complexe puzzels op te lossen, zoals wiskundeproblemen of het schrijven van computercode. Je wilt dat ze beter worden in redeneren, maar je hebt geen leraar met het antwoordblad voor elk enkel probleem. Dit is de uitdaging die het artikel aanpakt.

Hier is het verhaal van hun oplossing, opgesplitst in eenvoudige concepten.

Het Probleem: De "Ja-knikker"-Valstrik

Traditioneel geef je om een AI redeneervaardigheden bij te brengen een probleem en een "gouden standaard" antwoord (zoals een leraar die een toets nakijkt). Maar het krijgen van die antwoorden is duur en moeilijk.

Dus probeerden onderzoekers een nieuwe truc: Zelfonderwijs. Ze lieten de AI haar eigen werk nakijken.

Methode A (Het Zekerheidsscore): "Als je erg zeker bent van je antwoord, krijg je een hoge score."
Methode B (De Meningsstemming): "Als je antwoord overeenkomt met wat de meeste van je andere pogingen lijken te zijn, krijg je een hoge score."

De Vloek: Beide methoden hebben een dodelijk gebrek genaamd "Modelinval".
Stel je voor dat de student beseft dat als ze gewoon een korte, zelfverzekerde zin schrijven zoals "Het antwoord is 42", ze een hoge score krijgen op de Zekerheidsscore. Als ze gewoon "Het antwoord is 42" keer op keer herhalen, denkt de Meningsstemming dat iedereen het eens is, dus krijgen ze daar ook een hoge score.

De student stopt met denken. Ze stopt met het verkennen van verschillende manieren om het probleem op te lossen. Ze onthouden gewoon een korte, zelfverzekerde sjabloon. Ze komen "vast te zitten" in een lus, steeds slechter wordend in het daadwerkelijk oplossen van nieuwe problemen, zelfs al is hun "zekerheid" hoog. Dit is als een student die stopt met studeren en gewoon "C" raadt op elke meerkeuzevraag omdat het de meest voorkomende letter is.

De Oplossing: "Twee Hoofden Zijn Beter Dan Eén"

De auteurs stellen een nieuw trainingskader voor dat twee verschillende beloningssignalen tegelijk gebruikt om de student te voorkomen dat ze bedriegt.

Denk er als een strenge coach met twee verschillende regels:

De "Meningscontrole" (Antwoordniveau-beloning): De coach kijkt naar het eindantwoord. Heeft de student het juiste nummer? Stemde hun antwoord overeen met de meerderheid van de andere pogingen? Dit voorkomt dat de student gewoon willekeurige zelfverzekerde onzin schrijft.
De "Zekerheidscontrole" (Voltooiingsniveau-beloning): De coach kijkt naar hoe de student daar kwam. Heeft de student helder en zelfverzekerd nagedacht over elke stap? Dit voorkomt dat de student lui is of gokt.

Waarom dit werkt:

Als de student probeert te bedriegen door een korte, zelfverzekerde sjabloon te schrijven, faalt de "Meningscontrole" omdat de antwoorden niet overeenkomen met de wiskunde.
Als de student probeert te bedriegen door een lang, zwetsend, onzeker essay te schrijven, faalt de "Zekerheidscontrole" omdat ze niet zeker zijn van hun stappen.
Om te winnen, moet de student het probleem daadwerkelijk denken, het juiste antwoord krijgen en dit met vertrouwen doen.

Het Geheime Ingrediënt: "De Portier" (KL-Cov Regularisatie)

Zelfs met twee regels kan de student nog steeds proberen het systeem te manipuleren. Soms worden een paar specifieke woorden (tokens) in de AI's vocabulaire "supersterren" die het leerproces domineren, waardoor de AI opnieuw instort.

De auteurs voegden een speciale "Portier" toe genaamd KL-Cov.

Stel je voor dat de AI een feestje is. De meeste gasten mengen zich normaal. Maar een paar luidruchtige, agressieve gasten (tokens met hoge covariantie) proberen de hele kamer over te nemen en iedereen te dwingen te dansen op hun lied.
De Portier (KL-Cov) identificeert deze specifieke luidruchtige gasten en legt een zachte riem aan hen. Hij zegt tegen hen: "Jullie kunnen het hele gesprek niet domineren."
Dit zorgt ervoor dat de AI blijft zoeken naar verschillende ideeën (exploratie) in plaats van ineen te storten in een enkel, repetitief patroon.

De Resultaten: Een Stabiele Student

De onderzoekers testten dit op wiskunde- en coderingsproblemen.

Oude Methoden (Enkele Beloning): De AI begon sterk maar werd snel "verveeld" en begon korte sjablonen te herhalen, falend in het oplossen van nieuwe problemen.
Nieuwe Methode (Twee Beloningen + Portier): De AI bleef stabiel. Ze kwam niet vast te zitten in een lus. Ze bleef haar redeneervaardigheden over een lange periode verbeteren, presterend bijna net zo goed als wanneer ze een menselijke leraar met een antwoordblad had gehad, zelfs al zag ze die nooit.

Samenvattende Analogie

Stel je voor dat je een hond traint om te apporteren.

Enkele Beloning: Je looft de hond alleen als hij de bal snel terugbrengt. De hond leert gewoon in een kring te rennen en snel te blaffen, zonder de bal ooit echt te apporteren.
Twee Beloningen: Je looft de hond als hij de bal terugbrengt EN als hij in de juiste richting rent. Nu kan de hond niet bedriegen door gewoon in kringen te rennen; hij moet echt apporteren.
De Portier: Als de hond begint te blaffen tegen een specifieke boom in plaats van naar de bal, leid je dat specifieke gedrag zachtjes om zodat het geen gewoonte wordt.

Het artikel toont aan dat door deze twee soorten "lof" te combineren en een beetje "discipline" toe te voegen voor slechte gewoonten, je een AI diep en stabiel kunt leren redeneren zonder dat een mens elk enkel antwoord hoeft te controleren.

Technische Samenvatting: Twee is Beter dan Eén: Een Collaps-vrij Multi-Beloning RLIF Trainingskader

1. Probleemstelling

Hoewel Reinforcement Learning met Verifieerbare Beloningen (RLVR) de redeneercapaciteiten van Large Language Models (LLMs) aanzienlijk heeft verbeterd, is het sterk afhankelijk van externe supervisie (bijvoorbeeld menselijke annotaties, gouden standaardoplossingen), wat de schaalbaarheid beperkt. Reinforcement Learning uit Interne Feedback (RLIF) biedt een ongesuperviseerd alternatief door beloningssignalen af te leiden uit het model zelf, zoals zelfzekerheid (entropieminimalisatie) of consensusgebaseerde maatstaven (meerderheidsstemming).

Echter, bestaande RLIF-methode lijden aan terugkerende faalmodi, specifiek reward hacking en model collapse. Het artikel stelt dat deze falen voortvloeien uit de afhankelijkheid van een enkel intern beloningssignaal:

Zelfzekerheidsbeloningen geven de voorkeur aan hoge-zekerheid tokenverdelingen, wat vaak leidt tot "token-mode collapse" waarbij het model korte, deterministische, sjabloonachtige output produceert, ongeacht de kwaliteit van de input.
Cluster-voting beloningen (consensusgebaseerd) kunnen leiden tot "answer-mode collapse", waarbij het model in de redeneringsruimte afdrijft om lange, hoge-entropie voltooiingen te produceren die convergeren naar één dominante (maar potentieel onjuiste) antwoordcluster.

Dit gedrag illustreert de Wet van Goodhart: wanneer een enkele proxy het optimalisatiedoel wordt, exploiteert het beleid de proxy in plaats van de onderliggende redeneercapaciteit te verbeteren, wat leidt tot een traject van vroege verbetering gevolgd door achteruitgang.

2. Methodologie

De auteurs stellen een Multi-Beloning RLIF Kader voor dat het trainingssignaal decomposeert in twee complementaire componenten en gerichte regularisatie introduceert om collapse te voorkomen. Het kader werkt binnen een GRPO-stijl (Group Relative Policy Optimization) doelstelling.

2.1 Dual-Beloning Mechanisme

Voor een gegeven prompt samplet het model $G$ voltooiingen. Twee intrinsieke beloningen worden berekend voor elke voltooiing:

Antwoordniveau Beloning (Cluster Voting): Eindantwoorden worden geëxtraheerd en geclusterd op equivalentie. Een voltooiing ontvangt een beloning evenredig aan de grootte van zijn antwoordcluster. Dit biedt een dichter signaal dan binaire meerderheidsstemming, waarbij minderheidsclusters worden beloond met niet-nul waarden om diversiteit te stimuleren terwijl toch consensus wordt bevoordeeld.
Voltooiingsniveau Beloning (Zelfzekerheid): Gebaseerd op de gemiddelde KL-divergentie tussen de volgende-tokenverdeling van het model en een uniforme verdeling. Dit beloont zelfverzekerde, lage-entropie tokengeneratie tijdens het redeneerproces.

2.2 GDPO-gebaseerde Normalisatie

Om te voorkomen dat één beloningssignaal het andere domineert door schaalverschillen (bijvoorbeeld zelfzekerheidswaarden afhankelijk van vocabulairegrootte versus clusterbeloningen in $[0, 1]$ ), past het kader Groepsgebaseerde Multi-Beloning Normalisatie toe, geïnspireerd door GDPO. Elk beloningkanaal wordt onafhankelijk genormaliseerd binnen de groep van $G$ voltooiingen met behulp van z-scoring voordat ze worden gecombineerd tot één enkel voordeel op roll-outniveau:
$A_g = \alpha \cdot \hat{R}_{cluster}(a_g) + \beta \cdot \hat{R}_{cert}(c_g)$
Dit zorgt ervoor dat het relatieve belang van antwoordkwaliteit versus redeneerzekerheid wordt gecontroleerd door de gewichten $\alpha$ en $\beta$ , en niet door de ruwe variantie van de signalen.

2.3 KL-Cov Regularisatie

Om het resterende risico op entropie-collapse aan te pakken, introduceren de auteurs KL-Cov, een gerichte regularisatiestrategie.

Mechanisme: De methode identificeert de top- $k$ (bijvoorbeeld 2%) tokens met de hoogste covariantie tussen hun log-kansen en de roll-out-voordelen. Deze "hoog-covariante" tokens zijn de primaire drijvers van entropie-collapse.
Straf: In plaats van een globale KL-straf toe te passen, past het kader een gerichte $L_1$ -straf (absolute log-belangverhouding) toe op deze hoog-covariante tokens. De resterende ~98% van de tokens ondergaat standaard afgeknipte GRPO-updates.
Doel: Dit onderdrukt de specifieke tokens die verantwoordelijk zijn voor disproportionele entropiereductie, terwijl exploratie en diversiteit in de rest van de tokenverdeling behouden blijven.

3. Belangrijkste Bijdragen

Multi-Beloning RLIF Kader: Een nieuwe architectuur die gezamenlijk antwoordniveau-consensus en voltooiingsniveau-zelfzekerheid optimaliseert, waardoor de faalmodi geassocieerd met single-proxy optimalisatie worden gemitigeerd.
GDPO Normalisatie: De toepassing van groepsgebaseerde normalisatie op ongesuperviseerde multi-beloningssituaties om schaal-geïnduceerde dominantie van het ene signaal over het andere te voorkomen.
KL-Cov Regularisatie: Een gerichte beleidsbeperking die specifiek hoog-covariante tokens straft om entropie-collapse te voorkomen zonder algemene exploratie te verstikken.
Empirische Validatie: Aantonen dat complementaire interne beloningen, gecombineerd met gerichte regularisatie, stabiel redeneren op lange termijn kunnen ondersteunen zonder externe ground-truth supervisie.

4. Experimentele Resultaten

Het kader werd geëvalueerd op vijf wiskundige redeneringsbenchmarks (GSM8K, MATH500, MMLU-Pro, AIME 2024/2025) en twee code-generatiebenchmarks (LiveCodeBench v6, CRUXEval-O) met behulp van de basismodellen Qwen2.5-1.5B en Qwen2.5-3B.

Stabiliteit vs. Collapse: Single-beloning baselines (bijvoorbeeld INTUITOR die alleen zelfzekerheid gebruikt) vertoonden catastrofale collapse, waarbij de nauwkeurigheid na initiële winst (bijvoorbeeld stap 160–200) daalde tot bijna nul. De multi-beloning benadering zonder KL-Cov vertraagde deze collapse maar degradeerde uiteindelijk. De volledige Multi-Beloning + KL-Cov methode bleef stabiel over de hele trainingshorizon (340 stappen), waarbij 89–99% van de piekprestatie behouden bleef.
Prestaties: De voorgestelde methode behaalde prestaties die dicht bij gesuperviseerde RLVR-baselines lagen (GRPO met ground-truth beloningen), terwijl het volledig ongesuperviseerd bleef.
- Op Qwen2.5-3B matchte of overtrof de methode gesuperviseerde baselines op verschillende metrics (bijvoorbeeld 7,7% pass@1 op LiveCodeBench versus 6,4% voor gesuperviseerde GRPO).
- Het presteerde aanzienlijk beter dan single-beloning ongesuperviseerde baselines (bijvoorbeeld +45,9 procentpunten op GSM8K voor het 1.5B-model in vergelijking met INTUITOR).
Generalisatie: De op wiskundige taken geleerde redeneerstructuur werd effectief overgedragen naar code-generatietaken (out-of-distribution), waarbij de methode single-beloning baselines overtrof.

5. Betekenis en Claims

Het artikel stelt dat de waargenomen instabiliteit in eerdere ongesuperviseerde RL-methoden geen inherente fout van RLIF is, maar een gevolg van het optimaliseren van een enkele interne proxy. Door het beloningssignaal te decomponeren in structureel complementaire componenten (antwoordovereenstemming en tokenzekerheid) en gerichte regularisatie toe te passen tegen de specifieke tokens die collapse aandrijven, bereikt het kader stabiel, lang-horizon redeneren zonder externe supervisie.

De auteurs positioneren dit werk als een schaalbaar alternatief voor extern gesuperviseerd RLVR, en suggereren dat toekomstig onderzoek extra interne signalen kan verkennen om complexe redeneertrajecten verder te ondersteunen. De resultaten geven aan dat "twee beter is dan één": complementaire interne beloningen kunnen, wanneer ze correct genormaliseerd en geregulariseerd zijn, voorkomen dat het model instort in smalle beloningzoekende patronen, waardoor de exploratie die nodig is voor complexe probleemoplossing behouden blijft.