🤖 machine learning

RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

Het artikel stelt RLCSD voor, een nieuwe reinforcement learning-methode die de "privilege-induced style drift" in on-policy zelf-distillatie mitigeert door correcte en incorrecte hints te contrasteren om leersignalen te concentreren op taak-dragende tokens, waardoor het een superieure prestatie bereikt in wiskundige en logische redeneertaken vergeleken met bestaande benaderingen.

Oorspronkelijke auteurs: Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student probeert te leren hoe je een complexe wiskundige probleem moet oplossen. Je hebt een "Docent" (een slim AI-model) en een "Student" (het model dat je traint).

In het verleden probeerden onderzoekers een methode genaamd On-Policy Self-Distillation (OPSD). Het idee was simpel: laat de Student een probleem proberen op te lossen. Geef de Docent vervolgens een "spiekbriefje" (het juiste antwoord) en vraag de Docent om hetzelfde probleem opnieuw op te lossen. De Student probeert vervolgens het denkproces van de Docent te kopiëren.

Het Probleem: De "Style Drift"

De onderzoekers ontdekten een verborgen gebrek aan deze methode. Wanneer de Docent het juiste antwoord ziet (het spiekbriefje), wordt hij niet alleen slimmer over de wiskunde; hij verandert ook zijn persoonlijkheid.

De Oude Manier: De Docent, die het antwoord al weet, wordt erg zelfverzekerd en kortaf. Hij stopt met zeggen: "Hmm, laat me eens denken..." of "Wacht, misschien..." en springt direct naar: "Daarom is het antwoord 5."
De Fout: De Student probeert deze nieuwe, kortaf persoonlijkheid te kopiëren. Het leert om te stoen met denken en gewoon antwoorden te roepen. Het focust op de stijl van het antwoord (kort, direct, zelfverzekerd) in plaats van op de werkelijke wiskunde die erin zit.
Het Resultaat: De Student raakt in de war. Soms begint het enorme, chaotische essays te schrijven (omdat het te hard probeert zelfverzekerd te zijn), en op andere momenten krimpt het de antwoorden in tot bijna niets, waardoor het de vereiste diepe denkkracht voor lange problemen opgeeft.

De auteurs noemen dit "Privilege-Induced Style Drift." Het is alsof een student het handschrift van een docent zo perfect probeert te kopiëren dat ze vergeten de eigenlijke les te leren.

De Oplossing: RLCSD (De "Contrastieve" Aanpak)

Om dit op te lossen, creëerden de auteurs RLCSD. Ze realiseerden zich dat de "kortafheid" van de Docent optreedt, of de hint nu goed of fout is. De Docent wil gewoon zelfverzekerd overkomen.

Dus veranderden ze het spel:

De Opzet: Ze geven de Docent tegelijkertijd twee spiekbriefjes.
- Eén is een Correcte oplossing (het juiste antwoord).
- De andere is een Foutieve oplossing (een fout antwoord, maar op exact dezelfde manier geformatteerd).
De Vergelijking: Ze vragen de Docent: "Hoe verandert jouw denken wanneer je het juiste antwoord ziet versus het foute antwoord?"
De Magie: Omdat de Docent "kortaf" en "zelfverzekerd" acteert voor zowel het goede als het foute antwoord, valt de "kortafheid" weg wanneer je de twee van elkaar aftrekt.
- Zelfverzekerdheid bij Juist min Zelfverzekerdheid bij Fout = Nul Zelfverzekerdheids-bias.
- Wat overblijft? Alleen de delen die daadwerkelijk over de wiskunde gaan.

Denk aan noise-cancelling koptelefoons. De "stijl" (de ruis) is in beide oren hetzelfde, dus wordt deze geannuleerd. Wat je duidelijk hoort, is de "taak" (de muziek).

Hoe het in de praktijk werkt

In plaats van alleen tegen de Student te zeggen "Kopieer de Docent", zegt RLCSD:

"Kijk naar het verschil tussen de reactie van de Docent op het juiste antwoord en het foute antwoord."
"Leer alleen van de delen waar de Docent zich daadwerkelijk druk maakt over de wiskunde, en niet van de delen waar hij alleen maar zelfverzekerd is."

Ze combineren dit met een "Verifier" (een strenge beoordelaar die controleert of het eindantwoord klopt). De beoordelaar vertelt de Student welke richting hij op moet (Omhoog of Omlaag), en dit nieuwe "Contrastieve Signaal" vertelt de Student hoe hard hij op specifieke stappen moet duwen.

De Resultaten

Het papier testte dit op verschillende AI-modellen (Qwen en Olmo) met wiskunde- en logische puzzels.

Oude Methoden: De modellen werden ofwel krankzinnig (het schrijven van eindeloze, zinloze teksten) of gaven te vroeg op (het schrijven van zeer korte, luie antwoorden).
RLCSD: De modellen bleven kalm. Ze bleven lange, gedetailleerde redeneerstappen schrijven (wat goed is voor moeilijke problemen) en behaalden aanzienlijk hogere scores op de tests.

Samenvattende Analogie

Stel je een kookles voor.

Oude Methode: De Chef (Docent) proeft de soep, ziet het recept, en zegt: "Het is perfect!" De Student probeert de toon van de Chef te kopiëren. De Student leert om zelfverzekerd te klinken, maar leert niet hoe hij de soep moet kruiden.
RLCS dis: De Chef proeft de soep met het juiste recept, en proeft daarna de soep met een fout recept (te veel zout). De toon van de Chef verandert licht in beide gevallen, maar het verschil in smaak is overduidelijk. De Student leert zich alleen te concentreren op het verschil in smaak (het zout), en negeert de stem van de Chef.

Door zich te concentreren op het verschil tussen goed en fout, in plaats van alleen maar het goede te kopiëren, leert de Student de werkelijke vaardigheid zonder afgeleid te worden door de houding van de Docent.

Technische Samenvatting: RLCSD – Reinforcement Learning met Contrastieve On-Policy Self-Distillatie

1. Probleemstelling: Privilége-geïnduceerde Stijlverschuiving

Het artikel identificeert een kritieke pathologie in On-Policy Self-Distillation (OPSD), een paradigma waarbij één enkel model fungeert als zowel leraar als leerling, waarbij de leraar toegang heeft tot "geprivilegieerde context" (bijv. een geverifieerde oplossing) die niet beschikbaar is voor de leerling.

Hoewel bestaande OPSD-methoden (zoals OPSD, SDPO, SRPO, RLSD) streven naar dichte, op token-niveau gebaseerde supervisie door het distributieve gat tussen de leerling en de geprivilegieerde leraar te minimaliseren, tonen de auteurs aan dat dit leersignaal fundamenteel gebrekkig is. Ze noemen deze fout privilége-geïnduceerde stijlverschuiving.

Het Mechanisme: Het conditioneren van de leraar op een geverifieerde oplossing (de geprivilegieerde context) zorgt er weliswaar voor dat de zekerheid op taak-relevante tokens (bijv. wiskundige operatoren) wordt aangescherpt. Echter, het induceert tegelijkertijd een systematische, correctie-orthogonale verschuiving in het generatieve gedrag. De geprivilegieerde leraar heeft de neiging om kortere, meer assertieve outputs te produceren, onderdrukt exploratieve voorbehoudsclausules en heralloceert de waarschijnlijkheidsmassa naar formaterings- en discours-tokens (bijv. "Wacht," "Daarom," "\n\n").
Het Gevolg: Het resulterende leersignaal ( $e_{c,t}$ ) wordt gedomineerd door deze stijl-tokens in plaats van de taak-relevante tokens die het antwoord bepalen.
Geobserveerde Pathologieën: Dit signaal-skew leidt tot twee duidelijke faalmodi tijdens de training:
1. Entropie-explosie en Instabiliteit: Methoden zoals OPSD en SDPO lijden onder ongecontroleerde entropiegroei, wat leidt tot explosies in de responslengte en trainingsinstabiliteit.
2. Voortijdige Lengte-inkrimping: Methoden zoals RLSD vertonen een drastische reductie in de responslengte, wat het vermogen van het model om langdurige redeneringen (long-horizon reasoning) uit te voeren, beperkt.

2. Methodologie: RLCSD

Om de privilége-geïnduceerde stijlverschuiving aan te pakken, stellen de auteurs RLCSD (Reinforcement Learning met Contrastieve On-Policy Self-Distillatie) voor. Het kerninzicht is dat de stilistische verschuivingen geïnduceerd door de geprivilegieerde context gedeeld worden over zowel correcte als incorrecte hints wanneer deze onder identieke prompt-templates worden gepresenteerd. Door een correcte hint te contrasteren met een incorrecte hint, kan de gedeelde stilistische component worden geannuleerd, waardoor een signaal overblijft dat geconcentreerd is op taakcorrectheid.

De RLCSD-pipeline bestaat uit drie stadia:

Stadium 1: Rollout Sampling en Partitionering

Voor een gegeven query $x$ samplet het student-beleid $\pi_S$ een groep van $G$ rollouts. Een regelgebaseerde verifier partitioneert deze in een correcte subset ( $\mathcal{G}^+$ ) en een incorrecte subset ( $\mathcal{G}^-$ ). Groepen met uniforme uitkomsten (allemaal correct of allemaal incorrect) worden weggegooid, omdat ze nul voordeel opleveren onder standaard GRPO-normalisatie.

Stadium 2: Constructie van het Contrastieve Token-niveau Signaal

In plaats van een enkele geprivilegieerde hint, construeert RLCSD een contrastief signaal $e_{ctr,t}$ :

Positieve Hint ( $y_c^*$ ): Gesampled uit $\mathcal{G}^+$ .
Negatieve Hints ( $y_{w,k}^*$ ): $K$ hints gesampled uit $\mathcal{G}^-$ .
Symmetrische Prompting: Beide hints worden ingesloten in een identieke prompt-template (Probleem + Referentie-oplossing + Antwoord). Dit zorgt ervoor dat de leraar beide als grondwaarheid-referenties behandelt, waardoor de geïnduceerde stilistische verschuivingen identiek zijn.
Het Signaal: Het contrastieve signaal wordt berekend als het verschil tussen de log-waarschijnlijkheidsgap onder de correcte hint en het gemiddelde van de log-waarschijnlijkheidsgap onder de $K$ negatieve hints:
$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$
Verfijningen: De methode maakt gebruik van K-marginalisering over negatieve hints om het signaal te stabiliseren tegen heterogene fouttypen en sluit de doel-rollout uit uit de hint-pool om te voorkomen dat de leraar overmatig zelfverzekerd wordt in de eigen generatie.

Stadium 3: Verifier-geankerde Modulatie en Loss

Het contrastieve signaal $e_{ctr,t}$ wordt niet gebruikt als een autonoom beloningssignaal, maar als een modulatie van de outcome-level advantage ( $A_{ORM}$ ) afgeleid van GRPO.

Modulatie: $e_{ctr,t}$ wordt zacht genormaliseerd (via $\tanh$ ) en geschaald om een token-niveau modulatieterm $r_t$ te produceren.
Signaal-behoudende Clamp: De modulatie wordt toegevoegd aan $A_{ORM}$ , maar het resultaat wordt geclamped om te garanderen dat de update-richting nooit in strijd is met het outcome-signaal van de verifier.
Two-Path Loss: De uiteindelijke doelstelling aggregeert een two-path PPO-stijl geklipte loss:
1. Een ongemoduleerd pad voor tokens waar het contrastieve signaal zwak is (ruis).
2. Een gemoduleerd pad voor tokens waar het signaal sterk is.
  Cruciaal is dat deze paden onafhankelijk binnen elke rollout worden genormaliseerd om te voorkomen dat het gemoduleerde signaal wordt verdund door de meerderheid van de ongemoduleerde tokens.

3. Belangrijkste Bijdragen

Karakterisering van Privilége-geïnduceerde Stijlverschuiving: Het artikel identificeert en kwantificeert een systematische bias in OPSD waarbij geprivilegieerde conditionering het leersignaal verschuift naar stilistische tokens, wat leidt tot trainingsinstabiliteit of voortijdige inkrimping van de responslengte.
RLCSD Algoritme: Een nieuwe methode die deze drift mitigeert door middel van symmetrische contrastieve annulatie tussen correcte en incorrecte geprivilegieerde hints. Het integreert dit gezuiverde signaal in Reinforcement Learning met Verifieerbare Beloningen (RLVR) als een verifier-geankerde token-niveau modulatie.
Generaliseerbaarheid van het Contrastieve Principe: De auteurs demonstreren dat de contrastieve constructie een methode-agnostisch component is. Het kan worden ingezet in bestaande OPSD-baselines (zoals OPSD en RLSD) om de stabiliteit en prestaties te verbeteren, wat suggereert dat het principe breed toepasbaar is op on-policy distillatie.
Extensie naar Cross-Model Distillatie: Het artikel breidt het inzicht uit naar cross-model On-Policy Distillatie (OPD), waarbij wordt aangetoond dat een vergelijkbare decompositie van taak-relevante versus oppervlakte-stijl tokens verklaart waarom stilistisch uitgelijnde maar zwakkere leraren soms sterkere, maar stilistisch afstandelijke leraren kunnen overtreffen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen3 (1.7B, 4B, 8B) en Olmo-3-7B-Think over wiskundige redenering (AMC23, AIME24, AIME25) en logische redenering (Knights & Knaves).

Prestaties: RLCSD presteert consistent beter dan GRPO en eerdere OPSD-methoden (OPSD, SDPO, SRPO, RLSD) over alle benchmarks.
- Op Qwen3-8B bereikte RLCSD een mean@12 van 90.8 op AMC23 (tegenover 90.1 voor GRPO) en 77.5 op AIME24.
- Op Logische Redenering (OOD) toonde RLCSD significante winst, met een pass@1 van 81.8 op Knights & Knaves (4-8 rollen) en 79.0 op de 9-rol OOD-split, waarmee het GRPO ruim overtrof.
Trainingsstabiliteit: In tegen tegenstelling tot concurrerende OPSD-methoden, die entropie-explosie of responslengte-inkrimping vertoonden, behield RLCSD een stabiele entropie en responslengte gedurende de training, vergelijkbaar met GRPO.
Ablatie-studies:
- Het verwijderen van het contrastieve mechanisme (gebruik van enkel eenzijdige hints) veroorzaakte prestatieverlies van 3.0–5.4 punten, wat de noodzaak van het contrast bevestigt.
- Het verwijderen van de K-marginalisering of het toestaan van self-rollouts in de hint-pool verslechterde de prestaties, wat de ontwerpverfijningen valideert.
- Het verwijderen van de two-path loss aggregatie (gebruik van een enkele globale gemiddelde) verminderde de prestaties aanzienlijk, wat het belang bewijst van het isoleren van de gemoduleerde tokens.

5. Betekenis en Claims

Het artikel beweert dat RLCSD een robuuste oplossing biedt voor de instabiliteit die on-policy self-distillatie teistert. Door het "taak-relevante" signaal te isoleren van de "stijl"-ruis die inherent is aan geprivilegieerde conditionering, maakt RLCSD stabiele, hoogwaardige training van redeneermodellen mogelijk zonder de geheugenoverhead van het onderhouden van een apart leraar-model.

De auteurs beweren bescheiden dat het contrastieve principe een algemeen inzicht is voor on-policy distillatie. Het verbetert niet alleen het specifieke RLCSD-algoritme, maar dient ook als een diagnostisch instrument voor het selecteren van leraren in cross-model distillatie-omgevingen, waar de uitlijning van redeneerstijlen mogelijk kritischer is dan pure capaciteit. Het werk suggereert dat toekomstige distillatiemethoden rekening moeten houden met en de parasitaire stilistische verschuivingen moeten mitigeren die door geprivilegieerde context worden geïnduceerd.