🤖 machine learning

Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

Dit artikel introduceert Contrastive Policy Optimization (CPO), een nieuw reinforcement learning-framework dat entropie-gebaseerde advantage shaping vervangt door token-niveau contrastieve discrepantie tussen referentie-gestuurde en vanille-generaties om de correctheid nauwkeuriger te signaleren, waardoor het zero-advantage probleem wordt opgelost en het bestaande methoden aanzienlijk overtreft op zowel in-domain als out-of-domain benchmarks.

Oorspronkelijke auteurs: Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li, Deng Cai, Min Chen, Hao Zhang

Gepubliceerd 2026-07-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weiwen Xu, Jia Liu, Hou Pong Chan, Long Li, Deng Cai, Min Chen, Hao Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een lastige puzzel op te lossen, zoals een complex wiskundig probleem of een programmeeruitdaging. Je wilt niet alleen dat de robot het juiste antwoord raadt; je wilt dat de robot leert hoe hij moet denken. Dit is de wereld van Reinforcement Learning, waarbij een AI leert door dingen uit te proberen en feedback te krijgen. Meestal is de feedback simpel: "Goed gedaan!" als het eindantwoord juist is, of "Probeer het opnieuw!" als het fout is. Maar hier is de crux: een lang, kronkelend pad naar het juiste antwoord kan een mix bevatten van briljante stappen en stomme fouten. Als je alleen naar het eindresultaat kijkt, kan de robot in de war raken over welke specifieke stappen nuttig waren en welke schadelijk waren.

Om dit op te lossen, hebben wetenschappers geprobeerd een concept genaamd "entropie" te gebruiken. Denk aan entropie als een maatstaf voor hoe "onzeker" of "verward" de robot op elk gegeven moment is. Als de robot tussen twee opties twijfelt, is zijn entropie hoog. Het idee was dat hoge onzekerheid betekent dat de robot nieuwe ideeën verkent, wat goed is, terwijl lage onzekerheid betekent dat de robot zelfverzekerd is, wat ook goed is. Maar er is een probleem: verward zijn betekent niet altijd dat je iets nuttigs aan het verkennen bent. Soms is een robot verward omdat hij verdwaald is in een doodlopende straat. Het is als een student die naar een wiskundeprobleem staart en haar hoofd krabt. Is ze diep aan het nadenken over een slimme oplossing, of is ze gewoon totaal de weg kwijt? Traditionele methoden met entropie konden het verschil niet zien tussen "productieve verwarring" en "schadelijke verwarring". Dit artikel, getiteld "Beyond Entropy", probeert precies dat mysterie op te lossen door de robot een betere manier te geven om te weten of hij op het juiste spoor zit.

De onderzoekers stellen een nieuwe methode voor genaamd Contrastive Policy Optimization (CPO). In plaats van alleen te gokken of de robot verward is, werkt CPO als een student die zijn huiswerk vergelijkt met het antwoordmodel. Stel je een student voor die net een wiskundetoets heeft afgerond. Ze kijken naar hun eigen werk en denken: "Ik weet niet zeker of ik deze stap goed heb gedaan." Dan gluren ze naar het antwoordmodel van de docent. Plotseling wordt de fout overduidelijk! De student ziet: "Oh, ik schreef hier een minteken, maar het antwoordmodel heeft een plus teken." Dat moment van realisatie — het verschil tussen wat zij dachten en wat het juiste antwoord is — vertelt hen precies waar ze de fout in gingen.

CPO doet dit voor AI. Het neemt het eigen antwoord van de AI en vergelijkt het met een "referentieantwoord" (de correcte oplossing). Het kijkt naar elk afzonderlijk woord (of "token") dat de AI heeft gegenereerd. Als de AI zelfverzekerd was in een foute stap, zal het referentieantwoord de zelfverzekerdheid van de AI in die foute stap drastisch doen dalen. Als de AI onzeker was over een juiste stap, zal het referentieantwoord het zelfvertrouwen juist vergroten. Deze "contrastieve onenigheid" — de kloof tussen wat de AI dacht en wat het juiste pad is — wordt een superbetrouwbaar signaal. Het artikel laat via zowel wiskunde als experimenten zien dat dit signaal veel beter is in het opsporen van fouten dan alleen het meten van hoe "verward" de AI is.

Het team heeft dit getest op enkele zeer moeilijke wiskundeproblemen, met modellen zoals Qwen2.5-Math-7B en Qwen3-Base-4B. Ze ontdekten dat CPO een enorme verbetering was ten opzichte van de oude methoden. Gemiddeld verbeterde het de prestaties met ongeveer 7,7% tot 8,5% vergeleken met de standaardmethode (GRPO). Nog indrukwekkender is dat terwijl andere methoden vaak slechter worden in het oplossen van problemen die ze nog niet eerder hadden gezien (out-of-domain taken), CPO er juist beter in werd. Het lijkt erop dat door zich te concentreren op de specifieke momenten waarop het redeneren van de AI afweek van de waarheid, het model leerde om zowel nauwkeuriger als creatiever te zijn.

Een van de meest interessante bevindingen is hoe de AI leert van verschillende soorten antwoorden. Het artikel suggereert dat wanneer de AI een antwoord goed heeft, het aangemoedigd moet worden om te blijven verkennen en nieuwe, creatieve paden te proberen (exploratie). Maar wanneer de AI een antwoord fout heeft, moet het worden begeleid om vast te houden aan de bewezen, correcte stappen (exploitatie). CPO balanceert deze twee gedragingen perfect. Het is als een coach die een speler vertelt: "Als je aan het winnen bent, probeer dan een nieuwe, spectaculaire zet! Maar als je aan het verliezen bent, houd je dan aan de basis die je kent en die werkt." Deze balans voorkomt dat de AI vast komt te zitten in een saaie lus of doelloos ronddwaalt.

Kortom, dit artikel betoogt dat het simpelweg meten van "verwarring" niet genoeg is om een AI goed te leren redeneren. In plaats daarvan moeten we de AI het verschil laten zien tussen zijn eigen gedachten en het juiste antwoord. Door dit "contrastieve onenigheid" te gebruiken, leert de AI zijn eigen fouten met veel grotere precisie te herkennen, wat leidt tot slimmere, betrouwbaardere en creatievere probleemoplossing. De auteurs laten zien dat deze aanpak niet alleen werkt voor de wiskundeproblemen waarop het is getraind, maar ook voor nieuwe, onbekende uitdagingen, wat wijst op een veelbelovende weg voorwaarts om AI slimmer en robuuster te maken.

Technische Samenvatting: Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR), zoals methoden als Group Relative Policy Optimization (GRPO), heeft de redeneervaardigheden in domeinen zoals wiskunde en programmeren geavanceerd. Echter, bestaande benaderingen kampen met twee fundamentele beperkingen:

Token-niveau Verwaarlozing: Binaire correctheidsbeloningen (correct/incorrect) die op trajectniveau worden toegepast, slagen er niet in om de afzonderlijke bijdragen van individuele tokens binnen een redeneerketen te onderscheiden.
Zero-Advantage Inefficiëntie: In groepen waar alle gesamplede reacties incorrect zijn (of allemaal correct), is het voordeel op trajectniveau nul, waardoor enorme hoeveelheden trainingsdata nutteloos worden voor beleidsoptimalisatie.

Recente pogingen om dit aan te pakken, hebben entropie gebruikt als een signaal voor advantage shaping om exploratie te stimulages of de belangrijkheid van tokens te verfijnen. De auteurs stellen echter dat entropie fundamenteel niet in lijn is met correctheid. Hoge entropie kan duiden op productieve exploratie van alternatieve oplossingen of op schadelijke verwarring veroorzaakt door incorrecte redeneerpaden. Bijgevolg leiden entropie-gebaseerde methoden vaak tot tegenstrijdige ontwerpkeuzes (bijv. het belonen van hoge-entropie tokens in sommige contexten terwijl ze in andere worden onderdrukt) omdat entropie onzekerheid kwantificeert zonder de kwaliteit van de onderliggende redenering te beoordelen.

Methodologie: Contrastive Policy Optimization (CPO)

Het artikel stelt Contrastive Policy Optimization (CPO) voor, een framework dat entropie vervangt door een token-level contrastive disagreement signaal voor correctness-aware advantage shaping.

Kernmechanisme

CPO maakt gebruik van de intuïtie dat correctheid voortkomt uit vergelijking. Net zoals een student fouten identificeert door zijn werk te vergelijken met een referentieantwoord, kan een LLM foutieve tokens identificeren door zijn vanilla generatieverdeling ( $\pi$ ) te contrasteren met een referentie-gestuurde posterior verdeling ( $\pi_{post}$ ).

Contrastive Disagreement ( $\delta_t$ ):
De methode definieert een token-niveau signaal als de log-ratio tussen de waarschijnlijkheid van een token onder een referentie-gestuurde prompt en de waarschijnlijkheid van diezelfde token onder de vanilla prompt:
$\delta_t(x, y) = \log \frac{\pi_{post}(y_t | x, y^\star, y_{<t})}{\pi(y_t | x, y_{<t})}$
Hier is $y^\star$ een referentieantwoord (oracle). Theoretisch correleert deze ratio monotoon met de waarschijnlijkheid dat een specifiek token leidt tot een correcte voltooiing ( $g(x, y_{<t}, y_t)$ ).
- Positieve $\delta_t$ : Geeft aan dat het token overeenkomt met de referentie en waarschijnlijk correct is.
- Negatieve $\delta_t$ : Geeft aan dat het token in strijd is met de referentie en waarschijnlijk incorrect is.
Advantage Shaping:
CPO integreert dit token-niveau signaal in het traject-niveau voordeel ( $A_i$ ) afgeleid van GRPO. Het gevormde voordeel $\tilde{A}_{i,t}$ wordt berekend als:
$\tilde{A}_{i,t} = A_i + \text{clip}(\alpha \cdot \delta_{i,t}, \text{bounds})$
- Clipping: Om stabiliteit te garanderen, wordt de grootte van het token-niveau signaal afgeknipt (clipped) zodat het de richting van het traject-niveau voordeel niet kan omkeren (bijv. een correct traject kan niet worden bestraft door de disagreement van een enkel token).
- Zero-Advantage Resolutie: Voor trajecten met een voordeel van nul ( $A_i = 0$ ) biedt het traject-niveau signaal geen gradiënt. CPO gebruikt $\delta_t$ om betekenisvolle leersignalen te bieden, zelfs in deze gevallen, wat optimalisatie mogelijk maakt op data die voorheen als nutteloos werden beschouwd.
Theoretische Unificatie:
De auteurs demonstreren dat On-Policy Distillation (OPD) een speciaal geval is van CPO. In OPD levert een extern docentmodel de posterior verdeling. CPO generaliseert dit door toe te staan dat de posterior wordt geïnstantieerd door elke verdeling die meer geïnformeerd is over correctheid dan het huidige beleid, inclusief zelf-conditionering op referentieantwoorden.

Belangrijkste Bijdragen

Contrastive Disagreement als Signaal: Het artikel introduceert en valideert (theoretisch en empirisch) dat contrastieve disagreement een betrouwbaarder token-niveau correctheidssignaal is dan entropie. Het onderscheidt nuttige exploratie van schadelijke verwarring.
Theoretische Fundering voor OPD: Het framework biedt een principiële grondslag voor On-Policy Distillation, waarbij diverse varianten (externe docenten, referentie-gestuurde zelf-docenten, critic-gestuurde policies) worden verenigd onder één correctheid-gedreven doelstelling.
CPO Framework: Een computationeel efficiënte methode voor advantage shaping die het zero-advantage probleem in RLVR oplost, wat zorgt voor meer informatieve gradiënten en effectieve exploratie.
Empirische Validatie: Uitgebreide experimenten tonen aan dat CPO de entropie-gebaseerde RLVR-methoden overtreft op zowel in-domain wiskundige redenering als out-of-domain generalisatietaken.

Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen2.5-Math-7B en Qwen3-Base-4B met gebruik van de MATH dataset voor training.

Prestatiewinst: CPO presteert aanzienlijk beter dan GRPO en andere entropie-gebaseerde baselines (bijv. Entropy-Tokens, Entropy-Adv, RL-ZVP).
- Op Qwen2.5-Math-7B verbeterde CPO de gemiddelde prestaties met 7,7% ten opzichte van GRPO.
- Op Qwen3-Base-4B verbeterde CPO de gemiddelde prestaties met 8,5% ten opzichte van GRPO.
Generalisatie: In tegen tegenstelling tot veel baselines die lijden onder out-of-domain (OOD) degradatie, behoudt CPO de prestaties of verbetert het de OOD-prestaties op benchmarks zoals GPQA en MMLU-Pro.
Ablatie studies:
- Data Effectiviteit: De studie vond dat incorrecte reacties primair in-domain verbeteringen drijven (exploitatie), terwijl correcte reacties cruciaal zijn voor het behouden van OOD-generalisatie (exploratie). Een gebalanceerde ratio van $\alpha_+ : \alpha_-$ (1:1) leverde de beste resultaten op.
- Token-niveau vs. Traject-niveau: Shaping op token-niveau bleek superieur aan het middelen van disagreement op traject-niveau, omdat het cruciale variaties in credit assignment beter behoudt.
- Entropie Analyse: CPO behoudt een hogere trainingsentropie en langere reactielengtes vergeleken met GRPO, wat wijst op aanhoudende exploratie. Word cloud-analyse toonde aan dat CPO zich richt op taak-kritische tokens (wiskundige symbolen, code constructen), terwijl entropie zich richt op linguïstische variabiliteit.

Betekenis en Claims

Het artikel claimt dat CPO een verschuiving vertegenwoordigt van heuristische entropie-gebaseerde interventies naar een correctheid-bewuste optimalisatiestrategie. Door gebruik te maken van het contrast tussen zelf-gegenereerde en referentie-gestuurde verdelingen, levert CPO een betrouwbaar signaal dat het beleidsleren afstemt op succes in de taak.

De auteurs benadrukken dat de verschillende rollen van reactietypes cruciaal zijn: correcte reacties stellen het model in staat om nieuwe oplossingspaden te verkennen (het voorkomen van overfitting), terwijl incorrecte reacties het model in staat stellen om de meest veelbelovende paden te exploiteren en te verfijnen. Het balanceren hiervan via het contrastieve disagreement signaal leidt tot superieure prestaties zonder de generalisatie op te offeren. Bovendien suggereert het vermogen van het framework om het zero-advantage probleem op te lossen een efficiënter gebruik van trainingsdata in RLVR-omgevingen.