Technische Samenvatting: CEPO – RLVR Zelfdistillatie met Contrastieve Evidentie Policy Optimization

1. Probleemstelling

Versterkt Leren met Verifieerbare Beloningen (RLVR) is het dominante paradigma geworden voor het post-trainen van grote taalmodellen (LLMs) op redeneertaken. De standaardbenadering, Group Relative Policy Optimization (GRPO), vereenvoudigt het trainen door waarde-netwerken te elimineren en beloningen te normaliseren binnen groepen van bemonsterde antwoorden. Echter, GRPO lijdt aan een fundamenteel toewijzingsknelpunt voor krediet: het kent een uniforme sequentie-niveau voordeel toe aan elk token in een correcte traject en een uniform negatief signaal aan elk token in een incorrecte traject.

Deze uniformiteit is inefficiënt voor wiskundig redeneren, waarbij een enkele beslissende inferentiestap of een kleine rekenfout de uitkomst bepaalt, terwijl de meerderheid van de tokens grammaticale vulwoorden of standaardtekst zijn. Uniforme krediettoewijzing verspilt gradiëntsignaal aan vulwoorden en faalt in het onderscheiden van beslissende redeneerstappen van niet-informatieve inhoud, wat leidt tot trage convergentie en ruisachtige updates.

Eerdere pogingen om dit op te lossen via on-policy zelfdistillatie (het conditioneren van het model op het juiste antwoord als leraar) hebben te maken gehad met twee kritieke problemen:

1. Informatielek: Methoden zoals OPSD en SDPO minimaliseren de per-token divergentie tussen de student en een bevoorrechte leraar. Theoretisch introduceert dit een vocabulaire-brede som van door $r$-geconditioneerde gewichten in de gradiënt. Naarmate de training vordert, domineert deze "schadelijke afwijking" het onschadelijke signaal, waardoor het model spurious correlaties encodeert tussen de input en het antwoord ($x \to r^+$), wat de generalisatie verslechtert.
2. Zwakke Signaal Kwaliteit: De recente RLSD-methode loste lekken op door een stop-gradient te gebruiken op de evidentiële ratio $P^+_T(y_t)/P_S(y_t)$ om het GRPO-voordeel te moduleren. RLSD heeft echter drie signaallimietaties:
   • Fluency Confound: De noemer $P_S(y_t)$ weerspiegelt de basis-ratio voor vloeiendheid, waardoor de ratio wordt onderdrukt voor veelvoorkomende tokens ongeacht hun semantische relevantie.
   • Asymmetrisch Negatief Signaal: Voor verkeerde trajecten is de straf indirect en ontbreekt er expliciete onderbouwing in wat het verkeerde antwoord voorspelt.
   • Eenzijdig Bewijs: RLSD kan geen onderscheid maken tussen een vulwoord (evenveel ondersteund door correcte en verkeerde antwoorden) en een beslissende redeneerstap (ondersteund door het correcte antwoord maar ongunstig voor het verkeerde antwoord), aangezien beide dezelfde ratio opleveren.

2. Methodologie: Contrastieve Evidentie Policy Optimization (CEPO)

De auteurs stellen CEPO voor, wat de enkel-referentie evidentiële ratio vervangt door een contrastieve ratio tussen een leraar met het juiste antwoord en een leraar met een verkeerd antwoord.

Kernmechanisme

In plaats van de student-prior $P_S$ te vergelijken met de correcte leraar $P^+_T$, vergelijkt CEPO de correcte leraar $P^+_T$ met een verkeerde leraar $P^-_T$. De verkeerde leraar wordt geconstrueerd door het model te conditioneren op een verworpen antwoord ($r^-$) getrokken uit dezelfde trainingsbatch (specifiek de rollout met het laagste beloningsscore), wat geen extra bemonsteringskosten met zich meebrengt.

De Contrastieve Evidentie Delta wordt gedefinieerd als:
$$\Delta^{CE}_t = \text{sg}\left( \log \frac{P^+_T(y_t)}{P^-_T(y_t)} \right)$$
Waarbij $\text{sg}(\cdot)$ de stop-gradient operator is.

Bayesiaanse Interpretatie

De auteurs leiden een schone Bayesiaanse interpretatie af voor $\Delta^{CE}_t$ als een differentieel geloofsupdate. Het meet hoe sterk een token $y_t$ tegelijkertijd de posterior-geloofswaarde in het juiste antwoord $r^+$ versterkt terwijl het het geloof in het verkeerde antwoord $r^-$ verzwakt.

• Beslissende Stappen: Ontvangen een groot positief $\Delta^{CE}_t$ (sterk bevoordeeld door $r^+$, ongunstig voor $r^-$).
• Vulwoorden: Ontvangen $\Delta^{CE}_t \approx 0$ (evenveel ondersteund door zowel $r^+$ als $r^-$).

Trainingsdoel

Het token-niveau voordeel wordt gemoduleerd door deze contrastieve gewicht:
$$\hat{A}^{(i)}_t = A^{(i)} \cdot \left[ (1-\lambda) + \lambda \cdot \text{clip}(w^{CE}_t, 1-\epsilon_w, 1+\epsilon_w) \right]$$
waarbij $w^{CE}_t = \exp(\text{sign}(A) \cdot \Delta^{CE}_t)$. Het beleid wordt bijgewerkt met een standaard PPO-geclippt surrogaatdoel. De parameter $\lambda$ daalt lineair van een beginwaarde naar 0 over een warmup-periode.

3. Belangrijkste Bijdragen & Theoretische Garanties

Het artikel stelt vast dat CEPO de structurele veiligheid van RLSD erft terwijl het de signaalkwaliteit strikt generaliseert:

1. Structurele Veiligheid: CEPO voldoet aan Direction Anchoring (bevoorrechte informatie kan het teken van de update niet omdraaien) en Leakage-Free Gradients (geen vocabulaire-brede door $r$-geconditioneerde som). De leraar met het verkeerde antwoord $r^-$ komt alleen binnen als een stop-gradient geschaalde scalar.
2. RLSD Bevatten: Als de leraar met het verkeerde antwoord geen informatie draagt ($P^-_T = P_S$), reduceert CEPO exact tot RLSD. Aldus is RLSD een gedegenereerd geval van CEPO.
3. Discriminatieve Scherpheid: De auteurs bewijzen dat CEPO strikt scherper krediet toekent dan RLSD op een token $y_t$ dan en slechts dan als de leraar met het verkeerde antwoord die token ongunstiger beoordeelt dan de student-prior ($P^-_T(y_t) < P_S(y_t)$). Deze voorwaarde concentreert zich empirisch op rekenkundig en inferentieel beslissende posities, terwijl vulwoorden neutrale gewichten ontvangen ($w^{CE}_t \approx 1$), waardoor de introductie van spurious signalen wordt vermeden.

4. Experimentele Resultaten

De auteurs hebben CEPO geëvalueerd op Qwen3-VL-modellen (2B en 4B parameters) getraind op de Geo3k-geometriedataset en getest op vijf multimodale wiskundige redeneerbenchmarks: DynaMath, LogicVista, MathVisionmini, MMMU en WeMath.

• Prestatiewinst:
  • 2B Schaal: CEPO behaalde 43,43% gemiddelde nauwkeurigheid, wat GRPO (41,17%) overtrof met +2,26 procentpunten.
  • 4B Schaal: CEPO behaalde 60,56%, wat GRPO (57,43%) overtrof met +3,13 procentpunten.
  • Winsten waren het meest significant op benchmarks die fijnmazig meervoudig-staps redeneren vereisen (bijv. LogicVista, MathVisionmini) en minimaal op benchmarks voor kennisopvraging (MMMU).
• Falen van Baselines:
  • OPSD en SDPO degradeerden onder de ongetrainde baseline (bijv. 34,96% versus 39,73% voor 2B), wat empirisch de theoretische voorspelling van informatielek bevestigde.
  • RLSD toonde marginale verbetering ten opzichte van GRPO maar werd overtroffen door CEPO.
• Efficiëntie: CEPO voegt slechts één extra leraar-forward pass per traject toe ten opzichte van GRPO (soortgelijke overhead als RLSD), zonder extra bemonsteringskosten.

5. Betekenis en Claims

Het artikel claimt dat CEPO een principiële en praktische oplossing biedt voor het toewijzingsprobleem voor krediet in RLVR. De betekenis ligt in:

• Oplossen van de Trade-off: Het bereikt het "beste van twee werelden": de structurele veiligheid die nodig is om informatielek te voorkomen (een voorwaarde voor stabiele training) en de signaalkwaliteit die nodig is om beslissende redeneerstappen te onderscheiden van vulwoorden.
• Empirische Validatie van Theorie: Het instorten van lek-gevoelige methoden (OPSD/SDPO) onder de baseline dient als empirische bevestiging van de theoretische lek-analyse, terwijl het succes van CEPO de contrastieve benadering valideert.
• Interpreteerbaarheid: Analyse van token-gewichten toont aan dat CEPO succesvol krediet localiseert naar kritieke algebraïsche afleidingen en vloeiende maar niet-informatieve proza onderdrukt, een gedraging die niet wordt waargenomen bij RLSD.

De auteurs concluderen dat CEPO een robuust bouwsteen biedt voor de volgende generatie krediet-bewuste RLVR-training, met toekomstig werk voorgesteld voor het uitbreiden van de methode naar grotere modellen, tekst-only redeneren en code-generatie.