Label-Free Reinforcement Learning via Cross-Model Entropy

Technische Samenvatting: Label-vrije Versterkingsleer via Kruis-model Entropie

Probleemstelling
Het post-trainen van grote taalmodellen (LLMs) via versterkingsleer (RL) wordt momenteel geblokkeerd door de vereiste van een betrouwbare beloningssignaal. Bestaande benaderingen staan voor een dichotomie:

1. Ground-truth verifiers: Methoden zoals PPO en GRPO vertrouwen op automatisch controleerbare correctheid (bijvoorbeeld in wiskunde of code-uitvoering). Dit beperkt RL-training tot domeinen met objectieve antwoorden, waardoor open-ended instructievolging wordt uitgesloten.
2. Menselijke voorkeurslabels: Methoden zoals RLHF en DPO vereisen dure menselijke annotatie en zijn vatbaar voor beloningshacking.
3. Label-vrije zelf-referentiële signalen: Recente alternatieven (bijvoorbeeld TTRL, Evol-RL, RENT) gebruiken de eigen output van de generator om beloningen af te leiden via meerderheidsstemming of token-entropie. Deze zijn echter structureel gebrekkig voor open-ended taken: als een model systematisch fout is maar intern consistent, versterken zelf-referentiële signalen fouten in plaats van ze te corrigeren. Bovendien vereist meerderheidsstemming een canoniek antwoord, waardoor het niet toepasbaar is op open-ended generatie.

Methodologie: Kruis-model Entropie (CME)
De auteurs stellen Cross-Model Entropy (CME) voor, een label-vrij beloningssignaal ontworpen om RL uit te breiden naar open-ended instructievolging zonder ground-truth labels of menselijke voorkeuren.

• Kernconcept: In plaats van een generator te vragen zijn eigen output te evalueren, meet CME hoe "verrassend" de respons van een generator is voor een apart, onafhankelijk verifier-model ($\pi_\phi$).
• Definitie van Beloning: De beloning wordt gedefinieerd als de negatieve log-likelihood van de respons van de generator onder het verifier-model.
  $$r_{i,t} = -CME_{i,t} = \log \pi_\phi(y_{aligned, i, t} \mid x, y_{aligned, i, <t})$$
  Waar $y_{aligned}$ de tokens van de generator voorstelt die zijn uitgelijnd met de tokenruimte van de verifier.
• Theoretische Onderbouwing: Het maximaliseren van de verwachte CME is wiskundig equivalent aan het minimaliseren van de omgekeerde KL-divergentie $D_{KL}(\pi_\theta \parallel \pi_\phi)$ (tot op een entropieterm van de generator). Dit distilleert effectief het beleid van de generator naar de verdeling van de verifier. Als de verifier in het domein bekwaamer is dan de generator, stuurt dit de generator naar output van hogere kwaliteit.
• Implementatiedetails:
  • Integratie: CME is geïntegreerd in het GRPO-framework (Group Relative Policy Optimization). Het vervangt de standaard scalair beloning door een token-niveau, continu signaal.
  • Token-uitlijning: Om mismatches tussen tokenizers van generator en verifier aan te pakken (bijvoorbeeld Qwen versus Gemma), hanteren de auteurs een uitlijningsprocedure op teken-niveau. De log-probabiliteiten van de verifier worden gewogen met het aandeel van teken-overlap met de tokens van de generator, zodat de totale log-likelihood behouden blijft ongeacht de granulariteit van de tokenizer.
  • Trainingslus: De opzet is trainingsvrij voor de verifier; de gewichten van de verifier zijn bevroren. De generator wordt bijgewerkt met behulp van groeps-genormaliseerde voordelen die zijn afgeleid van de CME-scores.

Belangrijkste Bijdragen

1. Novel Beloningssignaal: Introductie van CME als een continu, trainingsvrij, label-vrij beloningssignaal dat vertrouwt op kruis-model evaluatie in plaats van zelf-referentiële signalen.
2. Uitbreiding naar Open-ended RL: Succesvolle uitbreiding van label-vrije RL naar open-ended instructievolging, een regime waar zelf-consistentie en meerderheidsstemming falen.
3. Empirische Validatie: Demonstreert dat CME-GRPO de prestaties verbetert over vier model-families (Qwen, Llama, Gemma, OLMo) en drie trainingsregimes (voorgeladen, SFT, instructie-getuned) zonder gebruik te maken van enige voorkeursannotaties.
4. Signaalverificatie: Bewijst dat het signaal voortkomt uit kruis-model evaluatie en niet uit generieke regularisatie, door aan te tonen dat een willekeurig geïnitieerde verifier aanzienlijk slechter presteert dan verifiers met echte gewichten.

Experimentele Resultaten
De auteurs evalueerden CME-GRPO op de AlpacaEval 2.0-benchmark (805 prompts) met behulp van LLM-as-Judge (GPT-5.2 en Claude Sonnet 4.6).

• Prestaties versus Basis: CME-GRPO presteerde beter dan het ongeopende basismodel in elke head-to-head vergelijking over alle model-families. De winnende percentages, aangepast voor gelijke spelen, varieerden van 52,5% tot 71,4%.
• Prestaties versus SFT/DPO: Op SFT-ruggengraten matchte CME-GRPO de prestaties van DPO-modellen die op dezelfde basis waren getraind met behulp van het volledige UltraFeedback-dataset (inclusief voorkeursannotaties), ondanks dat CME-GRPO uitsluitend de prompts gebruikte en geen voorkeurslabels.
• Vermogen van Verifier: De prestaties schaalden met het vermogen van de verifier. Een grotere verifier (Gemma-4-E4B-it) leverde hogere winnende percentages op dan kleinere. Cruciaal presteerde een willekeurig geïnitieerde verifier slechter dan alle echte verifiers, wat bevestigt dat het signaal geen artefact is van generieke regularisatie.
• Vergelijking met Zelf-referentiële Methoden: CME-GRPO presteerde consequent beter dan RENT (een zelf-referentiële entropie-minimalisatiemethode), met name op voorgeladen ruggengraten waar zelf-referentiële signalen vatbaar zijn voor het versterken van fouten.

Betekenis en Claims
Het artikel claimt dat CME een levensvatbaar pad biedt voor het post-trainen van LLMs voor open-ended taken zonder de verbodene kosten van menselijke voorkeursdata of de structurele risico's van zelf-referentiële beloningen. Door te leunen op de "verrassing" van een onafhankelijk, bekwaam model, aligneert de methode de generator met een verdeling van hoge kwaliteit zonder ground-truth correctheid te vereisen.

De auteurs merken op dat hoewel de methode effectief is, deze berust op de aanname dat de verifier bekwaamer is dan de generator in het doeldomein. Zij erkennen ook beperkingen, waaronder de rekenkundige overhead van het draaien van een verifier naast de generator, het potentieel voor drift naar de stijl van de verifier (mode collapse), en het feit dat evaluaties vertrouwen op LLM-judges in plaats van menselijke ratings. Het werk suggereert dat "niet-verrassende" responsen voor een bekwaam model een sterke proxy zijn voor hoge kwaliteit bij afwezigheid van expliciete labels.