Technische Samenvatting: CARE-RFT

Probleemstelling

Reinforcement Finetuning (RFT) is een cruciaal paradigma geworden voor het ontsluiten van emergente redeneercapaciteiten in Large Language Models (LLMs), zoals geïllustreerd door modellen als DeepSeek-R1-Zero. De auteurs identificeren echter een kritieke afruil tussen redeneerprestaties en de betrouwbaarheid van het model:

1. Onbeperkte RFT: Hoewel algoritmen zoals Group Relative Policy Optimization (GRPO) zonder beperkingen superieure redeneernauwkeurigheid bereiken, brengen ze de betrouwbaarheid van het model ernstig in gevaar. Het verwijderen van beperkingen leidt tot "ononderscheidende versterking", waarbij het model volledige denkketens (inclusief logisch gebrekkige tussenstappen) versterkt als de uiteindelijke uitkomst correct is. Dit resulteert in een verhoogde hallucinatiegraad, verminderde feitelijkheid op retrieval-benchmarks en een slechte kalibratie (hoge Expected Calibration Error, of ECE).
2. RKL-beperkte RFT: Om hallucinaties te beperken, leggen standaardbenaderingen een Reverse Kullback–Leibler (RKL) divergentie-straf op om het getrainde beleid ($\pi_\theta$) dicht bij een referentiebeleid ($\pi_{ref}$) te houden. Hoewel dit de kalibratie en feitelijkheid behoudt, is de RKL-straf onbegrensd. Het legt oneindige straffen op aan tokens waar het referentiemodel een lage waarschijnlijkheid aan toekent, wat effectief de exploratie van nieuwe, hoog-belonende redeneerpaden die afwijken van het basismodel verstikt. Bijgevolg zijn de winsten in redeneren beperkt vergeleken met onbeperkte RFT.

De kernuitdaging is het ontwerpen van een regularisatiemethode die de noodzakelijke exploratie voor redeneren toestaat, terwijl de onverankerde afwijkingen die hallucinaties en miskalibratie veroorzaken, worden voorkomen.

Methodologie: CARE-RFT

De auteurs stellen CARE-RFT (Confidence-Anchored Regularized Reinforcement Finetuning) voor, die de standaard RKL-straf vervangt door een Skew Reverse KL (SRKL) divergentie.

Theoretische Fundering

Standaard RKL-divergentie ($D_{RKL}$) straft afwijkingen af waarbij $\pi_\theta$ waarschijnlijkheid toekent aan tokens die $\pi_{ref}$ onwaarschijnlijk acht. Deze straf groeit onbegrensd naarmate $\pi_{ref}(o_t) \to 0$, wat het model verhindert om met lage waarschijnlijkheid gepaard gaande maar potentieel correcte redeneerstrategieën te verkennen.

CARE-RFT introduceert een skew-parameter $\alpha \in (0, 1)$ om een mengverdeling te definiëren. De SRKL-divergentie wordt gedefinieerd als:
$$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$$

Kernmechanismen

1. Confidence-Anchored Penalty: De SRKL-straf is vertrouwensgevoelig (confidence-sensitive).
   • Opwaartse Afwijkingen (Exploratie): Wanneer het model zelfverzekerd is ($\pi_\theta$ is hoog) en consistent beloond wordt, is de straf voor het verhogen van de waarschijnlijkheid op een token begrensd. De term $\log(1/\alpha)$ dient als een eindige bovengrens. Dit stelt het model in staat om waarschijnlijkheidsmassa te accumuleren op nieuwe, hoog-belonende redeneerpatronen zonder te worden onderdrukt door de lage waarschijnlijkheid van het referentiemodel.
   • Neerwaartse Afwijkingen (Preservatie): Wanneer het model probeert de waarschijnlijkheid te verlagen van tokens die het referentiemodel bevoordeelt (of wanneer het model onzeker is), blijft de straf onbegrensd (divergerend naar $-\infty$ naarmate de ratio naar 0 nadert). Dit zorgt ervoor dat het model niet afwijkt van de goed gekalibreerde priors van het basismodel, waardoor de feitelijke gronding behouden blijft.
2. Gradiëntstabiliteit: De gradiëntcoëfficiënt van SRKL is begrensd voor opwaartse bewegingen, wat de "gradiënt-explosie" en de variantie van de estimator vermindert die vaak bij standaard RKL optreedt wanneer het referentiemodel een waarschijnlijkheid nabij nul toekent aan gesamplede tokens.

Experimentele Opzet

De auteurs evalueerden CARE-RFT over meerdere modelmaten (Qwen2.5-3B en 7B) en drie verschillende RFT-algoritmen:

• GRPO: Het fundamentele group relative policy optimization.
• DAPO: Een agressieve, zonder beperkingen variant.
• GSPO: Een recente sequentie-niveau optimalisatiebenadering.

Benchmarks:

• Redeneren: MATH en GSM8K (gemeten via Pass@4).
• Betrouwbaarheid/Feitelijkheid: TruthfulQA en SelfAware (gemeten via Pass@1).
• Kalibratie: Expected Calibration Error (ECE) op TruthfulQA.

Belangrijkste Resultaten

De experimenten tonen aan dat CARE-RFT erin slaagt de nauwkeurigheid–kalibratie afruil te doorbreken:

1. Redeneerprestaties: CARE-RFT evenaart de redeneerprestaties van onbeperkte RFT. Bijvoorbeeld, op Qwen2.5-3B met GRPO behaalde CARE-RFT een MATH-score van 0,600, vrijwel identiek aan de onbeperkte versie (0,610) en significant hoger dan de RKL-beperkte GRPO (0,510).
2. Betrouwbaarheid en Kalibratie: In tegenstelling tot onbeperkte RFT, die te kampen had met ernstige dalingen in de TruthfulQA-nauwkeurigheid en een hoge ECE, herstelde CARE-RFT de betrouwbaarheid van het basismodel.
   • TruthfulQA: CARE-GRPO scoorde 0,465, dicht bij het basismodel (0,489) en RKL-GRPO (0,480), terwijl onbeperkte GRPO daalde naar 0,350.
   • ECE: CARE-RFT behield een lage ECE (0,132), vergelijkbaar met RKL-beperkte methoden (0,125) en aanzienlijk beter dan onbeperkte methoden (0,210).
3. Trainingsdynamiek: Analyse van de token-entropie onthulde dat onbeperkte RFT leidt tot een catastrofale ineenstorting van de entropie (overconfidence), terwijl RKL de entropie hoog houdt maar het aanscherpen beperkt. CARE-RFT bereikt een gecontroleerde entropiereductie, waardoor het model distributies kan aanscherpen voor redeneren zonder in overconfidence te vervallen.

Betekenis en Claims

Het artikel claimt dat zorgvuldige, op vertrouwen gebaseerde regularisatie de sleutel is tot het bouwen van zowel capabele als betrouwbare redeneermodellen.

• Oplossing van de Afruil: CARE-RFT lost de spanning op tussen de behoefte aan exploratie (om redeneren te ontsluiten) en de behoefte aan beperking (om hallucinaties te voorkomen) door een eenzijdige, begrensde straf te introduceren.
• Generaliseerbaarheid: De methode wordt gepresenteerd als een "drop-in" regularisatielaag die compatibel is met diverse RFT-algoritmen (GRPO, DAPO, GSPO) en modelmaten.
• Mechanistisch Inzicht: Het werk stelt vast dat het falen van onbeperkte RFT niet louter een gebrek aan beperkingen is, maar specifiek de ononderscheidende aard van resultaatgestuurde beloningen. Door over te stappen naar token-niveau, op vertrouwen gebaseerde beperkingen, kan het model complexe redeneerpatronen leren zonder de feitelijke priors van het basismodel op te offeren.

De auteurs concluderen dat hun aanpak modellen in staat stelt om het "aha-moment" van emergente redenering te bereiken, terwijl ze de betrouwbaarheid behouden die vereist is voor toepassingen met een hoog risico, zonder de onbegrensde straffen die traditionele RKL-beperkte RFT het leren belemmeren.