Technische Samenvatting: Drop the Act: Probe-Filtered RL voor Getrouwe Redenering met Chain-of-Thought

Probleemstelling

Redeneringsmodellen die momenteel zijn getraind met Reinforcement Learning (RL), met name Group Relative Policy Optimization (GRPO), vertonen een systematische kloof tussen hun interne besluitvorming en hun gegenereerde output. Deze modellen "committeren" vaak intern vroeg in het redeneerproces aan een antwoord, maar blijven vervolgens stappen genereren die deliberatief lijken maar niets bijdragen aan de correctheid. De auteurs noemen dit fenomeen redeneertheater.

Dit gedrag brengt drie primaire kosten met zich mee:

1. Inefficiëntie: Het verspillen van inferentie-tokens, wat de kosten bij agentische implementaties opdrijft.
2. Verontreiniging van Interpretatie: Het introduceert spurious signalen in procesbeloningstraining en verduistert de daadwerkelijke berekening die door het model wordt uitgevoerd.
3. Tekort aan Getrouwheid: De chain-of-thought (CoT) geeft niet langer getrouw het redeneerpad weer dat leidde tot het antwoord.

Bestaand diagnostisch werk heeft deze kloof geïdentificeerd, maar standaard RL-reward shaping kan dit niet aanpakken omdat verifiers (bijvoorbeeld string-matchers, code-executors) alleen het uiteindelijke antwoord zien, niet het interne commit-punt of de getrouwheid van tussenstappen.

Methodologie: ProFIL (Probe-Filtered Reinforcement Learning)

De auteurs introduceren ProFIL, een plug-in extensie voor GRPO die is ontworpen om redeneertheater te onderdrukken zonder menselijke annotatie. De kerninzicht is dat de "verifier" die nodig is om post-commitment-stappen te detecteren, al bestaat binnen de interne activaties van het model.

1. Labelgeneratie (Gedwongen Antwoorden)

Om een detector voor theater te trainen, genereren de auteurs stap-voor-stap labels zonder menselijke tussenkomst:

• Bij elke stapgrens van een redeneerketen wordt een prompt voor gedwongen antwoord ingevoegd, waarin het model wordt gevraagd een definitief antwoord te geven op basis uitsluitend van de tot dan toe gegenereerde redenering.
• De eerste stap waarbij dit gedwongen antwoord overeenkomt met de ground truth (geverifieerd door de standaard taakverifier) wordt gedefinieerd als het commit-punt ($c$).
• Alle stappen die plaatsvinden na $c$ worden gelabeld als performatief (theater).

2. De Bevroren-Base Probe

Een multi-head attention probe wordt eenmalig getraind op het bevroren basismodel ($\pi_{base}$) met behulp van de labels voor gedwongen antwoorden.

• Architectuur: Een gated multi-head attention-mechanisme (vergelijkbaar met RLFR) dat LayerNorm-geprojecteerde residual-stream-activaties uit specifieke lagen ($\ell_1, \ell_2$) van het bevroren base-model verwerkt.
• Training: De probe wordt getraind om het performativiteitslabel te voorspellen (0 voor getrouw, 1 voor performatief) met behulp van Binary Cross-Entropy (BCE).
• Stabiliteit: Cruciaal is dat de probe wordt getraind op het bevroren base-model en vervolgens bevroren wordt. Deze wordt niet bijgewerkt tijdens de RL-training van het beleid ($\pi_\theta$). Dit voorkomt de "RL-obfuscatie"-faalmodus waarbij een beleid leert zijn gedrag te verbergen voor een dynamische monitor.

3. De Probe-filter in GRPO

Tijdens GRPO-training worden voor elke prompt $K$ rollouts gesampled. Voordat de voordeelberekening plaatsvindt:

1. Berekent de bevroren probe een per-stap performativiteitsscore voor elke rollout met behulp van de activaties van het bevroren base-model.
2. De gemiddelde performativiteitsscore ($\bar{p}$) voor de rollout wordt berekend.
3. Als $\bar{p} \geq \tau$ (een drempelhyperparameter), worden de beloning en het voordeel van de rollout op nul gezet.
4. Deze gefilterde rollouts dragen niets bij aan de gradiëntupdate, waardoor het beleid effectief leert om te stoppen met het genereren van stappen zodra het interne commit-punt wordt gedetecteerd.

Belangrijkste Bijdragen

• Doelgericht Methode: ProFIL is een enkele extensie voor GRPO die gelijktijdig post-commitment-uitweiding onderdrukt, het getrouwe-aandeel van ketens verhoogt en de ketenlengte verkort, alles terwijl de taaknauwkeurigheid behouden of verbeterd blijft.
• Generaliteit: De methode toont consistente winst aan over vier diverse redeneringsdomeinen (GSM8K, LiveCodeBench, ToolUse, MMLU-Redux) en twee modelarchitecturen (Llama-8B, Qwen-7B).
• Anti-Gaming Mechanisme: Door de probe te trainen op een bevroren base, weerstaat het systeem de RL-obfuscatie-faalmodus. Het model leert het theater zelf te onderdrukken in plaats van te leren zijn activaties te verschuiven om de probe te ontlopen. De probe behoudt een AUROC van 1.000 op LiveCodeBench gedurende de hele training.
• Semantische versus Lengtecompressie: Het artikel isoleert het mechanisme als detectie van semantische commitment. Een gekoppelde lengte-straf-baseline verhoogde de performativiteit juist, wat bewijst dat eenvoudige tokenreductie niet het werkzame mechanisme is.
• Artifacts: De auteurs publiceren probe-weights, trainingsconfiguraties en rollout-caches voor alle vier de domeinen.

Experimentele Resultaten

Over vier domeinen behaalde ProFIL het volgende:

• Onderdrukking van Theater: Vermindering van de performativiteitsratio (aandeel post-commitment-stappen) met 11% tot 100%.
  • GSM8K: ~100% reductie (0.006 $\to$ 0.000).
  • LiveCodeBench: 72% reductie (0.267 $\to$ 0.076).
  • ToolUse: 11% reductie (0.527 $\to$ 0.468).
  • MMLU-Redux: 50% reductie (0.016 $\to$ 0.008).
• Getrouwheid: Verhoging van het "getrouwe aandeel" (ketens met lage performativiteit). Opmerkelijk is dat op ToolUse het getrouwe aandeel steeg van 0.029 naar 0.147 (een 5-voudige winst).
• Nauwkeurigheid: De taaknauwkeurigheid bleef in alle gevallen behouden of verbeterde.
  • GSM8K: +5.2 procentpunten (pp).
  • LiveCodeBench: +7pp (sampled@1 piek).
  • MMLU-Redux: Exacte gelijkheid.
• Onafhankelijke Verificatie: Een onafhankelijke Claude 3.7 Sonnet-judge, die een natuurlijke-taal-getrouwheidssjabloon gebruikte zonder toegang tot probe-scores, bevestigde een +24pp toename in het getrouwe aandeel op LiveCodeBench.
• Ketenlengte: Keten werden verkort met 4–19% zonder verlies aan nauwkeurigheid.

Betekenis en Aanspraken

Het artikel stelt dat ProFIL een algemeen recept demonstreert voor het optimaliseren van niet-verifieerbare doelen (zoals getrouwheid) in post-training. Door gebruik te maken van de eigen interne representaties van het model (eenmalig gelezen op een bevroren base), creëert het een stabiel, annotatievrij trainingssignaal dat de externe verifier niet kan zien.

De auteurs betogen dat redeneertheater een "aangeleerd zelfvertrouwen-ritueel" is – een post-hoc prestatie die het model toevoegt aan problemen die het al weet op te lossen. ProFIL onderdrukt geen onzekerheid of zelfcorrectie (die plaatsvinden vóór commit); in plaats daarvan collapseert het de high-theater-modus, waardoor het model gedwongen wordt te stoppen met genereren zodra het antwoord intern is gecommitteerd. Dit resulteert in redeneerketens die de daadwerkelijke berekening nauwkeuriger weerspiegelen, wat de controleerbaarheid en interpreteerbaarheid verbetert terwijl de inferentiekosten worden verlaagd.