Technische Samenvatting: STRIDE - Leerbaar Stapsgewijs Taalfeedback voor LLM-Redenering

1. Probleemstelling

Recente vooruitgang in het redeneren van Large Language Models (LLM's) is gedreven door Reinforcement Learning from Verifiable Rewards (RLVR). Echter, bestaande aanpakken staan voor twee kritieke beperkingen:

1. Informatieknelpunt van Scalar Rewards: Process Reward Models (PRM's) proberen supervisie op stapniveau te bieden, maar vertrouwen op scalair scores. Het comprimeren van hoog-dimensionale redeneerpaden naar enkele numerieke waarden creëert een informatieknelpunt waarbij semantisch verschillende foutmodi (bijvoorbeeld rekenfouten versus logische sprongen) samenvallen tot identieke scores, wat onvoldoende semantische bandbreedte biedt om correcties te sturen.
2. Beperkingen van Bestaande Taalfeedback: Hoewel op kritiek gebaseerde methoden rijkere tekstuele feedback bieden, vertrouwen ze vaak op bevroren of externe critici, wat schaalbaarheid en aanpasbaarheid beperkt. Bovendien zetten recente co-training frameworks (bijvoorbeeld TANGO) die generatieve verifiers gebruiken, taaloutput vaak terug om in scalair rewards, waardoor hetzelfde informatieknelpunt opnieuw wordt geïntroduceerd.
3. Toewijzing van Credits: Outcome-based RL biedt geen feedback over individuele redeneerstappen, waardoor het probleem van "toewijzing van credits" (het identificeren van welke specifieke stappen leidden tot succes of falen) grotendeels onopgelost blijft in meerstapsredenering.

2. Methodologie: Het STRIDE Framework

STRIDE (Leerbaar Stapsgewijs Taalfeedback) stelt een paradigma-shift voor van scalair proces-supervisie naar leerbaar, stapsgewijs taalfeedback. Het maakt gebruik van een verweven drie-fasen trainingsschema met een Generator ($G_\theta$) en een Generatieve Verifier ($V_\phi$), die gezamenlijk worden getraind met uitsluitend outcome-based beloningen (geen annotaties op stapniveau).

Kerncomponenten

• Co-Training Generator-Verifier: Beide modellen worden geoptimaliseerd via Group Relative Policy Optimization (GRPO) met uitsluitend de correctheid van het eindresultaat ($c^*$). De verifier leert de terminale beloning te ontleden in stapsgewijze linguïstische kritieken ($v_t$) zonder expliciete labels op stapniveau.
• Fase I: Optimalisatie Basisbeleid: De generator wordt getraind op outcome-beloningen om fundamentele redeneercapaciteiten op te bouwen. Deze fase beslaat het grootste deel van het trainingsschema (9/13).
• Fase II: Optimalisatie Generatieve Verifier: De verifier wordt getraind om hoog-trouwe taal-kritieken ($v = (v_1, ..., v_T)$) te genereren voor elke redeneerstap. Het leert fouten te lokaliseren en ze linguïstisch uit te leggen, effectief fungerend als een "Contextuele Navigator".
• Fase III: Geleide Trajectherleiding: Dit is de kerninnovatie. Wanneer de generator faalt, identificeert de verifier het Eerste Foutpunt (FPF), aangeduid als $t^*$. In plaats van helemaal opnieuw te beginnen, hanteert STRIDE een Multi-Punt Herleidingsstrategie:
  • Ankers: Het bouwt herleidingsstalen op vanuit alle prefix-stappen $t \in [1, t^*]$, niet alleen het FPF.
  • Instructies:
    • Rectificatie Prompt ($t=t^*$): De generator krijgt de instructie om de specifieke logische drogreden die door de verifier is geïdentificeerd, te corrigeren.
    • Verkenning Prompt ($t<t^*$): De generator krijgt de instructie om verder te redeneren vanuit een geverifieerde prefix, wat het ontdekken van alternatieve, robuustere paden aanmoedigt (het aanpakken van "latente drift" waarbij vroege suboptimale keuzes leiden tot latere falen).
  • Trainingstabiliteit: Cruciaal wordt de voordeel-functie in Fase III strikt berekend op basis van de correctheid van het eindresultaat van de herleide traject. Dit zorgt ervoor dat zelfs als de taalfeedback van de verifier ruis bevat of hallucinaties, de beleidsupdate blijft gebaseerd op het verifieerbare resultaat, waardoor schadelijke gradiëntruis wordt voorkomen.

3. Belangrijkste Bijdragen

1. Paradigma-shift naar Feedback met Hoge Bandbreedte: Het paper stelt voor om proces-supervisie te verschuiven van unidimensionale scalair rewards naar leerbaar, in-context taalfeedback. Dit ontsluit rijkere trainingssignalen die in staat zijn kwalitatief verschillende foutmodi te onderscheiden.
2. Het STRIDE Framework: Een verweven drie-fasen co-training schema dat een Multi-Punt Herleidingsstrategie integreert. Het maakt gebruik van geverifieerde semantische ankers om de ruimte voor redeneerverkenning efficiënt te beperken, waardoor het model kan leren van eerder onoplosbare problemen.
3. Robuustheid tegen Verifier-Ruis: Door leersignalen strikt te verankeren aan de correctheid van het resultaat, zorgt STRIDE voor "harmloze beleidsverbetering". Zelfs met imperfecte verifier-lokalisatie, garandeert het framework niet-negatieve verbetering, aangezien alleen succesvolle herleidingen bijdragen aan beleidsupdates.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op diverse benchmarks, waaronder wiskundig redeneren (MATH-500, AIME 2024/2025, AMC 2023, OlympiadBench) en redeneren buiten het domein (BoardgameQA, CRUXEval, StrategyQA, TableBench).

• Prestaties: STRIDE presteert significant beter dan state-of-the-art baselines, waaronder vanilla outcome-based RL (GRPO) en het scalair-reward co-training framework TANGO.
  • Op Qwen2.5-7B behaalde STRIDE 84,6 op MATH-500, vergeleken met 81,4 voor TANGO en 74,6 voor GRPO.
  • Op Llama-3.1-8B behaalde STRIDE 70,4 op MATH-500, beter dan TANGO (69,2) en GRPO (66,8).
  • De winsten waren consistent over logica, code, gezond verstand en tabulaire redeneertaken, wat generalisatie buiten de wiskunde aangeeft.
• Problemen met Zero-Pass-Rate: In ablatiestudies behaalde STRIDE een Correctiesuccesrate (CSR) van 6,8% op problemen waarbij alle scalair-reward baselines een nul-gradiëntsignaal opleverden (d.w.z. problemen die het model aanvankelijk niet kon oplossen). Dit demonstreert het vermogen van het framework om onoplosbare instanties om te zetten in productieve leersignalen.
• Trainingdynamiek:
  • Kwaliteit Verifier: De localisatie-accuraatheid op stapniveau en de nuttigheid van de kritiek van de verifier verbeterden gestaag tijdens de training, wat bevestigt dat supervisie op outcome-niveau voldoende is om betrouwbare capaciteiten op procesniveau te ontwikkelen.
  • Verkenning: STRIDE behield consequent een hogere beleidsentropie dan scalair-reward baselines, waardoor voortijdige convergentie en representatieve instorting werden voorkomen.
  • Redeneerdiepte: Herleidingsfasen bevorderden het ontstaan van diepere, structureel complexere redeneerketens die onafhankelijke steekproeven niet konden produceren.

5. Betekenis en Claims

Het paper claimt dat STRIDE de fundamentele representatieve instorting aanpakt die inherent is aan scalair rewardsystemen. Door gebruik te maken van leerbaar stapsgewijs taalfeedback, biedt het framework de semantische richting die nodig is om specifieke redeneerfouten te lokaliseren en te verhelpen.

De auteurs benadrukken dat de effectiviteit van STRIDE voortkomt uit de paradigma-shift in supervisie en niet uit een verhoogd computerbudget. Compute-gelijkgestelde baselines (verhoging van trainingstappen of batchgrootte) toonden verwaarloosbare winsten vergeleken met de prestatiesprong van STRIDE. Bovendien toont het framework aan dat linguïstische begeleiding met hoge bandbreedte voordelen kan opleveren, zelfs vanuit imperfecte verifiers, waardoor zorgen over de betrouwbaarheid van geleerde critici worden weggenomen. Het werk suggereert dat de verschuiving van scalair naar taalgebaseerde proces-supervisie een levensvatbare weg is om redeneerplateaus in LLM's te overwinnen, waardoor geleide zelfcorrectie mogelijk wordt in plaats van exhaustieve steekproeven.