🤖 AI

Beyond Trajectory Imitation: Strategy-Guided Policy Optimization for LLM Reasoning

Dit artikel introduceert Strategy-Guided Policy Optimization (SGPO), een nieuw framework dat het redeneervermogen van LLM's verbetert door herbruikbare probleemoplossende strategieën te distilleren van sterke modellen via token-niveau forward-KL-doelstellingen en adaptieve weging, waardoor het traditionele trajectimitatie en andere baselines op wiskundige benchmarks overtreft.

Oorspronkelijke auteurs: Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tianyuan Shi, Canbin Huang, Bei Li, Xin Chen, Xiaojun Quan, Jingang Wang, Qifan Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het Antwoord Kopiëren versus het Spelplan Leren

Stel je voor dat je een student probeert te leren hoe je een moeilijke wiskundevraag oplost.

De Oude Manier (Trajectory Imitation):
Momenteel werken de meeste methoden als een strikte nabootser. Je laat de student een "perfecte" oplossing zien die door een genie is geschreven. De student krijgt de opdracht: "Schrijf precies op wat de genie schreef, stap voor stap."

De Fout: De student onthoudt de specifieke stappen voor dat specifieke probleem. Als je ze een iets ander probleem geeft, lopen ze vast omdat ze het "script" hebben uit het hoofd geleerd in plaats van de "logica". Ze weten wat ze moeten schrijven, maar niet waarom die stappen zijn gekozen.

De Nieuwe Manier (SGPO):
Dit artikel stelt een nieuwe methode voor genaamd SGPO (Strategy-Guided Policy Optimization). In plaats van de student te dwingen het exacte script te kopiëren, extraheert de docent een Strategische Gids.

De Strategische Gids: Dit is een overzichtelijke kaart. Er staat: "Dit is een breukprobleem. Zoek eerst de gemeenschappelijke noemer. Vermenigvuldig daarna beide kanten. Isoleer tot slot de variabele." Het vertelt je het plan, maar doet zelf de eigenlijke berekeningen niet en geeft ook niet het uiteindelijke antwoord.
Het Doel: De student leert dit "hoe-te-denken" te internaliseren, zodat ze nieuwe problemen op eigen kracht kunnen oplossen, zonder dat ze later de kaart voor zich nodig hebben.

Hoe SGPO Werkt: De "Coach" en de "Speler"

De onderzoekers hebben een trainingssessie opgezet die lijkt op een sporttraining, met voor elke enkele opdracht twee groepen spelers:

De "Autonome" Groep (De Speler op eigen kracht):
De student probeert het probleem op te lossen zonder enige hulp. Soms krijgen ze het goed; soms falen ze. Dit houdt hun natuurlijke probleemoplossende vaardigheden scherp.
De "Strategisch Geleide" Groep (De Speler met een Coach):
De student probeert hetzelfde probleem op te lossen, maar deze keer hebben ze de "Strategische Gids" (de kaart) voor zich. De coach fluistert het plan: "Onthoud, zoek eerst de gemeenschappelijke noemer!"

De Magische Truk:
Het systeem vertelt de student niet alleen om het antwoord van de "Geleide" groep te kopiëren. In plaats daarvan vergelijkt het de twee groepen om te zien waar de coach het verschil maakte.

Het "Forward-KL" Signaal (De Spotlights):
Stel je voor dat de student door een donker bos loopt. De "Autonome" groep dwaalt willekeurig rond. De "Geleide" groep loopt een recht pad dankzij de kaart.
Het systeem kijkt naar het pad en vraagt: "Waar veranderde de kaart de richting van de student?"
- Als de student alleen maar zei: "Oké, laten we beginnen..." (saaie, routinematige woorden), dan veranderde de kaart niets. Negeer dit.
- Als de student bijna een getal ging raden, maar de kaart zei: "Nee, gebruik hier de kwadratische formule," dan is dat een cruciaal moment.
  Het systeem zet een spotlight op deze cruciale momenten en leert de student om diezelfde slimme keuze te maken, zelfs wanneer de kaart later is verdwenen.

De Veiligheidsnetten (Proximal Constraints)

Een student leren om van gedachten te veranderen op basis van het advies van een coach kan riskant zijn. Als je te hard duwt, kunnen ze er zelfs toe leiden dat ze helemaal vergeten hoe ze zelfstandig moeten denken (een fenomeen genaamd "entropy collapse").

SGPO gebruikt drie veiligheidsnetten om de stabiliteit te bewaren:

Bereikbare Doelen: Het leert de student alleen strategieën die daadwerkelijk binnen hun bereik liggen. Als de coach een zet suggereert die te moeilijk is voor de student om ooit te leren, slaat het systeem dit over.
Clipping (Afkapping): Het negeert extreme verschillen. Als het advies van de coach extreem afwijkt van de instincten van de student, dwingt het systeem niet direct een enorme, verwarrende verandering af.
Adaptieve Weging (De "Volume-knop"):
- In het begin van de training: De student is slecht in wiskunde. Het "Volume" van het advies van de coach staat hoog. De student heeft alle hulp die hij kan krijgen.
- Later in de training: De student wordt slimmer. Het "Volume" van de coach wordt lager gedraaid. Het systeem vertrouwt op de groeiende eigen bekwaamheid van de student en stopt met micromanagen.

Wat de Resultaten Laten Zien

De onderzoekers hebben dit getest op vier moeilijke wiskunde-benchmarks (zoals wiskundecompetities op middelbare school- en universitair niveau) met verschillende AI-modellen.

De Competitie Verslaan: SGPO scoort consequent hoger dan de oude "copycat"-methoden (Supervised Fine-Tuning) en andere geavanceerde methoden die kopiëren combineren met reinforcement learning.
Het "Slimme Student"-Effect: De methode werkte het beste op modellen die al enigszien slim waren. Het is als een coach: een coach kan een getalenteerde atleet een kampioen maken, maar het is moeilijker om een absolute beginner een kampioen te maken door ze alleen een speelboek te geven. De student heeft een basisniveau van bekwaamheid nodig om de strategie te kunnen begrijpen.
Selectiviteit: Het systeem leerde van nature om zich te concentreren op de moeilijke delen van het probleem (de strategie) in plaats van de makkelijke delen (vulwoorden), en dat is waarom het beter presteerde dan methoden die simpelweg probeerden elk woord te kopiëren.

Samenvattende Analogie

Oude Methode: Je geeft een student een voltooide essay en zegt: "Leer dit woord voor woord uit je hoofd." De student faalt wanneer de opdracht verandert.
SGPO Methode: Je geeft de student een opzet van hoe je een goed essay schrijft (Inleiding -> Argument -> Bewijs -> Conclusie). Je laat hen zelfstandig oefenen met schrijven, maar laat hen af en toe de opzet zien om hun structuur te corrigeren. Na verloop van tijd hebben ze de opzet niet meer nodig omdat ze de structuur hebben geïnternaliseerd. Ze leren hoe ze moeten denken, niet alleen wat ze moeten zeggen.

Technische Samenvatting: Strategy-Guided Policy Optimization (SGPO) voor LLM-redeneren

1. Probleemstelling

Huidige methoden voor het distilleren van redeneervermogen van sterke naar zwakke Large Language Models (LLM's) vertrouwen voornamelijk op traject-niveau imitatie. Of het nu gaat om Supervised Fine-Tuning (SFT) op expert-trajecten of hybride beleidsoptimalisatie, deze benaderingen trainen studentmodellen om specifieke oplossingssequenties te reproduceren die door experts zijn gegenereerd. Het artikel betoogt dat deze eenheid van kennisoverdracht gebrekkig is: het stimuleert de modellen om instantie-specifieke patronen te memoriseren in plaats van overdraagbare probleemoplossende vaardigheden te verwerven. Als gevolg hiervan hebben modellen die op deze manier zijn getraind moeite met het generaliseren naar nieuwe problemen, omdat ze leren wat ze moeten beantwoorden in plaats van hoe ze moeten redeneren.

De kernuitdaging die wordt aangepakt, is hoe de distributie van de distillatie-target kan verschuiven van concrete oplossings-trajecten naar herbruikbare probleemoplossende strategieën die verklaren waarom specifieke stappen zijn gekozen, zonder dat het model tijdens de inferentie afhankelijk hoeft te zijn van externe hints.

2. Methodologie: Strategy-Guided Policy Optimization (SGPO)

De auteurs stellen SGPO voor, een framework dat traject-niveau imitatie vervangt door herbruikbare strategie-distillatie. Het framework werkt door gestructureerde strategie-beschrijvingen te extraheren uit de responsen van sterke modellen en deze te gebruiken om de redeneerdistributie van het studentmodel te hervormen.

2.1 Kerncomponenten

Voor elk trainingsprobleem $q$ construeert SGPO twee trajectgroepen:

Autonome Groep: Gesampled uit het huidige beleid $\pi_\theta(\cdot | q)$ .
Strategie-gestuurde Groep: Gesampled uit $\pi_\theta(\cdot | q, s)$ , waarbij $s$ een beknopte natuurlijke taal strategie-beschrijving is (die het type probleem, de aanpak en de procedurele stappen specificeert) geëxtraheerd uit een sterk model, maar die geen berekeningen of definitieve antwoorden bevat.

Het framework beantwoordt twee belangrijke vragen: Hoe te distilleren en Wanneer te distilleren.

2.2 Hoe te distilleren: Token-Level Forward-KL Doelstelling

In plaats van direct de gestuurde traject te imiteren (wat zou terugvallen op SFT), distilleert SGPO de distributieverschuiving die wordt veroorzaakt door strategie-conditionering.

Forward-KL Divergentie: De methode minimaliseert de Kullback-Leibler (KL) divergentie waarbij de strategie-gestuurde distributie de referentie is en de ongestuurde distributie het doel ( $D_{KL}(\pi_{guided} || \pi_{unguided})$ ).
Selectiviteit: In tegen tegenstelling tot Reverse KL, wat het beleid zou laten inklappen op een enkele gestuurde modus, moedigt Forward KL het ongestuurde beleid aan om de gestuurde modus te dekken terwijl bestaande alternatieven die via autonome exploratie zijn ontdekt, behouden blijven.
Mechanisme: Het doel concentreert de optimalisatiedruk op natuurlijke wijze op tokens waar de next-token distributie significant verschuift onder strategie-conditionering (bijv. het kiezen van een specifieke wiskundige methode). Dit komt overeen met strategie-kritieke beslispunten, terwijl routinematige linguïstische tokens een lage KL-divergentie vertonen. Dit biedt een selectief distillatiesignaal zonder dat expliciete token-niveau annotaties vereist zijn.

2.3 Stabiliteit en Efficiëntie: Proximale Constraints

Om de trainingsstabiliteit en efficiëntie te waarborgen, hanteert SGPO drie niveaus van proximale constraints:

Traject Niveau (Bereikbare Doelselectie): In plaats van te middelen over alle correcte gestuurde trajecten, selecteert de methode het enkele gestuurde traject dat het meest bereikbaar is voor het huidige ongestuurde beleid. Dit minimaliseert de distributiekloof die het model moet overbruggen.
Token Niveau (KL Clipping): Tokenposities waar de divergentie tussen de gestuurde en ongestuurde distributies een drempelwaarde $\delta$ overschrijdt, worden gemaskeerd. Dit voorkomt dat uitschieterposities de optimalisatie domineren en entropie-instorting veroorzaken.
Instantie Niveau (Adaptieve Weging): Een dynamische gewicht $\alpha(q)$ $α (q)$ moduleert de kracht van de distillatie op basis van het marginale voordeel van strategie-begeleiding.
- Als de autonome pass-rate laag is en de gestuurde pass-rate hoog, is $\alpha(q)$ groot, wat de begeleiding versterkt.
- Naarmate de autonome competentie van het model groeit, neemt $\alpha(q)$ af, waardoor de training natuurlijk overgaat van strategie-gestuurde verbetering naar autonome optimalisatie zonder handmatige planning.

2.4 Algemeen Doel

De totale loss combineert autonome Group Relative Policy Optimization (GRPO) met de proximale strategie-distillatie term:
$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$

3. Belangrijkste Bijdragen

Paradigmaverschuiving: Verplaatst de focus van redeneer-distillatie van het imiteren van specifieke oplossings-trajecten naar het internaliseren van herbruikbare probleemoplossende strategieën.
Forward-KL Distillatie: Introduceert een token-niveau forward-KL doelstelling die strategische kennis selectief overdraagt door zich te richten op waarschijnlijkheidsverschuivingen bij beslispunten, wat beter presteert dan directe traject-imitatie.
Adaptief Framework: Stelt een trainingsdynamiek voor waarbij de kracht van de distillatie automatisch schaalt met de competentie van het model, waardoor handmatige curriculum-planning overbodig wordt.
Complementaire Schaling: Toont aan dat de voordelen van strategie-distillatie schalen met de capaciteit van het basismodel, wat suggereert dat een minimale redeneercompetentie vereist is om strategische begeleiding effectief te internaliseren.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op vier wiskundige redeneer-benchmarks (MATH500, AMC 23, OlympiadBench, AIME 24) met behulp van twee modelfamilies: Qwen2.5 (1.5B en 7B) en Llama-3.2 (8B).

Prestaties: SGPO presteerde consequent beter dan sterke baselines, inclusief SFT, on-policy RL (SFT+GRPO), en hybride-beleid methoden (HPT, LUFFY).
- Op Qwen2.5-7B-Instruct verbeterde SGPO de gemiddelde score met 2,2 punten ten opzichte van de sterkste baseline (LUFFY) en met 9,9 punten ten opzichte van het basismodel.
- Op Qwen2.5-1.5B-Instruct verbeterde de gemiddelde score met 6,7 punten ten opzichte van het basismodel.
Ablatie-studies:
- Het verwijderen van strategie-distillatie verminderde de prestaties, wat de waarde van strategie-niveau transfer bevestigt boven pure RL.
- Het verwijderen van autonome GRPO leidde tot entropie-instorting en prestatie-stagnatie, wat het belang van het behouden van exploratie-diversiteit benadrukt.
- Het verwijderen van proximale constraints veroorzaakte de grootste prestatiedaling (6,8 punten), wat hun cruciale rol in stabiliteit aangeeft.
Analyse:
- Selectiviteit: Het forward-KL signaal piekte bij strategie-kritieke stappen (bijv. het bepalen van de kleinste gemeenschappelijke noemer), terwijl het laag bleef voor routinematige tokens, in tegen tegenstelling tot de monoton dalende loss van directe SFT.
- Schaling: De winsten van SGPO waren groter voor sterkere basismodellen, wat suggereert dat strategie-distillatie complementair is aan fundamentele redeneercapaciteit.

5. Betekenis en Claims

Het artikel beweert dat het overdragen van kennis op strategie-niveau een effectievere richting is voor redeneer-distillatie dan traject-niveau imitatie.

Generalisatie: Door hoe te redeneren (strategieën) in plaats van wat te beantwoorden (trajecten) te internaliseren, verwerven modellen overdraagbare vaardigheden die beter generaliseren naar nieuwe problemen.
Ingebouwde Selectiviteit: De voorgestelde forward-KL doelstelling fungeert als een automatisch mechanisme om strategie-kritieke tokens te identificeren en te versterken, waardoor handmatige annotatie van redeneerstappen overbodig wordt.
Efficiëntie: Het adaptieve weegmechanisme zorgt ervoor dat computationele middelen worden geconcentreerd op instanties waar strategie-begeleiding het hoogste marginale voordeel biedt, wat leidt tot snellere convergentie en hogere prestatieplafonds.

De auteurs concluderen dat hoewel verbeterde redeneervermogens potentiële risico's met zich meebrengen, de specifieke focus op wiskundig redeneren minimale directe risico's vormt, en dat het framework een robuust pad biedt voor het verbeteren van LLM-redeneren door middel van strategie-distillatie.