Technische Samenvatting: Selectieve Off-Policy Referentie-Tuning met Plansturing (SORT)

1. Probleemstelling

Versterkt leren vanuit verifieerbare beloningen (RLVR), en met name Group Relative Policy Optimization (GRPO), heeft het redeneren in taalmodellen verbeterd door gesamplede oplossingen die positieve uitkomsten opleveren, te versterken. GRPO loopt echter vast in een kritieke faalmodus bij "moeilijke prompts" waarbij elke gesamplede rollout onjuist is. In deze scenario's collapseert het groepsrelatieve voordeel tot nul omdat er geen variantie in beloningen is (allemaal nul), waardoor de prompt onzichtbaar wordt voor de policy gradient-update.

Deze prompts met nul-beloning zijn vaak de meest informatieve trainingssignalen, omdat ze worden begeleid door geverifieerde referentieoplossingen die de ontbrekende redeneerstructuur bevatten. Echter, standaardbenaderingen om deze referenties te benutten – zoals uniforme Supervised Fine-Tuning (SFT) of imitatie van volledige trajecten – falen omdat ze kernredeneerbeslissingen vermengen met routinematige algebra, opmaak en oppervlakkige formulering. Deze uniforme imitatie kan leiden tot policy-collapse of verbosity zonder de redeneernauwkeurigheid te verbeteren. Bestaande sturingsmethoden veranderen vaak de rollout-verdeling of vertrouwen op externe docenten, wat complexiteit of distributieverschuivingen introduceert.

2. Methodologie: SORT

De auteurs stellen Selective Off-Policy Reference Tuning with Plan Guidance (SORT) voor, een aanvullend herstelmechanisme dat specifiek is ontworpen voor GRPO-groepen met nul-beloning. SORT werkt zonder het primaire GRPO-rollout-generatieproces te wijzigen.

Kernmechanisme

1. Buffering en Uitstel: Wanneer een prompt uitsluitend onjuiste rollouts oplevert (groep met nul-beloning), wordt deze niet verworpen. In plaats daarvan worden de prompt en de bijbehorende geverifieerde referentieoplossing gebufferd.
2. Planextractie: Voor elk gebufferd voorbeeld extrahert het huidige model een "redeneerplan" uit de referentieoplossing. Dit plan is een geordend overzicht van belangrijke redeneerbeslissingen (bijvoorbeeld lemma's, splitsing van gevallen, propagatie van beperkingen), maar wordt niet gebruikt als doelsequentie voor generatie.
3. Dubbele Evaluatie (Diagnostische Context): Het model evalueert de referentietokens tweemaal onder hetzelfde beleid:
   • Basisconditie: De tokenwaarschijnlijkheid wordt berekend op basis van alleen de probleemprompt.
   • Plan-geconditioneerde (Docent) conditie: De tokenwaarschijnlijkheid wordt berekend op basis van de probleemprompt plus het geëxtraheerde redeneerplan.
4. Token Salientie Scoring: De methode berekent de log-ratio tussen de plan-geconditioneerde waarschijnlijkheid en de basiswaarschijnlijkheid. Tokens waarbij de waarschijnlijkheid onder plan-conditionering significant toeneemt, worden geïdentificeerd als "structureel informatief" (dat wil zeggen, ze vertegenwoordigen redeneerstappen die het model miste, maar die het kan leren als de structuur expliciet is). Routinetokens (algebra, opmaak) vertonen weinig verandering.
5. Geometrische Weging: SORT construeert een aanvullend verlies met behulp van een geometrisch-gemiddelde weging:
   $$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$$
   Deze weging combineert de stabiliteit van de ondersteuning van het basismodel (van Dynamic Fine-Tuning, DFT) met de selectiviteit van de plan-geconditioneerde docent. Tokens die met het plan voorspelbaarder worden, krijgen een hogere weging; die welke dat niet doen, krijgen een lagere weging of blijven ongewijzigd.

Theoretische Waarborgen

De auteurs formaliseren SORT met behulp van een ground-truth planmodel. Ze bewijzen dat naarmate het geëxtraheerde plan het ware redeneerplan benadert, de SORT-waarde convergeert naar een "orakel"-waarde die precies de structureel kritieke tokens benadrukt. De regretgrens wordt getoond evenredig te zijn met de planextractiefout ($\gamma$) en de basiswaarschijnlijkheid, waardoor wordt gegarandeerd dat de methode op een elegante manier degradeert naar DFT-achtig gedrag als de planextractie slecht is.

3. Belangrijkste Bijdragen

• Identificatie van Falen met Nul-voordeel: Het artikel identificeert prompts met nul-beloning als een specifiek knelpunt in GRPO waar het groepsvoordeel nul is, en introduceert SORT om deze te repareren zonder de rollout-generatie te wijzigen.
• Planconditionering met hetzelfde model: In tegenstelling tot methoden die off-policy sporen van sterkere modellen injecteren of externe docenten gebruiken, gebruikt SORT hetzelfde model om een plan te extraheren en referentietokens te scoren, waardoor externe afhankelijkheden worden vermeden.
• Geometrisch-gemiddelde tokenweging: Een nieuw wegingsschema dat DFT-stijl ondersteuningsbewustzijn integreert met plan-geconditioneerde selectiviteit, wiskundig bewezen als een benadering van orakel-structurele-tokenweging.
• Empirische Validatie: Uitgebreide experimenten die consistente verbeteringen tonen ten opzichte van GRPO en op sturing gebaseerde baselines over meerdere modelgroottes en benchmarks.

4. Experimentele Resultaten

De methode werd geëvalueerd op drie instructie-gefine-tuneerde backbones (Llama-3.2-3B, Qwen2.5-7B en Qwen3-4B) over acht benchmarks, waaronder in-distribution wiskundetaken (AIME, AMC, MATH-500) en out-of-distribution redenering (GPQA, MMLU-Pro).

• Prestatiewinsten: SORT presteerde consequent beter dan vanilla GRPO en andere baselines (LUFFY, ReLIFT, Scaf-GRPO).
  • Op het zwakste model (Llama-3.2-3B) verbeterde SORT het in-distribution gemiddelde van 17,8% naar 23,9% en het out-of-distribution gemiddelde van 22,5% naar 33,8%.
  • Op sterkere modellen bood SORT marginale maar consistente winsten, wat de bruikbaarheid bevestigt, zelfs wanneer groepen met nul-beloning minder frequent voorkomen.
• Vergelijking met Baselines:
  • vs. SFT/ReLIFT: In tegenstelling tot SFT of ReLIFT, die vaak de responslengte en verbosity verhoogden zonder de nauwkeurigheid te verbeteren (vooral op zwakkere modellen), behield SORT compacte generaties terwijl het redeneren werd versterkt.
  • vs. LUFFY: LUFFY, dat sterkere off-policy sporen mengt, toonde minder selectiviteit en degradeerde soms de prestaties op out-of-distribution taken.
• Trainingsdynamiek: SORT verbeterde de beloningsscores zonder de lengte-expansie die bij andere methoden werd waargenomen. Het repareerde moeilijke prompts effectief door specifieke redeneertokens te targeten in plaats van volledige trajecten na te bootsen.

5. Betekenis en Claims

Het artikel beweert dat SORT een fundamentele beperking in RLVR aanpakt: het onvermogen om te leren van de moeilijkste prompts waar exploratie faalt. Door geverifieerde referenties niet te behandelen als trajecten om te kopiëren, maar als bewijs voor een redeneerplan, converteert SORT "alles-verkeerd"-fouten in gestructureerde, token-selectieve leersignalen.

De auteurs benadrukken dat SORT een conservatieve, aanvullende update is die het oorspronkelijke GRPO-rolloutproces behoudt. Het vereist geen externe docenten, gesynthetiseerde trajecten of wijzigingen in de inferentie-distributie. De methode is bijzonder significant voor zwakkere modellen waar groepen met nul-beloning het meest frequent voorkomen, en biedt een weg om redeneercapaciteiten te verbeteren zonder de rekenkosten van het genereren van correcte rollouts voor elke prompt. De aanpak wordt gepresenteerd als een "selectieve vorm van zelfdistillatie" die de valkuilen van het te veel benadrukken van makkelijke, routinematige tokens vermijdt, terwijl het zich richt op de onzekere, structureel kritieke stappen van het redeneren.