Technische Samenvatting: Niet Alleen Waar, Maar Wanneer: Temporele Planning voor RLVR

Probleemstelling

Versterkt Leren met Verifieerbare Beloningen (RLVR) is een dominant paradigma geworden voor het post-trainen van Large Language Models (LLMs), met name voor redeneertaken. Standaard RLVR-benaderingen, zoals Group Relative Policy Optimization (GRPO), zenden echter doorgaans een enkele scalair beloning uit over de volledige gegenereerde sequentie. Dit resulteert in een uniform optimalisatiesignaal waarbij alle gesamplede tokens gelijkwaardig deelnemen aan policy-updates, waardoor de heterogene policy-gedragingen die zich langs een traject manifesteren (zoals redeneringssteun, logische connecties, reflectie en convergentie van het antwoord) worden genegeerd.

Bestaande oplossingen proberen dit aan te pakken door krediettoewijzing-mechanismen in te voeren om te bepalen waar leersignalen moeten worden verdeeld. Deze omvatten:

• Process Reward Models (PRMs): Het bieden van feedback op stap-niveau (hoge annotatiekosten).
• Token-level Proxies: Het gebruik van metrieken zoals token-entropie, waarschijnlijkheid of KL-divergentie om voordelen opnieuw te wegen of selecte subsets van tokens voor optimalisatie te kiezen.

De Kernbeperking: Hoewel deze methoden specifieke tokens identificeren om te prioriteren, blijven de toewijzingscriteria stagnant gedurende het gehele trainingsproces. Zodra een proxy (bijvoorbeeld hoge entropie) is geselecteerd, wordt het corresponderende policy-gedrag continu benadrukt. De auteurs betogen dat deze statische aanpak een veerkrachtige policy-evolutie beperkt en kan leiden tot het opofferen van policy-entropie bij het proberen om diverse gedragingen gelijktijdig te accommoderen. Het artikel stelt dat de temporele dimensie—specifiek wanneer leersignalen worden gepland—onderbelicht is en even kritiek is als waar ze worden toegewezen.

Methodologie

Het artikel stelt Temporele Planning voor, een kader dat dynamisch de criteria voor krediettoewijzing aanpast gedurende de loop van de training in plaats van ze vast te zetten.

1. Trajectpercentielen als Natuurlijk Perspectief

In plaats van uitsluitend te vertrouwen op complexe policy-proxies, introduceren de auteurs de Traject Percentiel Score (TP-Score) om policy-gedragingen te onderscheiden op basis van tokenpositie.

• Analyse: Empirische analyse onthult distincte tokenverdelingen en entropieprofielen over trajectposities.
  • Vroege Percentielen: Geassocieerd met redeneringssteun en beperkte patronen; vertonen lagere entropie.
  • Midden Percentielen: Geassocieerd met reflectie en kritisch redeneren; vertonen de hoogste entropie en explorerend gedrag.
  • Latere Percentielen: Geassocieerd met realisatie van het antwoord en samenvatting; vertonen gemiddelde entropie.
• Inzicht: Trajectpercentielen bieden een natuurlijke, eenvoudige ankerpunt voor het onderscheiden van heterogene gedragingen zonder complexe proxy-berekeningen te vereisen.

2. Het Temporele Planningsmechanisme

De kerninnovatie is het plannen van de krediettoewijzingsfactor, $\hat{f}_t(\tau)$, als functie van trainingsvoortgang $\tau$.
$$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$$
Waarbij:

• $\hat{f}_t$ de oorspronkelijke krediettoewijzingsfactor is afgeleid van bestaande methoden (bijvoorbeeld entropie-gebaseerde herweging of selectie van verspreide subsets).
• $S(\tau)$ een monotoon dalende planningsfunctie is die varieert van 1 tot 0.
• Strategie: De optimalisatie begint met het prioriteren van de meest gerichte tokens (bijvoorbeeld die geïdentificeerd door de specifieke proxy of latere trajectposities) om specifieke gedragingen te versterken. Naarmate de training vordert, attenueren de criteria geleidelijk, waardoor de optimalisatieomvang uitbreidt om meer algemene tokens op te nemen.

3. Integratie met Bestaande Paradigma's

De methode is ontworpen als een "drop-in" vervanging voor bestaande krediettoewijzingsstrategieën:

• Continue Voordeelherweging: De gewicht $\psi(\mu_t)$ wordt geschaald met $S(\tau)$.
• Discrete Verspreide Optimalisatie: De selectiedrempel $\epsilon$ wordt dynamisch versoepeld: $\mu_t \geq S(\tau) \cdot \epsilon$. Dit neemt geleidelijk meer tokens op in de optimalisatieset naarmate de tijd vordert.

4. Traject Percentiel Planning (TP-Schedule)

De auteurs stellen een specifieke instantiatie voor die direct gebruikmaakt van trajectpercentielen:

• Initialisatie: Uitsluitend focussen op latere tokens (hoge percentielen) die verantwoordelijk zijn voor betrouwbare voortzetting.
• Progressie: Geleidelijk eerdere tokens (lagere percentielen) opnemen die verantwoordelijk zijn voor redeneringssteun.
• Formule: $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$, waarbij $t/T$ de genormaliseerde positie is. Dit creëert een gestructureerde verschuiving waarbij optimalisatie zich voortplant van het einde van de sequentie terug naar het begin.

Belangrijkste Bijdragen

1. Identificatie van de Temporele Dimensie: Het artikel betoogt dat het tijdstip van krediettoewijzing een kritieke, onderbelichte optimalisatiedimensie is. Het daagt het stagnante toewijzingsparadigma uit en stelt voor dat het plannen van criteria over trainingsstappen leidt tot een veerkrachtigere policy-evolutie.
2. Temporeel Planningskader: Een algemene methode om bestaande krediettoewijzingstechnieken (zowel continue herweging als verspreide optimalisatie) aan te vullen door gerichte tokens vroeg te prioriteren en geleidelijk te attenueren naar algemene optimalisatie.
3. Trajectpercentielen als Effectieve Proxy: De auteurs identificeren dat eenvoudige trajectpercentielen dienen als een natuurlijke en effectieve criteria voor het onderscheiden van policy-gedragingen, wat synergetisch werkt met temporele planning om de entropie-inzakking te voorkomen die bij standaardmethoden wordt waargenomen.
4. Empirische Validatie: Toont consistente verbeteringen over meerdere modelgroottes (Qwen3-4B, Qwen3-8B), RL-algoritmen (GRPO, GSPO) en benchmarks (wiskundig en algemeen redeneren).

Experimentele Resultaten

De auteurs evalueerden hun methode op Qwen3-4B en Qwen3-8B modellen met behulp van datasets van OpenMathReasoning en DeepMath-103K. De benchmarks omvatten in-distribution wiskundetaken (AIME, HMMT, Minerva) en out-of-distribution redeneertaken (Winogrande, GPQA, MuSR).

• Prestatiewinsten:
  • TP-Schedule (met gebruik van trajectpercentielen) presteerde beter dan vanilla GRPO met 2,2% op wiskundebenchmarks en 2,7% op benchmarks voor algemeen redeneren voor het 4B-model.
  • Het toepassen van temporele planning op bestaande stagnante methoden (bijvoorbeeld Entropy-Adv, Forking-Tok) leverde consistente verbeteringen op, waarbij discrete planning (het uitbreiden van token-subsets) bijzonder sterk potentieel toonde.
  • Verbeteringen werden waargenomen over verschillende modelgroottes en RL-algoritmen (inclusief GSPO).
• Trainingsdynamiek:
  • Behoud van Entropie: Standaard optimalisatie offert vaak policy-entropie op om heterogene gedragingen te accommoderen. Temporele planning behield aanzienlijk hogere policy-entropie (in sommige vergelijkingen meer dan 33,9% hoger) gedurende de training, wat leidde tot gezondere dynamiek.
  • Gestructureerde Uitlijning: KL-divergentie-analyse toonde aan dat temporele planning een progressieve verschuiving in policy-updates induceert, beginnend bij latere trajectpercentielen en geleidelijk voortplantend naar eerdere, in plaats van uniform te updaten.

Betekenis en Claims

Het artikel claimt dat temporele planning een veelbelovende optimalisatiedimensie vormt voor RLVR. De betekenis hiervan ligt in:

• Verschuiving van het Paradigma: Van een statische focus op "waar" (tokenselectie) naar een dynamische focus op "wanneer" (planning).
• Mitigatie van Entropie-inzakking: Door te voorkomen dat alle heterogene gedragingen gelijktijdig worden geaccordeerd, voorkomt de methode de snelle inzakking van policy-entropie die vaak wordt gezien bij standaard RLVR.
• Eenvoud en Compatibiliteit: De aanpak vertrouwt op eenvoudige trajectpercentielen en is compatibel met bestaande krediettoewijzingsstrategieën, zonder complexe nieuwe beloningsmodellen of annotatiekosten te vereisen.

De auteurs concluderen dat hoewel het kader momenteel wordt toegepast op specifieke toewijzingscriteria, toekomstig werk het orchestreren van diverse krediettoewijzingscriteria binnen dit temporele kader omvat. De resultaten suggereren dat het tijdstip van leersignalen even cruciaal is als hun ruimtelijke verdeling over tokens.