Technische Samenvatting: Sharpness-Gestuurde Groepsrelatieve Policy Optimalisatie via Kansvorming

Probleemstelling

Versterkend Leren met Verifieerbare Beloningen (RLVR) is een primaire drijvende kracht geworden voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLMs) in domeinen zoals wiskunde, logica en vraagbeantwoording met hulpmiddelen. Groepsrelatieve Policy Optimalisatie (GRPO) is de dominante optimizer in deze setting vanwege zijn eenvoud en het ontbreken van afhankelijkheid van een expliciete waardenfunctie. Echter missen huidige RLVR-implementaties vaak robuuste controle over generalisatie. De auteurs identificeren dat training kan leiden tot "scherpe" updates—grote, instabiele gradiëntstappen—wat theoretisch correleert met een slechtere generalisatieprestatie. Het kernprobleem dat wordt aangepakt, is hoe GRPO-training te stabiliseren en generalisatie te verbeteren zonder het leersignaal te offeren of complexe architecturale wijzigingen in te voeren.

Methodologie: GRPO-SG

Het artikel stelt Sharpness-Gestuurde GRPO (GRPO-SG) voor, een token-gewogen variant van GRPO die is ontworpen om de scherpte van optimalisatie-updates te verminderen. De methodologie is gebaseerd op een theoretisch generalisatieperspectief en wordt geïmplementeerd via een op vertrouwen gebaseerd mechanisme voor kansvorming.

Theoretische Grondslag

De auteurs bekijken GRPO opnieuw door een robuustheidsgedreven generalisatielens. Zij stellen vast dat het generalisatieverlies een bovengrens heeft die gelijk is aan de som van het empirische trainingsverlies en een scherpte-surrogaat gemeten door de gradiëntnorm (Stelling 3.3).

• Kerninzicht: Kleinere gradiëntnormen corresponderen met minder scherpe updates, wat impliceert betere generalisatie.
• Afleiding: Door de gradiënt van het empirische verlies te analyseren, tonen de auteurs aan dat de gradiëntnorm wordt beïnvloed door token-niveau gewichten. Specifiek heeft het product van een tokengewicht ($w_{i,t}$) en de term $(1 - \pi_\theta(o_{i,t}))$ (die onzekerheid vertegenwoordigt) een directe impact op de grootte van de gradiënt.

Algoritmische Implementatie

GRPO-SG wijzigt de standaard GRPO-doelfunctie door een tokengewicht $w_{i,t}$ in te voeren dat fungeert als een vertrouwenssignaal.

1. Vertrouwenssignaal: Het gewicht is afgeleid van de logit van het geselecteerde token ($h_{i,t}$) geproduceerd door het huidige beleid. Deze logit dient als proxy voor het vertrouwen van het model in het token dat het heeft geselecteerd.
2. Kansvorming: Een monotoon, vertrouwensbewuste afbeeldingsfunctie $\omega(\cdot)$ wordt toegepast op de logit om het gewicht te genereren. De specifieke formulering (Vergelijking 20) is:
   $$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$$
   • $\text{sg}[\cdot]$ is een stop-gradiëntoperator om te voorkomen dat het model de gewichten manipuleert.
   • $\sigma$ is een sigmoidfunctie, en $\tau, \mu, \alpha, L, U$ zijn hyperparameters die gladheid en grenzen controleren.
3. Mechanisme:
   • Hoog-vertrouwens Tokens: Tokens met hoge logits (hoog vertrouwen) ontvangen hogere gewichten, waardoor het leersignaal op kritieke redeneerstappen behouden blijft.
   • Laag-vertrouwens Tokens: Tokens met lage logits ontvangen lagere gewichten. Aangezien laag-vertrouwens tokens vaak grotere gradiënten induceren (vanwege de $(1-\pi)$ term), onderdrukt het verlagen van hun gewicht "scherpe" updates die de training zouden kunnen destabiliseren.
4. Integratie: Deze gewichten worden direct geïntegreerd in de GRPO-surrogaatdoelfunctie, waardoor tokens die waarschijnlijk overmatig grote gradiënten veroorzaken effectief worden afgezwakt, terwijl de standaard PPO-achtige clipping en voordeelnormalisatie behouden blijven.

Belangrijkste Bijdragen

1. Generalisatieperspectief van GRPO: Het artikel biedt een theoretisch verband tussen RLVR-training en een robuust generalisatiedoel, waarbij generalisatie wordt gekarakteriseerd via een scherpte-surrogaat (gradiëntnorm).
2. GRPO-SG Algoritme: Het introduceert een eenvoudige, effectieve wijziging aan GRPO die tokenvertrouwen (logits van geselecteerde tokens) gebruikt om updategroottes te vormen, waardoor scherpte wordt verminderd zonder dat er aanvullende modellen of complexe beloningsvorming nodig zijn.
3. Empirische Validatie: De methode is gevalideerd op diverse RLVR-benchmarks, waarbij consistente verbeteringen worden aangetoond ten opzichte van standaard GRPO en andere token-niveau controlebaselines (bijv. 80/20, AR, Lopti).

Experimentele Resultaten

Experimenten werden uitgevoerd op drie verschillende RLVR-omgevingen: Wiskundig Redeneren, Agentische Vraagbeantwoording (met hulpmiddelen verrijkt) en Logische Puzzels (Ridders en Knaven).

• Wiskundig Redeneren: Op benchmarks waaronder OlympiadBench, Minerva en MATH-500 behaalde GRPO-SG gemiddelde verbeteringen van +2,7% tot +6,0% ten opzichte van standaard GRPO. Bijvoorbeeld, op het DSR-trainingrecept met Qwen2.5-7B was de gemiddelde winst 6,0%.
• Agentische QA: In kennisverrijkte QA-taken (met VT-Search) verdubbelde GRPO-SG de exact-match nauwkeurigheid voor het Qwen2.5-3B-model bijna (van 13,84 naar 27,29) en bood significante winsten voor het Qwen3-4B-model.
• Logische Puzzels: Op de K&K Logische Puzzels benchmark verbeterde GRPO-SG de gemiddelde nauwkeurigheid van Qwen2.5-3B van 0,42 naar 0,63 (een relatieve winst van 50%) en van Qwen2.5-7B van 0,75 naar 0,91.
• Trainingsdynamiek: Naast nauwkeurigheid vertoonde GRPO-SG gladdere trajecten van de gradiëntnorm en minder uitbijterspieken in vergelijking met GRPO (Figuur 1), wat consistent is met het theoretische doel van het verminderen van scherpte. Trainingsbeloningen waren ook hoger en stabieler.

Betekenis en Claims

Het artikel stelt dat GRPO-SG een eenvoudige en effectieve generalisatiegerichte upgrade is voor GRPO voor RLVR.

• Eenvoud: De methode vereist geen aanvullende waardenmodellen, menselijke labels of complexe architecturale wijzigingen; het wijzigt alleen de tokenweging binnen de bestaande GRPO-doelfunctie.
• Stabiliteit: Door expliciet de scherpte van updates te controleren via tokenvertrouwen, stabiliseert de methode het trainingsproces, wat leidt tot robuustere redeneercapaciteiten.
• Generaliteit: De verbeteringen zijn consistent over verschillende modelgroottes (3B tot 7B+), verschillende modelfamilies (Qwen, Mistral, LLaMA) en diverse redeneerdomeinen (wiskunde, logica, agentische zoekopdrachten).

De auteurs concluderen dat het expliciet controleren van update-scherpte via op vertrouwen gebaseerde tokenweging een levensvatbare strategie is om de stabiliteit en prestaties van RL-getrainde LLMs te verbeteren, en een praktische weg biedt naar betere generalisatie in settings met verifieerbare beloningen.