Technische Samenvatting: F-GRPO: Laat Uw Beleid Niet Het Voor de Hand Liggende Leren en de Zeldzame Vergeten

Probleemstelling

Versterkt Leren met Verifieerbare Beloningen (RLVR) is een standaardparadigma geworden voor het post-trainen van Large Language Models (LLMs) op redeneertaken. Een groeiende hoeveelheid bewijs suggereert echter dat RLVR de outputverdeling vaak verscherpt naar oplossingen die al toegankelijk zijn voor het basismodel, wat de prestaties op metrieken zoals pass@k (waarbij k groot is) kan verslechteren door de diversiteit van oplossingen te beperken.

De meeste moderne RLVR-systemen, zoals Group Relative Policy Optimization (GRPO), vertrouwen op groepssampling (het genereren van $N$ antwoorden per prompt) om voordelen te schatten. Hoewel kleine groepen ($N=2$) computatie-efficiënt zijn en grote groepen een brede dekking bieden, beperken praktische beperkingen $N$ vaak tot intermediaire maten (bijv. $N=8$). Het artikel identificeert een kritiek gat in het begrip van hoe deze eindige groepsgroottes de optimalisatiedynamiek beïnvloeden. Specifiek stelt het dat intermediaire groepsgroottes een "tail-miss"-regime kunnen creëren waarbij updates actief zijn (gemengde beloningen) maar falen in het bemonsteren van zeldzaam-correcte trajecten, wat leidt tot een concentratie van waarschijnlijkheidsmassa op gemeenschappelijke, gebemonsterde oplossingen terwijl niet-gebemonsterde correcte gedragingen worden onderdrukt.

Methodologie

Theoretische Analyse

De auteurs leiden de waarschijnlijkheid van een tail-miss-gebeurtenis ($B_{E,N}(x)$) af, gedefinieerd als een actieve update (waarbij de groep zowel correcte als incorrecte rollouts bevat) die faalt in het bemonsteren van een specifieke laag-massa correcte subset $E_x$.

• Niet-monotoon Gedrag: De waarschijnlijkheid van deze gebeurtenis is niet-monotoon met betrekking tot de groepsgrootte $N$. Kleine $N$ resulteert vaak in inactieve updates (allemaal correct of allemaal incorrect), waardoor diversiteit wordt behouden door inactiviteit. Grote $N$ zorgt voor dekking van zeldzame modi. Echter, intermediaire $N$ maximaliseert de waarschijnlijkheid van actieve updates die zeldzaam-correcte gebieden missen.
• Herverdelingsmechanisme: Met behulp van een categorisch beleidskader analyseren de auteurs hoe waarschijnlijkheidsmassa wordt herverdeeld. Zij tonen aan dat zelfs wanneer de totale correcte massa ($Q_{pos}$) toeneemt, de niet-gebemonsterde-correcte massa ($Q_{u,pos}$) kan afnemen. Dit gebeurt omdat belonings-positieve batches niet-gebemonsterde logits naar beneden duwen door basistractie en softmax-normalisatie, wat effectief leidt tot het "vergeten" van correcte oplossingen die niet in de huidige groep zijn gebemonsterd.

Voorgestelde Oplossing: F-GRPO

Om dit te mitigeren zonder de computerkosten (rollout-grootte) te verhogen, stellen de auteurs F-GRPO voor (Focal Group Relative Policy Optimization).

• Focal Weging: Geïnspireerd door Focal Loss, introduceert de methode een moeilijkheidsbewuste schaalcoëfficiënt $g(x)$ die wordt toegepast op het groepsrelatieve voordeel.
• Mechanisme: Het gewicht wordt gedefinieerd als $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$, waarbij $\hat{\mu}_{pos}(x)$ het empirische succespercentage van de gebemonsterde groep is (aantal correcte rollouts $X$ gedeeld door $N$).
• Effect: Dit verlaagt de weging van updates van groepen met hoge empirische succespercentages (waar het model het "voor de hand liggende" al heeft "geleerd" voor die prompt) en behoudt het signaal van gemengd-succes groepen waar zeldzame correcte gedragingen mogelijk nog ondervertegenwoordigd zijn. Het is een lichtgewicht modificatie die het voordeel-signaal uniform schaalt voor alle rollouts in een prompt, zonder extra netwerken te vereisen of beloningswaarden te wijzigen.

Belangrijkste Bijdragen

1. Afleiding van Tail-Miss Waarschijnlijkheid: Het artikel karakteriseert expliciet de waarschijnlijkheid van actieve updates die zeldzaam-correcte subsets missen, en demonstreert de niet-monotone afhankelijkheid van de groepsgrootte. Dit helpt bij het verzoenen van tegenstrijdige eerdere bevindingen met betrekking tot optimale groepsgroottes.
2. Analyse van Niet-gebemonsterde-Correcte Massa: De auteurs tonen theoretisch en empirisch aan dat de totale correcte massa kan groeien terwijl de niet-gebemonsterde-correcte massa krimpt, wat het mechanisme achter verdelingverscherping in eindige-groepsinstellingen verklaart.
3. Validatie met Eén Oplossing: Met behulp van een Maze-omgeving waarbij elke prompt exact één correct traject heeft, demonstreert het artikel dat degradatie van pass@K kan optreden zelfs zonder meerdere correcte oplossingen per prompt, waardoor het effect wordt geïsoleerd tot target-sequentie-dekking in plaats van intra-prompt diversiteit.
4. F-GRPO Algoritme: Een eenvoudige, plug-in herschikkingsmethode die toepasbaar is op GRPO, DAPO en CISPO, en die pass@256 verbetert terwijl pass@1 behouden of verbeterd blijft, zonder de rollout-kosten te verhogen.

Experimentele Resultaten

De auteurs hebben F-GRPO geëvalueerd op Qwen2.5-7B, Qwen3-4B-Base en Llama-3.2-3B-Instruct over verschillende benchmarks (MATH500, AIME, AMC, GPQA, IFEval, SynLogic).

• Categorische Simulatie: Bevestigde dat intermediaire groepsgroottes leiden tot de laagste behouden positieve massa ($M_{ret}$), terwijl focal weging ($\gamma=1$) de massa-retentie in deze "concentratiezone" significant verbetert.
• Maze Experimenten: In een instelling met één oplossing verminderde F-GRPO de vroege daling in pass@K tijdens training en verbeterde het de uiteindelijke pass@1 en pass@256 over alle geteste groepsgroottes ($N \in \{4, \dots, 128\}$).
• LLM Benchmarks (N=8):
  • Wiskundeprestaties: Op Qwen2.5-7B verbeterde F-GRPO de gemiddelde wiskundige pass@256 van 64,1 (GRPO) naar 70,3, en van 69,3 (DAPO) naar 72,5.
  • OOD-prestaties: Out-of-domain (OOD) pass@256 verbeterde ook consequent over alle methoden (bijv. GRPO: 55,9 $\to$ 63,3; DAPO: 58,4 $\to$ 63,6).
  • Efficiëntie: F-GRPO bij $N=8$ bereikte prestaties vergelijkbaar met standaard GRPO bij $N=32$ op pass@256, en herstelde effectief de voordelen van grotere groepen met 4$\times$ minder rekenkracht.
  • Generalisatie: De methode werkte effectief over verschillende optimalisatoren (GRPO, DAPO, CISPO) en modelgroottes.
• Ablatie: De winsten werden niet gerepliceerd door eenvoudige vermindering van de leersnelheid of standaard regularisatie (entropie/KL), wat suggereert dat de verbetering specifiek voortkomt uit het op succes gebaseerde herschikkingsmechanisme.

Betekenis en Claims

Het artikel claimt een theoretische en praktische oplossing te bieden voor het "verscherpings"-probleem in groepsrelatief RLVR. Door te identificeren dat intermediaire groepsgroottes het risico maximaliseren om zeldzaam-correcte trajecten te missen, betogen de auteurs dat het simpelweg verhogen van $N$ niet altijd haalbaar is vanwege computertekortkomingen.

F-GRPO biedt een low-cost mitigeringsstrategie die:

1. De pass@256-prestaties herstelt die typisch verloren gaan bij het gebruik van intermediaire groepsgroottes.
2. Pass@1 (enkele-steekproefnauwkeurigheid) behoudt of verbetert.
3. Werkt over verschillende RLVR-varianten en modelarchitecturen.
4. Geen verhoging van het rollout-budget of toevoeging van auxiliary netwerken vereist.

De auteurs positioneren F-GRPO als een noodzakelijke aanpassing aan de standaard RLVR-pijplijn, om ervoor te zorgen dat beleidsupdates niet per ongeluk alleen de "voor de hand liggende" oplossingen versterken die blootgelegd zijn in een eindige steekproef, terwijl ze de "zeldzame" correcte gedragingen vergeten die nodig zijn voor robuust redeneren.