Technische Samenvatting: Perturbed Parameter Policy Optimization (3PO) voor RLVR

Probleemstelling

Reinforcement Learning with Verifiable Rewards (RLVR) is een prominent post-training paradigma voor het verbeteren van de redeneercapaciteiten van Large Language Models (LLM's) zonder afhankelijk te zijn van menselijke demonstraties. Echter, huidige RLVR-algoritmen, met name Group Relative Policy Optimization (GRPO), kampen met aanzienlijke uitdagingen met betrekking tot de exploratie-exploitatie-afweging.

De primaire beperking ligt in de exploratie van de actieruimte. Standaardmethoden beheersen exploratie door de softmax-temperatuur tijdens de token-generatie aan te passen. Zoals geïllustreerd in het artikel, verandert temperatuurschaling enkel de variantie van de token-distributie terwijl de relatieve ordening van tokens behouden blijft. Dit beperkt het model tot het verkennen van trajecten binnen dezelfde "vorm" van de oplossingsruimte, waardoor het vaak faalt om nieuwe, hoog-belonende paden te ontdekken die een lage initiële waarschijnlijkheid hebben. Dit leidt consequent tot:

1. Voortijdige Entropie-instorting: Het beleid (policy) wordt overmatig deterministisch, wat resulteert in homogene rollouts.
2. Zero-Advantage Groepen: In GRPO, als alle $G$ rollouts voor een prompt dezelfde beloning ontvangen (bijv. allemaal correct of allemaal incorrect), wordt het advantage-signaal nul, wat het leerproces doet stagneren.
3. Degeneratie: Exploratie in de actieruimte met een hoge temperatuur leidt vaak tot slecht gevormde of incorrecte outputs (bijv. herhaling van tokens) in plaats van geldige alternatieve oplossingen.

Bestaande oplossingen zoals entropie-regularisatie of advantage-shaping beogen het trainen te stabiliseren, maar veranderen de parameters van de generator niet fundamenteel om diepere exploratie mogelijk te maken.

Methodologie: Perturbed Parameter Policy Optimization (3PO)

De auteurs stellen Perturbed Parameter Policy Optimization (3PO) voor, een familie van methoden die de as van exploratie verschuift van de actieruimte (tokens) naar de parameterruimte (gewichten). In plaats van enkel tokens te herordenen, bemonsteren 3PO verschillende policies vanuit een benaderde posterieure distributie tijdens de rollout-generatiefase.

Kernmechanisme

De methode maakt gebruik van Variational Learning, specifweg de IVON (Iterative Variational Online Newton) optimizer, om een distributie over neurale netwerkparameters $\theta$ te leren.

• Posterior Sampling: Bij elke trainingsstap wordt de modelparameter geperturbeerd door geleerde ruis toe te voegen: $\hat{\theta} = m + \sigma \odot z$, waarbij $z \sim \mathcal{N}(0, I)$.
• Ruiscontrole: De variantie $\sigma$ is omgekeerd evenredig met de diagonale Hessiaan $h$ en een schaalfactor $\lambda$ (Effective Sample Size, ESS). Een kleinere $\lambda$ verhoogt de ruis, wat exploratie bevordert, terwijl een grotere $\lambda$ de ruis vermindert, wat focust op exploitatie.
• Orthogonaliteit: Deze aanpak is compatibel met bestaande technieken in de actieruimte (bijv. temperatuurschaling, entropie-regularisatie) aangezien het op een andere as opereert.

Drie Varianten van 3PO

Het artikel introduceert drie strategieën voor het integreren van parameterruis in het GRPO-framework:

1. B3PO (Batched Noising):

   • Samplet een enkele gewicht-perturbatie $\hat{\theta}$ per gradiëntstap.
   • Dit enkele geperturbeerde model genereert alle rollouts voor de batch.
   • Beperking: Vergelijkbaar met standaard GRPO; als de enkele gesamplede policy slecht is, mist de gehele batch diversiteit.

2. M3PO (Multiple Monte-Carlo Samples):

   • Samplet $M$ verschillende gewicht-perturbaties uit de posterieure distributie.
   • Genereert rollouts voor elke perturbatie en cumuleert de GRPO-loss over alle $M$ samples voordat er één gewicht-update wordt uitgevoerd.
   • Trade-off: Om een gelijke computationele kosten te behouden, wordt de groepsgrootte $G$ per perturbatie verminderd ($G/M$), wat de diversiteit binnen individuele advantage-groepen kan beperken.

3. C3PO (Chunked Noising):

   • Samplet $N$ verschillende gewicht-perturbaties per batch.
   • De totale groep van $G$ rollouts wordt verdeeld over deze $N$ modellen (bijv. $G/N$ rollouts per model).
   • Advantages worden berekend over de volledige groep van $G$ responsen, die nu trajecten van $N$ verschillende policies bevat.
   • Doel: Maximaliseert de groepsdiversiteit door ervoor te zorgen dat de advantage-berekening gebruikmaakt van meerdere distincte parameterconfiguraties, wat het zero-advantage probleem direct aanpakt.

Belangrijkste Bijdragen

1. Parameter-ruimte Exploratie voor LLM's: Het artikel stelt vast dat het perturberen van modelgewichten (in plaats van enkel token-waarschijnlijkheden) een effectief mechanisme is voor RLVR, waardoor modellen verschillende regio's van de oplossingsruimte kunnen verkennen die onbereikbaar zijn voor actieruimte-ruis.
2. Het 3PO-framework: De introductie van B3PO, M3PO en C3PO, met een specifieke focus op C3PO als de meest effectieve strategie voor het maximaliseren van groepsdiversiteit zonder de computationele overhead te verhogen.
3. Empirische Validatie: Uitgebreide experimenten op OLMo-3-1025-7B en Qwen2.5-Math-7B over wiskundige redenering (AIME, MATH-500, AMC) en code-generatie (LiveCodeBench) taken.
4. Analyse van Zero-Advantage Groepen: Demonstratie dat parameter-ruimte exploratie de frequentie van zero-advantage groepen en malafide rollouts aanzienlijk vermindert vergeleken met actieruimte-baselines.

Experimentele Resultaten

• Prestatiewinst: 3PO-varianten presteren consistent beter dan standaard GRPO en actieruimte-baselines (Entropy Regularization, Polaris, KLCov).
  • C3PO behaalde de beste gemiddelde prestaties over beide modelfamilies.
  • De winst was het meest uitgesproken op moeilijkere benchmarks (bijv. AIME 2024–26, LiveCodeBench), waar pre-RL modellen minder capabel zijn en meer geneigd zijn tot het genereren van ongeldige rollouts.
  • Op Qwen2.5-Math verbeterde C3PO de gemiddelde Pass@1 met ongeveer 1,5% ten opzijde van standaard GRPO, met specifieke winsten tot 5,83% op AIME-taken.
• Kwaliteit van Exploratie:
  • Redden van 'Dead Groups': 3PO-methoden, met name C3PO en M3PO, "redden" consistent meer zero-advantage groepen (produceren ten minste één correcte rollout waar GRPO geen enkele produceerde) dan actieruimte-baselines.
  • Verminderde Degeneratie: In tegen tegenstelling tot temperatuur-gebaseerde methoden (Polaris) die vaak malafide outputs produceren, en Entropy Regularization die incorrecte maar goed gevormde outputs produceert, produceerde 3PO minder malafide en incorrecte rollouts terwijl de diversiteit hoog bleef.
• Hyperparameter Gevoeligheid:
  • De ESS schaalfactor $\lambda$ is cruciaal. $\lambda = 10^9$ werd gevonden als een robuuste default. $\lambda = 10^8$ (te veel ruis) veroorzaakte trainingsinstorting, terwijl $\lambda = 10^{10}$ (te weinig ruis) de prestaties deed plateau-vormen.
  • C3PO profiteert van $N \ge 2$ perturbaties, waarbij $N=4$ sterke resultaten laat zien.
  • M3PO profiteert van het verwijderen van de "gelijke-compute" beperking; wanneer het wordt toegestaan om volledige groepsgroottes te gebruiken met meerdere samples, verbetert de prestatie aanzienlijk.

Betekenis en Claims

Het artikel stelt dat parameter-ruimte exploratie een noodzakelijke en complementaire controlehendel biedt voor RLVR die actieruimte-methoden missen. Door een benaderde posterieure distributie over gewichten te leren, kan het model adaptief ruis injecteren om veelbelovende wijzigingen in token-distributies te verkennen die structureel verschillend zijn van de huidige policy.

De auteurs claimen dat:

1. Diversiteit is Cruciaal: De primaire drijfveer van succes is de verhoogde diversiteit binnen GRPO-groepen, wat stagnatie door zero-advantage groepen voorkomt.
2. Efficiëntie: 3PO bereikt deze verbeteringen tegen een bijna identieke FLOPs-kosten als standaard GRPO (specifiek C3PO), wat het een praktische drop-in vervanging maakt.
3. Generaliseerbaarheid: De methode vereist geen geleerde ruis-prior vanuit een specifieke SFT-fase; het initialiseren van de Hessiaan met een constante waarde stelt de methode in staat effectief te werken op off-the-shelf checkpoints.

Het werk concludeert dat hoewel parameter-ruimte exploratie een geschiedenis heeft in klassieke RL, de toepassing ervan op LLM's via variational learning (3PO) een robuuste oplossing biedt voor de exploratie-bottlenecks die momenteel de RLVR-prestaties beperken, met name op complexe redeneer- en programmeertaken.