Technische Samenvatting: Hölder Policy Optimisation (HölderPO)

1. Probleemstelling

Group Relative Policy Optimisation (GRPO) heeft zich ontwikkeld tot een dominante, rekenefficiënt algoritme voor het afstemmen van Large Language Models (LLM's) met complexe redeneercapaciteiten, vooral door de noodzaak van een extern criticusmodel te elimineren. GRPO vertrouwt echter op een vaste aggregatiemechanisme om voordelen op trajectniveau af te beelden op token-level policy-updates. Specifiek gebruikt het het rekenkundig gemiddelde ($p=1$) om token-level belangverhoudingen binnen een sequentie te aggregeren.

De auteurs identificeren een kritieke beperking in deze statische aanpak: verschillende redeneertaken vertonen variërende signaaldichtheden, en er is geen enkele vaste aggregatiefunctie die universeel optimaal is.

• Schaars-signaaltaken (bijv. AIME, waar correcte redeneerstappen zeldzaam zijn en van hoge magnitude): Vaste aggregaties zoals het rekenkundig gemiddelde verdunnen deze zeldzame "aha-momenten" vaak door ze te middelen met onopvallende tokens, of falen er juist in om ze voldoende te versterken.
• Dicht-signaaltaken (bijv. MATH, waar supervisie over veel tokens is verdeeld): Aggregaties die zich te sterk concentreren op tokens met hoge verhoudingen kunnen leiden tot gradient-updates met hoge variantie, wat resulteert in instorting van het trainingproces.

Empirische observaties onthullen een afweging: vaste aggregaties die traininginstorting voorkomen, leveren vaak geen piekprestaties op bij schaarse taken, terwijl die welke de prestaties op schaarse taken maximaliseren, vaak instabiliteit vertonen bij dichte taken. Het artikel betoogt dat de optimale waarschijnlijkheidsaggregatie geen constante is, maar een functie van de taaksignaaldichtheid en de trainingsvoortgang.

2. Methodologie: HölderPO

Om dit op te lossen, stellen de auteurs HölderPO voor, een gegeneraliseerd policy-optimisatiekader dat token-level waarschijnlijkheidsaggregatie verenigt via het Hölder-gemiddelde (of $p$-norm).

Kernmechanisme

In plaats van een vast gemiddelde, parameteriseert HölderPO de aggregatie-operator met een scalair $p \in \mathbb{R}$. Gegeven een sequentie van token-level belangverhoudingen $\{r_{i,t}(\theta)\}$, wordt de sequentie-level surrogate-term $\rho_{i,p}(\theta)$ gedefinieerd als:
$$\rho_{i,p}(\theta) = \begin{cases} \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} r_{i,t}(\theta)^p \right)^{1/p} & \text{als } p \neq 0 \\ \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log r_{i,t}(\theta) \right) & \text{als } p = 0 \end{cases}$$
Deze formulering herwint de standaard GRPO ($p=1$, rekenkundig gemiddelde) en GSPO/GMPO ($p \to 0$, meetkundig gemiddelde) als speciale gevallen, terwijl het het spectrum uitbreidt naar negatieve waarden.

Theoretische Analyse: De Concentratie-Stabiliteit-Afweging

Het artikel biedt een theoretische karakterisering van de rol van de parameter $p$ in het optimalisatielandschap:

1. Gradientconcentratie ($p > 0$): Naarmate $p$ toeneemt, concentreert de gradient-weighverdeling $W_{i,t}(p)$ monotoon op tokens met de hoogste belangverhoudingen. Dit versterkt schaarse, hoog-magnitude leersignalen (cruciaal voor leren in een vroeg stadium bij schaarse taken), maar verzwakt de variantiegrens.
2. Variantiegrenzen ($p \le 0$): Naarmate $p$ afneemt (inclusief negatieve waarden), wordt de variantie van de policy-gradient-schatting strikt verkleind. Negatieve $p$-waarden keren de concentratie om, door tokens met verhoudingen $<1$ (die aarzeling signaleren) zwaarder te wegen, wat redeneerdiversiteit bevordert en training op dicht-signaaltaken stabiliseert.
3. De Afweging: Geen enkele statische $p$ kan tegelijkertijd signaalversterking maximaliseren en variantie minimaliseren. Een hoge $p$ is optimaal voor signaaldetectie in een vroeg stadium, terwijl een lage (of negatieve) $p$ optimaal is voor stabiliteit van convergentie in een later stadium.

Dynamische Schedulingstrategie

Omdat de optimale $p$ verschuift naarmate de training vordert, introduceert HölderPO een dynamisch afkoelingsalgoritme. De parameter $p$ wordt zo gepland dat deze monotoon afneemt van een positieve startwaarde ($p_{high}$) naar een lage of negatieve eindwaarde ($p_{low}$) gedurende de levenscyclus van de training.

• Vroege Fase: Een hoge $p$ versterkt schaarse, hoog-magnitude signalen om initiële policy-verbetering te drijven.
• Late Fase: Een lage/negatieve $p$ verkleint de gradientvariantiegrens om stabiele convergentie te garanderen en modusinstorting te voorkomen.

3. Belangrijkste Bijdragen

1. HölderPO Kader: Een gegeneraliseerd policy-optimisatiekader dat verschillende op gemiddelden gebaseerde aggregaties verenigt via de aanpasbare Hölder-parameter $p$, waardoor de zoekruimte wordt uitgebreid buiten statische rekenkundige of meetkundige gemiddelden.
2. Theoretische Grondslag: Een formeel bewijs van de tweezijdige rol van $p$: een grotere $p$ concentreert gradienten om schaarse signalen te versterken, terwijl een kleinere $p$ de gradientvariantie strikt begrenst. De auteurs bewijzen dat geen enkele statische configuratie beide eindpunten gelijktijdig kan bereiken, wat dynamische scheduling motiveert.
3. Empirische Doorbraken:
   • Aangetoond dat een statische hoge $p$ (bijv. $p=3$) het prestatiedak op de uitdagende AIME-benchmark doorbreekt (bereiken van 46,7% nauwkeurigheid).
   • Aangetoond dat dynamische scheduling ($p: 2 \to -2$) deze voordelen verenigt, en state-of-the-art (SOTA) resultaten bereikt zonder extra rekenkundige overhead.

4. Experimentele Resultaten

De auteurs hebben HölderPO geëvalueerd op benchmarks voor wiskundig redeneren en agentieke besluitvorming, gebruikmakend van de basismodellen Qwen2.5-Math en Qwen2.5-Instruct.

• Wiskundig Redeneren:
  • AIME24 (Schaars-Signaal): Statische $p=3$ behaalde 46,7% nauwkeurigheid, wat het vorige GRPO-record van 43,3% overtreft.
  • MATH500 (Dicht-Signaal): Lagere $p$-waarden (bijv. $p=-1$) leverden superieure stabiliteit en prestaties op (85,0% nauwkeurigheid).
  • Algemene Prestaties: De dynamische afkoelingsstrategie ($p: 2 \to -2$) behaalde een 54,9% gemiddelde nauwkeurigheid over vijf wiskundige benchmarks (AIME, AMC, MATH, Minerva, OlympiadBench). Dit vertegenwoordigt een relatieve winst van 7,2% ten opzichte van standaard GRPO en presteert beter dan concurrerende methoden zoals PMPO.
• Agentieke Taken (ALFWorld):
  • Op de ALFWorld-benchmark behaalde HölderPO een 93,8% succesratio, een relatieve winst van 28,8% ten opzichte van GRPO (72,8%).
  • De auteurs merken op dat voor agentieke taken een meer conservatieve planning ($p: 1 \to -1$) optimaal was vanwege het ontbreken van domeinspecifieke vooraftraining in het basismodel, wat de aanpasbaarheid van het kader benadrukt.

5. Betekenis en Beweringen

Het artikel beweert dat HölderPO de fundamentele concentratie-stabiliteitsafweging oplost die inherent is aan statische policy-optimisatiemethoden zoals GRPO. Door het aggregatiemechanisme te behandelen als een continue regelaar in plaats van een vaste hyperparameter, stelt het kader het model in staat om:

1. Aggressief te versterken schaarse, hoog-magnitude leersignalen tijdens de vroege stadia van training.
2. Strikt te controleren gradientvariantie om stabiele convergentie in latere stadia te garanderen.

De auteurs benadrukken dat deze dynamische aanpasbaarheid cruciaal is voor redeneertaken met een lange horizon, waarbij de aard van het leersignaal evolueert. De methode bereikt SOTA-prestaties over diverse benchmarks, terwijl de rekenefficiëntie van criticus-vrije RL behouden blijft.

Erkende Beperkingen:

• De planning introduceert hyperparameters ($p_{high}, p_{low}$, afkoelvorm) die per taak empirisch moeten worden afgesteld.
• Het regime met positieve concentratie ($p > 0$) kan de vatbaarheid voor beloningshacking vergroten als de verificateur vals-positieve signalen geeft, aangezien het agressief tokens met hoge verhoudingen versterkt.

Toekomstig Werk:
De auteurs suggereren het ontwikkelen van een adaptieve planner die $p$ aanpast op basis van real-time metrieken (bijv. batch-level gradientvariantie of token-verhoudingsdispersie) om de noodzaak voor handmatige afstelling te verwijderen.