Technische Samenvatting: Hysteretische Policy-Optimalisatie (HPO) voor LLM-training met schaarse beloningen

1. Probleemstelling

Het artikel onderzoekt een specifiek faalpatroon bij Group Relative Policy Optimization (GRPO) wanneer dit wordt toegepast op Large Language Models (LLM's) onder regimes met schaarse verifieerbare beloningen (bijvoorbeeld redeneertaken waarbij slechts een klein deel van de gesamplede antwoorden correct is). De auteurs identificeren twee onderling afhankelijke biases die de training in deze setting destabiliseren:

1. Sign-ongewogenheid (Negatieve dominantie): In scenario's met schaarse beloningen genereert het initiële beleid vaak voornamelijk incorrecte antwoorden. Bijgevolg vallen de meeste gesamplede trajecten onder het groepsgemiddelde, wat resulteert in een hoge frequentie van negatieve voordelen ($p_- > p_+$). Een symmetrische behandeling van deze overvloedige negatieve samples kan de zeldzame positieve signalen overweldigen, waardoor nuttige maar ruisende redeneertrajecten worden onderdrukt.
2. Antwoordniveau-lengtebias: Standaard GRPO normaliseert het verlies door de lengte van elk individueel antwoord ($1/|\tau_i|$). Dit creëert een omgekeerd evenredig verband tussen antwoordlengte en de grootte van de update:
   • Korte correcte antwoorden ontvangen disproportioneel grote positieve gradiënten, wat het model beïnvloedt om beknopt te zijn.
   • Lange incorrecte antwoorden ontvangen disproportioneel kleine negatieve gradiënten, waardoor ze de lange, mislukte pogingen niet adequaat straffen.
   • Deze interactie maakt de optimalisatiedruk afhankelijk van zowel beloning als lengte, wat bijzonder problematisch is voor redeneertaken waarbij lengte correleert met zoekdiepte of uitleg.

2. Methodologie

De auteurs stellen Hysteretische Policy-Optimalisatie (HPO) voor, een minimale wijziging van de GRPO-doelstelling die deze biases aanpakt via twee mechanismen:

2.1 Vaste HPO

HPO introduceert twee structurele wijzigingen in de GRPO-doelstelling:

• Gemiddelde-lengte normalisatie: In plaats van elk antwoord te normaliseren door zijn eigen lengte ($|\tau_i|$), normaliseert HPO de volledige batch door de gemiddelde antwoordlengte ($|\bar{\tau}|$). Dit verwijdert de omgekeerde schaling van de updategrootte met de antwoordlengte, waardoor lange incorrecte antwoorden adequaat worden gestraft en korte correcte antwoorden de gradiënt niet domineren.
• Asymmetrische hysteretische weging: De policy-gradient-updates worden asymmetrisch geschaald op basis van het teken van het voordeel ($\hat{A}_i$):
  • Positieve voordelen ($\hat{A}_i \geq 0$) behouden hun volledige gewicht (factor = 1).
  • Negatieve voordelen ($\hat{A}_i < 0$) worden afgezwakt door een hysteretische factor $\alpha \in [0, 1]$.
  • De doelstellingsfunctie wordt:
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    waarbij $w_i = 1$ als $\hat{A}_i \geq 0$, en $w_i = \alpha$ anders.

2.2 Adaptieve HPO (A-HPO)

Omdat de optimale $\alpha$ afhangt van het trainingsregime (waarbij minder hysterese nodig is naarmate het beleid verbetert), introduceren de auteurs A-HPO. Deze variant past $\alpha$ dynamisch aan op basis van de tekenstatistieken van de huidige batch:

• Het schat de verhouding tussen de frequenties van positieve en negatieve voordelen ($\hat{p}_+ / \hat{p}_-$).
• De adaptieve weging wordt ingesteld als:
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• Mechanisme: Wanneer negatieve samples domineren (schaarregime), is $\hat{p}_+ / \hat{p}_-$ klein, waardoor $\alpha$ afneemt en negatieve updates dempen. Naarmate het beleid verbetert en de verdeling in evenwicht komt, nadert $\alpha$ 1, waardoor een symmetrische update wordt hersteld. Dit vermijdt handmatige afstelling van een vaste $\alpha$.

3. Belangrijkste Bijdragen

1. Identificatie van faalpatronen: Het artikel koppelt de instabiliteit van GRPO in regimes met schaarse beloningen expliciet aan de combinatie van dominantie van negatieve voordelen en normalisatie op antwoordniveau-lengte.
2. HPO-algoritme: Een interpolatie met één parameter tussen "alleen-positief" leren (dat negatieve feedback verwierpt) en volledig symmetrische updates. Het combineert gemiddelde-lengte normalisatie met asymmetrische weging.
3. A-HPO: Een lichtgewicht, adaptieve regel die de hysteretische weging automatisch afstemt op batch-niveau tekenstatistieken, waardoor handmatige hyperparameterzoektocht overbodig wordt.
4. Empirische validatie: Ablatiestudies tonen aan dat het optimale gedrag ligt tussen de uitersten van alleen-positief ($\alpha=0$) en symmetrische ($\alpha=1$) updates, wat de noodzaak van intermediaire hysterese bevestigt.

4. Experimentele Resultaten

De auteurs evalueerden HPO en A-HPO op twee taken: TeleLogs (root-cause-analyse van 5G-netwerken) en Countdown (aritmische constructie), met modellen variërend van 1,5B tot 7B parameters.

• TeleLogs (Qwen2.5-1.5B):
  • A-HPO behaalde een uiteindelijke beloning van 0,84, wat beter was dan GRPO (0,73, +15%), GSPO (0,76, +11%) en SAPO (0,80, +5%).
  • A-HPO bereikte significant sneller hoge beloningsniveaus (steekproefefficiëntie) terwijl het een vergelijkbare antwoordlengte behield ten opzichte van de baselines, waardoor de "lengte-inzakking" die bij alleen-positieve methoden wordt waargenomen, werd vermeden.
• Countdown (1.5B–7B-modellen):
  • De winsten waren het meest uitgesproken in vroege training en moeilijkere configuraties (Countdown-4 met 4 getallen) waar beloningen schaars zijn.
  • Bijvoorbeeld, op Llama3.1-3B met Countdown-4 verbeterde A-HPO de 200-staps beloning van 0,40 (GRPO) naar 0,54.
  • In verzadigde regimes (bijvoorbeeld 7B-modellen op de eenvoudigere Countdown-3) nam de prestatiekloof af, wat aangeeft dat A-HPO het meest kritisch is wanneer het beleid nog aan het leren is.
• Ablatiestudies:
  • Vaste HPO met $\alpha=0$ (alleen-positief) zakte in tot zeer korte outputs (16 tokens) en lagere beloningen (0,71).
  • Vaste HPO met $\alpha=1$ (symmetrisch) presteerde onder (0,72) door negatieve dominantie.
  • De beste vaste prestatie was bij $\alpha \approx 0,6$, wat A-HPO automatisch behaalde zonder afstelling.
  • Analyse van de "surrogaat bijdragebalans" bevestigde dat A-HPO de grootte van positieve en negatieve updatebijdragen succesvol in evenwicht brengt, terwijl GRPO ruisig blijft en door negatieve dominantie wordt gekenmerkt.

5. Betekenis en Claims

Het artikel stelt dat HPO en A-HPO een praktische, laag-overhead wijziging van GRPO bieden die de stabiliteit en steekproefefficiëntie aanzienlijk verbetert bij RL voor LLM's met schaarse beloningen.

• Kernprincipe: De auteurs betogen dat in regimes met schaarse beloningen negatieve-voordeel-updates wel moeten worden gebruikt, maar niet symmetrisch vertrouwd mogen worden wanneer ze overweldigend frequent zijn.
• Balans: De methode voorkomt succesvol de onderdrukking van nuttige redeneertrajecten door overvloedige mislukkingen, terwijl het het degeneratieve gedrag van het volledig verwerpen van negatief bewijs vermijdt.
• Adaptiviteit: A-HPO wordt gepresenteerd als een robuuste oplossing die automatisch het intermediaire regime tussen alleen-positief en symmetrische updates bijhoudt, en zich aanpast naarmate de trainingsverdeling verschuift van schaarse naar dichte beloningen.

Het werk positioneert HPO als een noodzakelijke verfijning voor rekenkracht-efficiënte fine-tuning van LLM's wanneer dichte procesbeloningen of critic-feedback niet beschikbaar zijn.