Technische Samenvatting: f-GRPO & Beyond: Divergentie-gebaseerde Versterkingsleer-algoritmen voor Algemene LLM-uitlijning

1. Probleemstelling

Uitlijning van Large Language Models (LLM) vindt doorgaans plaats in twee distincte regimes:

1. Versterkingsleer met Verifieerbare Beloningen (RLVR): Feedback wordt gegeven via scalair beloningen $r(x, y)$ (bijv. correctheid in wiskunde of code). Hier worden uitgelijnde en niet-uitgelijnde antwoorden niet expliciet waargenomen als paren; in plaats daarvan moeten ze worden afgeleid uit het beloningssignaal. Standaardbenaderingen zoals Group Relative Policy Optimization (GRPO) gebruiken on-policy sampling en gestandaardiseerde voordelen.
2. Preferentie-uitlijning: Feedback wordt gegeven via menselijke preferenties (gekozen versus verworpen antwoorden). Methoden zoals Direct Preference Optimization (DPO) of f-divergentie-Optimalisators (FDO) behandelen dit als het scheiden van een uitgelijnde verdeling $D_+$ van een niet-uitgelijnde verdeling $D_-$.

Recent werk (Haldar et al., 2025) heeft vastgesteld dat preferentie-uitlijning kan worden geïnterpreteerd als het schatten van statistische divergenties tussen $D_+$ en $D_-$. Deze divergentie-gebaseerde perspectief is echter beperkt gebleven tot preferentiedata. In RLVR, waar expliciete $D_+$ en $D_-$-verdelingen niet beschikbaar zijn, blijft het een open vraag of divergentieschatting een verenigende theoretische basis kan bieden. Bovendien lijdt on-policy veiligheidsuitlijning vaak aan "reward hacking" bij gebruik van geleerde beloningsmodellen, aangezien het beleid de zwaktes van het model kan uitbuiten in plaats van echte veiligheidsbeperkingen te leren.

2. Methodologie

De auteurs stellen voor om het divergentie-gebaseerde kader uit te breiden naar algemene LLM-uitlijning door uitgelijnde en niet-uitgelijnde verdelingen direct af te leiden uit scalair beloningen.

2.1 Induceren van Verdelingen uit Beloningen

In RLVR definiëren de auteurs voor een gegeven prompt $x$ belonings-uitgelijnde ($D_{(r,\theta)}^+$) en belonings-niet-uitgelijnde ($D_{(r,\theta)}^-$) verdelingen op basis van het huidige beleid $\pi_\theta$:

• $D_{(r,\theta)}^+$: Plaatst massa op antwoorden met beloningen boven de gemiddelde beloning $\mu_\theta^r(x)$.
• $D_{(r,\theta)}^-$: Plaatst massa op antwoorden met beloningen onder het gemiddelde.

Dit maakt het formuleren van een on-policy divergentieschatting mogelijk, waarbij het doel is om antwoorden met hoge beloningen te scheiden van antwoorden met lage beloningen zonder expliciete preferentieparen.

2.2 f-GRPO (f-Group Relative Policy Optimization)

De auteurs leiden f-GRPO af, een klasse van on-policy doelfuncties gebaseerd op variatievoorstellingen van $f$-divergenties.

• Mechanisme: In plaats van steekproeven uitsluitend te herschalen op basis van gestandaardiseerde voordelen (zoals bij GRPO), schat f-GRPO de divergentie tussen de geïnduceerde belonings-uitgelijnde en belonings-niet-uitgelijnde verdelingen.
• Importance Sampling: De doelfunctie gebruikt een groep van $G$ gesamplede antwoorden. Het construeert importance weights met een softmax over beloningen (gecorrigeerd voor de waarschijnlijkheid van het samplingbeleid) en truncert de update zodat alleen boven-gemiddelde antwoorden worden opgenomen voor de uitgelijnde term en onder-gemiddelde antwoorden voor de niet-uitgelijnde term.
• Verliesfunctie: Het verlies combineert de impliciete beleidsbeloning $r_\theta$ met deze belonings-geïnduceerde gewichten, wat effectief een variatie $f$-divergentie optimaliseert tussen de twee geïnduceerde verdelingen.

2.3 f-HAL (f-Hybrid Alignment Loss)

Om de beperkingen van pure on-policy-methoden in veiligheidsuitlijning aan te pakken (waar beloningen worden geleerd en imperfect zijn), introduceren de auteurs f-HAL.

• Hybride Doelfunctie: f-HAL interpoleert tussen on-policy beloningsoptimalisatie (f-GRPO) en off-policy preferentie-supervisie (FDO).
• Formule: $L_{f-HAL} = \lambda L_{FDO} + (1-\lambda) L_{f-GRPO}$.
• Functie: Het gebruikt on-policy beloningen voor exploratie terwijl het beleid wordt verankerd met off-policy preferentiedata om reward hacking te voorkomen. Theoretisch schat dit een divergentie tussen mengsels van belonings-geïnduceerde en preferentie-geïnduceerde verdelingen.

3. Belangrijkste Theoretische Bijdragen

Het artikel biedt rigoureuze theoretische garanties voor de voorgestelde doelfuncties:

• Divergentieschatting: De auteurs bewijzen dat f-GRPO en f-HAL niet louter heuristieken zijn, maar consistent $f$-divergenties schatten tussen goed gedefinieerde uitgelijnde en niet-uitgelijnde verdelingen (Stelling 4.3).
• Uitlijningconsistentie: De vaste-punt-beleidsupdates blijken uitlijning-consistent te zijn. Specifiek worden antwoorden met een hogere dichtheid in de uitgelijnde verdeling ten opzichte van de niet-uitgelijnde verdeling opgewaardeerd.
• Beloningsverbetering: Onder canonieke linkfuncties (waar $g^{-1}(f'_\infty) = \infty$) bewijzen de auteurs monotone verwachte beloningsverbetering. In tegenstelling tot standaard GRPO, wat een niet-nul waarschijnlijkheid kan toekennen aan onder-gemiddelde antwoorden, concentreert f-GRPO met canonieke links in de limiet de waarschijnlijkheidsmassa strikt op boven-gemiddelde antwoorden, wat convergentie naar het beleid met maximale beloning garandeert.
• Vergelijking met GRPO: Het artikel karakteriseert het vaste punt van niet-geclipte GRPO, en toont aan dat het het referentiebeleid herschalen met de exponentiële van gestandaardiseerde beloningen. f-GRPO biedt echter een "scherpere" scheiding, waarbij onder bepaalde voorwaarden nul massa wordt toegewezen aan onder-gemiddelde antwoorden, wat leidt tot sterkere theoretische verbeteringsgaranties.

4. Experimentele Resultaten

De auteurs hebben f-GRPO en f-HAL geëvalueerd op twee primaire taken:

4.1 Wiskundig Redeneren (RLVR-taak)

• Opzet: Finetunen van Qwen2.5-Math-modellen (1.5B en 7B) op de GSM8K-, LIMR- en OpenRS-datasets met verifieerbare beloningen.
• Vondsten: f-GRPO presteerde consequent beter dan standaard GRPO over verschillende $f$-divergentie-keuzes (bijv. Pearson, KL, Hellinger).
  • Op de uitdagende LIMR-dataset behaalden f-GRPO-varianten hogere Pass@1-scores en betere aggregate ranglijsten vergeleken met GRPO.
  • De sterkste winsten werden waargenomen op moeilijkere datasets (LIMR, OpenRS), wat het theoretische voordeel van scherpere distributiescheiding valideert.

4.2 Veiligheidsuitlijning (Preferentietaken met Geleerde Beloningen)

• Opzet: Uitlijnen van modellen op een compliance-weigering-dataset met een geleerd beloningsmodel (DeBERTa-v3-large) voor on-policy-methoden, terwijl wordt vergeleken met off-policy directe uitlijners (DPO, KTO, BCO).
• Vondsten:
  • Reward Hacking: Pure on-policy-methoden (GRPO) presteerden slecht en vertoonden "blanket refusal"-gedrag (het weigeren van veilige prompts) door het geleerde beloningsmodel uit te buiten.
  • Hybride Mitigatie: De hybride f-HAL (met $\lambda=0.5$) slaagde erin reward hacking te mitigeren. Door on-policy exploratie te combineren met off-policy preferentie-supervisie, behield het contextbewustzijn (het correct beantwoorden van veilige prompts) terwijl het schadelijke prompts weigerde.
  • Prestatie: Hybride f-HAL presteerde vaak beter dan pure directe uitlijning op grotere modellen (7B), wat suggereert dat on-policy exploratie gunstig is wanneer de modelcapaciteit voldoende is. Op kleinere modellen (1.5B) bleven directe uitlijners iets sterker, maar f-HAL presteerde toch significant beter dan pure on-policy RL.

5. Betekenis en Claims

Het artikel claimt een verenigende en praktische basis te bieden voor LLM-uitlijning-algoritmen:

• Unificatie: Het breidt het divergentie-gebaseerde beeld van uitlijning uit van preferentiedata naar RLVR, en toont aan dat beide regimes kunnen worden begrepen als het schatten van divergenties tussen uitgelijnde en niet-uitgelijnde verdelingen.
• Theoretische Strenge: Het stelt vast dat deze doelfuncties sterkere beloningsverbeteringsgaranties bieden dan standaard on-policy-methoden zoals GRPO door expliciet de scheiding van verdelingen te modelleren.
• Praktische Nut: De hybride aanpak (f-HAL) biedt een robuuste oplossing voor veiligheidsuitlijning wanneer verifieerbare beloningen niet beschikbaar zijn, en balanceert effectief exploratie (via beloningen) en stabiliteit (via preferenties) om reward hacking te voorkomen.

De auteurs merken bescheiden op dat hoewel de theorie monotoon verbetering ondersteunt voor alle canonieke $f$-divergenties, verschillende divergenties verschillende dynamieken voor eindige steekproeven kunnen induceren. De experimenten zijn beperkt tot modellen tot 7B parameters om de haalbaarheid van het kader te valideren, met open-source code die voor reproduceerbaarheid wordt aangeboden.