Technische Samenvatting: Een Regret Minimization Framework voor Preference Learning in Large Language Models

Probleemstelling

Hoewel Reinforcement Learning with Verifiable Rewards (RLVR) aanzienlijke vooruitgang heeft geboekt in reasoning-intensieve taken zoals wiskunde en codegeneratie door gebruik te maken van geautomatiseerde correctiesignalen, ontbreken voor veel realistische taal-taken (bijv. besluitvorming in kritieke situaties, klantenservice, educatieve redenering) betrouwbare verifieerders. Als gevolg hiervan leunt het vakgebied zwaar op Reinforcement Learning from Human Feedback (RLHF).

Het kernprobleem dat wordt geadresseerd, is de interpretatie van menselijke feedback binnen RLHF. Bestaande preferentie-gebaseerde methoden (bijv. DPO, IPO) interpreteren menselijke voorkeuren doorgaans via de lens van beloningsmaximalisatie (reward maximization), waarbij voorkeuren worden behandeld als proxies voor onmiddellijke of cumulatieve utiliteit die aan geobserveerde trajectsegmenten wordt toegekend. De auteurs stellen dat deze interpretatie fundamenteel niet overeenstemt met de menselijke cognitie. Menselijk oordeel is inherent prospectief (anticiperend op toekomstige uitkomsten) en contrafactisch (het vergelijken van gerealiseerde uitkomsten met plausibele alternatieven). Huidige beloningsgebaseerde frameworks evalueren tussenliggende stappen myopisch (kortetermijngericht), waarbij ze negeren dat menselijke voorkeuren over gedeeltelijke trajecten gevormd worden door de geanticipeerde voortzetting van die trajecten en de vergelijking met wat er had kunnen zijn, in plaats van door absolute, uitkomst-onafhankelijke utiliteit.

Methodologie: Regret-based Preference Optimization (RePO)

Het artikel introduceert Regret-based Preference Optimization (RePO), een framework dat preferentie-leren herkadert via regret minimisatie (het minimaliseren van spijt) in plaats van beloningsmaximalisatie.

Theoretische Fundering

1. Regret als het Doel: In plaats van onmiddellijke beloningen te maximaliseren, modelleert RePO menselijke feedback als een relatieve beoordeling van suboptimaliteit. Regret wordt gedefinieerd als het verschil tussen de waarde van de optimale policy ($V^{\pi^*}$) en de Q-waarde van de gedragspolicy ($Q^\mu$) bij een gegeven context.

2. KL-Regularized RL Framework: De auteurs formaliseren dit binnen een stap-niveau KL-regularized RL-framework. Ze leiden een gesloten vorm (closed-form) af voor de Q-functie geassocieerd met een gedragspolicy $\mu$.

3. Decompositie van Regret: Een belangrijke theoretische bijdrage (Theorem 5.4 en Lemma 5.5) stelt dat de regret die wordt geleden door een gedragspolicy $\mu$ ten opzichte van een optimale policy $\pi^*$ kan worden gedecomposeerd in twee componenten:

   • Een lokale preferentieterm: $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$, die overeenkomt met de standaard Direct Preference Optimization (DPO) doelstelling.
   • Een long-horizon term: Een sequentiële forward KL-divergentie ($\bar{D}_{KL}$) die de cumulatieve afwijking meet van de gedragspolicy $\mu$ van de optimale policy $\pi^*$ langs toekomstige rollouts.

   Deze decompositie onthult dat het minimaliseren van regret expliciet rekening houdt met gedragsafhankelijke afwijkingen en de consistentie van toekomstige trajecten, waarmee de "likelihood mismatch"-problemen worden geadresseerd die aanwezig zijn in off-policy settings waar DPO uitgaat van on-policy data.

Praktische Implementatie

• RePO: Het standaard algoritme maakt gebruik van de afgeleide closed-form update, inclusief de sequentiële KL-divergentie term. Het vereist kennis van de gedragspolicy $\mu$ die de data heeft gegenereerd.
• RePO_det: Om scenario's te behandelen waarin de gedragspolicy onbekend of computationeel te zwaar is om te ontsluiten (vaak het geval bij offline datasets), stellen de auteurs RePO_det voor. Deze variant benadert de gedragspolicy als een deterministische distributie (Dirac delta) geconcentreerd op de geobserveerde output. Het vervangt de sequentiële KL-term door een sample-gebaseerde estimator die de log-waarschijnlijkheidsratio's over het geobserveerde traject middelt, waarbij het geobserveerde segment effectief als een enkel rollout wordt behandeld.

Belangrijkste Bijdragen

1. Herformulering van Menselijke Feedback: Het artikel betoogt dat menselijke feedback natuurlijker begrepen kan worden als relatieve oordelen geconditioneerd op geanticipeerde uitkomsten en impliciete alternatieven (regret), in plaats van signalen voor beloningsmaximalisatie.
2. Closed-Form Policy Update: De auteurs formaliseren dit perspectief binnen een KL-regularized RL-framework en leiden een closed-form policy update af (RePO) die compatibel is met direct preference optimization, maar expliciet gedragsafhankelijke afwijking modelleert.
3. Internalisering van Inductieve Bias: Theoretische analyse (Lemma 6.1) suggereert dat regret minimisatie structureel een inductieve bias internaliseert die aanwezig is in menselijke feedback: onvolledige of gedeeltelijk geobserveerde succesvolle trajecten worden pessimistisch geëvalueerd vanwege onzekerheid over de toekomstige voltooiing. Dit stelt RePO in staat om effectief te leren zonder dat expliciete data-augmentatie nodig is om dergelijke voorkeuren af te dwingen.
4. Robuustheid tegenover Gedragspolicy: De introductie van RePO_det toont aan dat het framework effectief blijft, zelfs wanneer informatie over de gedragspolicy niet beschikbaar is, wat de toepasbaarheid op heterogene offline datasets vergroot.

Experimentele Resultaten

De auteurs hebben RePO geëvalueerd op wiskundige redeneer-benchmarks (GSM8K, MATH, MATH500, AMC23, Minerva) en taken voor menselijke preferentie-alignment (AlpacaEval 2, Arena-Hard, MT-Bench) met behulp van Qwen3 (1.7B/4B) en LLaMA3 modellen.

• Prestatiewinst: RePO presteerde consequent beter dan bestaande baselines (DPO, IPO, RPO, KTO, TDPO) over zowel model-schalen als taaltypen heen. Zo behaalde de 4B-model met RePO een win rate van 55,08% op AlpacaEval 2 (tegenover 32,89% voor DPO), en 65,54% op GSM8K (hoewel RePO sterke winst liet zien in redeneer-taken in het algemeen).
• Offline Toepasbaarheid: RePO_det behaalde prestaties die vergelijkbaar zijn met RePO binnen de Qwen-familie en presteerde significant beter dan baselines in cross-model settings (bijv. het trainen van LLaMA-modellen op data gegenereerd door Qwen-modellen), wat de robuustheid van de sample-gebaseerde regret-estimator aantoont.
• Sample Efficiëntie: In ablatie-studies met gemaskeerde data-augmentatie (waarbij succesvolle trajecten gedeeltelijk verborgen werden om het vermogen van het model te testen om onvolledige paden te beoordelen), had DPO extra geaugmenteerde data nodig om de prestaties te verbeteren, terwijl de prestaties van RePO stabiel en dominant bleven. Dit ondersteunt de claim dat RePO structureel de inductieve bias van menselijke oordeelsvorming over onvolledige trajecten encodeert, wat leidt tot een hogere sample-efficiëntie.

Betekenis en Claims

Het artikel claimt dat RePO een getrouwe abstractie van menselijke feedback biedt door de leerdoelstelling af te stemmen op het prospectieve en contrafactische karakter van het menselijk oordeel. Door te verschuiven van beloningsmaximalisatie naar regret minimisatie, biedt het framework een geprincipeerde interpretatie van voorkeuren over heterogene trajecten.

De auteurs concluderen dat regret minimisatie een veelbelovende basis vormt voor de menselijke alignment van de post-training van Large Language Models. De resultaten suggerageren dat het correct modelleren van de relatie tussen gedragspolicies, toekomstige rollouts en contrafactische alternatieven cruciaal is voor effectieve preferentie-leren, vooral in settings waar expliciete beloningssignalen ontbreken of waar data afkomstig is van diverse bronnen. Het werk claimt niet alle alignment-problemen op te lossen, maar positioneert regret minimisatie als een noodzakelijke verfijning van het huidige belonings-gecentreerde paradigma in RLHF.