Technische Samenvatting: Een Verenigende Lens op Beloningsonzekerheid in RLHF

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) wordt momenteel beperkt door reward hacking, een fenomeen waarbij een beleid (policy) fouten in een proxy Reward Model (RM) exploiteert om scores te maximaliseren zonder werkelijke kwaliteitsverbeteringen te realiseren. Dit is een instantie van de wet van Goodhart, wat zich manifesteert als sycophantie (vleierij), lengtebias en andere oppervlakte-artefacten.

Een standaard mitigatiestrategie is pessimisme: het bestraffen van beloningen in regio's waar de RM onzeker is. Echter, standaard scalaire RMs bieden geen principieel begrip van onzekerheid. Voorgaand werk pakt dit aan door ensembles van RMs te trainen en hun outputs te aggregeren met behulp van heuristieken zoals Mean aggregation, Worst-Case Optimization (WCO) en Uncertainty-Weighted Optimization (UWO). Hoewel deze methoden empirische voordelen bieden, worden ze gepresenteerd als ad-hoc regels met weinig theoretische begeleiding over hun relaties, impliciete aannames of hyperparameter-afstemming.

Methodologie

De auteurs stellen voor om de deterministische scalaire RM te vervangen door een distributionele beloningsmodel $p(r | x, y)$. Deze distributie komt voort uit bronnen zoals deep ensembles of Bayesian last-layer constructies. Het artikel leidt een verenigd kader af voor het afhandelen van beloningsonzekerheid via twee verschillende theoretische lenzen, die beide leiden tot dezelfde gesloten vorm van de effectieve beloningsstructuur:

1. Bayesiaanse Inferentie (Optimistische Tak):
   Door het optimaliseren van het beleid te beschouwen als inferentie onder een "optimaliteit"-observatie, marginaliseren de auteurs over de beloningsonzekerheid. Dit leidt tot een optimistische effectieve beloning:
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y}[e^{r/\beta}]$$
   Door de ongelijkheid van Jensen wordt de effectieve beloning opgeblazen ($\tilde{r}_{opt} \geq \mu$).

2. KL-Distributionally Robust Optimization (Pessimistische Tak):
   Om reward hacking te mitigeren, formuleren de auteurs het probleem als een adversariële game waarbij een tegenstander (adversary) de beloningsverdeling $Q$ kiest om de verwachte beloning te minimaliseren, onderworpen aan een KL-divergentie kost van de veronderstelde posterior $p$. Dit leidt tot de pessimistische effectieve beloning:
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y}[e^{-r/\beta}]$$
   Dit is de entropic risk measure van de beloningsverdeling. Door de ongelijkheid van Jensen wordt de effectieve beloning gedefleerd door onzekerheid ($\tilde{r}_{rob} \leq \mu$).

De Verenigende Expressie

De kern van de theoretische bijdrage is de gesloten vorm van de effectieve beloning onder onzekerheid:
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
Het teken hangt af van of het doel optimistisch (Bayesiaans) of pessimistisch (Robuust) is.

Cumulaat Expansie en het Gaussische Geval

De auteurs analyseren de effectieve beloning met behulp van een cumulaat expansie van de beloningsverdeling $p(r|x,y)$:
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
In het specifieke geval waar de beloningsverdeling Gaussisch is ($p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$), vervallen alle hogere-orde cumulaten, wat resulteert in een precieze gesloten vorm:
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
Cruciaal is dat de coëfficiënt voor de variantieterm wordt bepaald door de KL-regularisatieparameter $\beta$ die al aanwezig is in de RLHF-doelfunctie, in plaats van een aparte afstembare hyperparameter.

Belangrijkste Bijdragen

1. Een Verenigende Lens: Het artikel demonstreert dat de RLHF-doelfunctie met beloningsonzekerheid een enkele gesloten vorm van een effectieve beloning toelaat, afgeleid van ofwel Bayesiaanse inferentie of KL-DRO.
2. Unificatie van Voorgaande Heuristieken: De auteurs tonen aan dat bestaande aggregatieregels specifieke limieten of afkortingen zijn van de pessimistische tak $\tilde{r}_{rob}$:
   • Mean Aggregation: Ontstaat als de limiet $\beta \to \infty$ (risiconeutraal).
   • Worst-Case Optimization (WCO): Ontstaat als de limiet $\beta \to 0$ (ongerestreleerde tegenstander).
   • Uncertainty-Weighted Optimization (UWO): Ontstaat als de Gaussische afkorting van de reeks, waarbij de straffunctie-coëfficiënt $\lambda$ impliciet wordt ingesteld op $1/(2\beta)$.
3. Implementatiebegeleiding: Het artikel verheldert de impliciete aannames van bestaande methoden:
   • Mean neemt aan dat onzekerheid er niet toe doet.
   • WCO neemt aan dat de slechtst mogelijke verdeling optreedt (ongerestreleerde tegenstander).
   • UWO neemt aan dat de beloningsverdeling benaderd Gaussisch is.
   • Het artikel stelt een geprincieerd default voor: $\tilde{r} = \mu - \sigma^2/(2\beta)$, wat de noodzaak wegneemt voor een aparte hyperparameter voor de variantie-straf.

Resultaten en Schatting

Het artikel bespreekt de praktische schatting van $\tilde{r}_{rob}$ vanuit een eindige steekproef van $K$ beloningsmodellen (bijv. een ensemble):

• Direct Log-MGF Estimator: $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$. Dit is consistent maar vertekend (biased) voor een eindige $K$ en gevoelig voor uitschieters wanneer $\beta$ klein is.
• Gaussian-Truncated Estimator: $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$. De auteurs bevelen dit aan als de standaard, waarbij zij opmerken dat voor typische ensemble-groottes ($K \in \{3, \dots, 10\}$), hogere-orde cumulanten slecht geschat worden, waardoor de Gaussische benadering robuust is.

Betekenis en Claims

Het artikel claimt een theoretische fundering te bieden voor beloningsonzekerheid in RLHF, waarmee het verder gaat dan heuristische aggregatieregels. De betekenis ligt in:

• Verheldering van Aannames: Het brengt bestaande methoden (Mean, WCO, UWO) expliciet in kaart met de vorm van de beloningsverdeling en de KL-budget van de tegenstander.
• Parameter Efficiëntie: Het stelt vast dat onder een Gaussische aanname, de variantie-straf intrinsiek verbonden is met de KL-coëfficiënt $\beta$, waardoor de noodzaak voor een extra vrije hyperparameter verdwijnt.
• Verbinding van Gebieden: Het koppelt de RLHF-pessimisme aan distributioneel reinforcement learning en offline RL-pessimisme, waarbij laat zien dat de log-MGF / entropic-risk formulering voortkomt uit analoge principes in deze domeinen.

De auteurs concluderen dat hoewel hun kader een distributionele RM veronderstelt (wat ensembles of Bayesian heads vereist) en een goede kalibratie nodig heeft, het een recept biedt om verder te gaan dan Gaussische aannames via hogere-orde cumulanten of kwantiel-gebaseerde pessimisme (bijv. CVaR) voor zware staarten (heavy-tailed distributions).