Résumé technique : Un prisme unificateur sur l'incertitude de la récompense dans le RLHF

Énoncé du problème

L'apprentissage par renforcement à partir de rétroactions humaines (RLHF) est actuellement limité par le reward hacking (piratage de récompense), un phénomène où une politique exploite les erreurs d'un modèle de récompense (RM) proxy pour maximiser les scores sans parvenir à de réelles améliorations de qualité. Il s'agit d'une instance de la loi de Goodhart, se manifestant par de la sycophancie, un biais de longueur et d'autres artefacts de surface.

Une stratégie de mitigation standard est le pessimisme : pénaliser les récompenses dans les régions où le RM est incertain. Cependant, les RM scalaires standards ne fournissent aucune notion principled d'incertitude. Les travaux antérieurs traitent cela en entraînant des ensembles de RM et en agrégeant leurs sorties à l'aide d'heuristiques telles que l'agrégation par la moyenne (Mean aggregation), l'optimisation du pire cas (Worst-Case Optimization - WCO) et l'optimisation pondérée par l'incertitude (Uncertainty-Weighted Optimization - UWO). Bien que ces méthodes offrent des bénéfices empiriques, elles sont présentées comme des règles ad hoc avec peu de guidage théorique sur leurs relations, leurs hypothèses implicites ou le réglage de leurs hyperparamètres.

Méthodologie

Les auteurs proposent de remplacer le RM scalaire déterministe par un modèle de récompense distributionnel $p(r | x, y)$. Cette distribution provient de sources telles que des ensembles profonds ou des constructions de dernière couche bayésiennes. L'article dérive un cadre unifié pour gérer l'incertitude de la récompense à travers deux prismes théoriques distincts, aboutissant tous deux à la même structure de récompense effective à forme fermée :

1. Inférence Bayésienne (Branche Optimiste) :
   En considérant l'optimisation de la politique comme une inférence sous une observation d'« optimalité », les auteurs marginalisent l'incertitude de la récompense. Cela conduit à une récompense effective optimiste :
   $$\tilde{r}_{opt}(x, y) = \beta \log \mathbb{E}_{p(r|x,y)}[e^{r/\beta}]$$
   Par l'inégalité de Jensen, cela gonfle la récompense effective ($\tilde{r}_{opt} \geq \mu$).

2. Optimisation Robuste par Distribution de KL (Branche Pessimiste) :
   Pour atténuer le piratage de récompense, les auteurs formulent le problème comme un jeu adversarial où un adversaire choisit une distribution de récompense $Q$ pour minimiser la récompense attendue, sous une contrainte de divergence KL par rapport au postérieur $p$ cru. Cela produit la récompense effective pessimiste :
   $$\tilde{r}_{rob}(x, y) = -\beta \log \mathbb{E}_{p(r|x,y)}[e^{-r/\beta}]$$
   Il s'agit de la mesure de risque entropique de la distribution de récompense. Par l'inégalité de Jensen, l'incertitude dégonfle la récompense effective ($\tilde{r}_{rob} \leq \mu$).

L'expression unificatrice

La contribution théorique centrale est l'expression à forme fermée de la récompense effective sous l'incertitude :
$$\tilde{r}(x, y) = \pm \beta \log \mathbb{E}_{p}[e^{\pm r/\beta}]$$
Le signe dépend de si l'objectif est optimiste (Bayésien) ou pessimiste (Robuste).

Expansion des cumulants et cas Gaussien

Les auteurs analysent la récompense effective en utilisant une expansion des cumulants de la distribution de récompense $p(r|x,y)$ :
$$\tilde{r}_{opt/rob} = \mu \pm \frac{\sigma^2}{2\beta} + \frac{\kappa_3}{6\beta^2} \pm \frac{\kappa_4}{24\beta^3} + \dots$$
Dans le cas spécifique où la distribution de la récompense est gaussienne ($p(r|x,y) = \mathcal{N}(\mu, \sigma^2)$), tous les cumulants d'ordre supérieur s'annulent, résultant en une forme fermée précise :
$$\tilde{r}_{rob} = \mu - \frac{\sigma^2}{2\beta}$$
Crucialement, le coefficient du terme de variance est déterminé par le paramètre de régularisation KL $\beta$ déjà présent dans l'objectif RLHF, plutôt que par un hyperparamètre de pénalité séparé et ajustable.

Contributions clés

1. Un prisme unificateur : L'article démontre que l'objectif RLHF avec l'incertitude de la récompense admet une récompense effective unique à forme fermée dérivée soit de l'inférence bayésienne, soit de la KL-DRO.
2. Unification des heuristiques antérieures : Les auteurs montrent que les règles d'agrégation existantes sont des limites spécifiques ou des troncatures de la branche pessimiste $\tilde{r}_{rob}$ :
   • Agrégation par la moyenne : Émerge comme la limite $\beta \to \infty$ (risque neutre).
   • Optimisation du pire cas (WCO) : Émerge comme la limite $\beta \to 0$ (adversaire non contraint).
   • Optimisation pondérée par l'incertitude (UWO) : Émerge comme la troncature gaussienne de la série, où le coefficient de pénalité $\lambda$ est implicitement fixé à $1/(2\beta)$.
3. Guidage d'implémentation : L'article clarifie les hypothèses implicites des méthodes existantes :
   • La Moyenne suppose que l'incertitude n'a pas d'importance.
   • WCO suppose la pire distribution possible (adversaire sans contraintes).
   • UWO suppose que la distribution de la récompense est approximativement gaussienne.
   • L'article propose un défaut principled pour les postérieurs gaussiens : $\tilde{r} = \mu - \sigma^2/(2\beta)$, éliminant le besoin de régler un hyperparamètre de pénalité de variance séparé.

Résultats et estimation

L'article discute de l'estimation pratique de $\tilde{r}_{rob}$ à partir d'un échantillon fini de $K$ modèles de récompense (par exemple, un ensemble) :

• Estimateur direct de la Log-MGF : $\hat{\tilde{r}} = -\beta \log (\frac{1}{K} \sum e^{-r_i/\beta})$. Il est cohérent mais biaisé pour un $K$ fini et sensible aux valeurs aberrantes lorsque $\beta$ est petit.
• Estimateur tronqué gaussien : $\hat{\tilde{r}} = \hat{\mu} - \hat{\sigma}^2/(2\beta)$. Les auteurs recommandent celui-ci comme défaut, notant que pour des tailles d'ensemble typiques ($K \in \{3, \dots, 10\}$), les cumulants d'ordre supérieur sont mal estimés, rendant l'approximation gaussienne robuste.

Signification et revendications

L'article affirme fournir une fondation théorique pour l'incertitude de la récompense dans le RLHF, allant au-delà des règles d'agrégation heuristiques. Sa signification réside dans :

• Clarification des hypothèses : Il cartographie explicitement les méthodes existantes (Moyenne, WCO, UWO) à des formes spécifiques de la distribution de la récompense ou du budget KL de l'adversaire.
• Efficacité des paramètres : Il établit que sous l'hypothèse gaussienne, la pénalité de variance est intrinsèquement liée au coefficient KL $\beta$, supprimant le besoin d'un hyperparamètre libre supplémentaire.
• Connexion entre domaines : Il lie le pessimisme du RLHF à l'apprentissage par renforcement distributionnel et au pessimisme du RL hors-ligne (offline RL), montrant que la formulation log-MGF / risque entropique découle de principes analogues dans ces domaines.

Les auteurs concluent que bien que leur cadre suppose un RM distributionnel (nécessitant des ensembles ou des têtes bayésiennes) et un calibrage approprié, il offre une recette pour étendre le cadre au-delà des hypothèses gaussiennes via des cumulants d'ordre supérieur ou un pessimisme basé sur les quantiles (ex: CVaR) pour les distributions à queues lourdes.