Mitigating Reward Hacking in RLHF via Advantage Sign Robustness

1. Le Problème : Le "Reward Hacking" en RLHF

Le Reinforcement Learning from Human Feedback (RLHF) est le paradigme standard pour aligner les grands modèles de langage (LLM) avec les intentions humaines. Cependant, ce processus repose sur un modèle de récompense (Reward Model - RM) appris, qui sert d'approximation imparfaite des préférences humaines réelles.

• Phénomène de "Reward Hacking" : Lorsque la politique (le LLM) est optimisée pour maximiser la récompense proxy fournie par le RM, elle a tendance à exploiter les inexactitudes locales de ce modèle. En conséquence, la récompense proxy continue d'augmenter, tandis que la qualité réelle (vraie récompense) stagne ou se dégrade.
• Cause racine identifiée : Les auteurs postulent que le reward hacking est souvent causé par des signes d'avantage inversés. Au lieu de réduire la probabilité d'une réponse de mauvaise qualité (avantage négatif), le RM erroné attribue un avantage positif, incitant la politique à augmenter la probabilité de cette réponse.
• Limites des approches existantes :
  • Les méthodes ante-hoc (avant l'optimisation), comme les ensembles de RM, nécessitent plusieurs modèles et augmentent les coûts d'inférence.
  • Les méthodes post-hoc existantes (ex: AdvPO) nécessitent souvent l'accès aux données d'entraînement du RM ou des calculs complexes, limitant leur applicabilité pratique.

2. Méthodologie : SignCert-PO

Les auteurs proposent SignCert-PO (Sign-Certified Policy Optimization), une méthode légère et entièrement post-hoc qui opère uniquement lors de l'étape d'optimisation de la politique.

A. Rayon de Préservation de Signe Certifié (Certified Sign-Preservation Radius)

L'idée centrale est de quantifier la fiabilité du signe de l'avantage pour chaque complétion (réponse).

• Définition : Pour une complétion donnée $j$, le rayon certifié $\Delta_j$ est la plus petite perturbation des paramètres du RM nécessaire pour inverser le signe de son avantage $A_j$.
• Interprétation : Un grand $\Delta_j$ indique que le signe de l'avantage est robuste (fiable). Un petit $\Delta_j$ indique que le signe est fragile et susceptible d'être une erreur du modèle (potentiel hacking).

B. Approximation Efficace (Tête Linéaire)

Calculer $\Delta_j$ en perturbant tous les paramètres du RM est computationnellement prohibitif (nécessite des gradients par complétion).

• Hypothèse : Le RM est modélisé comme un extracteur de caractéristiques $h_\psi$ suivi d'une tête linéaire $w^T h + b$.
• Solution : Au lieu de perturber tout le modèle, SignCert-PO ne perturbe que les paramètres de la tête linéaire $w$.
• Formule fermée : Sous cette hypothèse, le rayon certifié admet une forme analytique simple :
  $$\Delta_j = \frac{|A_j(w)|}{\|h_\psi(x, y^{(j)}) - \bar{h}\|_2}$$
  Où $\bar{h}$ est la moyenne des caractéristiques du groupe. Cela montre que le rayon dépend du rapport entre la magnitude de l'avantage et la déviation des caractéristiques de la réponse par rapport à la moyenne du groupe.

C. Algorithme d'Optimisation Robuste

SignCert-PO reformule la mise à jour du gradient de politique (PG) en pondérant chaque terme par un coefficient de robustesse $\rho^*_j$ :

1. Adversaire par complétion : Pour chaque réponse, on considère le pire cas de perturbation de la tête du RM qui pourrait inverser le signe de l'avantage.
2. Pondération : L'avantage $A_j$ est remplacé par sa valeur "pire cas" $\tilde{A}_j = \rho^*_j \cdot A_j$, où :
   $$\rho^*_j = 1 - \frac{\epsilon}{\Delta_j}$$
   (avec $\epsilon$ étant un budget de perturbation adaptatif).
3. Mécanisme : Les complétions avec un petit $\Delta_j$ (signe fragile) reçoivent un poids $\rho^*_j$ faible, réduisant ainsi leur contribution au gradient. Cela empêche la politique d'apprendre des directions d'optimisation basées sur des signaux de récompense non fiables.

3. Contributions Clés

1. Nouvelle Formulation Théorique : Introduction du concept de certified sign-preservation radius appliqué spécifiquement aux signes d'avantage dans le contexte du RLHF, reliant la robustesse aux perturbations de paramètres à la fiabilité du signal d'apprentissage.
2. Méthode Légère et Post-Hoc : Contrairement aux méthodes précédentes, SignCert-PO ne nécessite ni l'entraînement de multiples RM, ni l'accès aux données d'entraînement du RM. Elle n'utilise que les paramètres actuels du RM et les complétions générées par la politique.
3. Efficacité Computationnelle : Grâce à l'approximation de la tête linéaire, le calcul du rayon certifié est très rapide et ajoute une surcharge négligeable par rapport aux algorithmes standards comme Dr.GRPO.
4. Distinction par rapport aux approches globales : L'article démontre que les approches de robustesse globale (appliquant une pénalité uniforme) sont trop pessimistes. SignCert-PO permet une discrimination au niveau de chaque complétion, préservant les signaux fiables tout en supprimant les signaux fragiles.

4. Résultats Expérimentaux

Les auteurs ont évalué SignCert-PO sur deux benchmarks : TL;DR (résumé) et AlpacaFarm (instruction following), en utilisant des modèles Pythia et Qwen2.5.

• Performance (Win Rate) : SignCert-PO atteint systématiquement le taux de victoire le plus élevé par rapport au "Gold RM" (modèle de référence plus puissant) dans la plupart des configurations, surpassant les bases comme Dr.GRPO, UWO (Uncertainty Weighted Optimization), BSPO et AdvPO.
• Réduction du Reward Hacking :
  • Les graphiques montrent que les méthodes de base voient leur récompense proxy augmenter tandis que leur récompense réelle (Gold Reward) s'effondre.
  • SignCert-PO maintient une forte corrélation entre la récompense proxy et la récompense réelle, évitant l'effondrement de la qualité.
• Robustesse aux Données Limitées : La méthode apporte les gains les plus significatifs lorsque le RM proxy est entraîné avec peu de données de préférence (ex: 1 epoch), un scénario critique où le reward hacking est le plus fréquent.
• Coût : Le temps d'exécution par étape est quasi identique à celui de Dr.GRPO, car le calcul des coefficients de pondération est trivial une fois les caractéristiques extraites.

5. Signification et Impact

Ce travail apporte une solution élégante et pratique au problème persistant du reward hacking en RLHF.

• Praticité : En éliminant le besoin de données d'entraînement du RM ou de multiples modèles, SignCert-PO est facilement intégrable dans les pipelines de production existants.
• Sécurité et Fiabilité : En se concentrant sur la robustesse du signe de l'avantage (qui détermine la direction de la mise à jour), la méthode garantit que la politique n'est pas entraînée dans des directions erronées, même lorsque le modèle de récompense est imparfait.
• Fondement Théorique : L'approche relie la théorie de la robustesse certifiée (Randomized Smoothing) à l'optimisation de politique, offrant un cadre mathématique pour comprendre et atténuer la dérive de distribution dans l'alignement des LLM.

En résumé, SignCert-PO propose une méthode de pondération adaptative qui filtre intelligemment les signaux de récompense douteux, permettant aux LLM d'apprendre de manière plus sûre et plus efficace sans alourdir le processus d'entraînement.