Résumé Technique : Mise en forme de la Récompense pour l'Alignement (au moment de l'Inférence) via une Perspective de Jeu de Stackelberg

1. Énoncé du Problème

Les pipelines d'alignement actuels des Grands Modèles de Langage (LLM) impliquent généralement l'apprentissage d'un modèle de récompense ($r_U$) à partir de données de préférences utilisateur et l'utilisation de celui-ci pour optimiser la politique du LLM. Cette optimisation est contrainte par un régularisateur de divergence de Kullback-Leibler (KL) afin de maintenir la politique apprise proche d'un modèle de base ($\rho_{base}$), préservant ainsi la fluidité et la compétence linguistique.

Les auteurs identifient une limitation fondamentale dans ce pipeline standard : l'optimisation directe de la récompense apprise $r_U$ sous une contrainte KL est sous-optimale pour maximiser l'utilité de l'utilisateur. Lorsque le modèle de base présente des biais marqués (par exemple, un penchant politique) qui entrent en conflit avec les préférences de l'utilisateur, la contrainte KL empêche la politique de se déplacer suffisamment vers la distribution préférée, même si le modèle de récompense identifie correctement la préférence.

Inversement, simplement amplifier les récompenses pour forcer un déplacement risque de provoquer du "reward hacking" (piratage de récompense), où le modèle génère des sorties incohérentes ou dégénérées pour maximiser le signal de récompense tout en violant l'intention de la contrainte KL. Le problème central abordé est la manière d'optimiser la conception (mise en forme) du modèle de récompense utilisé pour l'alignement afin de trouver l'équilibre entre la maximisation de l'utilité de l'utilisateur et le risque de piratage de récompense sous la régularisation KL.

2. Méthodologie : Formulation du Jeu de Stackelberg

Les auteurs formalisent le problème de la conception de la récompense comme un jeu de Stackelberg, un jeu séquentiel à deux joueurs :

• Leader (Fournisseur du Modèle de Récompense) : Sélectionne un modèle de récompense $r$ pour maximiser l'utilité attendue de l'utilisateur (basée sur la fonction d'utilité réelle $r_U$), en anticipant la réponse du LLM. Le leader n'est pas contraint d'utiliser directement $r_U$ mais peut choisir n'importe quelle fonction de récompense $r: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$ bornée par $B$.
• Follower (LLM) : Observe le modèle de récompense $r$ et optimise sa politique $\rho_r$ pour maximiser la récompense attendue moins la divergence KL par rapport à la politique de base :
  $$\rho_r(\cdot|x) = \arg\max_{\rho} \left( \mathbb{E}_{y \sim \rho}[r(x, y)] - \beta \cdot D_{KL}(\rho(\cdot|x) \parallel \rho_{base}(\cdot|x)) \right)$$

Caractérisation Théorique

Les auteurs dérivent une caractérisation en forme close du modèle de récompense optimal $r^*$ :

1. Structure de Seuil : Le modèle de récompense optimal est une récompense à seuil. Pour un prompt $x$ donné, les réponses sont partitionnées selon que leur utilité réelle $r_U(x, y)$ est supérieure ou inférieure à un seuil spécifique $m^*(x)$.
   • Si $r_U(x, y) > m^*(x)$, la récompense est fixée à la borne supérieure $B$.
   • Si $r_U(x, y) < m^*(x)$, la récompense est fixée à $0$.
   • Si $r_U(x, y) = m^*(x)$, la récompense est dans $[0, B]$.
2. Condition d'Auto-Cohérence : Le seuil optimal $m^*(x)$ satisfait la condition selon laquelle l'utilité attendue de la politique résultante est égale au seuil lui-même :
   $$m^*(x) = \mathbb{E}_{y \sim \rho_{r^*}(\cdot|x)} [r_U(x, y)]$$
3. Calcul : Puisque l'espérance exacte est intraitable, les auteurs proposent de calculer le seuil via un échantillonnage de Monte Carlo à partir de la politique de base. Ils définissent une fonction auxiliaire $F_x(m)$ dont la racine unique correspond au seuil optimal. Cette racine peut être trouvée efficacement via un algorithme de dichotomie.

Implémentation Pratique : Seuillage Doux (SRS)

Bien que le seuil dur soit analytiquement optimal, il est discontinu et sensible aux petites perturbations. Les auteurs introduisent la Stackelberg Reward Shaping (SRS), une variante à seuil doux utilisant une fonction sigmoïde :
$$r_{\hat{m}^*, \alpha}(x, y) = B \cdot \sigma(\alpha \cdot (r_U(x, y) - \hat{m}^*(x)))$$
où $\hat{m}^*(x)$ est le seuil estimé et $\alpha$ contrôle la netteté de la transition. Cela permet d'interpoler entre un effet d'alignement nul ($\alpha=0$) et l'optimum analytique ($\alpha \to \infty$).

Intégration avec l'Alignement au Moment de l'Inférence

Le cadre est intégré dans les méthodes existantes d'alignement au moment de l'inférence (spécifiquement le Contrôle de Décodage (CD) et l'Alignement comme Recherche Guidée par la Récompense (ARGS)) :

1. Phase Hors-ligne : Échantillonner $M$ réponses à partir du modèle de base pour un ensemble de prompts. Calculer $r_U$ pour ces échantillons. Estimer le seuil $\hat{m}^*(x)$ via dichotomie. Appliquer la transformation SRS pour générer un ensemble de données de récompense mise en forme. Entraîner un estimateur de valeur Q sur ces données mises en forme.
2. Phase d'Inférence : Utiliser l'estimateur de valeur Q entraîné (qui capture la récompense attendue sous la récompense mise en forme) pour repondérer les probabilités de jetons du modèle de base pendant le décodage.

3. Contributions Clés

1. Sous-optimalité des Pipelines Standards : Démontré que l'utilisation directe d'un modèle de récompense appris à partir de préférences est sous-optimale sous des objectifs régularisés par KL, particulièrement lorsque les biais du modèle de base entrent en conflit avec les préférences de l'utilisateur.
2. Formulation de Jeu de Stackelberg : Formulé l'optimisation du modèle de récompense comme un jeu de Stackelberg, dérivant une solution en forme close montrant que le modèle de récompense optimal suit une structure de seuil.
3. Approximation Efficace : Développé un algorithme pour approximer le seuil optimal via l'échantillonnage de Monte Carlo à partir de la politique de base, permettant une intégration dans les méthodes existantes avec un surcoût minimal.
4. Validation Empirique : Montré que la méthode SRS améliore systématiquement la récompense moyenne et atteint des taux de victoire-égalité (win-tie) élevés par rapport aux bases de référence dans les contextes d'inférence.

4. Résultats Expérimentaux

La méthode a été évaluée sur les jeux de données HH-RLHF et SHP en utilisant les architectures Qwen3-8B et Llama3-8B.

• Maximisation de la Récompense : Les méthodes intégrant SRS (SRS-CD et SRS-ARGS) ont systématiquement obtenu la récompense moyenne la plus élevée dans tous les contextes d'évaluation par rapport aux bases de référence classiques et aux schémas de mise en forme de récompense heuristiques (Minmax, Meanstd).
• Métriques de Qualité : Les méthodes maintiennent une diversité et une cohérence comparables aux bases de référence, indiquant aucune dégradation de la qualité du langage.
• Évaluation GPT-4 : Dans les comparaisons directes, les méthodes SRS ont atteint un taux de Victoire-Égalité moyen dépassant 66 % contre toutes les bases de référence (Vanilla, Minmax, Meanstd), suggérant que les améliorations ne sont pas dues au piratage de récompense.
• Robustesse :
  • Généralisation : SRS a montré une performance supérieure lorsqu'il est entraîné sur une distribution (SHP) et évalué sur des prompts hors distribution (HH-RLHF et HarmfulQA).
  • Ablation : La structure de seuil spécifique de SRS a surpassé le simple plafonnement de récompense et le seuillage basé sur la moyenne, confirmant l'importance de la structure de seuil auto-cohérente dérivée de la formulation de théorie des jeux.
• Surcoût : Pour SRS-CD, la mise en forme de la récompense est hors-ligne avec un surcoût nul lors de l'inférence. Pour SRS-ARGS, le surcoût est négligeable (~0,03 seconde par réponse de 128 jetons).

5. Signification et Revendications

L'article affirme que la mise en forme de la récompense n'est pas simplement une heuristique mais un problème d'optimisation qui peut être résolu systématiquement. En observant le processus d'alignement à travers un prisme de théorie des jeux, les auteurs démontrent que le modèle de récompense utilisé pour guider le LLM n'a pas besoin d'être (et ne doit pas être) un proxy direct de l'utilité de l'utilisateur. Au lieu de cela, il doit être "mis en forme" pour tenir compte des contraintes imposées par le modèle de base (divergence KL).

La signification réside dans la fourniture d'un cadre rigoureux pour contrer les biais du modèle de base sans induire de piratage de récompense. Les auteurs soulignent que leur approche est légère, s'intègre de manière transparente dans les méthodes existantes d'alignement au moment de l'inférence, et offre une solution robuste pour adapter des modèles fixes à diverses préférences utilisateur.

Limites notées par les auteurs :

• Le cadre suppose un utilisateur bienveillant dont les préférences s'alignent sur les valeurs humaines. Si le modèle de récompense reflète des préférences malveillantes, la politique résultante peut devenir désalignée.
• La méthode repose sur la disponibilité d'un modèle de récompense et d'échantillons de Monte Carlo de la politique de base.
• L'accent empirique actuel est mis sur l'alignement au moment de l'inférence, bien que les auteurs notent le potentiel d'extension vers des algorithmes d'entraînement (ex: GRPO) comme travail futur.