Résumé technique : f-GRPO et au-delà : Algorithmes d'apprentissage par renforcement basés sur la divergence pour l'alignement général des LLM

1. Énoncé du problème

L'alignement des grands modèles de langage (LLM) se produit généralement dans deux régimes distincts :

1. Apprentissage par renforcement avec récompenses vérifiables (RLVR) : La rétroaction est fournie via des récompenses scalaires $r(x, y)$ (par exemple, la justesse en mathématiques ou en code). Ici, les réponses alignées et non alignées ne sont pas explicitement observées sous forme de paires ; elles doivent plutôt être déduites du signal de récompense. Les approches standard comme l'optimisation relative de politique par groupe (GRPO) utilisent un échantillonnage on-policy et des avantages standardisés.
2. Alignement par préférence : La rétroaction est fournie via des préférences humaines (réponses choisies par opposition à des réponses rejetées). Des méthodes comme l'optimisation directe des préférences (DPO) ou les optimiseurs de divergence f (FDO) traitent cela comme la séparation d'une distribution alignée $D_+$ d'une distribution non alignée $D_-$.

Des travaux récents (Haldar et al., 2025) ont établi que l'alignement par préférence peut être interprété comme l'estimation de divergences statistiques entre $D_+$ et $D_-$. Cependant, cette perspective basée sur la divergence a été limitée aux données de préférence. Dans le RLVR, où les distributions explicites $D_+$ et $D_-$ ne sont pas disponibles, il reste une question ouverte de savoir si l'estimation de la divergence peut fournir un fondement théorique unifié. De plus, l'alignement de sécurité on-policy souffre souvent de « piratage de récompense » (reward hacking) lors de l'utilisation de modèles de récompense appris, car la politique peut exploiter les faiblesses du modèle plutôt que d'apprendre de véritables contraintes de sécurité.

2. Méthodologie

Les auteurs proposent d'étendre le cadre basé sur la divergence à l'alignement général des LLM en induisant directement des distributions alignées et non alignées à partir de récompenses scalaires.

2.1 Induction de distributions à partir de récompenses

Dans le RLVR, pour un prompt donné $x$, les auteurs définissent des distributions alignées par récompense ($D_{(r,\theta)}^+$) et non alignées par récompense ($D_{(r,\theta)}^-$) basées sur la politique actuelle $\pi_\theta$ :

• $D_{(r,\theta)}^+$ : Place une masse sur les réponses avec des récompenses supérieures à la récompense moyenne $\mu_\theta^r(x)$.
• $D_{(r,\theta)}^-$ : Place une masse sur les réponses avec des récompenses inférieures à la moyenne.

Cela permet de formuler un problème d'estimation de divergence on-policy où l'objectif est de séparer les réponses à haute récompense des réponses à faible récompense sans paires de préférences explicites.

2.2 f-GRPO (Optimisation relative de politique par groupe f)

Les auteurs dérivent f-GRPO, une classe d'objectifs on-policy basée sur des représentations variationnelles des divergences f.

• Mécanisme : Au lieu de repondérer les échantillons uniquement par des avantages standardisés (comme dans GRPO), f-GRPO estime la divergence entre les distributions induites alignées par récompense et non alignées par récompense.
• Échantillonnage d'importance : L'objectif utilise un groupe de $G$ réponses échantillonnées. Il construit des poids d'importance en utilisant un softmax sur les récompenses (corrigé pour la vraisemblance de la politique d'échantillonnage) et tronque la mise à jour pour n'inclure que les réponses supérieures à la moyenne pour le terme aligné et les réponses inférieures à la moyenne pour le terme non aligné.
• Fonction de perte : La perte combine la récompense implicite de la politique $r_\theta$ avec ces poids induits par la récompense, optimisant efficacement une divergence f variationnelle entre les deux distributions induites.

2.3 f-HAL (Perte d'alignement hybride f)

Pour remédier aux limitations des méthodes purement on-policy dans l'alignement de sécurité (où les récompenses sont apprises et imparfaites), les auteurs introduisent f-HAL.

• Objectif hybride : f-HAL interpole entre l'optimisation de récompense on-policy (f-GRPO) et la supervision de préférence off-policy (FDO).
• Formule : $L_{f-HAL} = \lambda L_{FDO} + (1-\lambda) L_{f-GRPO}$.
• Fonction : Il utilise des récompenses on-policy pour l'exploration tout en ancrant la politique avec des données de préférence off-policy pour prévenir le piratage de récompense. Théoriquement, cela estime une divergence entre des mélanges de distributions induites par la récompense et de distributions induites par la préférence.

3. Contributions théoriques clés

L'article fournit des garanties théoriques rigoureuses pour les objectifs proposés :

• Estimation de la divergence : Les auteurs prouvent que f-GRPO et f-HAL ne sont pas de simples heuristiques, mais qu'ils estiment de manière cohérente les divergences f entre des distributions alignées et non alignées bien définies (Théorème 4.3).
• Cohérence de l'alignement : Les mises à jour de politique au point fixe sont montrées comme étant cohérentes avec l'alignement. Plus précisément, les réponses ayant une densité plus élevée dans la distribution alignée par rapport à la distribution non alignée sont repondérées à la hausse.
• Amélioration de la récompense : Sous des fonctions de lien canoniques (où $g^{-1}(f'_\infty) = \infty$), les auteurs prouvent une amélioration monotone de la récompense attendue. Contrairement au GRPO standard, qui peut attribuer une probabilité non nulle aux réponses inférieures à la moyenne, f-GRPO avec des liens canoniques concentre la masse de probabilité strictement sur les réponses supérieures à la moyenne à la limite, garantissant une convergence vers la politique de récompense maximale.
• Comparaison avec GRPO : L'article caractérise le point fixe du GRPO non tronqué, montrant qu'il repondère la politique de référence par l'exponentielle des récompenses standardisées. Cependant, f-GRPO offre une séparation « plus nette », attribuant une masse nulle aux réponses inférieures à la moyenne dans des conditions spécifiques, conduisant à des garanties d'amélioration théorique plus fortes.

4. Résultats expérimentaux

Les auteurs ont évalué f-GRPO et f-HAL sur deux tâches principales :

4.1 Raisonnement mathématique (Tâche RLVR)

• Configuration : Ajustement fin des modèles Qwen2.5-Math (1,5B et 7B) sur les ensembles de données GSM8K, LIMR et OpenRS en utilisant des récompenses vérifiables.
• Constats : f-GRPO surpasse systématiquement le GRPO standard pour divers choix de divergences f (par exemple, Pearson, KL, Hellinger).
  • Sur l'ensemble de données difficile LIMR, les variantes f-GRPO ont obtenu des scores Pass@1 plus élevés et un classement agrégé meilleur que le GRPO.
  • Les gains les plus importants ont été observés sur des ensembles de données plus difficiles (LIMR, OpenRS), validant l'avantage théorique d'une séparation de distribution plus nette.

4.2 Alignement de sécurité (Tâche de préférence avec récompenses apprises)

• Configuration : Alignement des modèles sur un ensemble de données de conformité-refus en utilisant un modèle de récompense appris (DeBERTa-v3-large) pour les méthodes on-policy, tout en comparant avec des aligneurs directs off-policy (DPO, KTO, BCO).
• Constats :
  • Piratage de récompense : Les méthodes purement on-policy (GRPO) ont mal performé, présentant un comportement de « refus généralisé » (refus de prompts sûrs) dû à l'exploitation du modèle de récompense appris.
  • Atténuation hybride : L'hybride f-HAL (avec $\lambda=0.5$) a réussi à atténuer le piratage de récompense. En combinant l'exploration on-policy avec la supervision de préférence off-policy, il a maintenu une conscience contextuelle (réponse correcte aux prompts sûrs) tout en refusant les prompts nocifs.
  • Performance : L'hybride f-HAL a souvent surpassé l'alignement direct pur sur les modèles plus grands (7B), suggérant que l'exploration on-policy est bénéfique lorsque la capacité du modèle est suffisante. Sur les modèles plus petits (1,5B), les aligneurs directs sont restés légèrement plus performants, mais f-HAL a néanmoins nettement surpassé le RL on-policy pur.

5. Importance et affirmations

L'article affirme fournir une fondation unifiée et pratique pour les algorithmes d'alignement des LLM :

• Unification : Il étend la vision basée sur la divergence de l'alignement des données de préférence au RLVR, montrant que les deux régimes peuvent être compris comme l'estimation de divergences entre des distributions alignées et non alignées.
• Rigueur théorique : Il établit que ces objectifs offrent des garanties d'amélioration de la récompense plus fortes que les méthodes on-policy standard comme GRPO en modélisant explicitement la séparation des distributions.
• Utilité pratique : L'approche hybride (f-HAL) offre une solution robuste pour l'alignement de sécurité lorsque les récompenses vérifiables ne sont pas disponibles, équilibrant efficacement l'exploration (via les récompenses) et la stabilité (via les préférences) pour prévenir le piratage de récompense.

Les auteurs notent modestement que, bien que la théorie soutienne une amélioration monotone pour toutes les divergences f canoniques, différentes divergences peuvent induire des dynamiques d'échantillonnage fini différentes. Les expériences sont limitées à des modèles allant jusqu'à 7B de paramètres pour valider la faisabilité du cadre, un code open-source étant fourni pour la reproductibilité.