Résumé technique : Un cadre de minimisation du regret sur l'apprentissage des préférences dans les grands modèles de langage

Énoncé du problème

Bien que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) ait permis des progrès significatifs dans les tâches exigeant un raisonnement intensif, comme les mathématiques et la génération de code, en exploitant des signaux de correction automatisés, de nombreuses tâches linguistiques réalistes (par exemple, les décisions critiques pour la sécurité, le service client, le raisonnement éducatif) manquent de vérificateurs fiables. Par conséquent, le domaine repose fortement sur l'apprentissage par renforcement à partir du feedback humain (RLHF).

Le problème central abordé est l'interprétation du feedback humain au sein du RLHF. Les méthodes existantes basées sur les préférences (par exemple, DPO, IPO) interprètent généralement les préférences humaines à travers le prisme de la maximisation de la récompense, traitant les préférences comme des substituts à une utilité immédiate ou accumulée attribuée à des segments de trajectoire observés. Les auteurs soutiennent que cette interprétation est fondamentalement en décalage avec la cognition humaine. Le jugement humain est intrinsèquement prospectif (anticipant les résultats futurs) et contrefactuel (comparant les résultats réalisés par rapport à des alternatives plausibles). Les cadres actuels basés sur la récompense évaluent les étapes intermédiaires de manière myope, ignorant que les préférences humaines sur les trajectoires partielles sont façonnées par la continuation anticipée de ces trajectoires et par des comparaversions avec ce qui aurait pu être fait, plutôt que par une utilité absolue indépendante du résultat.

Méthodologie : Optimisation des préférences basée sur le regret (RePO)

Le papier introduit l'Optimisation des préférences basée sur le regret (RePO), un cadre qui recadre l'apprentissage des préférences via la minimisation du regret plutôt que la maximisation de la récompense.

Fondement théorique

1. Le regret comme objectif : Au lieu de maximiser les récompenses immédiates, RePO modélise le feedback humain comme une évaluation relative de la sous-optimalité. Le regret est défini comme la différence entre la valeur de la politique optimale ($V^{\pi^*}$) et la valeur Q de la politique de comportement ($Q^\mu$) à un contexte donné.

2. Cadre de RL régularisé par la divergence KL : Les auteurs formalisent cela dans un cadre de RL régularisé par la divergence KL au niveau des étapes. Ils dérivent une expression en forme close pour la fonction Q associée à une politique de comportement $\mu$.

3. Décomposition du regret : Une contribution théorique clé (Théorème 5.4 et Lemme 5.5) établit que le regret encouru par une politique de comportement $\mu$ par rapport à une politique optimale $\pi^*$ peut être décomposé en deux composantes :

   • Un terme de préférence locale : $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$, qui s'aligne sur l'objectif standard de l'optimisation directe des préférences (DPO).
   • Un terme d'horizon long : Une divergence KL séquentielle vers l'avant ($\bar{D}_{KL}$) mesurant la déviation cumulative de la politique de comportement $\mu$ par rapport à la politique optimale $\pi^*$ le long des déploiements futurs.

   Cette décomposition révèle que la minimisation du regret prend explicitement en compte les déviations dépendantes du comportement et la cohérence des trajectoires futures, traitant les problèmes de « décalage de vraisemblance » présents dans les contextes hors-politique (off-policy) où DPO suppose des données sur-politique (on-policy).

Implémentation pratique

• RePO : L'algorithme standard utilise la mise à jour en forme close dérivée, incorporant le terme de divergence KL séquentielle. Il nécessite la connaissance de la politique de comportement $\mu$ qui a généré les données.
• RePO_det : Pour gérer les scénarios où la politique de comportement est inconnue ou trop coûteuse à accéder (fréquent dans les jeux de données hors-ligne), les auteurs proposent RePO_det. Cette variante approxime la politique de comportement comme une distribution déterministe (Dirac delta) concentrée sur la sortie observée. Elle remplace le terme KL séquentiel par un estimateur basé sur des échantillons qui moyenne les rapports de log-probabilité sur la trajectoire observée, traitant ainsi le segment observé comme un déploiement unique.

Contributions clés

1. Recadrage du feedback humain : Le papier soutient que le feedback humain est plus naturellement compris comme des jugements relatifs conditionnés par les résultats anticipés et les alternatives implicites (regret) plutôt que comme des signaux pour la maximisation de la récompense.
2. Mise à jour de politique en forme close : Les auteurs formalisent cette perspective dans un cadre de RL régularisé par la divergence KL, dérivant une mise à jour de politique en forme close (RePO) qui est compatible avec l'optimisation directe des préférences mais qui modélise explicitement la déviation dépendante du comportement.
3. Internalisation du biais inductif : L'analyse théorique (Lemme 6.1) suggère que la minimisation du regret internalise structurellement un biais inductif présent dans le feedback humain : les trajectoires réussies incomplètes ou partiellement observées sont évaluées de manière pessimiste en raison de l'incertitude quant à leur achèvement futur. Cela permet à RePO d'apprendre efficacement sans nécessiter d'augmentation explicite des données pour imposer de telles préférences.
4. Robustesse à la politique de comportement : L'introduction de RePO_det démontre que le cadre reste efficace même lorsque l'information sur la politique de comportement est indisponible, le rendant applicable à des jeux de données hors-ligne hétérogènes.

Résultats expérimentaux

Les auteurs ont évalué RePO sur des benchmarks de raisonnement mathématique (GSM8K, MATH, MATH500, AMC23, Minerva) et des tâches d'alignement de préférence humaine (AlpacaEval 2, Arena-Hard, MT-Bench) en utilisant des modèles Qwen3 (1.7B/4B) et LLaMA3.

• Gains de performance : RePO a systématiquement surpassé les lignes de base existantes (DPO, IPO, RPO, KTO, TDPO) à travers différentes échelles de modèles et types de tâches. Par exemple, sur le modèle 4B, RePO a atteint un taux de victoire de 55,08 % sur AlpacaEval 2 (contre 32,89 % pour DPO), et 65,54 % sur GSM8K (bien que RePO montre des gains importants dans les tâches de raisonnement en général).
• Applicabilité hors-ligne : RePO_det a obtenu des performances comparables à RePO au sein de la famille Qwen et a nettement surpassé les bases dans les contextes inter-modèles (par exemple, entraîner des modèles LLaMA sur des données générées par des modèles Qwen), démontrant la robustesse de l'estimateur de regret basé sur les échantillons.
• Efficacité d'échantillonnage : Dans les études d'ablation impliquant l'augmentation de données masquées (où les trajectoires réussies étaient partiellement cachées pour tester la capacité du modèle à juger des chemins incomplets), DPO nécessitait des données augmentées supplémentaires pour améliorer ses performances, tandis que la performance de RePO restait stable et dominante. Cela soutient l'affirmation selon laquelle RePO encode structurellement le biais inductif du jugement humain concernant les trajectoires incomplètes, menant à une plus grande efficacité d'échantillonnage.

Signification et affirmations

Le papier affirme que RePO offre une abstraction fidèle du feedback humain en alignant l'objectif d'apprentissage sur la nature prospective et contrefactuelle du jugement humain. En passant de la maximisation de la récompense à la minimisation du regret, le cadre fournit une interprétation principled de préférences sur des trajectoires hétérogènes.

Les auteurs concluent que la minimisation du regret sert de fondation prometteuse pour le post-entraînement aligné sur l'humain des grands modèles de langage. Les résultats suggèrent que modéliser correctement la relation entre les politiques de comportement, les déploiements futurs et les alternatives contrefactuelles est critique pour un apprentissage des préférences efficace, particulièrement dans les contextes où les signaux de récompense explicites sont absents ou lorsque les données sont collectées à partir de sources diverses. Ce travail ne prétend pas résoudre tous les problèmes d'alignement, mais positionne la minimisation du regret comme un raffinement nécessaire au paradigme actuel du RLHF centré sur la récompense.