Résumé Technique : Au-delà de RLHF : Un Cadre Théorique Unifié de l'Alignement

Énoncé du Problème

L'apprentissage par renforcement à partir de retours humains (RLHF) est devenu le paradigme dominant pour aligner les grands modèles de langage (LLM) sur les préférences humaines. Cependant, l'article identifie d'importantes lacunes théoriques dans la compréhension actuelle du RLHF et des méthodes d'alignement connexes :

1. Absence de Justification : Les théories existantes traitent souvent l'objectif du RLHF comme une tautologie (convergence vers la version population de l'objectif lui-même) plutôt que de fournir une justification en théorie de l'apprentissage expliquant pourquoi il converge vers le modèle de langage cible.
2. Cadres Incompatibles : Différentes méthodes (par exemple, DPO, RLHF, REBEL) sont analysées sous des cadres théoriques disparates, empêchant toute comparaison directe de leurs garanties de convergence.
3. Le Dilemme du RLHF : L'objectif standard du RLHF fait face à un dilemme asymptotique concernant la force de régularisation $\beta$. Si $\beta$ reste fixe, le modèle sous-ajuste (restant trop proche de la politique de référence) ; si $\beta$ décroît vers zéro à mesure que les données augmentent, la solution peut dégénérer.
4. Écart Empirique vs Théorique : Empiriquement, les objectifs on-policy comme le RLHF surpassent souvent les méthodes basées sur la vraisemblance comme l'optimisation directe des préférences (DPO), pourtant les théories existantes ne peuvent expliquer cette supériorité car elles offrent des garanties ad hoc pour chaque méthode individuellement.

Les auteurs proposent de reformuler l'alignement non pas comme une maximisation de récompense, mais comme un apprentissage de distribution à partir de préférences par paires. La question centrale est : Sous quelles hypothèses pouvons-nous dériver des objectifs d'entraînement qui convergent prouvablement vers un modèle de langage cible ($\pi^*$) ?

Méthodologie

L'article postule l'existence d'un modèle de langage cible (oracle) $\pi^*$ et modélise explicitement comment les retours de préférence révèlent des informations sur $\pi^*$.

1. Le Modèle de Préférence

Les auteurs supposent un modèle de Bradley-Terry (BT) où la probabilité de préférer la réponse $a$ à $b$ étant donné l'invite $x$ est déterminée directement par les probabilités du modèle cible, plutôt que par une fonction de récompense externe :
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
Ici, $\gamma > 0$ est un hyperparamètre. Cette hypothèse implique que le modèle de préférence est explicitement un modèle de langage, contrairement au DPO qui repose sur l'hypothèse de « toute politique » pour dériver une relation entre les récompenses et le LM.

2. Objectifs Proposés

Sur la base de cette perspective d'apprentissage de distribution, les auteurs dérivent trois objectifs d'alignement fondés sur des principes :

• Estimation du Maximum de Vraisemblance des Préférences (PMLE) :
  Cet objectif maximise la vraisemblance des préférences par paires observées sous l'hypothèse BT, régularisée par une divergence KL vers une politique de référence $\pi_0$.
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  Contrairement au DPO, qui minimise un rapport de vraisemblance sans régularisateur explicite (pouvant conduire à des distributions dégénérées), le PMLE inclut un terme KL explicite pour assurer la stabilité.

• Distillation des Préférences :
  Cette approche apprend d'abord un modèle de récompense $\hat{R}$ (équivalent à apprendre un simulateur de préférence) puis distille cette distribution de préférence dans le modèle de langage. Au lieu d'utiliser une perte quadratique (comme dans REBEL), elle minimise la divergence KL entre les distributions de préférence binaire du simulateur appris et de la politique cible :
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  Cette formulation est explicitement dérivée du modèle BT et évite les problèmes de justification statistique de la perte quadratique.

• Minimisation de la KL Inverse (RKL) :
  Reconnaissant que l'objectif est l'apprentissage de distribution, les auteurs proposent de minimiser la divergence KL inverse $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$. Puisque $\pi^*$ est inconnu, ils substituent un estimateur $\hat{\pi}$ dérivé du modèle de récompense.
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  Cet objectif ressemble au RLHF mais inclut un terme d'entropie supplémentaire ($-\gamma H(\pi(x))$). Les auteurs soutiennent que cela agit comme une correction au RLHF, résolvant le dilemme asymptotique où le RLHF standard échoue à converger vers le véritable $\pi^*$ lorsque $n \to \infty$.

3. Garanties Théoriques

L'article fournit des garanties de convergence non asymptotiques en $O(1/n)$ pour les trois méthodes. Plus précisément, ils prouvent que l'erreur de KL directe $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ converge vers zéro à un taux de $O(1/n)$, où $n$ est la taille de l'ensemble de données.

• PMLE et Distillation des Préférences : Atteignent des bornes dépendant du coefficient de couverture de la classe de politiques $\Pi$.
• KL Inverse : Atteint une borne plus stricte dépendant du coefficient de couverture de la classe de modèles induite par la récompense $\mathcal{P}_\gamma(\mathcal{R})$, qui est souvent plus petite que celle de $\Pi$. Cela explique théoriquement pourquoi les méthodes on-policy (comme RKL/RLHF) surpassent souvent empiriquement les méthodes basées sur la vraisemblance (comme PMLE/DPO).

Résultats Clés

Résultats Théoriques

• Justification du RLHF : L'objectif RKL fournit une forte justification théorique à l'objectif RLHF, montrant qu'il s'agit d'un cas particulier (avec $\gamma \to 0$) d'un objectif d'apprentissage de distribution cohérent, à condition qu'une correction d'entropie soit appliquée.
• Résolution du Dilemme : L'analyse théorique et des expériences simplifiées (Figure 1) démontrent que, tandis que le RLHF standard souffre d'incohérence (saturant à une erreur non nulle) lorsque $n \to \infty$ en raison du dilemme de régularisation, la méthode RKL proposée converge vers le véritable modèle cible.
• Supériorité des Méthodes On-Policy : La théorie confirme que le KL Inverse (similaire au RLHF) bénéficie d'une garantie de convergence supérieure par rapport au PMLE (similaire au DPO) car il exploite la complexité réduite de la classe de modèles de récompense plutôt que celle de la classe de politiques complète.

Résultats Empiriques

Des expériences ont été menées sur deux tâches :

1. Résumé TL;DR : Utilisation des modèles Pythia-2.8B et Pythia-6.9B.
   • Taux de Victoire : Les méthodes proposées (PMLE, Distillation des Préférences, KL Inverse) ont constamment obtenu des taux de victoire supérieurs sur GPT-4 par rapport à leurs bases de référence (DPO, REBEL, RLHF).
   • Divergence KL : Le PMLE a atteint une divergence KL significativement plus faible par rapport au modèle de référence que le DPO, validant l'avantage du régularisateur explicite.
2. Chat Général (UltraFeedback) : Utilisation de LLaMA-3-8B-Instruct.
   • Évalué sur MT-Bench, AlpacaEval 2.0 et Arena Hard.
   • Le PMLE et la Distillation des Préférences ont surpassé le DPO et le REBEL sur la plupart des benchmarks, montrant particulièrement de fortes améliorations sur AlpacaEval 2.0 et Arena Hard.

Importance et Revendications

L'article revendique fournir le premier cadre théorique unifié pour l'alignement qui traite le problème comme un apprentissage de distribution à partir de préférences par paires. Ses contributions principales sont :

1. Perspective Unifiée : Il unifie les méthodes existantes (DPO, RLHF, REBEL) sous une seule hypothèse probabiliste, rendant explicites leurs hypothèses cachées.
2. Fondement Théorique : Il offre des garanties de convergence rigoureuses, non asymptotiques en $O(1/n)$ pour l'apprentissage d'une distribution cible à partir de retours par paires, un résultat précédemment indisponible pour ce contexte.
3. Explication des Tendances Empiriques : Il fournit la première confirmation théorique de l'observation empirique selon laquelle les objectifs on-policy (RLHF) surpassent souvent les objectifs basés sur la vraisemblance (DPO), attribuant cela aux propriétés de couverture de la classe de modèles de récompense par rapport à la classe de politiques.
4. Correction du RLHF : Il identifie une déficience spécifique dans l'objectif RLHF standard (l'absence d'un terme d'entropie conduisant à une incohérence) et propose un objectif corrigé (RKL) qui conserve les avantages pratiques du RLHF tout en assurant la cohérence théorique.

Les auteurs concluent que, bien que leurs méthodes soient compétitives par rapport à des bases de référence solides, la valeur principale réside dans le cadre théorique qui explique pourquoi ces méthodes fonctionnent et comment elles peuvent être améliorées. Les travaux futurs suggérés incluent l'exploration des objectifs de recherche de modes versus de couverture de modes et l'extension du cadre à des divergences alternatives.