Best Policy Learning from Trajectory Preference Feedback

1. Problématique et Contexte

L'article s'attaque aux limites de l'apprentissage par renforcement à partir de retours humains (RLHF - Reinforcement Learning from Human Feedback). Bien que le RLHF soit devenu un pilier de l'alignement des modèles génératifs, il repose souvent sur l'apprentissage d'un modèle de récompense scalaire, ce qui le rend vulnérable à la mauvaise spécification (misspecification) et au piratage de récompense (reward hacking).

L'approche alternative, l'apprentissage par renforcement basé sur les préférences (PbRL - Preference-based RL), utilise des comparaisons binaires directes entre des trajectoires plutôt que des scores absolus. Cependant, la plupart des méthodes PbRL existantes souffrent de deux problèmes majeurs dans la pratique :

1. Données hors ligne biaisées : Les jeux de données de préférences initiaux sont souvent collectés hors politique (off-policy), peuvent être biaisés, hors distribution (OOD) et provenir de rateurs (humains ou automatiques) de compétence sub-parfaite.
2. Objectif d'apprentissage : La plupart des travaux se concentrent sur la minimisation de la régression cumulative (cumulative regret). Or, pour l'alignement des LLM (Large Language Models), l'objectif est souvent l'identification de la meilleure politique (Best Policy Identification - BPI), où l'on cherche à maximiser la qualité de la politique finale après une phase d'exploration pure, plutôt que d'optimiser les performances à chaque étape intermédiaire.

Question centrale : Comment combiner systématiquement un jeu de données de préférences hors ligne (potentiellement imparfait) avec une exploration en ligne pour identifier la politique optimale avec un minimum de regret simple (simple regret) ?

2. Méthodologie : L'algorithme PSPL

Les auteurs proposent PSPL (Posterior Sampling for Preference Learning), un nouvel algorithme inspiré du Top-Two Thompson Sampling.

A. Modélisation

• Cadre : Un MDP épisodique à horizon fini $H$ avec des dynamiques de transition ($\eta$) et une fonction de récompense ($\theta$) inconnues.
• Modèle de préférence : Les préférences sont modélisées par un modèle Bradley-Terry. Un rater compare deux trajectoires $\tau_0$ et $\tau_1$ et choisit $\tau_1$ avec une probabilité dépendante de la différence de leurs scores.
• Compétence du rater : Le modèle introduit deux paramètres clés pour caractériser la qualité du rater :
  • $\beta$ : La "délibération" ou la certitude du rater (plus $\beta$ est grand, plus les décisions sont déterministes par rapport aux scores).
  • $\lambda$ : La connaissance du rater sur le vrai vecteur de récompense $\theta$ (le rater possède une estimation $\vartheta \sim \mathcal{N}(\theta, I/\lambda^2)$). Un $\lambda$ élevé indique un rater expert.

B. L'algorithme PSPL (Théorique)

L'algorithme fonctionne en deux phases :

1. Initialisation (Phase Hors Ligne) : Utilisation du jeu de données $D_0$ pour construire des priors informés sur les paramètres $\theta$ et $\eta$. Contrairement aux méthodes classiques qui ignorent la qualité du rater, PSPL intègre explicitement $\beta$ et $\lambda$ dans la mise à jour du prior bayésien.
2. Exploration en ligne (Phase Pure) :
   • À chaque épisode $k$, l'agent échantillonne deux jeux de paramètres $(\theta^{(0)}, \eta^{(0)})$ et $(\theta^{(1)}, \eta^{(1)})$ à partir des distributions a posteriori.
   • Il calcule deux politiques $\pi^{(0)}$ et $\pi^{(1)}$ basées sur ces échantillons.
   • Il génère deux trajectoires correspondantes, demande un feedback de préférence au rater, et met à jour les posteriors.
   • À la fin des $K$ épisodes, la politique finale est déduite de l'estimation MAP (Maximum A Posteriori) des paramètres.

C. Approximation Pratique : Bootstrapped PSPL

Comme la mise à jour exacte du posterior est intraitable (perte de conjugaison), les auteurs proposent une version pratique utilisant le Bootstrapping Bayésien :

• Au lieu de calculer l'intégrale exacte, ils perturbent la fonction de perte (surrogate loss) utilisée pour l'estimation MAP.
• Ils ajoutent du bruit multiplicatif aux données en ligne et hors ligne, et échantillonnent depuis le prior pour perturber le terme de régularisation.
• La minimisation de cette fonction de perte perturbée fournit des échantillons approximatifs du posterior, permettant une mise en œuvre efficace.

3. Contributions Clés

1. Cadre Formel BPI : Première formulation rigoureuse du problème d'identification de la meilleure politique (BPI) dans les MDP inconnus utilisant des préférences de trajectoires, combinant données hors ligne et exploration en ligne.
2. Algorithme PSPL : Introduction du premier algorithme d'apprentissage de la meilleure politique pour ce cadre spécifique, basé sur l'échantillonnage posterior.
3. Garanties Théoriques :
   • Fourniture des premières bornes de regret simple bayésien pour le PbRL.
   • Démonstration que le regret diminue exponentiellement avec la taille du jeu de données hors ligne ($N$) et la compétence du rater ($\lambda, \beta$).
   • Preuve que si le rater tend vers un expert ($\lambda, \beta \to \infty$) et que $N$ est grand, l'agent peut identifier la politique optimale avec une probabilité arbitrairement proche de 1.
4. Approximation Efficace : Développement d'une version "Bootstrapped" de l'algorithme, computationnellement pratique et applicable à des problèmes complexes comme la génération d'images.

4. Résultats Expérimentaux

Les auteurs ont évalué PSPL sur des benchmarks synthétiques et des tâches réelles :

• Environnements de Contrôle (MountainCar, RiverSwim) :

  • PSPL surpasse significativement les baselines (LPbRL et Dueling Posterior Sampling - DPS) en termes de regret simple.
  • L'analyse de sensibilité montre que PSPL tire parti de manière robuste de la compétence du rater : même avec un rater "médiocre" ($\beta$ faible), l'incorporation de données hors ligne améliore les performances, mais l'amélioration est drastique lorsque la compétence est élevée.
  • L'algorithme reste robuste même en cas de mauvaise spécification des paramètres de compétence ($\lambda, \beta$) utilisés par l'agent.

• Génération d'Images (Pick-a-Pic) :

  • Application sur le jeu de données Pick-a-Pic (préférences texte-à-image).
  • PSPL est comparé à DPS. Les résultats montrent que PSPL atteint une récompense finale plus élevée (donc un regret simple plus faible) pour les images générées.
  • Cela démontre la capacité de l'algorithme à gérer des espaces d'états et d'actions de très grande dimension via des approximations neuronales.

5. Signification et Impact

Cet article apporte une contribution fondamentale à l'alignement des modèles génératifs (RLHF) en :

• Déplaçant le paradigme : Passer de la minimisation du regret cumulatif (exploration/exploitation classique) à l'identification de la meilleure politique (exploration pure), ce qui correspond mieux aux processus d'évaluation humaine finale.
• Valorisant la qualité des données : En modélisant explicitement la "compétence" du rater, l'algorithme peut pondérer intelligemment les données historiques, évitant ainsi de sur-optimiser sur des préférences bruitées ou biaisées.
• Offrant une solution théorique et pratique : La combinaison de garanties théoriques solides (bornes de regret) et d'une implémentation pratique (Bootstrapping) rend cette approche applicable aux systèmes réels où les données d'entraînement sont souvent imparfaites.

En résumé, PSPL propose une méthode robuste et efficace pour apprendre des politiques optimales à partir de préférences humaines, en surmontant les limitations des approches actuelles basées sur des modèles de récompense mal spécifiés.