PAWS: Preference Learning with Advantage-Weighted Segments

Résumé Technique : PAWS (Preference Learning with Advantage-Weighted Segments)

Énoncé du Problème
L'apprentissage par renforcement basé sur les préférences (PbRL) vise à apprendre des politiques à partir de comparaisons de trajectoires au niveau humain plutôt qu'à partir de fonctions de récompense explicites. Cependant, les méthodes existantes souffrent d'un décalage de distribution entre l'entraînement et l'inférence. Typiquement, les méthodes de PbRL entraînent une fonction d'utilité (par exemple, un modèle de récompense ou d'avantage) sur des préférences au niveau des segments ou des trajectoires. Pourtant, lors de l'optimisation de la politique, ces modèles sont interrogés sur des paires état-action individuelles pour calculer des signaux d'apprentissage par étape.

Ce décalage crée un problème d'attribution de crédit temporel. Comme l'illustre l'article, de nombreuses assignations d'avantages par étape distinctes peuvent sommer vers la même étiquette de préférence au niveau du segment. Par conséquent, le modèle d'utilité est sous-contraint au niveau de l'étape individuelle. Lorsque l'optimiseur de la politique interroge ce modèle sur des étapes uniques (inférence) malgré un entraînement sur segments, les signaux d'apprentissage résultants sont ambigus et peu fiables, ce qui dégrade sévèrement l'apprentissage de la politique, particulièrement dans les régimes de faibles données.

Méthodologie : PAWS
Les auteurs proposent PAWS (Preference Learning with Advantage-Weighted Segments) pour résoudre ce décalage de distribution en alignant l'entraînement de l'utilité avec l'optimisation de la politique au niveau du segment.

1. Apprentissage de l'Avantage :

   • Au lieu d'apprendre une fonction de récompense, PAWS apprend directement une fonction d'avantage $A_\phi$ à partir de paires de préférences de segments $(\tau^+, \tau^-)$.
   • La vraisemblance de la préférence est modélisée à l'aide d'une formulation de Bradley-Terry basée sur la somme des avantages au sein d'un segment : $P_{A_\phi}[\tau^+ \succ \tau^-] = \frac{\exp(A_\phi(\tau^+))}{\exp(A_\phi(\tau^+)) + \exp(A_\phi(\tau^-))}$.
   • Le modèle peut être implémenté soit via un encodeur Transformer, soit via un Perceptron Multicouche (MLP).

2. Optimisation de la Politique Basée sur les Segments :

   • Plutôt que d'inférer des utilités par étape, PAWS effectue des mises à jour de la politique directement sur des segments de trajectoire.
   • La méthode formule un problème d'optimisation contrainte pour trouver une distribution de segments optimale $p^*(\tau)$ qui maximise l'avantage attendu tout en restant dans une région de confiance (limite de divergence KL $\epsilon$) de la distribution de données originale $p_D(\tau)$.
   • La solution produit une distribution de segments repondérée : $p^*(\tau) \propto p_D(\tau) \exp(\frac{1}{\lambda} A_\phi(\tau))$.
   • La politique $\pi_\theta$ est ensuite mise à jour en maximisant un objectif de maximum de vraisemblance pondéré, où les poids sont l'exponentielle des avantages des segments :
     $$\mathcal{L}(\theta) = \sum_{\tau \in D} \sum_{(s_t, a_t) \in \tau} \exp\left(\frac{A_\phi(\tau)}{\lambda}\right) \log \pi_\theta(a_t|s_t)$$
   • Crucialement, le poids d'importance est appliqué à l'ensemble du segment, garantissant que la mise à jour de la politique respecte l'information de préférence au niveau du segment.

3. Contrôle des Hyperparamètres via la Taille d'Échantillon Effective :

   • Pour éviter le réglage manuel de la limite KL $\epsilon$ (qui dépend de la dimensionnalité des actions et de la taille du jeu de données), PAWS introduit une stratégie pilotée par les données pour contrôler le multiplicateur de Lagrange $\lambda$.
   • Les auteurs proposent de définir $\lambda$ pour atteindre une taille d'échantillon effective ($n_{eff}$) souhaitée, calculée à partir des poids d'importance. Cela permet un contrôle intuitif sur le nombre de segments qui contribuent de manière significative à la mise à jour, équilibrant l'exploitation des segments à haut avantage avec la stabilité.

Contributions Clés

• Analyse du Décalage de Distribution : L'article identifie le décalage entre l'entraînement de l'utilité au niveau du segment et l'inférence au niveau de l'étape comme une limitation fondamentale des méthodes de PbRL existantes, causant une attribution de crédit temporelle ambiguë.
• Algorithme PAWS : Une nouvelle méthode d'apprentissage de préférences basée sur les segments qui effectue des mises à jour de politique en utilisant des segments pondérés par l'avantage, préservant l'information de préférence au niveau de la trajectoire et évitant les signaux par étape peu fiables.
• Réglage de Hyperparamètres Piloté par les Données : Une stratégie intuitive pour définir les hyperparamètres d'optimisation de la politique basés sur la taille d'échantillon effective des données pondérées par les préférences, réduisant la dépendance au réglage manuel.
• Validation Empirique : Évaluation complète sur des tâches de manipulation robotique simulée (Meta-World) et de locomotion (D4RL), démontrant des améliorations constantes par rapport aux bases établies.

Résultats Expérimentaux
Les auteurs ont évalué PAWS sur 10 tâches de manipulation Meta-World et 4 tâches de locomotion D4RL sous deux budgets de préférences (50 et 500 paires).

• Performance : PAWS (variantes Transformer et MLP) surpasse systématiquement les bases incluant Behavior Cloning (BC), P-IQL, CPL, CPL+KL, Preference Transformer et IPL.
• Régime de Faibles Données : Dans le cadre de 50 préférences, de nombreuses bases se dégradent pour devenir moins performantes que le Behavior Cloning, tandis que PAWS maintient une performance robuste, soulignant son efficacité dans les scénarios de rareté de données.
• Études d'Ablation :
  • Granularité de Mise à Jour : Remplacer les mises à jour par segment de PAWS par des mises à jour au niveau état-action (utilisant le même avantage appris) entraîne une chute significative de performance, confirmant que le décalage de distribution est la cause principale d'échec des approches standards.
    • Longueur du Segment : Augmenter la longueur du segment exacerbe la dégradation des performances pour les mises à jour basées sur l'état-action mais a un impact négatif minimal sur PAWS, qui opère nativement au niveau du segment.
  • Feedback Humain : Testé sur des préférences collectées auprès de 10 humains non-auteurs, PAWS obtient les taux de succès les plus élevés sur les tâches "Button Press" et "Door Open", validant sa robustesse au bruit humain réel.
  • Attribution de Crédit : PAWS a démontré une corrélation de rang de Spearman plus élevée avec les classements d'experts par rapport aux mises à jour par étape, indiquant une meilleure préservation des structures de préférence temporelles.

Signification et Revendications
L'article affirme que les gains de performance de PAWS découlent principalement de l'alignement des distributions d'entraînement et d'inférence de la fonction d'utilité apprise, plutôt que de choix architecturaux spécifiques (puisque les variantes MLP et Transformer surpassent toutes deux leurs homologues par étape).

Les auteurs soulignent que PAWS offre une solution principielle au problème d'attribution de crédit temporel dans le PbRL en évitant les "signaux d'apprentissage par étape peu fiables" inhérents aux méthodes qui s'entraînent sur des segments mais infèrent sur des étapes. La méthode est présentée comme particulièrement efficace dans les régimes de faibles données où les estimations d'utilité par étape sont les plus bruitées. Bien que l'évaluation soit limitée à des tâches robotiques simulées avec des données oracle et humaines à petite échelle, les auteurs suggèrent que la perspective par segment est directement applicable à l'ajustement fin (fine-tuning) de grands modèles génératifs par préférence (ex: RLHF), où les comparaisons se font généralement sur des réponses entières plutôt que sur des tokens individuels.

Limites
Les auteurs reconnaissent que PAWS assigne des poids d'importance uniformes à tous les couples état-action au sein d'un segment, ce qui peut être sous-optimal si un segment contient un mélange d'actions de haute et de basse qualité. De plus, le choix de la taille d'échantillon effective ($n_{eff}$) nécessite une sélection, bien qu'il soit noté que cela est plus intuitif que de régler directement la limite KL. Enfin, l'évaluation actuelle est limitée à la simulation et n'aborde pas encore le feedback humain à grande échelle et bruyant.