Résumé technique : Apprentissage de préférences en mode libre pour la manipulation robotique

Énoncé du problème

La conception de récompenses reste un goulot d'étranglement critique pour l'amélioration des politiques de robots autonomes, particulièrement pour les tâches de manipulation à long horizon. Les approches existantes présentent des limitations significatives :

• Récompenses éparses : Les étiquettes binaires succès/échec fournissent un signal insuffisant pour les tâches complexes où un progrès intermédiaire est crucial.
• Préférences binaires ambiguës : L'apprentissage de préférences traditionnel (par exemple, les modèles de Bradley-Terry) exige que les annotateurs réduisent plusieurs notions de qualité concurrentes (par exemple, vitesse vs sécurité) en une seule étiquette binaire « globale ». Cela crée une ambiguïté, surtout lors de la comparaison de segments de trajectoires issus de différentes étapes de la tâche.
• Fonctions de récompense rigides : Les récompenses scalaires conçues à la main échouent souvent à capturer tout le spectre de l'intention humaine, telles que l'hygiène, la formalité ou la délicatesness, entraînant des comportements indésirables lors de l'optimisation.

L'article postule que la préservation de la nature multidimensionnelle du jugement humain est essentielle pour apprendre des politiques robustes capables de capturer tous les aspects de l'intention d'un utilisateur.

Méthodologie : Apprentissage de préférences en mode libre (FPL)

Le FPL introduit un cadre pour apprendre des politiques robotiques à partir de préférences humaines en mode libre définies en langage naturel, plutôt que de réduire le feedback en un scalaire unique. La méthode se compose de trois composantes clés :

1. Collecte de préférences en mode libre

Au lieu de demander « Quelle trajectoire est la meilleure globalement ? », les annotateurs voient des paires de trajectoires et doivent :

• Définir des axes de préférence spécifiques en langage naturel (par exemple, « vitesse », « sécurité », « formalité de l'installation », « fluidité »). Ces axes peuvent être prédéfinis ou spécifiés par l'annotateur pendant le processus.
• Fournir des préférences par paire ($y_k \in \{0, 1\}$) pour chaque axe défini ($l_k$).
  Cela produit un ensemble de données $\mathcal{P}$ de paires de trajectoires annotées avec des étiquettes en langage naturel et des préférences binaires par axe.

2. Apprentissage de récompense conditionné par le langage

Le FPL apprend un modèle de récompense unique $r_\phi$ conditionné par la description en langage naturel de l'axe, en exploitant les représentations de modèles vision-langage (VLM) préentraînés.

• Évaluation conditionnée par l'axe : Pour une paire de trajectoires $(\tau_i, \tau_j)$ et un ensemble d'axes $\{(l_k, y_k)\}$, le modèle est entraîné pour minimiser une perte de Bradley-Terry modifiée :
  $$L_{FPL-Reward}(\phi) = -\mathbb{E} \left[ \sum_{k=1}^{K_{ij}} \log \sigma \left( (2y_k - 1) [r_\phi(\tau_i | l_k) - r_\phi(\tau_j | l_k)] \right) \right]$$
• Modélisation temporelle : Contra à l'inverse des modèles standards qui évaluent des observations individuelles, le FPL conditionne la récompense sur l'historique des observations. La récompense au niveau de la trajectoire est définie comme la somme des scores par préfixe :
  $$r_\phi(\tau, l_k) = \sum_{i=1}^{T} g_\phi(o_{1:i}, l_k)$$
  où $g_\phi$ est un transformateur multimodal. Cela permet au modèle de capturer les dépendances temporelles nécessaires pour évaluer les préférences au niveau de la trajectoire.

3. Extraction de politique multidimensionnelle

Plutôt que de réduire les récompenses multidimensionnelles apprises en un seul scalaire pondéré (ce qui risque de provoquer un détournement de récompense ou reward hacking), le FPL entraîne une politique $\pi_\theta$ conditionnée simultanément sur les axes en langage naturel et leurs scores de récompense correspondants.

• La politique est entraînée via l'apprentissage par imitation (ou RL hors ligne) sur un ensemble de données où les actions sont conditionnées par l'ensemble des axes $\mathcal{L} = \{l_1, \dots, l_{K_\pi}\}$ et leurs récompenses associées $r_\phi(\tau | l_k)$.
• Entraînement itératif : Le processus peut être itératif. À mesure que la politique s'améliore, les annotateurs peuvent fournir un feedback plus raffiné, et l'ensemble des axes peut s'étendre, créant un curriculum naturel.
• Pilotabilité au moment du test : Lors de l'inférence, la politique peut être orientée vers des comportements spécifiques en faisant varier les valeurs de récompense cibles conditionnées sur des axes spécifiques, sans réentraînement.

Contributions clés

1. Apprentissage de préférences en mode libre (FPL) : Une nouvelle méthode pour solliciter et apprendre à partir de préférences humaines multidimensionnelles en langage naturel, évitant l'ambiguïté des étiquettes binaires « globales ».
2. Modèle de récompense conditionné par le langage : Une fonction de récompense qui associe une trajectoire et une description d'axe en langage naturel à un score scalaire, permettant l'apprentissage de divers attributs (qualité, vitesse, sécurité, hygiène) à partir d'un seul modèle.
3. Compositionnalité et pilotabilité : Le cadre permet aux politiques d'exhiber des comportements compositionnels (combiner des traits non vus ensemble dans les données) et permet de piloter le comportement au moment du test en ajustant le conditionnement de la récompense.
4. Supervision dense sans segmentation : Le FPL apprend des signaux de progression denses pour les tâches à long horizon sans nécessiter de segmentation explicite des sous-tâches ou de façonnage manuel des récompenses.

Résultats expérimentaux

Les auteurs ont évalué le FPL sur quatre tâches réelles (mettre un cube dans un bol, plier un short, dresser une tartine, dresser une table) et deux tâches simulées (réarrangement d'objets, carré bimodale).

• Performance : Le FPV a surpassé les bases de référence (incluant les récompenses éparses, l'apprentissage de préférences binaires et la régression pondérée) de 38 points de pourcentage en moyenne sur les tâches réelles.
• Simulation : Dans la tâche « Bimodal Square », le FPL a réussi à composer des comportements (placer un écrou sur un pivot rapidement) même lorsque les données d'entraînement ne contenaient que des exemples rapides pour l'autre pivot. Il a également obtenu des performances élevées sur la tâche « inversée » (pivot gauche) en utilisant la même politique en changeant le conditionnement de la récompense, une capacité absente des méthodes de base.
• Densité de la récompense : L'analyse qualitative a montré que les récompenses conditionnées par axe du FPL étaient localisées temporellement autour d'événements de sous-tâches spécifiques (ex: poser une tasse), tandis que les récompenses de préférence binaire produisaient des pics ambigus en fin de parcours.
• Efficacité de l'annotation : La collecte de préférences en mode libre était environ 50 % plus rapide par étiquette que la collecte de préférences binaires simples, car le coût de visionnage d'une vidéo est partagé entre plusieurs jugements spécifiques à un axe.

Signification et affirmations

L'article affirme que le FPL répond au défi fondamental de capturer la nature « multidimensionnelle » de l'intention humaine en robotique. En préservant la structure du feedback humain plutôt qu'en la réduisant, le FPL :

• Fournit une supervision plus dense et moins ambiguë pour l'optimisation de la politique.
• Permet une généralisation compositionnelle, permettant aux robots de combiner des comportements appris (ex: vitesse + sécurité) de manières non explicitement démontrées.
• Offre une pilotabilité au moment du test, permettant aux utilisateurs d'ajuster le comportement du robot (ex: prioriser la vitesse sur la délicatesse) sans réentraînement.
• Démontre que le langage naturel est une interface viable et efficace pour définir des axes de récompense, allant au-delà des structures de récompense rigides et prédéfinies.

Les auteurs concluent que, bien que l'apprentissage de préférences soit plus coûteux que les approches non supervisées, le FPL améliore considérablement la qualité et la flexibilité des politiques apprises, ce qui en fait une direction prometteuse pour l'apprentissage robotique en monde réel.