Résumé Technique : Inférence de Récompense Supervisée (SRI)

Énoncé du Problème

Les approches traditionnelles de l'inférence de récompense, telles que l'Apprentissage par Renforcement Inverse (IRL), reposent généralement sur l'hypothèse que les démonstrations humaines sont générées selon un modèle de comportement spécifique et connu (par exemple, optimalité bruitée, rationalité limitée). Cependant, le comportement humain réel est souvent sous-optimal en raison d'une planification défaillante, d'erreurs d'exécution ou de gestes non optimaux intentionnels utilisés uniquement pour communiquer des objectifs. Les méthodes existantes peinent lorsque le modèle de comportement supposé est mal spécifié, ce qui conduit à une inférence de récompense erronée. Bien que certains travaux antérieurs tentent d'apprendre des modèles de comportement à partir de données, ces approches font souvent face à des limitations, telles qu'être restreintes aux environnements tabulaires ou échouer à gérer efficacement des comportements arbitrairement sous-optimaux.

Le problème central abordé est la manière d'inférer des fonctions de récompense à partir d'une large gamme de comportements humains — incluant ceux qui sont arbitrairement sous-optimaux ou destinés à la communication plutôt qu'à l'optimisation — sans dépendre d'hypothèses fortes et potentiellement incorrectes concernant le modèle de comportement sous-jacent.

Méthodologie : Inférence de Récompense Supervisée (SRI)

Les auteurs proposent l'Inférence de Récompense Supervisée (SRI), un cadre qui reformule l'inférence de récompense comme un problème d'apprentissage supervisé. Au lieu d'apprendre un modèle de comportement qui mappe les récompenses vers les actions pour ensuite l'inverser, la SRI apprend directement une application des trajectoires de comportement vers les fonctions de récompense en utilisant un ensemble de données de comportements appariés et de récompenses de vérité terrain connues.

Cadre Fondamental

Étant donné un ensemble de tâches où chaque tâche $k$ consiste en :

1. Un ensemble de trajectoires de comportement $\{\tau_{k,i}\}$ (qui peuvent être arbitrairement sous-optimales).
2. Un ensemble de paires état-récompense $\{(s_{k,j}, r_{k,j})\}$ échantillonnées à partir de la même tâche.

La SRI entraîne un réseau de neurones pour prédire la récompense $r(s)$ pour un état donné $s$, conditionné par les trajectes de comportement. L'architecture se compose de deux composants principaux :

• Encodeur de Tâche ($f_{\theta_f}$) : Encode un ensemble de trajectoires de comportement en un plongement (embedding) de tâche de dimension fixe $\psi$. Dans les expériences, cela utilise un Transformer pour l'encodage de la trajectoire et un Set Transformer pour le regroupement (pooling) de plusieurs trajectoires.
• Modèle de Récompense ($g_{\theta_g}$) : Prend en entrée le plongement de la tâche $\psi$ et un état $s$ pour prédire la valeur de la récompense.

L'objectif d'entraînement est de minimiser l'erreur quadratique moyenne entre les récompenses prédites et les récompenses de vérité terrain sur l'ensemble des données :
$$\arg \min_{\theta_f, \theta_g} \mathbb{E} \left[ L \left( g_{\theta_g}(S, f_{\theta_f}(\{\tau_n\})), R(S) \right) \right]$$

Garanties Théoriques

L'article fournit une preuve théorique que la SRI est asymptotiquement Bayes-optimale. Sous des hypothèses standards (espaces état/action compacts, retours bornés et capacité de modèle suffisante), à mesure que la taille du jeu de données tend vers l'infini, la fonction de récompense inférée converge uniformément vers la moyenne a posteriori de la récompense étant donné le comportement. Par conséquent, la politique optimale dérivée de cette récompense inférée converge vers la politique qui maximise l'espérance du retour sous la distribution a posteriori réelle des récompenses. Cela est vrai pour toute classe de comportement fixée, à condition que la distribution du comportement lors du déploiement corresponde à la distribution d'entraînement.

Extensions

Les auteurs démontrent que ce modèle d'inférence supervisée se généralise à d'autres tâches d'inférence d'intention :

• Inférence de But Supervisée (SGI) : Prédire des représentations de buts latents directement à partir du comportement.
• Inférence d'Action Supervisée (SAI) : Prédire des actions optimales directement à partir du comportement et de l'état.

Contributions Clés

1. Cadre Novateur : Introduction de la SRI, qui élimine le besoin de modélisation explicite du comportement en traitant l'inférence de récompense comme une tâche directe d'apprentissage supervisé.
2. Optimalité Théorique : Preuve que la SRI atteint l'optimalité Bayes-asymptotique pour l'inférence de récompense et l'apprentissage par imitation sous des hypothèses standards, sans nécessiter la connaissance du modèle de comportement.
3. Robustesse à la Sous-optimalité : Démonstration que la SRI peut inférer des récompenses précises à partir de comportements hautement sous-optimaux, bruités, et même de comportements de non-démonstration (ex: des gestes qui ne complètent jamais la tâche) là où les méthodes traditionnelles d'IRL échouent.
4. Généralisation : Extension du cadre à l'Inférence de But Supervisée (SGI) et à l'Inférence d'Action Supervisée (SAI), montrant la polyvalence de l'approche d'inférence d'intention supervisée.

Résultats Expérimentaux

Les auteurs ont évalué la SRI sur deux benchmarks distincts :

1. Tâches Robotiques Meta-World (Contrôle Continu)

• Configuration : Les tâches incluaient "Reach" (Atteindre) et "Pick-Place" (Prendre-Placer) avec des buts distribués aléatoirement.
• Classes de Comportement : Le système a été testé sur cinq classes de démonstrations, incluant des actions bruitées, des décalages systématiquement erronés, et des démonstrations de type "Gesture" (Geste) où le robot pointe le but mais ne prend ni ne place jamais l'objet.
• Résultats :
  • La SRI a atteint une performance proche du plafond (0,822 de proximité de but normalisée) sur les tâches Pick-Place en utilisant uniquement des démonstrations de type "Gesture", alors que toutes les bases d'apprentissage par imitation (BC, GAIL, AIRL) ont échoué (performance $\le 0$).
  • La SRI a démontré une robustesse aux sous-optimalités arbitraires, important des politiques quasi-optimales même lorsque les démonstrations étaient fortement bruitées ou systématiquement biaisées.
  • La performance a progressé de manière fluide avec la quantité de données, montrant une forte efficacité des données.

2. Benchmark Gridworld de Shah et al. (2019) (Tabulaire)

• Configuration : Un benchmark tabulaire comparant la SRI aux méthodes antérieures pour des comportements arbitrairement sous-optimaux, incluant l'algorithme "Inverse Planning" (IP) de Shah et al. (2019).
• Résultats :
  • La SRI (adaptée pour prendre des entrées de politique) a atteint une performance proche du plafond à travers toutes les classes de démonstrateurs (optimal, naïf, sophistiqué, myope, etc.) et leurs variantes bruitées.
  • La SRI a surpassé ou égalé les méthodes de pointe IP, suggérant que l'apprentissage direct de la carte inverse (politique-vers-récompense) est plus efficace que d'apprendre un planificateur et de l'inverser, même dans des contextes tabulaires.

Signification et Revendications

L'article affirme que la SRI représente un changement de paradigme, passant de l'ingénierie de modèle de comportement à l'apprentissage supervisé piloté par les données. En considérant le comportement comme une indication d'intention plutôt que comme une tentative d'optimisation, la SRI contourne la fragilité associée à la mauvaise spécification des modèles.

Les auteurs soulignent que :

• La SRI est une solution "parcimonieuse mais puissante" qui tire parti des techniques standard d'apprentissage supervisé.
• Elle permet d'utiliser les avancées de l'apprentissage de représentation et des modèles pré-entraînés (ex: Transformers) sans avoir besoin de concevoir des biais inductifs spécifiques à l'apprentissage par renforcement (RL).
• La méthode est universellement applicable à toute distribution de comportement fixée, pourvu qu'une supervision de récompense indexée par tâche soit disponible pendant l'entraînement.
• Bien que les expériences actuelles supposent l'accès aux récompenses du simulateur pour l'entraînement, le cadre est conçu pour être compatible avec de futures extensions où les récompenses seraient estimées à partir d'annotations éparses ou de préférences.

L'article conclut que les algorithmes d'apprentissage moins biaisés, lorsqu'ils sont dotés de suffisamment de données, peuvent surpasser les approches basées sur des modèles plus biaisés pour l'inférence de récompense, soutenant ainsi la "loi amère" (bitter lesson) selon laquelle le passage à l'échelle des données et du calcul produit souvent de meilleurs résultats que les hypothèses faites à la main.