Résumé Technique : Évaluation de Politiques Hors Ligne pour la Manipulation Robotique via une Formulation de Vivacité à Décote

Énoncé du Problème

L'article aborde le défi de l'évaluation de politiques hors ligne (OPE) pour les politiques de manipulation robotique. Bien que l'évaluation des politiques soit cruciale pour le développement et le déploiement des systèmes robotiques, les méthodes standard d'apprentissage par renforcement (RL) rencontrent des obstacles majeurs dans les scénarios réels de manipulation en raison de trois propriétés spécifiques :

1. Récompenses Éparses : Les récompenses sont généralement binaires (achèvement de la tâche vs échec) plutôt que denses, ce qui rend difficile l'apprentissage de la progression intermédiaire.
2. Troncature à Horizon Fini : Les déroulements d'évaluation sont souvent arrêtés par des délais d'attente manuels. Dans les données hors ligne, il est impossible de distinguer une politique qui a véritablement échoué d'une politique qui a simplement manqué de temps mais qui aurait pu réussir avec plus de durée. Cela introduit un biais de troncature, conduisant les méthodes standard (comme TD(0) et Monte Carlo) à sous-estimer systématiquement les performances de la politique.
3. Progression Non Monotone : Les politiques de manipulation présentent souvent des comportements de récupération (par exemple, lâcher un objet et le ramasser à nouveau). Cela entraîne une progression de la tâche non monotone, violant les hypothèses des formulations de récompense cumulative qui s'attendent à une approche constante vers l'objectif.

Méthodologie

Les auteurs proposent un cadre qui reformule l'évaluation de politiques hors ligne comme un problème de vivacité à décote. Au lieu d'estimer le retour cumulé attendu, la méthode apprend une fonction de valeur qui représente la « distance sémantique » vers l'achèvement de la tâche.

1. Formulation de Vivacité à Décote

Les auteurs modifient le Processus de Décision Markovien (MDP) standard en remplaçant la fonction de récompense $R$ par une fonction cible $l(s)$, qui encode la distance vers un ensemble cible $L$ (états but).

• Fonction Cible : $l(s) = -1$ si $s$ est un état but, et $l(s) = 1$ sinon.
• Définition de la Valeur : La valeur d'un état $s$ est définie comme l'espérance de la valeur cible minimale atteinte sur tous les trajectoires futures possibles :
  $$V_\pi(s) = \mathbb{E} \left[ \min_{k} l(\xi(k)) \right]$$
• Estimation Conservatrice : Pour éviter l'optimisme excessif, les auteurs dérivent un opérateur de Bellman fixe conservateur (pessimiste). Ils introduisent un facteur de décote $\gamma$ pour induire une application contractante, aboutissant à la règle de mise à jour :
  $$\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ l(s), \tilde{V}_\pi(s') \}$$
  Cette formulation garantit que si une trajectoire rencontre un échec (valeur 1), la valeur se propage en arrière, mais si elle rencontre un but (valeur -1), la valeur reflète les étapes vers ce but.

2. Cadre de Bootstrapping en Deux Étapes

Pour pallier le manque de récompenses denses et le problème du biais de troncature, les auteurs introduisent un algorithme en deux étapes :

• Étape 1 (Calcul d'Ancres) : L'algorithme identifie les états « non ambigus » — spécifiquement, tous les états dans les épisodes qui atteignent avec succès un but. Il calcule des estimations de valeur pour ces états et leurs descendants en utilisant l'opérateur de Bellman. Ces valeurs servent d'« ancres » ancrées dans le succès observé.
• Étape 2 (Bootstrapping) : La fonction cible $l(s)$ est affinée en utilisant la fonction de valeur $V_\pi$ de l'Étape 1. Pour les états dans les épisodes expirés (échec), si un état (ou un état similaire dans l'espace latent) chevauche un état d'un épisode réussi, sa valeur cible est mise à jour de la valeur pessimiste par défaut (1) vers la valeur optimiste dérivée de la trajectoire réussie.
  • La règle de mise à jour devient : $\tilde{V}_\pi(s) = (1 - \gamma) + \gamma \min \{ V_\pi(s), \tilde{V}_\pi(s') \}$.
  • Ce mécanisme propage efficacement les signaux de succès en arrière à travers les épisodes tronqués, écrasant l'hypothèse selon laquelle les délais d'attente impliquent un échec inévitable.

Contributions Clés

1. Formulation Basée sur la Vivacité : Une reformulation novatrice de l'OPE pour les tâches de manipulation à récompenses esparses qui interprète la valeur comme une mesure de progression de la tâche (vivacité) plutôt que comme un retour cumulé.
2. Atténuation du Biais de Troncature : Un algorithme d'évaluation en deux étapes, bootstrap, qui exploite les succès observés pour corriger le biais pessimiste inhérent aux données hors ligne à horizon fini.
3. Garanties Théoriques : Preuve que l'opérateur de Bellman à décote proposé induit une application contractante, assurant l'existence d'une fonction de valeur fixe unique.

Résultats Expérimentaux

La méthode a été évaluée sur trois études de cas utilisant des jeux de données générés par des modèles Vision-Language-Action (VLA), des politiques de diffusion et des démonstrations humaines :

1. LIBERO-Spatial (Prise et Placement) : Une tâche simulée avec une politique VLA.
2. Insertion de Piquet Carré : Une tâche simulée avec une politique de diffusion.
3. Pliage de Tissu : Une tâche matérielle sur un bras Franka Panda utilisant des données de téléopération humaine.

Lignes de Base : La méthode a été comparée à TD(0), Monte Carlo (MC), Monte Carlo Distributionnel (MC-D), et une ablation de leur propre méthode sans bootstrapping (Ours-NB).

Métriques :

• Métrique de Succès : Pourcentage de trames dans les épisodes réussis où les étapes estimées vers le but sont inférieures à la longueur réelle de l'épisode.
• Métrique d'Échec : Pourcentage de trames dans les épisodes échoués où les étapes estimées vers le but dépassent un horizon de tâche standard.
• Métrique Composite : La moyenne arithmétique des deux ci-dessus.

Constats :

• Performance : La méthode proposée a obtenu les meilleures performances sur la Métrique de Succès et la Métrique Composite sur les trois tâches, surpassant significativement les lignes de base classiques.
• Biais de Troncature : La méthode a considérablement réduit le biais de troncature, identifiant correctement que de nombreux états dans les épisodes expirés étaient en réalité proches du succès (récupérables) plutôt que des échecs.
• Compromis de la Métrique d'Échec : La méthode a légèrement moins bien performé sur la Métrique d'Échec par rapport à certaines lignes de base. Les auteurs attribuent cela au mécanisme de bootstrapping étant « optimiste » pour les états dans les épisodes expirés qui ressemblent visuellement à des états réussis, potentiellement en classant à tort certains vrais échecs comme récupérables.
• Robustesse : La méthode est restée efficace même avec de plus petits jeux de données (jusqu'à 50 épisodes) et était largement insensible au choix de l'encodeur d'images (SigLIP2, CLIP, DINOv2).

Signification et Revendications

L'article revendique qu'en reformulant l'évaluation des politiques comme un problème de vivacité et en utilisant un mécanisme de bootstrapping, il est possible d'apprendre des fonctions de valeur qui reflètent avec précision la progression non monotone des tâches dans les tâches de manipulation. La signification principale réside dans la capacité à distinguer l'échec de la politique de la troncature de l'épisode, une capacité critique pour une évaluation hors ligne fiable en robotique réelle où les délais d'attente sont courants.

Les auteurs notent que leur approche est particulièrement efficace pour les politiques qui présentent des comportements de récupération. Cependant, ils reconnaissent des limites :

• Le mécanisme de bootstrapping peut conduire à un optimisme excessif si le chevauchement d'états entre les épisodes réussis et échoués est appris incorrectement (par exemple, dans des tâches avec de faibles indices visuels comme la tâche Square).
• La méthode dépend fortement de la distribution des données et peut ne pas bien généraliser en dehors de celle-ci.
• Les performances se dégradent pour les politiques qui ne présentent pas de comportements de récupération, car le mécanisme de bootstrapping a moins d'« ancres » à partir desquelles propager.

L'étude conclut que si la méthode introduit un petit compromis dans la précision de la détection des échecs, l'amélioration substantielle dans la capture de la progression réussie de la tâche en fait un outil supérieur pour évaluer les politiques de manipulation sous des récompenses esparses et des horizons finis.