💻 computer science

Inverse Manipulation through Symbolic Planning and Residual Operator Learning

Ce document propose un cadre hybride pour la manipulation inverse robotique qui combine des opérateurs symboliques extraits automatiquement avec l'apprentissage par renforcement résiduel afin d'affiner des plans symboliques grossiers en compétences ancrées physiquement, démontrées efficacement sur la tâche ManiSkill3 PushCube.

Auteurs originaux : Yigit Yildirim, Giuseppe Rauso, Riccardo Caccavale, Alberto Finzi

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yigit Yildirim, Giuseppe Rauso, Riccardo Caccavale, Alberto Finzi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à pousser un cube sur une table. C'est la tâche « directe ». Maintenant, imaginez que vous deviez apprendre à ce même robot à annuler exactement cette action et à ramener le cube là où il a commencé.

Cela semble simple, mais c'est en réalité un casse-tête complexe pour un robot. Si vous lui dites simplement de « lire le film à l'envers », il échoue souvent. Pourquoi ? Parce que si le robot n'a pas saisi le cube (il l'a juste poussé), il ne peut pas simplement retirer son bras pour annuler la poussée. Le cube est maintenant situé ailleurs, et le robot a besoin d'un nouveau plan pour le ramener.

Ce document présente un système « hybride » ingénieux qui résout ce problème en combinant la planification logique (comme un joueur d'échecs qui anticipe les coups) avec l'apprentissage par essai-erreur (comme un bébé qui apprend à marcher).

Voici comment leur système fonctionne, décomposé en étapes simples :

1. Le « Traducteur Magique » (Extraction Symbolique)

D'abord, le robot observe un humain (ou un script) effectuer la tâche directe, comme pousser un cube. Au lieu de simplement mémoriser les mouvements du bras, le système agit comme un traducteur. Il observe la scène et écrit une « recette » ou une règle simple en logique pure.

Avant : « Le cube est au départ. »
Après : « Le cube est à l'arrivée. »
La Règle : « Si le cube est au départ, je peux le pousser vers l'arrivée. »

2. La « Recette Inversée » (Planification Inverse)

Une fois que le robot possède la règle, il écrit automatiquement une « recette inversée ». Il regarde la règle et se demande : « De quoi ai-je besoin pour revenir au départ ? »

Il réalise qu'il doit : « Remettre le cube au départ », « S'assurer que la pince est ouverte » et « S'assurer que le bras du robot est proche du cube ».
Le robot utilise ensuite un planificateur standard (comme un GPS) pour déterminer une séquence de mouvements de base à essayer afin de corriger la situation. Par exemple, il pourrait essayer de « Ramasser le cube » et de le « Placer au départ ».

3. Le « Passage de Relais Suffisant »

C'est ici que la magie opère. Le planificateur de base du robot est bon, mais pas parfait. Il pourrait réussir à ramasser le cube et à le déposer approximativement près du point de départ, mais il pourrait être décalé de quelques centimètres.

Dans beaucoup d'autres systèmes, cela constituerait un échec.
Dans ce système, le robot s'arrête et dit : « D'accord, j'ai amené le cube assez près. Maintenant, je dois affiner la position. »

4. Le « Ajusteur de Précision » (Apprentissage Résiduel)

Voici la seconde moitié de l'équipe. C'est un agent d'Apprentissage par Renforcement (RL). Considérez-le comme un micro-ajusteur hautement qualifié.

Le système dit à l'agent de RL : « Tu dois déplacer le cube sur la distance restante jusqu'à l'endroit exact du départ, mais ne fais pas de bêtises avec les choses que nous avons déjà corrigées (comme garder la pince ouverte). »
L'agent de RL essaie des milliers de micro-mouvements. S'il rapproche le cube, il reçoit une « récompense » (une friandise). S'il éloigne le cube de l'endroit que nous avons déjà fixé, il reçoit une « réprimande » (une pénalité).
Finalement, l'agent de RL apprend les petits ajustements parfaits nécessaires pour faire glisser le cube exactement à sa place.

Le Résultat : Un « Undo » Parfait

Les auteurs ont testé cela sur une tâche appelée « PushCube ».

Le Problème : Le robot a poussé un cube.
L'Ancienne Méthode (Simple inversion) : Impossible à réaliser car le robot n'a pas saisi le cube.
La Méthode « Logique Uniquement » : A approché le cube, mais a manqué la cible d'environ 17 millimètres (soit la largeur d'une gomme de crayon).
La Nouvelle Méthode Hybride : La partie logique a amené le cube assez près, et la partie apprentissage l'a poussé pour l'ajustement final. Le résultat ? Le cube s'est retrouvé à moins de 1,4 millimètre du départ, avec un taux de réussite de 90 %.

La Vue d'Ensemble

Le papier affirme qu'en divisant le travail en deux parties — la Planification Symbolique pour la vue d'ensemble et l'Apprentissage Résiduel pour les détails fins — on peut apprendre aux robots à annuler des tâches complexes qu'ils ne pouvaient pas inverser auparavant. Cela transforme une « estimation approximative » en un « undo physiquement parfait ».

En bref : Le robot utilise son cerveau pour déterminer la stratégie générale pour annuler une tâche, puis utilise sa « mémoire musculaire » (apprise par essai et erreur) pour effectuer les derniers ajustements précis afin de réussir parfaitement.

Résumé Technique : Inversion de Manipulation par Planification Symbolique et Apprentissage d'Opérateurs Résiduels

Énoncé du Problème

L'article traite du défi de l'inversion de compétence (skill inversion) en manipulation robotique : la capacité à restaurer un environnement physique dans l'état qui le précédait avant une exécution directe. Les auteurs soutiennent que le simple retour en arrière des trajectoires motrices est insuffisant pour de nombreuses tâches, particulièrement celles impliquant des interactions non préhensiles (par exemple, la poussée) où le robot ne saisit pas l'objet. Si la planification symbolique peut générer des séquences inverses, elle échoue souvent à restaurer pleinement les états physiques continus en raison de la limitation des primitives d'action et des exigences de précision. Inversement, l'inversion pure de la trajectoire est souvent physiquement inapplicable. Le problème central est de combler l'écart entre les objectifs de restauration symboliques de haut niveau et le contrôle continu de bas niveau pour parvenir à des compétences d'inversion physiquement ancrées.

Méthodologie

Le cadre proposé est un système hybride qui combine la planification symbolique avec l'Apprentissage par Renforcement Résiduel (RL). Le processus opère en trois étapes principales :

1. Extraction d'Opérateurs Symboliques

Le système analyse les démonstrations de compétences directes pour extraire automatiquement des opérateurs symboliques selon le formalisme STRIPS (Fikes et Nilsson 1971).

Prédicats Mous (Soft Predicates) : Un répertoire prédéfini de prédicats (ex: AT POSE, GRIPPER OPEN) est ancré sur le graphe de scène via des prédicats géométriques mous et différentiables. Ceux-ci produisent des scores continus $V_p(s) \in [0, 1]$ basés sur des marges signées $m_p(s)$ .
Définition de l'Opérateur : Un opérateur $o = \langle Pre, Add, Del \rangle$ est construit en analysant les états de début et de fin des démonstrations. Les prédicats ayant des scores élevés au début forment l'ensemble des préconditions ($Pre$), tandis que les changements de scores déterminent les effets d'ajout ($Add$) et de suppression ($Del$).

2. Génération de Cible Inverse et Planification Symbolique

L'objectif inverse n'est pas défini comme une inversion temporelle, mais comme un problème de restauration. La cible $I(o)$ est construite pour satisfaire les préconditions originales, restaurer les effets supprimés et nier les effets ajoutés :
$I(o) = Pre \cup Del \cup \neg Add$
Un planificateur par recherche en largeur (BFS) tente de satisfaire $I(o)$ en utilisant un ensemble limité de primitives d'action scriptées (ex: PICK, PLACE).

3. Apprentissage d'Opérateur Résiduel

Puisque le planificateur symbolique peut ne satisfaire que partiellement la cible inverse, le système partitionne les objectifs restants :

Ensemble de Clôture (Fence Set - $F$ ) : Prédicats déjà satisfaits par le plan symbolique ( $\pi_{sym}$ ) qui doivent être préservés.
Ensemble Résiduel Actif ( $A$ ) : Prédicats non résolus qui constituent l'objectif résiduel.

Une politique de RL résiduelle ( $\pi_{res}$ ) est entraînée pour satisfaire l'ensemble actif $A$ tout en maintenant l'ensemble de clôture $F$ .

Fonction de Récompense : La récompense est dérivée directement des prédicats du plan symbolique.
- Pour les prédicats actifs ( $A$ ) : Une marge normalisée signée utilisant $\tanh$ pour fournir des récompenses bornées pour la restauration.
- Pour les prédicats de clôture ( $F$ ) : Une pénalité unilatérale utilisant $\min(0, \cdot)$ pour pénaliser les violations sans récompenser le comportement de "non-action".
Exécution : La compétence inverse finale est la concaténation de la séquence symbolique $\pi_{sym}$ et de la politique résiduelle apprise $\pi_{res}$ .

Principales Contributions

L'article présente trois contributions majeures :

Formulation Hybride : Aborder l'inversion de compétence comme un problème de restauration hybride symbolique-continu, en dérivant des cibles inverses à partir d'opérateurs symboliques directs extraits des démonstrations plutôt qu'en s'appuyant sur l'inversion temporelle.
Cadre d'Apprentissage d'Opérateur Résiduel : Introduire un mécanisme où le RL n'est activé que lorsque la planification symbolique ne peut pas pleinement satisfaire l'objectif inverse, gérant ainsi efficacement la partie "résiduelle" de la tâche.
Récompenses Dérivées des Prédicats : Dériver des signaux de récompense de RL directement des effets de l'opérateur du plan symbolique, éliminant ainsi le besoin d'ingénierie manuelle de récompense pour chaque tâche spécifique.

Résultats Expérimentaux

Le cadre a été évalué sur la tâche ManiSkill3 PushCube à l'aide d'un manipulateur Franka Panda. La compétence directe consistait à pousser un cube vers une position cible. La tâche inverse consistait à restaurer le cube à sa position source d'origine.

Performance : L'approche hybride (Symbolique + RL) a atteint un taux de succès de 90 % avec une tolérance de 1 cm, avec une précision moyenne de 1,4 mm.
Comparaisons :
- Préfixe Symbolique Seul : N'a atteint que 10 % de succès, laissant une distance résiduelle moyenne de 16,6 mm.
- Symbolique + Action Aléatoire : A atteint 50 % de succès avec une variance élevée (18,8 mm en moyenne), indiquant que l'exploration aléatoire réussit occasionnellement par chance mais manque de fiabilité.
- Inversion de Trajectoire Pure : Jugée inapplicable en raison de la nature non préhensile de la poussée initiale.
Études d'Ablation : Les expériences ont confirmé que l'utilisation d'une pénalité $\tanh$ unilatérale pour les prédicats de clôture était cruciale. Supprimer la pénalité a conduit l'agent à l'immobilité (récompenses saturées), tandis que supprimer la fonction $\tanh$ entièrement a provoqué la divergence de la fonction de valeur et de grands dérives de récompense.

Signification et Revendications

L'article affirme que le contrôle résiduel dérivé des prédicats peut transformer une inversion symbolique approximative en une compétence d'inversion physiquement ancrée. En traitant les compétences inverses comme des opérateurs symboliques distincts possédant leurs propres objectifs de restauration, le système évite les limites des hypothèses d'inversion temporelle trouvées dans les travaux antérieurs (ex: Nair et al. 2020 ; Edwards et al. 2018).

Les auteurs positionnent ce travail comme une étape vers l'activation de la collaboration humain-robot et des lignes d'assemblage-désassemblage où la capacité d'« annuler » des tâches est essentielle. Ils notent que bien que le système dépende actuellement de prédicats conçus à la main et de primitives de bas niveau scriptées, les résultats suggèrent que les compétences inverses peuvent être efficacement résolues comme un problème de planification suivi d'un problème de RL résiduel avec une récompense dérivée. L'article reste modeste quant à sa portée, reconnaissant les limites de la conception des prédicats et la dépendance aux primitives scriptées, et suggère que les travaux futurs porteront sur l'apprentissage de ces composants à partir de démonstrations.