💻 computer science

MoDex: A Diffusion Policy for Sequential Multi-Object Dexterous Grasping

Modex est une politique de diffusion à deux étapes qui permet à une main dextre de saisir séquentiellement plusieurs objets sans relâcher ceux déjà tenus en utilisant une condition d'espace d'opposition pour réserver des degrés de liberté pour des tâches futures, atteignant des taux de réussite supérieurs dans les expériences en simulation et dans le monde réel par rapport aux bases de référence existantes.

Auteurs originaux : Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haofei Lu, Hongjia Liu, Yifei Dong, Florian T. Pokorny, Jens Lundell, Danica Kragic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une main robotique comme un jongleur hautement qualifié. Habituellement, lorsque les robots essaient de ramasser un objet, ils utilisent toute leur main — chaque doigt — pour saisir une seule chose. C'est comme utiliser toute une équipe de déménageurs pour porter une seule tasse de café. Une fois qu'ils ont cette tasse, ils doivent la poser ou la lâcher pour ramasser l'objet suivant. Ils sont « à fond » sur un seul objet, ne laissant aucun doigt de libre pour autre chose.

MoDex est un nouveau cerveau robotique qui change la donne. Au lieu d'utiliser tous ses doigts pour une seule saisie, il apprend à être un économiste stratégique. Il ramasse un objet en utilisant seulement quelques doigts (comme le pouce et l'index), laissant les autres doigts libres et prêts. Ensuite, sans lâcher le premier article, il tend la main, attrape un deuxième objet avec un autre ensemble de doigts, puis un troisième. C'est comme un jongleur qui attrape une balle, la tient dans une main, attrape une deuxième balle avec l'autre main, puis attrape une troisième avec ses pieds, tout cela sans faire tomber les deux premières.

Voici comment l'article explique cette magie, décomposée en concepts simples :

1. L'« Espace d'Opposition » (Le livre de règles)

Le ingrédient secret de MoDex est ce que les auteurs appellent l'Espace d'Opposition (EO). Voyez cela comme un livre de règles pour chaque saisie.

Avant que le robot ne tente de ramasser un objet, une « règle » lui dit : « Pour cet objet spécifique, utilise seulement le pouce et le majeur. Laisse l'annulaire et l'auriculaire libres. »
Cela garantit que le robot n'utilise pas accidentellement un doigt dont il aura besoin pour un objet futur. C'est comme un chef qui n'utilise qu'un ensemble spécifique de couteaux pour un plat précis, réservant les autres couteaux pour les services suivants.

2. La « Mémoire » (L'historique de saisie)

Le robot possède également une mémoire à court terme appelée Historique de Saisie.

Si le robot ramasse le deuxième objet, il se souvient : « Je tiens déjà une balle avec mon pouce et mon index. »
Cette mémoire empêe le robot d'essayer d'utiliser ces mêmes doigts à nouveau. Cela le force à trouver une nouvelle façon de saisir le prochain article en utilisant les doigts qui sont actuellement « hors service ».

3. Le « Camp d'Entraînement » (Apprentissage en deux étapes)

Le robot n'a pas appris cette compétence du jour au lendemain. L'article décrit un processus d'entraînement en deux étapes, similaire à la façon dont un athlète humain pourrait s'entraîner :

Étape 1 : Apprentissage par imitation (Observer les pros) : D'abord, le robot a regardé des milliers de vidéos de démonstrations humaines expertes dans une simulation informatique. Il a appris à copier ces mouvements, comme un élève copiant l'écriture d'un professeur. Cela lui a donné un bon point de départ.
Étape 2 : Apprentissage par renforcement (Essai et erreur) : Ensuite, le robot a été placé dans une « salle de sport » où il devait s'entraîner seul. Un système de récompense lui a été donné :
- Bien : Ramasser un nouvel objet et garder les anciens sans qu'ils ne tombent.
- Mal : Faire tomber un objet, frapper la table ou faire bouger des doigts qui ne sont pas censés bouger.
- Cette étape a permis d'affiner le robot, le rendant beaucoup plus fiable que la simple copie des vidéos.

4. Les Résultats : Simulation vs Réalité

Les chercheurs ont testé MoDex dans deux endroits :

Dans l'ordinateur (Simulation) : Ils ont utilisé un bras robotique virtuel (un Franka Panda) avec une main dextre (une main Allegro). Ils lui ont demandé de ramasser trois objets à la suite. MoDex était bien meilleur que les autres méthodes, réussissant environ 56 % du temps en moyenne, tandis que les autres méthodes peinaient ou échouaient complètement à mesure que le nombre d'objets augmentait.
Dans le monde réel : Ils ont installé le même code sur un vrai robot dans un vrai laboratoire. Même si le robot n'avait jamais vu d'objets réels auparavant (il n'avait vu que des simulations), il a quand même fonctionné ! Il a réussi à ramasser des objets du monde réel, bien qu'il soit légèrement moins parfait que dans l'ordinateur (passant d'environ 56 % à environ 35 % de réussite sur les tâches les plus difficiles). Cela prouve que le transfert « sim-to-real » fonctionne.

Ce que MoDex ne peut pas encore faire (Les limites)

L'article est honnête sur ce que le robot ne peut pas faire pour le moment :

Pas de magie « intra-manuelle » : Les humains peuvent ramasser un stylo avec deux doigts, puis le déplacer vers une prise plus confortable sans le lâcher. MoDex ne peut pas faire cela. Une fois qu'il a saisi un objet avec un ensemble de doigts spécifique, il conserve cette prise jusqu'à la fin.
Pas de planification stratégique : Le robot ne décide pas quels doigts utiliser ou quel objet ramasser en premier. Les humains décident de cela ; le robot se contente de suivre les instructions qui lui sont données.

La vue d'ensemble

L'article conclut que les robots actuels « sous-utilisent » leurs mains sophistiquées à plusieurs doigts. En leur apprenant à n'utiliser que quelques doigts à la fois et à économiser les autres pour plus tard, nous pouvons les rendre bien meilleurs pour manipuler plusieurs articles sans les faire tomber. MoDex est le premier système à prouver que cette stratégie de « sauvegarde séquentielle » fonctionne, transformant une main de robot maladroite en un jongleur méticuleux et multitâche.

Résumé Technique : MoDex – Une Politique de Diffusion pour la Préhension Dextre Séquentielle de Multi-Objets

Formulation du Problème

Les méthodes actuelles de préhension dextre consacrent souvent tous les degrés de liberté (DoF) disponibles d'une main à un seul objet. Bien que cela maximise la stabilité pour cette prise spécifique, cela sous-utilise la dextérité de la main et ne laisse aucune redondance pour les prises suivantes. De plus, les approches actuelles de préhension multi-objets reposent fréquemment sur des modèles d'objets connus, une génération et une exécution de prise découplées, ou des poses d'objets fixes, ce qui limite leur applicabilité dans des scénarios réels et dynamiques.

Ce travail aborde le défi de la préhension multi-objets séquentielle : la tâche consistant à saisir le $i$ -ème objet cible tout en maintenant fermement tous les $i-1$ objets précédemment saisis, sans les relâcher. Les contraintes cinématiques de la main Allegro utilisée dans cette étude limitent le nombre maximal d'objes saisissables à trois ( $I \le 3$ ). La difficulté principale réside dans l'apprentissage d'une politique de contrôle capable de mapper des observations partielles vers des actions, tout en gérant dynamiquement quels sous-ensembles de doigts (DoF) sont actifs pour l'objet actuel par rapport à ceux réservés aux objets futurs.

Méthodologie : MoDex

MoDex est une Politique de Diffusion (DP) conçue pour prédire directement la prochaine pose du préhenseur à partir des observations. Elle opère au sein d'un cadre d'entraînement en deux étapes : un pré-entraînement par apprentissage par imitation (IL) suivi d'un ajustement par apprentissage par renforcement (RL).

1. Architecture de la Politique et Conditionnement

MoDex suit une architecture encodeur-débruiteur (spécifiquement un U-Net convolutionnel 1D) qui traite des blocs d'actions (action chunks) sur un horizon de prédiction. La politique est conditionnée par trois entrées clés :

Nuages de points partiels ( $P_t$ ) : Perception brute de l'environnement.
Vecteur d'Espace d'Opposition (OS) ( $f_i$ ) : Un vecteur indicateur binaire spécifiant quels doigts participent à la prise actuelle. Cela restreint explicitement les DoF actifs pour l'objet actuel, réservant les DoF restants pour les prises ultérieures.
Contexte d'Historique de Prise ( $h_{i-1}$ ) : Un vecteur concaténant les vecteurs OS de toutes les prises précédentes. Cela informe la politique sur les doigts déjà occupés, empêchant la réutilisation des DoF actifs pour de nouveaux objets.

L'OS et l'historique sont concaténés avec le bloc d'action bruité à chaque étape de débruitage, permettant à la politique de raisonner sur la redondance cinématique et l'allocation des doigts.

2. Pipeline d'Entraînement

Étape 1 : Apprentissage par Imitation (Pré-entraînement) : MoDex est pré-entraîné sur un ensemble de données de trajectoires de préhension séquentielle d'experts générées en simulation (Robosuite). Un générateur de pose heuristique et un contrôleur d'espace opérationnel (OSC) produisent ces démonstrations. La politique est entraînée via l'objectif de clonage de comportement pour débruiter les blocs d'actions.
Étape 2 : Ajustement par Apprentissage par Renforcement : Pour améliorer la robustité et gérer les états hors distribution, la politique pré-entraînée est ajustée à l'aide de la Diffusion Policy Policy Optimization (DPPO). Cela traite le processus de débruitage comme un processus de décision de Markov (MDP) imbriqué.
- Fonction de Récompense : Une récompense dense et spécifique à la tâche ( $r_{base}$ $r_{ba se}$ ) est utilisée, comprenant :
  - $r_{succ}$ : Une récompure constante importante pour le soulèvement réussi de la cible tout en maintenant les objets précédents.
  - $r_{grasp}$ : Encourage les doigts actifs à entrer en contact avec la cible.
  - $r_{maintain}$ : Récompense le maintien sécurisé et stationnaire des objets précédemment saisis.
  - $r_{avoid}$ : Pénalise les collisions avec la table ou les contacts inutiles par les doigts inactifs.
  - $r_{ina}$ : Une pénalité pour empêcher les doigts inactifs de s'agiter ou de dériver, ce qui est crucial pour maintenir la stabilité lors des prises ultérieures.

Contributions Clés

MoDex : La première politique de diffusion pour la préhension multi-objets séquentielle qui mappe directement les observations brutes vers des actions de saisie tout en préservant la redondance cinématique.
Mécanismes de Conditionnement : L'introduction de l'Espace d'Opposition (OS) et du Contexte d'Historique de Prise comme signaux de conditionnement explicites, permettant à une seule politique de gérer des tâches de préhension multi-étapes complexes sans relâcher les objets tenus.
Algorithme de Collecte de Données : Un nouvel algorithme pour collecter des trajectoires d'experts indexées par étape, associant systématiquement les objets à des configurations OS valides, garantissant des données d'entraînement diverses et valides.
Évaluation Complète : Un benchmarking étendu de MoDex contre des baselines représentatives d'apprentissage par imitation (BC-RNN, MoDex-BC) et d'apprentissage par renforcement (PPO, SeqDiffuser) en simulation et sur matériel réel.

Résultats Expérimentaux

Les auteurs ont évalué MoDex sur un bras Franka Emika Panda équipé d'une main Allegro sur 15 objets de géométries variées (sphères, cylindres, boîtes).

Performance en Simulation : MoDex a obtenu les taux de réussite les plus élevés pour toutes les étapes de préhension (1, 2 et 3).
- Étape 1 : 75,00 % (contre 57,08 % pour MoDex-BC).
- Étape 2 : 49,58 % (contre 50,00 % pour MoDex-BC, mais surpassant nettement les baselines comme PPO qui ont atteint 0 %).
- Étape 3 : 45,00 % (contre 42,08 % pour MoDex-BC).
- Amélioration Globale : MoDex a amélioré les performances de 2,92 à 17,92 % par rapport aux meilleures baselines basées sur l'apprentissage en simulation.
Transfert au Monde Réel : MoDex a été déployé sur du matériel réel avec un transfert zero-shot sur des objets non vus.
- Il a atteint des taux de réussite de 57,78 % (Étape 1), 26,67 % (Étape 2) et 20,00 % (Étape 3).
- Cela représente une amélioration de 6,67 à 17,78 % par rapport à la baseline MoDex-BC (pré-entraînée uniquement, sans ajustement par RL), démontant le rôle critique de l'ajustement DPPO pour combler le fossé sim-to-real.
Études d'Ablation : Le retrait de la condition OS ou du contexte d'historique de prise a provoqué des chutes de performance significatives lors des étapes 2 et 3, confirmant que les signaux explicites d'allocation des doigts sont essentiels pour la préhension séquentielle. De même, le retrait de l'ajustement DPPO a entraîné des taux de réussite inférieurs, particulièrement dans le monde réel.

Signification et Limites

L'article soutient que les méthodes actuelles peuvent sous-utiliser le potentiel des mains dextres en échouant à gérer l'allocation des DoF à travers des tâches séquentielles. MoDex démontre qu'une seule politique de diffusion, conditionnée par l'espace d'opposition et l'historique de prise, peut résoudre efficacement ce problème, surpassant les méthodes reposant sur une planification découplée ou un RL standard à partir de zéro.

Limites :
Les auteurs reconnaissent que MoDex n'atteint pas encore une dextérité de niveau humain dans deux domaines spécifiques :

Repositionnement intra-main (In-hand Regrasping) : La politique s'engage sur un seul Espace d'Opposition par objet et ne peut pas effectuer de manipulation intra-main (par exemple, transférer un objet d'une prise de type "pince" à une prise de type "puissance").
Planification de Tâche : MoDex suppose que l'assignation de l'OS et l'ordre de ramassage des objets sont fournis comme entrées ; il ne raisonne pas de manière autonome sur l'OS optimal ou la séquence de ramassage.

Le travail conclut que bien que MoDex réponde avec succès au problème de la préhension séquentielle, les travaux futurs devraient se concentrer sur l'intégration de la manipulation intra-main et de la planification de tâche autonome.