💻 computer science

DexFormer: Cross-Embodied Dexterous Manipulation via History-Conditioned Transformer

DexFormer est une politique de type transformer de bout en bout, conditionnée par l'historique, qui permet à un modèle unique de se généraliser à travers diverses incarnations de mains dextres en inférant la morphologie et la dynamique à partir du contexte temporel, atteignant ainsi un transfert zero-shot robuste sans nécessiter d'entraînement distinct pour chaque robot.

Auteurs originaux : Ke Zhang, Lixin Xu, Chengyi Song, Junzhe Xu, Xiaoyi Lin, Zeyu Jiang, Renjing Xu

Publié 2026-02-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ke Zhang, Lixin Xu, Chengyi Song, Junzhe Xu, Xiaoyi Lin, Zeyu Jiang, Renjing Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à une main robotique à ramasser une tasse. Maintenant, imaginez que vous avez trois mains robotiques différentes : l'une ressemble à une main humaine, l'autre à une araignée, et la troisième à une pince mécanique.

Par le passé, si vous vouliez qu'un robot utilise les trois, vous deviez les enseigner séparément. Vous deviez vous asseoir avec la main « humaine » pour lui apprendre à bouger, puis recommencer avec la main « araignée », et encore une fois avec la « pince ». C'était comme engager trois tuteurs différents pour trois étudiants différents, même s'ils devaient tous apprendre la même leçon : « Ramasse la tasse ».

DexFormer est une nouvelle méthode qui change cela. C'est comme engager un tuteur super intelligent capable de comprendre instantanément à quel étudiant il s'adresse simplement en écoutant la façon dont cet étudiant bouge, et ainsi de les enseigner tous en même temps.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le problème : « Une taille ne convient pas à tous »

Les mains robotiques viennent dans toutes les formes et toutes les tailles. Certaines ont 3 doigts, d'autres 5, certaines ont 12 articulations, et d'autres 20. Elles bougent différemment, pèsent des montants différents et réagissent au toucher de manières uniques.

L'ancienne méthode : Si vous construisiez un contrôleur de robot pour une main à 5 doigts, il échouerait lamentablement sur une main à 3 doigts. Vous deviez reconstruire le cerveau pour chaque nouvelle main.
La barrière : Cela rendait les robots coûteux et lents à adapter. Si une usine achetait un nouveau type de main, elle devait repartir de zéro pour l'entraînement.

2. La solution : Le cerveau « conditionné par l'historique »

Les chercheurs ont construit un système appelé DexFormer. Considérez cela comme un cerveau de robot qui ne se contente pas de regarder le moment présent (comme « je vois une tasse »), mais qui regarde aussi les dernières secondes de ce qui s'est passé (comme « j'ai bougé mon pouce vers la gauche, puis vers la droite, puis j'ai senti une bosse »).

L'analogie : Imaginez que vous entrez dans une pièce et voyez un étranger. Vous ne savez pas qui il est. Mais si vous le regardez marcher pendant cinq secondes, vous pourriez remarquer qu'il boite, ou qu'il a une foulée longue, ou qu'il porte un sac lourd. Vous pouvez deviner ses caractéristiques physiques simplement en observant son historique de mouvement.
Comment DexFormer le fait : Il observe les mouvements récents de la main robotique et « ressent » la forme et le poids de la main sans qu'on lui dise de quelle main il s'agit. Il déduit la « morphologie » (la forme et la physique) à la volée.

3. L'entraînement : La « salle de sport randomisée »

Pour enseigner à ce cerveau à être aussi intelligent, les chercheurs n'ont pas seulement entraîné ce cerveau sur trois mains spécifiques. Ils ont créé une immense salle de sport générée de manière procédurale.

Ils ont pris des mains robotiques standards et les ont modifiées de manière aléatoire : rendant les doigts plus longs, plus lourds ou plus légers, ou changeant la rigidité des articulations.
Ils ont entraîné l'IA sur 300 versions différentes de ces mains, toutes en même temps.
Le résultat : L'IA a appris une « règle universelle » de préhension. Elle n'a pas mémorisé des formes de mains spécifiques ; elle a appris à s'adapter à n'importe quelle forme rencontrée.

4. La magie du « Zero-Shot »

La partie la plus impressionnante est ce qui se passe lorsqu'ils testent le robot sur des mains qu'il n'a jamais vues auparavant.

Ils ont pris l'IA entraînée et lui ont donné une Leap Hand, une Allegro Hand et une Rapid Hand. Il s'agissait de modèles spécifiques pour lesquels l'IA n'avait pas été explicitement entraînée.
Le résultat : L'IA a fonctionné immédiatement. Elle n'avait pas besoin d'être réajustée ou reprogrammée. Elle a regardé la nouvelle main, l'a observée bouger pendant une fraction de seconde, a compris sa physique, et a commencé à ramasser des objets avec succès. C'est ce qu'on appelle le transfert « zero-shot ».

5. Tests en conditions réelles

Ils n'ont pas seulement gardé cela dans une simulation informatique. Ils ont installé le système sur un vrai bras robotique avec une vraie Leap Hand.

Ils ont utilisé des caméras pour voir la main et l'objet (exactement comme dans la simulation).
Le robot a réussi à soulever un cube et à le déplacer vers un point cible.
Cela prouve que le « cerveau » appris dans le monde informatique peut réellement fonctionner dans le monde réel et complexe.

Résumé

DexFormer est comme une télécommande universelle pour les mains robotiques. Au lieu d'avoir besoin d'une télécommande différente pour chaque télé (main robotique), vous avez une télécommande qui apprend les réglages de la télévision simplement en regardant comment les boutons sont pressés. Cela permet à un seul cerveau de robot de contrôler de nombreux types de mains différents, rendant les robots plus flexibles, moins chers à construire et plus faciles à mettre à jour.

Ce que l'article ne prétend PAS :

Il ne prétend pas que cela fonctionne pour chaque main robotique existante (seulement celles testées et leurs variations similaires).
Il ne prétend pas que le robot peut effectuer des tâches complexes comme la chirurgie ou la cuisine pour le moment ; il se concentre spécifiquement sur la saisie et le déplacement d'objets.
Il ne prétend pas résoudre le problème de la compréhension de l'objet par le robot (comme savoir qu'une tasse sert à boire) ; il résout seulement le problème de savoir comment la tenir, quel que soit l'aspect de la main.

Résumé Technique : DexFormer

Problématique

La manipulation dextre reste un défi majeur en robotique en raison de la nécessité d'un contrôle cohérent de mains et de bras à haut degré de liberté (DoF) soumis à des dynamiques complexes et riches en contacts. Un obstacle principal à la scalabilité est la variabilité de l'incarnation (embodiment variability) : différentes mains dextres possèdent des cinématiques, des inerties, des réponses d'actionneurs et des dynamiques de contact distinctes. Par conséquent, les méthodes existantes nécessitent souvent l'entraînement de politiques séparées pour chaque main ou reposent sur des espaces d'action partagés avec des têtes de décodage par incarnation. Cette spécificité rend l'apprentissage et le transfert de la simulation vers la réalité (sim-to-real) fragiles, nécessitant fréquemment une identification de système répétée, un réajustement ou une collecte supplémentaire de données réelles pour chaque nouvelle plateforme. De plus, les approches existantes pour combler le fossé sim-to-real — telles que l'identification de système (SysID), la randomisation de domaine ou la modélisation résiduelle — manquent soit de mécanismes explicites pour compenser les dynamiques spécifiques à l'incarnation au moment du test, soit dépendent de la collecte de données réelles spécifiques à l'incarnation, échouant ainsi à atteindre un véritable transfert cross-embodiment zero-shot.

Méthodologie

Les auteurs proposent Dexformer, une politique cross-embodiment sensible à la dynamique et de bout en bout, construite sur un backbone Transformer modifié. L'innovation centrale est une approche conditionnée par l'historique qui permet à la politique d'inférer la morphologie et la dynamique de manière implicite à partir du contexte temporel, plutôt que de s'appuyer sur des identifiants d'incarnation explicites ou des têtes de décodage séparées.

Composants Techniques Clés :

Espace d'Action Partagé : Les auteurs définissent un espace d'action canonique, invariant à la morphologie ( $D_F$ dimensions). Les articulations ayant le même rôle fonctionnel (ex: abduction du pouce, flexion de l'index) sont mappées sur des indices fixes à travers différentes incarnations. Les mains à plus faible DoF utilisent un remplissage par zéros (zero-padding) pour les dimensions inutilisées, tandis que les mains à plus haut DoF occupent plus d'indices. Cela permet à une seule politique de produire des actions pour des mains hétérogènes.
Génération d'Incarnation : Pour entraîner une politique agnostique à la morphologie, les auteurs construisent une large distribution d'incarnations de mains. Ils partent de mains canoniques (Allegro, LEAP, RAPID) et randomisent procéduralement les paramètres physiques liés à la morphologie (longueurs de segments, masses, inerties) tout en préservant la topologie du graphe cinématique et la structure d'actionnement. Cela crée un ensemble d'entraînement "riche en morphologie" ( $E_{train}$ ).
Transformer Conditionné par l'Historique : La politique se conditionne sur une fenêtre d'historique finie ( $H$ $H$ ) de paires observation-action.
- Entrée : L'historique est tokenisé et traité par un encodeur Transformer avec des masques d'auto-attention causale pour empêcher la fuite d'informations futures.
- Inférence : L'embedding final sert de résumé compact de l'historique, inférant implicitement la morphologie latente et la dynamique de la main actuelle. Cet embedding est transmis à une tête d'action MLP pour produire la distribution de contrôle.
- Espace d'Observation : Comprend la pose/quaternion de l'objet, la pose cible, les actions précédentes, les positions/vitesses articulaires, les états des extrémités des doigts/paume, les forces de contact et les nuages de points de l'objet.
Cadre d'Entraînement : Les auteurs utilisent un cadre d'entraînement distribué (Isaac Lab) où les variantes randomisées d'une même main canonique sont regroupées sur des GPU uniques, tandis que les types canoniques distincts sont assignés à des GPU différents. Le Distributed Data Parallel (DDP) avec synchronisation de gradient par all-reduce assure qu'une politique partagée unique est entraînée à travers cette diverse distribution de morphologie.

Contributions Clés

Architecture DexFormer : Introduction d'une politique Transformer conditionnée par l'historique, entraînée sur une grande échelle d'incarnations de mains, qui réalise une inférence de morphologie implicite pour un contrôle adaptatif sans encodage d'incarnation explicite.
Pipeline d'Entraînement Scalable : Développement d'un pipeline de randomisation de morphologie à grande échelle et d'un cadre d'entraînement distribué spécifiquement conçu pour l'entraînement de mains dextres cross-embodiment.
Généralisation Zero-Shot : Démonstration qu'une politique unique agnostique à la morphologie peut se généraliser à des incarnations de mains non vues et à plusieurs mains réelles (Leap, Allegro, Rapid) sans retargeting manuel, sans encodages de morphologie explicites, ni têtes de politique séparées.

Résultats Expérimentaux

Les auteurs ont évalué DexFormer via des expériences extensives en simulation et dans le monde réel :

Comparaison avec les Baselines : DexFormer a systématiquement surpassé les baselines basées sur LSTM et GRU en termes de taux de succès de saisie sur les mains LEAP, Allegro et RAPID. Par exemple, sur la main canonique LEAP, DexFormer a atteint un taux de succès de 83,25 % contre 66,81 % pour LSTM et 58,91 % pour GRU.
Transfert Zero-Shot : La politique a démontré une forte généralisation zero-shot à 32 variantes non vues de chaque main canonique ainsi qu'aux mains canoniques elles-mêmes, qui avaient été écartées lors de l'entraînement.
Études d'Ablation :
- Contexte Temporel : L'utilisation d'un historique de 5 étapes a considérablement amélioré les performances par rapport à un historique de 1 étape, particulièrement pour les mains Allegro et LEAP.
- Diversité Morphologique : Augmenter le nombre d'incarnations de formation distinctes (de 25 à 100 par main canonique) a substantiellement amélioré la performance zero-shot, confirmant que l'exposition à l'hétérogénéité renforce la généralisation.
- Parallélisme : Le passage à l'échelle du nombre d'environnements parallèles par GPU a généralement amélioré les performances, bien qu'une certaine instabilité ait été notée pour la main RAPID, attribuée à des déséquilibres statistiques de morphologie.
- Robustesse : La politique a montré une résilience au blocage d'articulations, la performance se dégradant gracieusement selon l'importance anatomique de l'articulation bloquée.
Déploiement Réel : La politique a été déployée avec succès sur un bras Franka avec une main LEAP réelle. En utilisant la distillation hors ligne à partir de 2000 épisodes de démonstrations expertes, le système a réalisé un transfert zero-shot de la simulation à la réalité, soulevant avec succès des objets vers des positions cibles.

Signification et Revendications

L'article affirme que DexFormer établit une base scalable pour la manipulation dextre cross-embodiment. En exploitant le contexte temporel pour inférer implicitement la structure physique, l'approche élimine le besoin de réglage spécifique à l'incarnation ou de modélisation cinématique explicite. Les résultats suggèrent que l'inférence temporelle sensible à la dynamique est un mécanisme efficace pour la généralisation cross-embodiment. Les auteurs postulent que ce travail fait le pont entre l'apprentissage par renforcement (RL) à grande échelle et les modèles conditionnés par l'historique, offrant une voie vers des politiques de manipulation unifiées applicables à diverses incarnations robotiques et scénarios de déploiement.

Les auteurs restent modestes quant aux limites, notant que l'entraînement actuel est limité à des géométries d'objets spécifiques et que les incarnations à plus haut DoF (comme RAPID) présentent encore de légères baisses de performance en mode zero-shot. Ils identifient des directions futures concernant les modèles de type fondation, la distillation multi-experts et l'amélioration des stratégies d'agrégation de gradients pour les topologies cinématiques mixtes.