💻 computer science

Robots that Collaborate: Sequential Asymmetric Imitation for Learning Coupled Robot Policies

Cet article propose l'Imitation Asymétrique Séquentielle (SAI), un cadre d'apprentissage basé sur un curriculum qui permet à deux manipulateurs mobiles bimanuels de maîtriser des tâches collaboratives physiquement couplées grâce à un entraînement unilatéral par étapes et des interventions éparses, éliminant ainsi le besoin de démonstrations synchronisées par deux opérateurs ou de communication explicite entre les robots.

Auteurs originaux : Yincong Chen, Ranpeng Qiu, Zihao Li, Yanan Zhou, Guoqiang Ren, Weiming Zhi

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yincong Chen, Ranpeng Qiu, Zihao Li, Yanan Zhou, Guoqiang Ren, Weiming Zhi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à deux robots à porter un objet lourd et encombrant ensemble — comme un matelas géant et mou ou une poutre métallique rigide. Le problème n'est pas que les robots sont mauvais pour bouger leurs bras ; ils sont en réalité très forts. Le problème est le timing.

Si le Robot A tire le matelas alors que le Robot B dort encore, le matelas se déchire, ou le Robot B est traîné sur le sol. Si le Robot A lâche trop tôt, l'objet s'écrase. Par le passé, apprendre aux robots à faire cela nécessitait deux professeurs humains tenant deux manettes séparées, parfaitement synchronisés, essayant de bouger les deux robots exactement au même moment. C'est comme essayer d'enseigner la danse à deux danseurs en ayant deux chorégraphes qui crient des instructions en parfaite unison — c'est coûteux, difficile et compliqué à réussir.

Ce document présente une nouvelle façon d'enseigner aux robots appelée Imitation Asymétrique Séquentielle (SAI). Voyez cela comme une « pièce de théâtre en trois actes » où les robots apprennent à danser ensemble, mais où un seul professeur humain est nécessaire, et où les leçons se déroulent l'une après l'autre.

Voici comment fonctionnent les trois actes :

Acte 1 : La répétition en solo avec un partenaire « souple »

D'abord, nous apprenons au Robot A comment faire le travail. Mais au lieu d'un autre robot, le Robot A travaille avec un humain (ou un partenaire passif) qui est très compliant. Imaginez que le Robot A essaie de tirer une nappe, et l'humain tient l'autre côté mais laisse la nappe glisser doucement entre ses doigts. Le Robot A apprend les mouvements de base : « Attrape ici, tire là, lève haut ».

L'astuce : L'humain est si flexible que le Robot A n'a pas encore besoin de se soucier du timing. Il apprend simplement les mouvements physiques. Pour s'assurer que le Robot A ne soit pas confus par le visage ou les vêtements de l'humain, l'ordinateur « floute » l'humain de la vue de la caméra, forçant le Robot A à se concentrer uniquement sur l'objet.

Acte 2 : Le partenaire « dur »

Maintenant, nous figeons le cerveau du Robot A. Il est désormais une politique fixe et immuable. Nous introduisons le Robot B. Un seul opérateur humain contrôle maintenant le Robot B, mais cette fois, le Robot B doit travailler contre le véritable Robot A.

La leçon : Le Robot A n'est pas parfait. Il peut être un peu lent, ou un peu saccadé. Le Robot B apprend à observer le Robot A et à s'adapter. Si le Robot A est en retard, le Robot B apprend à attendre. Si le Robot A bouge trop vite, le Robot B apprend à accélérer. Le Robot B apprend à danser avec un partenaire qui possède ses propres particularités, et non un partenaire parfait.

Acte 3 : Les corrections sous le « projecteur »

Enfin, nous mettons les deux robots ensemble. Ils essaient d'accomplir la tâche, mais ils feront encore des erreurs occasionnelles. Peut-être que le Robot A tire trop fort pendant que le Robot B est bloqué.

La solution : Au lieu de réapprendre toute la danse, l'humain n'intervient que lorsque les choses tournent mal. Si le Robot A commence à tirer trop tôt, l'humain pousse doucement le Robot A pour lui dire d'« attendre ». Le robot apprend spécifiquement comment corriger ces erreurs. C'est comme un entraîneur qui entre sur le terrain uniquement lorsqu'un joueur fait une mauvaise passe, lui montrant exactement comment corriger son erreur, plutôt que de le faire faire des tours de terrain toute la journée.

Pourquoi cela importe

Le document montre qu'en changeant avec qui les robots s'exercent et quand ils s'exercent, ils apprenent à se coordonner sans avoir besoin de :

Deux humains criant des instructions en même temps.
Robots se parlant entre eux (pas de messages du type « Hé, je suis prêt ! »).
Mathématiques complexes pour prédire l'avenir.

Ils apprennent simplement en ressentant l'objet et en observant leur partenaire.

Les résultats

Les chercheurs ont testé cela sur de vrais robots avec de vrais objets (comme étaler une nappe, déplacer du linge ou porter une lourde poutre).

Sans cette méthode : Les robots échouaient souvent car ils n'étaient pas synchronisés (comme deux personnes essayant d'ouvrir une porte depuis des côtés opposés).
Avec cette méthode : Les robots ont appris à attendre si leur partenaire était lent, à céder s'il y avait un conflit, et à se synchroniser dans leurs mouvements. Ils ont réussi beaucoup plus souvent.

Ce qu'il faut retenir

Vous n'avez pas besoin d'une équipe parfaite et synchronisée pour apprendre aux robots à travailler ensemble. Vous avez juste besoin de structurer leurs séances d'entraînement de sorte qu'ils apprennent progressivement à gérer des partenaires imparfaits. Cela transforme un problème de coordination difficile en une courbe d'apprentissage simple, étape par étape.

Résumé technique : Imitation asymétrique séquentielle pour l'apprentissage de politiques de robots couplés

Énoncé du problème

La manipulation mobile collaborative impliquant deux robots physiquement couplés via des objets partagés (rigides ou déformables) présente un défi de coordination qui dépasse les compétences locales individuelles. Le succès nécessite un alignement précis des phases de la tâche, une adaptation aux délais du partenaire et une capacité à céder lors de conflits d'interaction.

Les approches existantes font face à des goulots d'étranglement importants :

La planification basée sur des modèles peine avec les objets déformables, les contacts intermittents et la dynamique non modélisée.
L'apprentissage par renforcement multi-agents souffre de récompenses éparses et de difficultés de transfert de la simulation vers le réel.
L'imitation standard pour les tâches de robots duaux nécessite généralement des démonstrations conjointes synchronisées, où deux opérateurs contrôlent les deux robots simultanément avec un alignement temporel précis. La collecte de ces données est coûteuse, nécessant plusieurs canaux de téléopération et des interfaces calibrées.

La question centrale abordée est la suivante : Des politiques de robots duaux couplés peuvent-elles être apprises à partir de démonstrations d'un téléopérateur unique sans données de double opérateur synchronisées, sans apprentissage par renforcement, ni communication explicite entre les robots ?

Méthodologie : Imitation asymétrique séquentielle (SAI)

Les auteurs proposent l'Imitation asymétrique séquentielle (SAI), un curriculum par étapes qui apprend des comportements physiquement couplés en utilisant un seul téléopérateur. La méthode décompose l'apprentissage de la coordination en trois étapes asymétriques, faisant évoluer la « distribution du partenaire » perçue par les robots d'un soutien compliant vers une interaction autonome.

Le curriculum à trois étapes

La séquence de collecte de données est définie comme : $D^{solo}_A \rightarrow D^{demo}_{B|A} \rightarrow D^{int}_A$ .

Étape 1 : Amorçage du Robot A (Solo avec soutien humain)
- Configuration : Le Robot A effectue la tâche tandis qu'un humain compliant ou un partenaire passif soutient l'autre côté de l'objet partagé.
- Technique : Le Robot A apprend les compétences de base de la tâche (saisie, traction, alignement) via l'imitation comportementale (behavioral cloning).
- Augmentation : Pour éviter le surapprentissage de l'apparence visuelle du partenaire humain, une augmentation par masquage du partenaire est appliquée. La région du partenaire de soutien dans les images est remplacée par des perturbations aléatoires (jitter de couleur, flou, bruit), forçant la politique à se concentrer sur l'état de l'objet plutôt que sur l'identité du partenaire.
- Résultat : Une politique initiale $\pi^{(1)}_A$ capable d'exécuter la tâche avec un soutien externe, mais manquant de coordination avec un robot autonome.
Étape 2 : Entraînement du Robot B contre le Robot A déployé
- Configuration : $\pi^{(1)}_A$ est gelée et déployée sur le Robot A. Un opérateur unique téléopère le Robot B tout en interagissant avec le Robot A déployé.
- Technique : $\pi^{(1)}_A$ est exécutée avec des variations bornées (mise à l'échelle de la vitesse, bruit d'action, décalages temporels) pour exposer le Robot B à des écarts réalistes.
- Résultat : Le Robot B apprend à compenser le timing, le profil de mouvement et les erreurs résiduelles du Robot A via l'imitation comportementale, produisant $\pi^{(2)}_B$ . Cette étape est asymétrique : le Robot B apprend contre le comportement réel appris du Robot A, et non contre un partenaire humain idéalisé ou synchronisé.
Étape 3 : Affinement par intervention de type DAgger
- Configuration : Les $\pi^{(1)}_A$ et $\pi^{(2)}_B$ sont déployées ensemble.
- Technique : Un opérateur unique effectue des interventions éparses sur le Robot A uniquement lorsque des échecs de coordination surviennent (ex: traction prématurée, échec de cession, décalage de phase). Cela suit une approche de type DAgger où l'apprenant induit des états, et des corrections sont fournies près des limites de défaillance.
- Raffinement : Le jeu de données d'intervention $D^{int}_A$ est agrégé avec les démonstrations solo originales. Les interventions sont pondérées plus fortement pour enseigner au Robot A des comportements dépendants du partenaire (attente, cession, ralentissement) tout en préservant les compétences de la tâche originale. Un masquage optionnel des dimensions d'action permet de corriger des composants spécifiques (ex: mouvement de la base) sans altérer les autres.
- Résultat : Une politique raffinée $\pi^{(3)}_A$ qui s'est adaptée au comportement autonome du Robot B.

Instanciation de la politique

SAI est un cadre agnostique au curriculum. Dans les expériences, il est instancié avec une politique décentralisée de type ACT (Action Chunking Transformer) :

Entrées : Observations RGB locales (vue de dessus et caméras de poignet), proprioception et actions précédentes.
Architecture : Les caractéristiques sont extraites via un backbone DINOv3 gelé, fusionnées avec les caractéristiques d'état, et encodées par une fenêtre d'historique GRU ( $H=30$ étapes).
Sortie : Une tête d'action en cascade prédit d'abord les commandes de la base ( $v_x, v_y, \omega$ ), suivies des commandes du bras conditionnées par la prédiction de la base. Cela garantit la cohérence base-bras.
Contrainte : Aucune communication inter-robot explicite, aucun état privilégié du partenaire, ni signal de coordination centralisé n'est utilisé.

Contributions clés

Imitation asymétrique séquentielle (SAI) : Un curriculum pour un seul téléopérateur permettant d'apprendre des politiques de robots duaux physiquement couplés sans données de double opérateur synchronisées, sans apprentissage par renforcement, ni communication explicite.
Curriculum de distribution du partenaire : Démonstration que le passage de la distribution du partenaire du soutien compliant $\to$ politique apprise gelée $\to$ exécution robot-robot en boucle fermée induit l'alignement de phase et la cession dépendante du partenaire.
Validation en conditions réelles : Preuve empirique montrant que SAI améliore le succès des tâches, la synchronisation des phases et le comportement de cession sur des tâches riches en contacts impliquant des objets rigides et déformables, surpassant l'imitation indépendante et les bases d'ablation de curriculum.

Résultats expérimentaux

La méthode a été évaluée sur quatre tâches de robots duaux en conditions réelles : Étalement de lit, Étalement de nappe, Collecte de linge et Transport de peinture.

Succès de la tâche et coordination : SAI a significativement surpassé l'Imitation Indépendante (entraînement séparé des robots) et l'Imitation Conditionnée par le Partenaire (entraînement de B contre A, mais sans l'étape 3 d'intervention).
- Exemple (Collecte de linge) : SAI a atteint 70,0 % de succès contre 50,0 % pour l'Imitation Indépendante et 63,3 % pour l'Imitation Conditionnée par le Partenaire.
- Métrique de Cession/Attente : SAI a montré une amélioration marquée de la cession dépendante du partenaire (ex: 71,7 % pour le Linge contre 31,7 % pour l'Imitation Indépendante), indiquant que les robots ont appris à ralentir ou à attendre que le partenaire se rétablisse.
Robustesse au délai du partenaire : Dans des expériences de délai contrôlé (Étalement de nappe), l'Imitation Indépendante a continué de tirer malgré la pause du partenaire, causant un mauvais alignement de l'objet. SAI a réussi à ralentir et à attendre la reprise du partenaire.
Composants de la politique : Les études d'ablation ont confirmé que les jetons d'historie temporel et les têtes base-bras en cascade améliorent la fiabilité de l'exécution (réduisant le relâchement prématuré et l'abaissement), mais que les gains de coopération sont principalement portés par le curriculum de données de la SAI.
Compatibilité du Backbone : SAI a amélioré les performances à travers différents backbones d'imitation (ACT et Diffusion Policy), confirmant qu'il s'agit d'une contribution de curriculum de données plutôt que d'un artefact d'un décodeur spécifique.

Signification et affirmations

L'article affirme que la collaboration physiquement couplée peut être apprise grâce à la structure du curriculum d'imitation plutôt que par des démonstrations de multi-opérateurs synchronisés ou des mécanismes de coordination explicites.

Couplage de politique implicite : Les résultats suggèrent qu'une « coordination sensible au partenaire » peut émerger d'observations locales et d'une interaction physique partagée lorsque la distribution d'entraînement inclut des comportements de partenaire réalistes (délais, désalignements).
Praticité : En ne nécessitant qu'un seul téléopérateur et en évitant les matériels de synchronisation complexes ou l'apprentissage par renforcement, la SAI offre une voie plus scalable pour le déploiement de manipulateurs mobiles collaboratifs.
Limites : Les auteurs notent que la SAI suppose que les robots peuvent apprendre des primitives autonomes utiles et que les échecs peuvent être corrigés via des interventions à agent unique. Le jeu de données d'intervention actuel est relativement petit (~30 % de la taille de base), ce qui suggère que les comportements de récupération n'ont pas encore saturé et pourraient bénéficier d'une collecte de données plus ciblée autour des modes de défaillance rares.