💻 computer science

ContactMimic: Humanoid Object Interaction via Contact Control

ContactMimic est un cadre d'apprentissage qui améliore l'interaction entre humanoïdes et objets en suivant explicitement des commandes de contact binaires parallèlement aux trajectoires de points clés, permettant un contact physique précis et un contrôle du contact à la demande à travers diverses tâches de manipulation.

Auteurs originaux : Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

Publié 2026-07-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinyao Li, Xialin He, Runpei Dong, Saurabh Gupta

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à danser. Pendant longtemps, la meilleure façon de le faire consistait à donner au robot une vidéo d'un danseur humain et à lui dire : « Copie exactement ces positions corporelles. » Le robot déplaçait ses articulations pour correspondre parfaitement aux hanches, aux coudes et aux genoux de l'humain.

Mais voici le problème : copier simplement la forme de la danse ne suffit pas.

Si un danseur humain agite la main près d'un tableau blanc, il ne fait qu'agiter la main. S'il appuie sa main contre le tableau blanc, il est en train de l'essuyer. Si un robot ne regarde que la position de la main, il pourrait agiter la main juste à côté du tableau et penser qu'il fait du bon travail, même s'il n'est pas réellement en train de nettoyer quoi que ce soit. C'est comme essayer d'ouvrir une porte en se tenant juste à côté, sans jamais toucher la poignée.

C'est l'idée centrale derrière un nouveau projet appelé CONTACTMIMIC. Les chercheurs ont découvert que pour rendre un robot vraiment utile pour des tâches comme s'asseoir, essuyer ou pousser des meubles, on ne peut pas seulement lui dire où être ; il faut lui dire s'il doit toucher les choses.

L'« interrupteur magique » pour le toucher

L'équipe a construit un système où, au lieu de simplement donner un chemin à suivre au robot, elle lui donne un interrupteur. Cet interrupte est une simple étiquette « Oui/Non » pour chaque partie du corps du robot.

Interrupteur ON (Contact ✔) : « D'accord, robot, je veux que tu presses ta main contre ce tableau blanc. »
Interrupteur OFF (Contact ✘) : « D'accord, robot, déplace ta main exactement au même endroit, mais ne touche pas le tableau. Contente-toi de planer au-dessus. »

Dans leurs tests, ils ont montré qu'avec cet interrupteur, le même robot pouvait effectuer exactement les mêmes mouvements de danse mais changer complètement de comportement. Il pouvait s'asseoir dans une chaise et s'appuyer en arrière, ou s'asseoir dans cette même chaise et rester droit sans toucher le dossier. Il pouvait ramasser une boîte, ou simplement tenir ses mains en forme de saisie d'une boîte sans réellement la soulever.

Pourquoi était-ce si difficile ?

Vous pourriez vous dire : « Pourquoi ne pas simplement apprendre au robot à toucher les objets naturellement ? » Les chercheurs ont découvert un piège sournois dans les données.

Lorsque les humains interagissent avec des objets, leurs positions corporelles et leurs contacts sont généralement liés de manière indissociable. Si un humain s'assoit sur une chaise, son derrière est toujours en contact avec l'assise. Si un humain essuie un tableau, sa main est toujours en contact avec la surface. Par conséquent, si vous montrez simplement à un robot des milliers de vidéos de personnes assises, le robot apprend : « Oh, si les hanches sont dans cette position, le derrière doit être en contact avec la chaise. » Il cesse d'écouter la commande de « contact » parce qu'il pense que la position raconte toute l'histoire.

Pour correr cela, l'équipe a dû faire preuve de créativité. Ils ont pris leurs données d'entraînement et ont commencé à briser les règles :

L'objet « Fantôme » : Ils ont pris une vidéo de quelqu'un essuyant un tableau mais ont dit au robot : « Le tableau n'est pas là. » Le robot a dû apprendre à déplacer sa main à l'endroit du tableau sans toucher quoi que ce soit.
L'objet « Gonflé » : Ils ont rendu les objets dans la simulation plus gros (comme un ballon que l'on gonfle) afin que le robot doive déplacer sa main autour de l'objet pour l'éviter, même si la commande de « contact » indiquait qu'il devrait le toucher.
Le faux contact : Ils ont pris une vidéo où le robot était censé toucher, mais ils lui ont dit : « Ne touche pas », et vice versa.

En mélangeant tout cela, ils ont forcé le robot à arrêter de deviner en fonction de la position et à commencer à réellement écouter l'interrupteur de contact.

Est-ce que cela a fonctionné ?

L'équipe a testé cela sur un vrai robot appelé le Unitree G1 (un humanoïde à 29 articulations) et dans une simulation informatique.

Dans la simulation : Ils ont exécuté 10 tâches différentes, comme donner un coup de pied dans une chaise, monter sur une chaise et ramasser une boîte. Lorsqu'ils basculaient l'interrupteur sur « Contact », le robot établissait le contact. Lorsqu'ils le basculaient sur « Pas de contact », le robot cessait de toucher. Le robot pouvait même soulever une boîte simplement en lui demandant de la toucher, sans avoir besoin d'instructions spéciales de type « soulève la boîte ».
Dans le monde réel : Ils ont testé cinq mouvements réels, incluant l'essuyage d'un tableau blanc et le fait de s'appuyer sur le dossier d'une chaise.
- Lorsqu'on lui a dit d'essuyer, la main du robot a pressé assez fort pour laisser une marque visible sur le tableau.
- Lorsqu'on lui a dit de planer, la main s'est déplacée au même endroit mais n'a laissé aucune marque.
- Lorsqu'on lui a dit de s'appuyer, le robot a posé son poids sur le dossier de la chaise. Lorsqu'on lui a dit de ne pas s'appuyer, il est resté droit, en équilibre par lui-même.

Les résultats sont impressionnants. Dans le monde réel, le robot a réussi à suivre la commande de contact environ 90 % à 100 % du temps pour la plupart des tâches (par exemple, 9 fois sur 10 pour s'appuyer sur un dossier, et 5 fois sur 5 pour essuyer le tableau).

Ce qu'il ne peut pas faire (encore)

L'article est très clair sur ce qu'il n'est pas.

Ce n'est pas un robot « universel » capable de faire n'importe quelle tâche avec un seul cerveau. Les chercheurs ont entraîné un « cerveau » (politique de contrôle) distinct pour chaque mouvement spécifique. Ils n'ont pas encore trouvé comment faire en sorte qu'un seul robot puisse faire toutes ces choses à la fois.
Il repose sur des vidéos de haute qualité d'humains interagissant avec des objets. Ils n'ont pas utilisé de vidéos aléatoires d'Internet ; ils ont utilisé un ensemble de données spécifique appelé HUMOTO.
Ils n'ont pas utilisé de capteurs de toucher spéciaux sur la peau du robot. Au lieu de cela, le robot a appris s'il touchait quelque chose simplement en ressentant ses propres muscles et articulations (proprioception). Ils ont prouvé que cela fonctionne en montrant que si on demandait à un programme informatique simple de deviner « Est-ce que le robot touche ? » en se basant sur les sensations internes du robot, il avait raison presque tout le temps (avec des scores F1 d'environ 0,90 à 0,99 pour la plupart des tâches).

L'essentiel à retenir

L'article suggère que si vous voulez qu'un robot accomplisse des tâches physiques utiles, vous devez arrêter de simplement lui dire où aller. Vous devez explicitement lui dire s'il doit toucher. En brisant le lien entre « position » et « contact » pendant l'entraînement, ils ont appris au robot à écouter un simple interrupteur. C'est une étape vers des robots qui ne font pas seulement semblant de faire une tâche, mais qui accomplissent réellement la tâche en établissant le contact physique approprié.

Résumé Technique : CONTACTMIMIC

Énoncé du Problème

Les systèmes actuels de locomotion-manipulation du corps entier pour les humanoïdes reposent principalement sur le suivi de trajectoires de points clés (cibles cinématiques) pour imiter le mouvement humain. Cependant, pour de nombreuses tâches d'interaction utiles — comme s'asseoir sur une chaise, essuyer un tableau blanc ou pousser des meubles — le succès ne se définit pas seulement par la pose du robot, mais par un contact physique explicite avec l'environnement.

Les trackers existants reproduisent souvent la forme d'un mouvement mais échouent à établir le contact physique nécessaire (par exemple, agiter la main près d'un tableau plutôt que de l'essuyer). Par conséquent, ces systèmes sont insuffisants pour l'exécution de tâches et nécessitent généralement un ajustement fin avec des récompenses spécifiques à la tâche pour réussir. De plus, les méthodes actuelles ne possèdent pas la capacité de contrôler explicitement si le contact doit être établi ou supprimé lors du déploiement, ce qui limite leur polyvalence dans des scénarios où la même géométrie de mouvement nécessite des comportements de contact différents (par exemple, s'asseoir sur une chaise vs s'accroupir sans la toucher).

Méthodologie

Les auteurs proposent CONTACTMIMIC, un cadre d'apprentissage qui permet un comportement de contact contrôlable de manière explicite au moment du test, parallèlement au suivi des points clés. Le système repose sur trois piliers fondamentaux :

1. Politique Conditionnée par le Contact

La politique, $\pi_\theta(a_t | p_t, \bar{k}_t, \bar{c}_t)$ , prend trois entrées :

Proprioception ( $p_t$ ) : L'état interne du robot.
Cibles de Points Clés ( $\bar{k}_t$ ) : Les trajectoires de référence pour les parties du corps.
Étiquettes de Contact Binaires ( $\bar{c}_t$ ) : Une carte par pas de temps et par partie du corps indiquant si le contact avec des parties spécifiques de l'objet est souhaité (1) ou supprimé (0).

La politique produit des angles de joints cibles, qui sont convertis en couples via un contrôleur PD. Notamment, le système n'utilise pas de capteurs de contact explicites comme entrées ; il s'appuie sur la proprioception pour inférer l'état de contact au moment de l'exécution.

2. Conception de la Récompense

Pour entraîner la politique à respecter les commandes de contact, les auteurs introduisent des récompenses sensibles au contact aux côtés des termes standards de suivi et de régularisation :

Récompense de Correspondance d'Étiquette de Contact ( $r^{lm}_t$ ) : Encourage la politique à correspondre à l'état de contact commandé (Taux de Vrais Positifs et Taux de Vrais Négatifs) entre les parties du corps du robot et les surfaces de l'objet. Deux variantes sont utilisées : la Précision Équilibrée (par défaut) et le TP-FP (pour les mouvements à contact clairsemé).
Récompense de Distance de Contact ( $r^{cd}_t$ ) :
- Terme positif : Encourage les parties du corps destinées à contacter un objet à rester proches de la surface.
- Terme négatif : Pénalise les parties du corps destinées à ne pas contacter un objet si elles s'en approchent trop (à l'intérieur d'un seuil $\delta$ ).

3. Augmentation de Données pour Briser les Corrélations

Un défi critique est que, dans les données brutes d'interaction humain-objet, les trajectoires de points clés et les modèles de contact sont fortement corrélés (un mouvement spécifique implique généralement un schéma de contact spécifique). Si elles sont entraînées de manière naïve, la politique pourrait ignorer la commande de contact et inférer le contact uniquement à partir des points clés.

Pour atténuer cela, les auteurs proposent un schéma d'augmentation qui génère des paires de mouvements ayant des structures de points clés similaires mais des étiquettes de contact divergentes :

Inversion de l'Étiquette de Contact : Conserve la trajectoire originale mais inverse les étiquettes de contact, pénalisant le robot pour avoir établi un contact avec l'objet.
Suppression de l'Objet : Supprime l'objet d'interaction de la simulation et force les étiquettes de contact à zéro tout en gardant la trajectoire des points clés intacte.
Géométrie Gonflée : Gonfle le maillage de collision de l'objet lors du retargeting pour forcer le robot à contourner l'objet, créant ainsi une trajectoire perturbée où les contacts ne se produisent naturellement pas, lesquelles sont ensuite étiquetées comme zéro.

Ces paires augmentées forcent la politique à prêter attention à la commande de contact explicite plutôt qu'à inférer le contact uniquement à partir de la géométrie.

Contributions Clés

Contrôle de Contact Explicite : Un cadre qui permet à une seule politique de basculer entre établir ou supprimer le contact physique pour la même trajectoire de points clés, permettant un contrôle précis de l'interaction (ex: s'asseoir avec un dossier vs sans).
Manipulation Sans Tâche Spécifique : La capacité de compléter des tâches de manipulation d'objets (ex: soulever une boîte) en utilisant uniquement le suivi des trajectoires de points clés et de contact, sans nécessiter de récompenses spécifiques à la tâche.
Stratégie d'Ingénierie de Données : La démonstration que briser la corrélation entre les points clés et les contacts via une augmentation spécifique (inversion, suppression, gonflement) est nécessaire pour apprendre un comportement de conditionnement de contact authentique.
Inférence Proprioceptive : La découverte que la politique apprend implicitement à inférer l'état de contact au moment de l'exécution à partir de la proprioception seule, éliminant le besoin de capteurs de contact externes lors de l'inférence.

Résultats Expérimentaux

Le cadre a été évalué sur le robot humanoïde Unitree G1 à travers 10 mouvements d'interaction humain-objet divers (ex: essuyer, s'asseoir, s'appuyer, donner un coup de pied, ramasser des boîtes) en simulation et dans le monde réel.

Contrôlabilité du Contact : En simulation et lors de tests réels, la politique a suivi avec succès les commandes de contact. Lorsqu'on lui ordonne de contacter ( $\checkmark$ ), le robot établit un contact physique (ex: effacer un tableau blanc, s'appuyer sur un dossier). Lorsqu'on lui ordonne de supprimer le contact ( $\times$ ), le robot maintient la même géométrie de pose mais évite le contact.
Comparaison avec les Baselines : Comparé à BeyondMimic (un tracker de points clés de pointe), CONTACTMIMIC a atteint des métriques de contact significativement plus élevées (corps en contact et impulsion) tout en maintenant une précision de suivi de points clés (MPJPE) comparable. BeyondMimic a échoué à établir le contact physique nécessaire pour les tâches de manipulation.
Études d'Ablation : La suppression des stratégies d'augmentation de données proposées a entraîné une chute significative de la contrôlabilité du contact, confirmant que l'augmentation est essentielle pour découpler le comportement de contact de la géométrie des points clés.
Transfert au Monde Réel : La politique a été transférée avec succès sur le robot réel Unitree G1, démontrant une robuste contrôlabilité du contact à travers cinq mouvements différents (ex: essuyer, s'asseoir, s'appuyer) avec des taux de réussite élevés.

Signification et Revendications

L'article affirme que CONTACTMIMIC représente une étape vers des humanoïdes qui interagissent avec le monde de manière intentionnelle plutôt qu'incidente. En introduisant le conditionnement de contact explicite, les auteurs fournissent une interface simple et générale pour exprimer des tâches riches en contacts.

La signification réside dans :

Découplage de la Géométrie et du Contact : Prouver que le comportement de contact peut être contrôlé indépendamment de la trajectoire géométrique du mouvement.
Élimination des Récompenses Spécifiques à la Tâche : Montrer que des tâches de manipulation complexes peuvent être apprises simplement en faisant correspondre les trajectoires de contact et de points clés, supprimant le besoin de récompenses de tâches conçues à la main.
Scalabilité : L'approche suggère qu'une architecture de politique unique peut gérer divers modes d'interaction (contact vs non-contact) simplement en basculant une étiquette, offrant une voie vers des robots humanoïdes plus versatiles et adaptables.

Les auteurs reconnaissent des limites, notamment le besoin actuel d'entraîner des politiques séparées par mouvement (plutôt qu'un tracker universel), la dépendance à des jeux de données d'interaction humain-objet de haute qualité (HUMOTO), et l'évaluation sur une seule plateforme robotique. Des travaux futurs sont suggérés pour traiter l'entraînement conjoint sur plusieurs mouvements et l'utilisation de données vidéo "in-the-wild".