💻 computer science

Compliance for Free: Learning Identifiable Impedance via Bilateral Teleoperation

Cet article propose une méthode utilisant la téléopération bilatérale à quatre canaux pour identifier et enregistrer la rigidité de l'opérateur à partir de capteurs de couple articulaires existants, permettant ainsi l'ajustement fin de modèles vision-langage-action afin de générer des étiquettes de compliance dépendantes de la direction à un coût d'annotation nul pour les tâches riches en contacts.

Auteurs originaux : Harsha Guda, Adrià Colomé, Carme Torras

Publié 2026-09-18

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harsha Guda, Adrià Colomé, Carme Torras

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots sont devenus remarquablement doués pour percevoir le monde et décider de leur prochain mouvement. L'intelligence artificielle moderne peut regarder une photo d'une pièce en désordre et dire à un bras robotisé exactement comment ramasser une tasse ou ouvrir un tiroir. Mais il existe une étape finale, critique, où ces machines trébuchent souvent : le moment où elles touchent quelque chose. Bien qu'on puisse dire à un robot où aller, il a du mal à savoir avec quelle force pousser. Les tâches qui nécessitent un toucher délicat, comme essuyer un tableau blanc sans le rayer, ou insérer une cheville dans un trou étroit, dépendent d'une propriété appelée la compliance. Il s'agit de la capacité à céder ou à résister à la pression de manière contrôlée. Pendant longtemps, enseigner cette compétence aux robots a été difficile car les méthodes standards utilisées par les humains pour montrer aux robots quoi faire ne font qu'enregistrer la position finale du robot. Elles ignorent la force invisible que l'humain appliquait, laissant le robot deviner s'il doit être rigide ou souple.

Une équipe de chercheurs à Barcelone a trouvé un moyen de résoudre ce manque d'information sans ajouter de capteurs de force-couple ou tactiles coûteux. Ils ont découvert qu'en utilisant un type spécifique de configuration de télécommande, ils pouvaient mathématiquement séparer la cible voulue par l'humain de la force qu'il appliquait, en utilisant uniquement les capteurs de couple de joint déjà présents sur le bras du robot. Dans leurs expériences, un opérateur humain contrôlait un bras robotique via un système où le propre bras de l'opérateur déplaçait un second bras robotique identique. En observant comment le bras de l'opérateur se déplaçait par rapport à la façon dont le bras du robot se déplaçait réellement, les chercheurs pouvaient calculer exactement la rigidité que l'opérateur souhaitait appliquer à chaque instant. Ils ont utilisé ces nouvelles données pour entraîner un modèle d'intelligence artificielle qui peut désormais recevoir une instruction verbale simple, telle que « essuie cette marque fermement », et ajuster sa propre rigidité pour correspondre, plutôt que de simplement se déplacer vers une position.

Le cœur du problème que les chercheurs ont abordé est une confusion qui survient chaque fois que nous essayons d'enseigner quelque chose à un robot en l'observant. Imaginez un humain poussant un bras robotique contre un mur. Si le robot finit dans un certain endroit, nous ne savons pas si l'humain a poussé fort contre un ressort rigide ou doucement contre un ressort souple ; les deux scénarios pourraient aboutir au même endroit exact. Les dispositifs d'enregistrement standards ne voient que la position finale, ils ne peuvent donc pas faire la différence. Cela rend impossible l'enseignement du concept de « ferme » par rapport à « doux » simplement en regardant où va le robot. Les chercheurs ont réalisé que pour corriger cela, ils avaient besoin d'une deuxième mesure indépendante de l'endroit où l'humain voulait aller, distincte de l'endroit où le robot s'est réellement retrouvé.

Pour résoudre ce problème, ils ont utilisé un système de téléopération bilatéral à quatre canaux. Dans cette configuration, un humain tient un bras robotique « leader » et un bras robotique « suiveur » tente de le copier. Crucialement, le système n'envoie pas seulement des commandes de position ; il envoie également des informations de force dans les deux sens. Lorsque le bras suiveur rencontre un obstacle, l'humain ressent cette résistance dans sa propre main. Parce que l'humain ressent activement le contact, le mouvement de son propre bras représente sa véritable intention, tandis que le mouvement du suiveur montre comment le robot a réagi à l'environnement. En comparant la trajectoire du leader avec celle du suiveur, les chercheurs ont pu calculer la différence entre l'endroit où l'humain voulait être et l'endroit où le robot se trouvait réellement. Cette différence, combinée à la force que le robot a ressentie (qui a été estimée grâce aux capteurs de couple de joint natifs du robot), leur a permis de remonter en arrière pour déterminer la rigidité exacte appliquée par l'humain.

En utilisant cette méthode, l'équipe a collecté un large ensemble de démonstrations où des humains essuyaient un tableau blanc. Ils ont ordonné aux humains d'essuyer des marques sur le tableau soit « normalement », soit « fermement ». Grâce à leur nouvelle méthode de calcul, ils ont pu extraire une étiquette précise de la rigidité utilisée à chaque instant du mouvement d'essuyage, sans avoir besoin de capteurs de force spéciaux sur le poignet du robot. Ils ont ensuite utilisé ces étiquettes pour affiner un grand modèle de langage-vision, un type d'intelligence artificielle qui comprend les images et le texte. Ils ont appris à ce modèle à produire non seulement une position cible, mais aussi une valeur de rigidité cible pour chaque mouvement qu'il effectue.

Les résultats ont montré que cette approche fonctionnait exactement comme prévu. Lorsque les chercheurs ont testé la nouvelle politique du robot, ils ont constaté qu'elle pouvait réellement changer la force de pression en fonction de l'instruction linguistique. Lorsqu'on lui demandait d'essuyer « fermement », le robot augmentait sa force de contact pour atteindre une moyenne de 9,1 Newtons. Lorsqu'on lui demandait d'essuyer « normalement », il réduisait cette force à 6,4 Newtons. Ce changement était statistiquement significatif et cohérent. En revanche, d'autres politiques de robot testées dans la même étude n'ont pas réussi à modifier leur comportement selon l'instruction. Certaines politiques, bien que recevant des données de force en entrée, restaient trop rigides, tandis que d'autres, qui tentaient de deviner la rigidité selon des règles fixes, ne pouvaient pas du tout s'adapter. Seule la politique entraînée avec les nouvelles étiquettes extraites a réussi à lier le mot « fermement » à une augmentation physique de la pression.

Les chercheurs ont également vérifié que le robot apprenait à être sélectivement rigide. Il ne devenait pas simplement uniformément plus dur dans toutes les directions ; il devenait rigide dans la direction du mouvement d'essuyage pour résister à l'idée d'être dévié de sa course, tout en restant plus souple dans les autres directions. Ce comportement anisotrope, ou rigidité dépendante de la direction, est un trait sophistiqué qui imite la façon dont une main humaine ajuste naturellement son action à une tâche. Le robot a atteint un taux de réussite de 50 % pour éliminer l'encre du tableau, ce qui était le plus élevé parmi les cinq politiques différentes testées, et ce, tout en déclenchant moins d'arrêts de sécurité causés par une force excessive.

Malgré ces succès, l'étude reconnaît certaines limites. La méthode repose sur le fait que le robot possède des capteurs mesurant le couple dans ses articulations, ce qui est courant dans les robots de recherche mais pas toujours dans les modèles commerciaux moins chers. La technique exigeait également que le robot conserve une posture spécifique lors du calibrage pour garantir l'exactitude des calculs de force. De plus, la rigidité de rotation, c'est-à-dire la façon dont le robot résiste à la torsion, était plus difficile à mesurer avec précision car la tâche d'essuyage ne comportait pas assez de mouvements de torsion pour générer des données claires. Les chercheurs ont noté que bien que leur méthode fonctionne bien pour cette tâche spécifique, elle n'est pas une solution universelle pour tout type de contact qu'un robot pourrait rencontrer.

La portée de ce travail réside dans sa capacité à contourner la nécessité de matériel de force-couple ou tactile spécialisé et coûteux pour enseigner le toucher aux robots. En utilisant les capteurs de couple de joint déjà présents sur un bras robotique et une approche mathématique ingénieuse pour interpréter l'intention humaine, les chercheurs ont créé un moyen de générer des données d'entraînement de haute qualité pour la compliance sans coût supplémentaire. Cela suggère que les robots pourraient apprendre à gérer des tâches délicates ou à force variable bien plus efficacement à l'avenir, simplement en observant les humains à travers un système qui capture à la fois le mouvement et la sensation de résistance. L'étude démontre que la clé d'un meilleur toucher robotique ne réside peut-être pas dans de meilleurs capteurs, mais dans de meilleures manières de lire les signaux que nous possédons déjà.

Résumé Technique : La Conformité Gratuitement : Apprentissage de l'Impédance Identifiable via la Téléopération Bilatérale

1. Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) ont révolutionné la manipulation robotique mais échouent systématiquement lors de tâches riches en contacts (ex: essuyage, insertion) car ils ne produisent que des cibles de pose, et non la conformité (rigidité) nécessaire pour moduler les forces d'interaction. Bien que certains travaux récents tentent de produire de la force ou de la conformité, ils reposent sur des cadres d'interaction spécifiés à la main, des données de simulation privilégiées, ou des capteurs dédiés de force/couple (F/T) et tactiles pendant l'entraînement et l'inférence.

L'obstacle central est un problème fondamental d'identifiabilité dans les interfaces de démonstration standards (ex: contrôleurs VR, SpaceMice, dispositifs bimanuels unilatéraux). Ces interfaces n'enregistrent que la pose réalisée par le robot ( $x_f$ ) et la force de contact résultante ( $f$ ). Cependant, la force de contact est le produit de la pose d'équilibre voulue par l'opérateur ( $x_{eq}$ ) et de sa rigidité ( $K$ ). Mathématiquement, un ressort mou étiré de loin et un ressort rigide étiré légèrement exercent la même force. Sans une mesure indépendante de $x_{eq}$ , l'équilibre intentionnel de l'opérateur et sa rigidité sont confondus ; aucune quantité de données de pose seule ne peut les dissocier. Par conséquent, les interfaces existantes ne peuvent pas fournir de supervision de conformité en principe.

2. Méthodologie

A. Résolution de l'identifiabilité via la téléopération bilatérale

Les auteurs proposent d'utiliser la téléopération bilatérale à quatre canaux pour briser l'ambiguïté d'identifiabilité. Dans cette configuration, un bras maître (contrôlé par l'humain) et un bras esclave (le robot) sont activement couplés.

Idée clé : La trajectoire du bras maître ( $x_l$ ) sert de mesure physique indépendante de l'équilibre voulu par l'opérateur ( $x_{eq}$ ).
Mécanisme : En substituant $x_{eq} = x_l$ dans la loi d'impédance $f(t) = K(t)(x_{eq}(t) - x_f(t)) + D(t)\dot{e}(t)$ , l'erreur de déplacement $e(t)$ devient directement observable. Cela permet d'identifier $K(t)$ et $D(t)$ via une régression en utilisant uniquement les capteurs de couple articulaires déjà présents sur le manipulateur, éliminant ainsi le besoin de capteurs F/T externes.

B. Estimation de l'effort sans capteur

Puisque la méthode repose sur les capteurs de couple articulaires plutôt que sur des capteurs F/T au poignet, les auteurs implémentent une procédure d'estimation de l'effort sans capteur :

Compensation de la gravité : Ils identifient la masse de l'outil et son centre de masse à l'aide de poses statiques pour soustraire la composante de gravité des couples articulaires mesurés.
Correction du biais : Ils modélisent l'erreur résiduelle (dépendante de la configuration et de la vitesse) en utilisant un ensemble de caractéristiques de Fourier aléatoires (Random Fourier Features) ajustées sur des balayages en espace libre.
Seuil de bruit : Un seuil de bruit par axe ( $\sigma_{f,i}$ ) est mesuré à partir de données en espace libre exclues pour garantir que les estimations de force sont supérieures au bruit du capteur.

C. Extraction des étiquettes de conformité

Les auteurs extraient des étiquettes de conformité anisotropes par pas de temps via un processus de régression masquée :

Cadre de contact : Un cadre de contact est ajusté à la trajectoire d'essuyage en utilisant la décomposition en valeurs singulières (SVD) pour définir la normale de la surface.
Régression par fenêtre : Sur des fenêtres glissantes de 300 ms, un problème de moindres carrés non linéaire régularisé résout la rigidité ( $k$ ) et l'amortissement ( $d$ ) par axe.
Masque d'identifiabilité : Un masque binaire est appliqué pour ne conserver les étiquettes que lorsque :
1. La matrice de régression est bien conditionnée.
2. Le déplacement est significatif.
3. La force dépasse le seuil de bruit.
4. Le système est en contact.
  Cela génère un jeu de données de paires $(x_{eq}, \log K)$ avec des masques de validité, ne nécessant aucun coût d'annotation.

D. Politique VLA à sortie de conformité

Les étiquettes extraites sont utilisées pour affiner un modèle VLA pré-entraîné (backbone SmolVLA) :

Architecture : La politique prend en entrée la vision (scène + caméra au poignet), des instructions linguistiques (ex: "essuie la marque de gauche fermement") et un jeton d'historique de force.
Sortie : Elle prédit un bloc (chunk) de futures actions contenant à la fois une cible de pose absolue ( $x_{eq}$ ) et une cible de rigidité ( $\log K$ ).
Entraînement : Utilise le "flow-matching" pour la pose et la perte de Huber pour la rigidité, appliqués uniquement sur les pas de temps masqués (identifiables).
Contrôle : Un contrôleur d'impédance cartésien de bas niveau suit les sorties par blocs de la politique. Le système utilise l'ensemblage temporel et le partitionnement par réservoir d'énergie (energy-tank gating) pour assurer la stabilité et la passivité.

3. Contributions Clés

Procédure d'extraction sans capteur : Une méthode pour résoudre l'ambiguïté d'identifiabilité de la pose seule en utilisant la téléopération bilatérale, permettant d'obtenir des étiquettes de conformité par pas de temps en utilisant uniquement les capteurs de couple articulaires natifs.
Benchmark hors ligne : Démonstration que les étiquettes extraites portent un signal apprenable, un prédicteur appris surpassant un prédicteur constant par axe de $1,25\times$ en RMSE agrégée sur les axes de translation.
Politique de conformité conditionnée par l'instruction : Une politique VLA entraînée sur ces étiquettes qui suit avec succès les cibles d'impédance par blocs. C'est la seule politique parmi cinq lignes de base dont l'effort de contact réalisé change en réponse aux instructions linguistiques concernant la "manière" de la force (ex: "fermement" vs "normalement").

4. Résultats Expérimentaux

La méthode a été évaluée sur un robot Franka Research 3 effectuant une tâche d'essuyage de tableau blanc avec des instructions pour essuyer "normalement" ou "fermement".

Conditionnement par instruction : La politique parvient à moduler sa rigidité de sortie en fonction de l'instruction.
- Démonstration de rigidité : Les démonstrations "fermes" montrent une rigidité plus élevée ($146,2$ N/m) que les "normales" ($127,2$ N/m).
- Sortie de la politique : La politique reproduit cet écart ($141,2$ vs $116,4$ N/m).
- Effort réalisé : Crucialement, l'effort de contact réalisé répond à l'instruction : le mode "ferme" a produit un effort RMS de $9,12$ N, tandis que le mode "normal" a produit $6,40 $N RMS ($ p=0,023$, Cohen's $d=0,89$ ).
Comparaison avec les lignes de base :
- Fixed-K : Utilise une rigidité constante ; échoue à moduler la force selon l'instruction.
- Force-In : Consomme la force comme entrée mais ne produit que de la pose ; échoue à moduler la force.
- Hybride : Prédit la rigidité mais via une tête de régression séparée ; la rigidité commandée ne se traduit pas par des changements d'effort réalisé.
- Notre méthode : La seule politique où l'effort de contact réalisé répond statistiquement à l'instruction linguistique.
Performance de la tâche : La politique proposée atteint le taux de succès le plus élevé (50,0 %) et l'élimination d'encre la plus importante (40,8 %) tout en maintenant des forces de contact de pic et RMS plus faibles par rapport à la ligne de base Fixed-K, entraînant moins d'arrêts de protection (1 contre 6).

5. Signification et Revendications

L'article affirme que la barrière principale à l'apprentissage de la manipulation conforme n'est pas l'architecture du modèle mais l'interface de démonstration. Les interfaces standards confondent l'équilibre et la rigidité, rendant la supervision de la conformité impossible sans matériel externe ou simulation.

En utilisant la téléopération bilatérale à quatre canaux, les auteurs démontrent que :

La conformité peut être extraite gratuitement : Aucun capteur F/T ou tactile supplémentaire n'est requis lors de l'entraînement ou de l'inférence ; le bras maître fournit le signal d'équilibre nécessaire.
La conformité est une action apprenable : Un VLA peut être entraîné pour produire des cibles de rigidité qui sont physiquement réalisées par le robot.
La force conditionnée par l'instruction est réalisable : Le système peut moduler l'effort de contact en fonction du langage naturel ("fermement" vs "normalement") sans dépendre de contraintes rigides ou d'informations privilégiées.

Les auteurs soulignent qu'il ne suffit pas de prédire la conformité ; la politique doit aussi la suivre. Leur approche y parvient en décodant la pose et la rigidité via une cible partagée, ce qui résulte en un comportement anisotrope réel où le robot résiste à la déflexion hors de la trajectoire de l'essuyage lorsqu'on lui demande d'essuyer "fermement", plutôt que de simplement presser plus fort contre le tableau.

6. Limites

Les auteurs reconnaissent plusieurs limites :

Dépendance à la configuration : L'estimation de l'effort sans capteur nécessite une posture de l'espace nul fixe et un espace de travail contraint.
Impédance rotationnelle : Les canaux de rotation sont faiblement identifiés dans cette tâche spécifique (l'essuyage excite peu l'orientation), et la rigidité rotationnelle extraite sature souvent à la limite inférieure du contrôleur.
Portée : Les preuves sont limitées à une seule tâche (essuyage) et une seule plateforme (Franka Research 3).
Puissance de l'ablation : L'étude d'ablation du canal de force était sous-dimensionnée en raison d'un petit budget de déploiement, laissant ouvert le débat sur le rôle causal du jeton d'entrée de force.