🤖 AI

TAM: Torque Adaptation Module for Robust Motion Transfer in Manipulation

L'article introduit le module d'adaptation de couple (TAM), un composant appris qui permet un transfert zero-shot robuste de politiques de manipulation dynamique à travers différents robots et charges utiles en adaptant les commandes de couple sur la seule base de l'historique proprioceptif, éliminant ainsi le besoin de randomisation de domaine au niveau de la politique ou de collecte de données sur robot réel.

Auteurs originaux : Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongwon Son, Florian Shkurti, Jason Lee, Naman Shah, Beomjoon Kim, Dieter Fox

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé qui a passé des années à perfectionner une recette pour une cuisine haut de gamme spécifique. Ce chef sait exactement quelle pression appliquer avec un couteau, à quelle vitesse remuer une casserole et comment manipuler un ensemble spécifique de poêles lourdes et sur mesure.

Imaginez maintenant que vous vouliez que ce chef cuisine exactement le même repas dans une autre cuisine. Mais cette nouvelle cuisine possède :

Des poêles légèrement plus lourdes (charges utiles inconnues).
Des couteaux qui semblent un peu « collants » en raison de la vieille graisse (friction).
Une cuisinière qui réagit un tout petit peu plus lentement que celle à laquelle le chef est habitué (dynamiques différentes).

Si le chef essaie d'utiliser exactement les mêmes mouvements sans s'ajuster, la nourriture pourrait brûler, la poêle pourrait glisser ou le couteau pourrait mal couper. En robotique, c'est le problème du « Sim-to-Real » (de la simulation à la réalité) : un robot entraîné dans une simulation informatique parfaite échoue souvent lorsqu'il est placé sur un vrai robot parce que le monde réel est désordonné, lourd et imprévisible.

Le Problème : Le « Parfait » contre le « Réel »

Le papier explique que les solutions existantes sont comme essayer d'apprendre au chef à être « super prudent » (Randomisation de Domaine) afin qu'il puisse gérer n'importe quelle cuisine, ce qui le rend lent et maladroit. Ou bien, vous essayez de mesurer chaque vis et chaque ressort dans la nouvelle cuisine pendant que le chef cuisine (Identification de Système), ce qui prend trop de temps et de données.

La Solution : TAM (L'Adaptateur Intelligent)

Les auteurs introduisent TAM (Torque Adaptation Module). Voyez TAM comme un sous-chef super intelligent debout juste à côté du chef principal, mais seulement à la toute dernière seconde avant que le couteau ne touche la nourriture.

Voici comment fonctionne TAM, décomposé en parties simples :

1. La Politique « Boîte Noire » (Le Chef)
La politique principale du robot (le « chef ») est entraînée sur un robot parfait et idéal. Elle envoie des commandes comme « Déplace le bras vers la position X » ou « Applique la force Y ». Elle ne sait rien des poêles lourdes ou de la graisse collante.

2. Le Contrôleur de Bas Niveau (Le Bras)
C'est la partie qui traduit la commande du chef en mouvement musculaire réel (couple). Elle dit : « D'accord, pour atteindre la position X, je dois pousser avec 10 Newtons de force ».

3. TAM (Le Sous-Chef)
TAM se situe entre le Contrôleur de Bas Niveau et le moteur réel du robot. Il ne dit pas au chef quoi faire. Il ne sait même pas ce que le chef essaie d'accomplir (il ne voit ni la recette ni l'objectif).

Au lieu de cela, TAM observe l'historique du robot. Il regarde :

Comment le bras s'est réellement déplacé au cours des dernières secondes.
Quelle force a été réellement appliquée.
Comment le bras a « ressenti » le mouvement (proprioception).

Sur la base de cet historique, TAM réalise : « Hé, le bras se déplace plus lentement qu'il ne le devrait à cause de cette poêle lourde ».

4. L'Ajustement Magique (Le Couple Résiduel)
TAM calcule une correction infime et instantanée. Si le contrôleur a dit « Pousse avec 10 Newtons », TAM pourrait murmurer : « En fait, pousse avec 10,5 Newtons pour compenser la friction ». Il ajoute cette petite « poussée supplémentaire » (couple résiduel) à la commande juste avant qu'elle n'atteigne le moteur.

Pourquoi est-ce spécial ?

C'est Plug-and-Play : Vous pouvez prendre une politique de robot entraînée pour un travail (comme pousser une boîte) et une autre pour un travail totalement différent (comme retourner un cube), et TAM fonctionne pour les deux. Vous n'avez pas besoin de réentraîner le chef principal. Vous branchez simplement l'adaptateur TAM.
Il apprend par le « Ressenti », pas par la « Vue » : TAM n'a pas besoin de voir la caméra du robot ou de connaître la tâche. Il a seulement besoin de ressentir l'historique du robot. C'est comme un expert aveugle qui peut dire si une voiture est lourde simplement en écoutant le bruit du moteur et en sentant les vibrations du volant.
C'est Rapide : TAM effectue ces micro-ajustements 1 000 fois par seconde (1 kHz). C'est assez rapide pour gérer des tâches dynamiques et rapides comme retourner des objets ou équilibrer une balle, ce que les méthodes plus lentes ne peuvent pas faire.
Il n'a pas besoin de données du monde réel : Le « sous-chef » (TAM) est entièrement entraîné dans une simulation informatique avec des milliers de scénarios de type « et si » aléatoires (poêles lourdes, graisse collante, ressorts cassés). Une fois entraîné, il peut être déployé sur un vrai robot et fonctionner immédiatement, même si le robot porte un objet d'un poids totalement inconnu.

Les Résultats

Le papier a testé cela sur un vrai robot (un Franka Panda) avec trois tâches très différentes :

Pousser une boîte (en utilisant une politique apprise par Apprentissage par Renforcement).
Retourner un cube (en utilisant une politique apprise par imitation de démonstrations humaines).
Équilibrer une balle sur une assiette (en utilisant un contrôleur mathématique).

Dans tous les cas, le robot doté de TAM a obtenu de bien meilleurs résultats que les robots qui essayaient de deviner la physique à la volée ou les robots qui essayaient simplement d'être « prudents ». TAM a permis au robot de se déplacer avec la même confiance et la même vitesse que s'il était dans la simulation parfaite, même en étant confronté à la désordonnée de la réalité.

Analogie de Synthèse

Si la politique du robot est un conducteur qui a appris à conduire sur une piste de course parfaite et sèche, et que le monde réel est une route boueuse et pluvieuse :

Les anciennes méthodes disent au conducteur de conduire de manière très lente et prudente (conservateur).
D'autres méthodes essaient de mesurer la profondeur de la boue pendant la conduite (lent et complexe).
TAM est comme un copilote qui sent la voiture glisser et ajuste instantanément la direction et l'accélérateur 1 000 fois par seconde pour maintenir la voiture sur la piste, sans jamais avoir besoin de dire au conducteur de changer son style de conduite.

Le papier conclut que TAM est un outil robuste et flexible qui permet aux robots entraînés dans le « monde parfait » de la simulation de réussir dans le « monde désordonné » de la réalité, sans avoir besoin d'être réentraînés pour chaque nouveau robot ou chaque nouvel objet lourd qu'ils pourraient ramasser.

Résumé Technique : Module d'Adaptation de Couple (TAM) pour un Transfert de Mouvement Robuste en Manipulation

1. Définition du Problème

L'article traite du défi du transfert sim-to-real (de la simulation vers le réel) et de la robustesse du mouvement en manipulation robotique. Une politique entraînée ou conçue pour un modèle de robot « idéal » spécifique échoue souvent lorsqu'elle est déployée sur un robot cible présentant des dynamiques différentes. Ces écarts proviennent de :

L'écart sim-to-real (friction non modélisée, amortissement, délais des actionneurs).
Des charges utiles inconnues (ajout de masse et décalages du centre de masse).
Des variations d'une instance à l'autre (tolérances de fabrication).

Dans les tâches riches en contacts et dynamiques, même de faibles écarts de mouvement perturbent le timing et les modes de contact, entraînant l'échec de la tâche. Les solutions existantes présentent des limitations significatives :

Identification de Système (SysID) : Nécessite une collecte continue de données et une ré-identification du modèle pour chaque nouveau robot ou changement de charge utile.
Randomisation de Domaine (Domain Randomization) : Produit souvent des politiques trop conservatrices qui ne parviennent pas à exploiter toute la plage dynamique du robot.
Adaptation au niveau de la Politique (ex: RMA, UPOSI) : Nécessite un réentraînement ou une distillation de la politique avec une branche d'adaptation, ce qui est coûteux ou impossible pour des politiques tierces, fermées ou basées sur des modèles (MPC).

2. Méthodologie : Le Module d'Adaptation de Couple (TAM)

Les auteurs proposent le TAM, un module appris inséré à l'interface de couple — entre le contrôleur de bas niveau et les actionneurs physiques du robot. TAM fonctionne indépendamment de la politique de haut niveau, permettant d'adapter n'importe quelle politique existante (RL, BC ou MPC) sans modifier la politique elle-même.

Architecture Centrale

TAM se compose de deux composants principaux opérant à des échelles de temps différentes :

Encodeur d'Historique (5 Hz) :
- Entrée : Un historique à long horizon (12 secondes) de données proprioceptives (positions articulaires $q$ , vitesses $\dot{q}$ ) et de couples appliqués $\tau^a$ .
- Augmentation de Caractéristiques : L'encodeur incorpore une caractéristique de résidu physique ( $e_\tau$ ), calculée comme la différence entre le couple appliqué et le couple que le modèle idéal nécessiterait pour le mouvement observé. Cela fournit un signal direct de l'écart de dynamique.
- Traitement : Utilise une stratégie de tokenisation de séries temporelles par patch avec un Transformer causal pour traiter efficacement l'historique haute fréquence (1 kHz) en un état latent compact $z_t$ .
Adaptateur de Couple (1 kHz) :
- Entrée : L'état latent $z_t$ , une fenêtre locale courte de l'état/couple récent, et le couple nominal $\tau^0_t$ généré par le contrôleur de bas niveau.
- Sortie : Une correction de couple résiduel $\Delta\tau_t$ .
- Mécanisme : Utilise une normalisation de couche adaptative conditionnée par $z_t$ pour permettre aux mêmes poids d'exprimer différentes lois de correction pour différentes dynamiques.
- Commande Finale : Le couple corrigé $\tau^c_t = \text{clip}(\tau^0_t + \Delta\tau_t)$ est envoyé au robot.

Stratégie d'Entraînement

Données Indépendantes de la Tâche : TAM est entraîné sur des déroulements de mouvements articulaires en espace libre randomisés, et non sur des démonstrations de tâches spécifiques.
Supervision : L'objectif d'entraînement est l'appariement de couple local. Étant donné un état et un couple nominal, le système calcule le couple « enseignant » requis pour que le robot perturbé (cible) atteigne la même accélération que le robot idéal.
Pipeline en Deux Étapes :
1. Pré-entraînement Multi-Robot : Le module est entraîné sur des déroulements randomisés provenant de cinq modèles de robots différents (Panda, Piper, RBY-1, iiwa14, Flexiv Rizon4) pour apprendre une initialisation de correction partagée.
2. Affinage Spécifique au Robot : Si un simulateur pour le robot cible est disponible, les poids pré-entraînés sont affinés sur les déroulements randomisés de ce robot. Aucune donnée du monde réel n'est requise pour cette étape.

3. Contributions Clés

Adaptation Découplée : En déplaçant la couche d'adaptation à l'interface de couple, TAM ne nécessite pas l'accès aux observations, aux récompenses ou aux états internes de la politique. Cela permet de réutiliser un ensemble unique de poids TAM à travers diverses politiques (RL, BC, MPC) et espaces d'actions (cibles articulaires, cibles de l'effecteur terminal, couples directs).
Transfert Sim-to-Real Zero-Shot : La méthode permet une exécution robuste sur des robots réels avec des charges utiles et des dynamiques inconnues sans réentraîner la politique sous-jacente ni collecter de données de calibration en conditions réelles.
Correction Haute Fréquence : Opérant à 1 kHz, TAM supporte des tâches de manipulation dynamiques et riches en contacts qui nécessitent une réponse rapide aux changements de contact et d'inertie.
Généralisation : L'approche de pré-entraînement multi-robot permet au module de se généraliser à des morphologies de robots non vues, avec des améliorations supplémentaires possibles via un affinage en simulation.

4. Résultats Expérimentaux

Les auteurs ont évalué TAM sur un robot réel Franka Emika Panda à travers trois tâches distinctes et une étude de suivi croisé en simulation.

Tâches Réelles (Franka Panda)

Poussée de Boîte basée sur la Vision (RL) : TAM a atteint un taux de succès de 76,2 %, surpassant nettement l'exécution directe (47,6 %) et l'identification de système en ligne (57,1 %).
Retournement de Cube par Imitation (BC) : TAM a atteint un taux de succès de 72,0 %, égalant presque la référence idéale en simulation (73,5 %) et doublant plus que le taux de succès de l'identification de système en ligne (34,0 %).
Équilibrage de Balle sur Plaque (MPC) : TAM a complété 13,6 ± 2,9 objectifs en 15 secondes, surpassant l'identification de système en ligne (13,1) et l'exécution directe (8,8), approchant la performance de la simulation idéale (15,9).
Suivi avec Charges Utiles Inconnues : Dans des tâches de suivi d'effecteur avec une charge utile cachée de 1 kg, TAM a réduit l'erreur de suivi (RMSE) d'environ 6 cm (Direct) à 1,29 cm (État transporté), surpassant les bases d'estimation de paramètres explicites.

Généralisation Croisée de Robot en Simulation

Les poids TAM pré-entraînés sur cinq robots ont été testés sur deux robots non vus (Google Robot, Unitree Z1).
Le TAM pré-entraîné multi-robot a réduit l'erreur de suivi de manière significative par rapport aux bases Direct et d'Identification de Système en ligne.
L'affinage sur la simulation du robot cible a encore réduit l'erreur, démontrant l'efficacité du pipeline d'entraînement en deux étapes.

Études d'Ablation

Encodeur d'Historique : Le retrait de l'encodeur à long horizon a considérablement réduit les taux de succès (de 84 % à 42 % en simulation), soulignant l'importance du contexte temporel.
Caractéristique de Résidu Physique : Le retrait de la caractéristique $e_\tau$ a affaibli le transfert entre robots, confirmant son rôle dans la généralisation au-delà des morphologies spécifiques.
Couple Direct vs Prédiction de Paramètres : La prédiction directe du couple résiduel a surpassé les méthodes tentant de prédire d'abord des paramètres physiques explicites.

5. Signification et Revendications

L'article affirme que TAM représente un changement de paradigme dans la gestion du transfert sim-to-real pour la manipulation. Au lieu de forcer la politique à apprendre la robustesse ou de nécessiter une identification de système continue, TAM délègue la charge de l'adaptation à une interface modulaire au niveau du couple.

Modularité : Il permet une adaptation « plug-and-play » pour des politiques créées indépendamment (RL, BC, MPC) sans réentraînement.
Efficacité : Il élimine le besoin de collecte de données réelles pour l'adaptation, s'appuyant plutôt sur la randomisation en simulation et le pré-entraînement multi-robot.
Robustesse : Il permet une manipulation dynamique et riche en contacts sur du matériel réel avec des paramètres physiques inconnus, atteignant des performances proches des bases idéales de simulation là où les méthodes traditionnelles échouent.

Les auteurs reconnaissent des limites : TAM nécessite l'accès à une interface de couple et une structure cinématique correspondante. Il suppose que les dynamiques du robot cible peuvent être corrigées dans le budget de couple de l'actionneur et ne fournit pas de garanties formelles de stabilité sur le long terme ou pour des tâches nécessitant des dynamiques hors de la distribution d'entraînement (ex: forces de contact extrêmes non vues lors de l'entraînement).