Résumé Technique : Transférer le Contact, pas seulement le Mouvement

Énoncé du Problème

La manipulation dextre nécessite plus que la simple prédiction du mouvement des doigts ; elle exige une régulation active des forces de contact pour gérer le glissement, la déformation et l'auto-occlusion. Les politiques de cross-embodiment existantes unifient avec succès l'intention de mouvement via des poses de retargeting ou des espaces d'actions latents, mais elles échouent à transférer le retour de contact. Le retour de force reste lié à la détection et à l'actionnement spécifiques à chaque main (par exemple, des signaux d'effort bruts ou des proxies tactiles), ce qui rend impossible la comparaison de la charge entre des mains robotiques hétérogènes. Par conséquent, les politiques entraînées sur une main ne peuvent pas se généraliser à une autre lorsque les indices visuels sont occultés ou qu'une régulation précise de la force est requise pour des objets fragiles.

Méthodologie

1. Interface Force-Position Unifiée

La contribution centrale est une interface transférable qui découple l'intention de mouvement de la charge de contact, en exprimant les deux dans des unités physiques comparables.

• Intention de Mouvement Partagée : La pose de la main est représentée par un latent de pose MANO ($\psi \in \mathbb{R}^{15}$). Ce vecteur de faible dimension est appris une fois à partir de données de gants humains et est mappé vers la configuration articulaire de n'importe quelle main spécifique ($q^{(h)}$) via une carte de retargeting spécifique à la main ($R_h$) qui optimise la position des extrémités des doigts et la forme des doigts.
• Canal de Contact Calibré : Au lieu d'utiliser l'effort brut, le système effectue une identification de système pour mapper les proxies d'effort spécifiques à la main en couples articulaires physiques ($\tau^{(h)}$ en N·m). À partir de ces couples, le système dérive :
  • Forces aux extrémités des doigts ($f_t$) : Calculées via l'inverse des moindres carrés de la Jacobienne de translation.
  • Descripteurs de Couple Spatiaux ($\gamma_t$) : Un ensemble compact de trois scalaires ($c, \rho, \ell$) encodant la localisation du contact le long du doigt, la distribution de la charge à travers les articulations, et la part latérale de la force.
    Cela permet à la politique d'observer "où la main doit bouger" et "comment l'objet est chargé" dans un système de coordonnées unifié, quel que soit l'embodiment de la main spécifique.

2. MARC : Politique Réactive Compliante Sensible au Masquage

Les auteurs introduisent MARC, une politique de flow-matching basée sur une architecture de Diffusion Transformer (DiT).

• Entrées : La politique est conditionnée par un tuple d'état unifié $s_t$ contenant la pose de l'effecteur terminal, les positions des extrémités des doigts, les forces calibrées ($f_t$), les descripteurs de couple spatiaux ($\gamma_t$), et le latent de pose partagé ($\psi_t$).
• Masquage Visuel Structuré : Pendant l'entraînement, les tokens visuels (patches ou flux de caméras entiers) sont remplacés de manière aléatoire par des embeddings de masque appris. Cela force la politique à s'appuyer sur la force et la proprioception lorsque les preuves visuelles sont manquantes ou peu fiables (par exemple, lors d'une auto-occlusion), plutôt que d'apprendre à ignorer les données de force.
• Objectif d'Entraînement : La politique prédit des vecteurs de vitesse pour transporter une source de bruit gaussien vers un bloc d'actions (action chunk), en minimisant la perte de flow-matching.

3. Pipeline d'Exécution Hybride

Le système ne repose pas sur une politique unique de bout en bout pour des tâches à long horizon. Il compose plutôt des primitives apprises avec des contrôleurs basés sur des modèles :

• Atteindre et Lever (Reach-and-Lift) : Exécuté par MARC, gérant la phase sensible au contact de la saisie et du levage initial.
• Transport : Géré par un régulateur de saisie stable qui utilise un contrôleur hybride force-position. Il maintient une prise minimale stable et se resserre automatiquement en fonction du retour de couple calibré si le transport charge l'objet.
• Passage d'Objet (Handover) : Contrôlé par un contrôleur d'admittance de l'effecteur terminal qui cède à l'effecteur et ouvre la main proportionnellement aux wrenches externes.
• Logique du Contrôleur : Le contrôleur de bas niveau suit une pose commandée mais applique une correction de "retrait unidirectionnel" basée sur le couple calibré. Si le couple de contact dépasse une cible, le contrôleur ouvre l'articulation ; sinon, il suit la commande de pose. Cela garantit la compliance sans pousser la main plus profondément dans l'objet.

Contributions Clés

1. Représentation de Contact Transférable : Une méthode pour convertir les signaux d'effort spécifiques à la main en couples articulaires calibrés, forces aux extrémités des doigts et descripteurs de charge compacts, rendant le retour de contact physiquement comparable entre différentes mains dextres.
2. Interface Force-Position Unifiée : Un cadre combinant l'intention de pose de la main partagée avec le retour de contact calibré, permettant le transfert de contrôle compliant à travers des embodiments hétérogènes.
3. Politique et Pipeline MARC : Une politique de flow-matching sensible au masquage entraînée sur la vision, la proprioception et le contact calibré, intégrée à des primitives basées sur des modèles pour la manipulation à long horizon (atteinte, transport, passage d'objet) sans réentraînement spécifique à la tâche.

Résultats Expérimentaux

Le système a été évalué sur un humanoïde Unitree G1 équipé de trois mains structurellement différentes (Wuji, Wuji12 et Inspire) à travers dix tâches impliquant des objets rigides et compliants/déformables (ex: œufs, brioches, tasses empilées).

• Gain de Performance : MARC a amélioré le taux de réussite moyen de "reach-and-lift" de 0,44 (baseline sDiT) à 0,71 sur l'ensemble des mains et des tâches.
• Améliorations Spécifiques :
  • Inspire : 0,54 $\to$ 0,84
  • Wuji : 0,48 $\to$ 0,79
  • Wuji12 : 0,29 $\to$ 0,51
  • Cas Critiques : Les gains les plus importants ont été observés sur la tâche "Marker" (glissante, occultée), où les taux de réussite sont passés de 0,2/0,1 à 1,0/0,9 pour Inspire et Wuji respectivement.
• Ablation : Supprimer le canal de contact calibré a fait chuter la performance sur les objets rigides pour revenir à la baseline (0,48), confirmant que le gain est piloté par le canal de force, et non par l'architecture ou le masquage.
• Généralisation Zero-Shot : La politique a transféré avec succès vers une configuration Wuji15 inédite (15-DoF) sans réentraînement, atteignant des taux de réussite à 0,1 près des résultats Wuji in-distribution.

Signification et Revendications

L'article affirme que le contact lui-même est transférable lorsqu'il est exprimé en unités physiques (couple et force) plutôt qu'en proxies spécifiques à la main. En unifiant l'intention de mouvement et la charge de contact dans une interface partagée, le système permet de transférer les compétences de manipulation dextre à travers des mains structurellement différentes. Les auteurs soulignent que cette approche permet une interaction stable et compliante lors de tâches à long horizon, particulièrement dans des scénarios où le retour visuel est insuffisant dû à l'occlusion ou à la déformation de l'objet. Le travail démontre qu'une politique unique, entraînée sur le contact calibré, peut piloter du matériel hétérogène sans nécessiter de modèle par main ou de réglage fin spécifique à la tâche.