Résumé Technique : DexTwist

Énoncé du Problème

La téléopération dextre via des interfaces de Réalité Mixte (MR) offre une méthode évolutive pour transférer les compétences de manipulation humaine vers des mains robotiques. Cependant, les approches de réaffectation conventionnelles, qui minimisent généralement la dissimilarité cinématique (par exemple, les erreurs d'angle articulaire ou de position de l'extrémité du doigt), échouent souvent dans des tâches de rotation riches en contacts, telles que l'ouverture de bouchons, le tournage de clés et le vissage de boulons.

Cet échec découle du fossé d'incarnation : les écarts dans les longueurs des liens, les axes articulaires, les limites et la géométrie de l'extrémité du doigt entre les humains et les robots signifient que l'imitation directe de la pose ne garantit pas un comportement de contact correct. Au lieu de générer une rotation stable autour d'un axe physique, la cartographie cinématique directe induit souvent un glissement tangentiel de l'extrémité du doigt le long de la surface de l'objet. Cela entraîne une dérive de l'axe de vis, un glissement de contact et une instabilité de la préhension, rendant l'imitation gestuelle insuffisante pour des tâches où le succès dépend de la transmission de couple et d'une rotation stable plutôt que de la seule similitude de la forme de la main.

Méthodologie : Cadre DexTwist

Les auteurs proposent DexTwist, un système de téléopération basé sur la MR conçu pour la réaffectation fonctionnelle de la main lors de manipulations de torsion dans la main. Le système intègre un casque MR pour le suivi de la main et le retour visuel avec un module de réaffectation spécialisé qui déplace l'accent de l'imitation de la pose vers la préservation de la fonction.

1. Interface de Téléopération

Le système utilise un casque MR (par exemple, Apple Vision Pro) pour capturer les configurations articulaires de la main humaine ($q_h$) et les poses du poignet. Un repère de paume local $\{P\}$ est construit à partir des points clés du poignet et des articulations pour servir de référence pour le contrôle. L'interface diffuse un retour visuel en temps réel depuis des caméras de l'espace de travail externe vers le casque, permettant aux opérateurs de surveiller la scène de manipulation tout en émettant des commandes.

2. Réaffectation Fonctionnelle de Torsion

Contrairement à la réaffectation standard, DexTwist active un mode spécifique lorsqu'un pincement tripode (pouce–index–majeur) est détecté. La logique centrale implique :

• Estimation de l'Intention : Le système estime l'axe de vis intentionnel de l'opérateur ($a_h$) comme la normale de la tripode des extrémités des doigts et suit l'angle de torsion accumulé ($\theta_{task}$) dans le repère de la paume. Cela permet un comportement de « cliquet », où les progrès de rotation persistent à travers les reprises de préhension.
• Raffinement Résiduel dans l'Espace Articulaire : La configuration de la main robotique ($q$) est déterminée en minimisant un objectif d'objet virtuel ($J(q)$) défini dans le repère de la paume du robot. Cet objectif est une somme pondérée de quatre termes :
  1. Progrès de Rotation : Minimise l'erreur entre l'angle de rotation accumulé du robot ($\theta_r$) et l'intention de l'opérateur ($\theta_{task}$).
  2. Fermeture de l'Extrémité du Doigt : Pénalise les changements dans les distances par paires des extrémités des doigts ($e_r$) pour empêcher l'ouverture de la prise.
  3. Cohérence de l'Axe de Vis : Pénalise les déviations de la normale instantanée de la tripode du robot ($a_r$) par rapport à l'axe de référence ($a_{r,ref}$) pour empêcher la dérive de l'axe.
  4. Stabilité de la Tripode : Pénalise la translation du centroïde de la tripode ($c_r$) pour maintenir la stabilité géométrique.

Cette optimisation est résolue en temps réel comme un raffinement résiduel léger (utilisant la descente de gradient par différences finies) initialisée à partir d'une configuration de base réaffectée par vecteur.

Contributions Clés

L'article expose trois contributions principales :

1. Pipeline de Téléopération Basé sur la MR : Un système robuste comprenant une détection d'activation tripode et un état de rotation au niveau de l'épisode qui prend en charge le cliquet (rotation continue à travers les reprises de préhension).
2. Module de Réaffectation Fonctionnelle de Torsion : Une stratégie de raffinement résiduel dans l'espace articulaire qui minimise un objectif d'objet virtuel. Cette approche suit les progrès de rotation tout en régularisant la stabilité de la tripode, adressant spécifiquement le fossé d'incarnation dans les tâches de rotation.
3. Évaluation Complète : Un protocole comparant DexTwist à une base de réaffectation par vecteur à la fois en simulation et sur du matériel réel, démontrant des améliorations dans le suivi de l'angle de rotation et la stabilité de l'axe de vis.

Résultats Expérimentaux

Les auteurs ont évalué DexTwist en utilisant un bras Franka Emika FR3 avec une main Allegro, contrôlé par un opérateur portant un casque MR.

• Simulation : Par rapport à une base de réaffectation par vecteur, DexTwist a considérablement réduit l'erreur de suivi de l'intention humaine (RMSE : 18,8° contre 27,7°) et amélioré la stabilité de l'axe de vis (Déviation de l'axe : 6,1° contre 13,6°).
• Expériences Réelles : En utilisant un marqueur ArUco attaché à l'objet manipulé comme vérité terrain, DexTwist a démontré des performances supérieures dans le suivi de l'angle de rotation (RMSE : 14,3° contre 23,2°) et une corrélation temporelle plus élevée avec la rotation de l'objet (0,96 contre 0,83) par rapport à la base.
• Performance Qualitative : Le système a exécuté avec succès des tâches riches en contacts comme le vissage de bouchons et le déverrouillage de clés, maintenant des contacts stables des extrémités des doigts et des axes de rotation cohérents même lors des transitions de reprise de préhension.

Importance et Limites

Les auteurs positionnent DexTwist comme une solution pour la maintenance à distance, l'inspection, la réponse aux catastrophes et le service industriel, où les opérateurs doivent manipuler des fixations ou des vannes sans présence physique. En passant de l'imitation gestuelle à la préservation de la fonction, le cadre permet une téléopération dextre fiable malgré les écarts d'incarnation.

L'article reconnaît des limites spécifiques :

• Portée : La formulation actuelle est restreinte à la torsion par pincement tripode. Elle ne couvre pas encore d'autres stratégies de rotation comme le pincement à deux/quatre doigts, les préhensions cylindriques ou les préhensions de force, qui peuvent être requises pour différentes tailles d'objets ou exigences de couple.
• Capteurs : Le système repose sur le suivi visuel de la main ; une auto-occlusion sévère peut biaiser l'intention de torsion inférée. Les auteurs suggèrent que l'intégration de capteurs tactiles ou d'état de contact pourrait améliorer la robustesse face au glissement et aux mises à jour visuelles peu fiables.

L'étude conclut que si DexTwist améliore la fiabilité pour des primitives de torsion spécifiques, son extension à des stratégies de manipulation plus larges nécessite des représentations fonctionnelles dépendantes de la préhension dérivées de la géométrie de contact ou du retour tactile.