TacSE3: Equivariant SE(3) Motion Estimation from Low-Texture Visuotactile Images for In-Gripper Tracking and Compensation

Résumé Technique : TacSE3 – Estimation Équivariante du Mouvement SE(3) à partir d'Images Visuo-Tactiles à Faible Texture

Énoncé du Problème
La manipulation robotique en prise fréquente rencontre des scénarios où le suivi visuel échoue en raison d'occlusions ou de l'absence de caractéristiques visuelles saillantes. Bien que les capteurs tactiles basés sur la vision (VBTS) offrent une alternative prometteuse pour les interactions riches en contact, les pipelines conventionnels d'estimation du mouvement, reposant sur la texture d'image, le suivi de marqueurs ou le flot optique dense, peinent avec des objets à faible texture ou symétriques (par exemple, des sphères polies). Dans ces conditions, des mouvements rotationnels subtils induisent des changements d'apparence minimaux, rendant les méthodes basées sur la correspondance peu fiables. De plus, les configurations à capteur unique souffrent souvent d'une ambiguïté entre les mouvements translationnels et rotationnels, car les deux peuvent produire des motifs de déformation locale similaires. L'article aborde le défi de la construction d'une estimation fiable du mouvement SE(3) directement à partir d'images tactiles à faible texture, sans recourir à un appariement explicite de textures.

Méthodologie : Pipeline TacSE3
La méthode proposée, TacSE3, reformule l'image tactile non pas comme une entrée visuelle texturée, mais comme une mesure géométrique du contact. Le pipeline procède par les étapes suivantes :

1. Construction Décorrélée d'un Champ de Force 3D :
   Au lieu de suivre des caractéristiques d'image, la méthode traite les observations tactiles brutes pour reconstruire un champ de force 3D dense. En utilisant un VBTS à motif coloré dense (spécifiquement DM-Tac), le système décompose la réponse tactile en composantes tangentielles (cisaillement) et normales. Cela est réalisé par une décomposition de Helmholtz–Hodge du champ de déplacement planaire, séparant les composantes sans rotation (divergence) et sans divergence (rotation) pour dériver les distributions spatiales des forces normales et de cisaillement.

2. Génération de Points de Contact et d'Indicateurs de Mouvement :
   Le système identifie les régions de contact actives basées sur une réponse normale significative. Pour chaque pixel valide, un point de contact 3D est construit dans le repère tactile local. Les réponses de force tangentielle et normale sont calibrées pour servir d'indicateur de vitesse locale, approximant le mouvement instantané du point de contact.

3. Estimation du Corps Rigue SE(3) :
   Les indicateurs de vitesse locale sont modélisés à l'aide de l'équation de torsion d'un corps rigide ($v = \omega \times q + t$). Le processus d'estimation emploie une stratégie de découplage spécifique :

   • Translation : La translation planaire est dérivée strictement du mouvement du centroïde du contact sur le plan du capteur, plutôt que d'être ajustée conjointement avec la rotation.
   • Rotation : La rotation est estimée séparément en ajustant les contraintes de mouvement liées au cisaillement au modèle de corps rigide.
     Cette séparation évite le mauvais conditionnement souvent rencontré dans les problèmes de moindres carrés couplés translation-rotation et fournit un signal physiquement interprétable.

4. Intégration Temporelle et Équivariance :
   La torsion instantanée estimée est intégrée dans le temps en utilisant l'application exponentielle sur la variété SE(3) pour produire une trajectoire de pose continue. La méthode assure une cohérence de coordonnées équivariante : le mouvement estimé est défini dans le repère de l'effecteur terminal, garantissant que le même mouvement d'objet sous-jacent produit des estimations cohérentes, indépendamment des changements de pose globale du robot ou de l'emplacement spécifique du contact sur le capteur.

5. Fusion de Capteurs Doubles :
   Pour résoudre l'ambiguïté translation-rotation, le système utilise deux capteurs tactiles montés sur des doigts de pince opposés. En appliquant une transformation par matrice de signe pour tenir compte des repères de coordonnées miroirs, le système fusionne les estimations de torsion. Cela permet au système de distinguer le mouvement translationnel (qui produit des directions de force cohérentes sur les capteurs) du mouvement rotationnel (qui produit des motifs de force opposés).

6. Intégration de Contrôle Résiduel :
   Le mouvement SE(3) estimé est traité comme un résidu géométrique tactile. Il est fusionné avec une politique de base existante (par exemple, Action Chunking with Transformers) en tant que signal de post-traitement léger ($u_{final} = u_{policy} + \Delta u_{tactile}$) pour affiner les actions du robot sans réentraîner la politique de base.

Contributions Clés

• Formulation Géométrique de l'État : L'article formule l'estimation tactile vers SE(3) pour la détection à faible texture comme un problème d'estimation d'état géométrique centré sur le mouvement local de corps rigide, s'éloignant de l'appariement de correspondances dépendant de la texture.
• Découplage du Champ de Force : Il propose un pipeline qui découple les observations tactiles brutes en un champ de force 3D et reconstruit la torsion de corps rigide via un modèle SE(3) ancré physiquement, séparant spécifiquement la translation basée sur le centroïde de la rotation basée sur le cisaillement.
• Réduction de l'Ambiguïté par Capteurs Doubles : Le travail démontre que les configurations à double capteur réduisent considérablement l'ambiguïté entre translation et rotation par rapport aux configurations à capteur unique.
• Compensation Légère : La méthode fournit un signal de rotation qui peut être attaché comme un module de post-traitement pour améliorer la tolérance aux perturbations dans les tâches de manipulation en aval, sans modifier la politique de contrôle de base.

Résultats Expérimentaux
Des expériences ont été menées avec un robot UR5 équipé de capteurs DM-Tac doubles :

• Précision de Rotation : Sous des rotations contrôlées d'une balle saisie (30°, 60°, 90°) autour de trois axes ($r_x, r_y, r_z$), la méthode a atteint des erreurs angulaires moyennes allant d'environ 3° pour des rotations de 30° à environ 12° pour des rotations de 90°. La croissance de l'erreur est attribuée à la dérive d'intégration et à la non-linéarité du contact sur des angles plus grands.
• Capteur Unique vs Double : Dans les tests de mouvement purement translationnel, la configuration à capteur unique a présenté une dérive rotationnelle significative (environ 9–10°), tandis que la configuration à double capteur a réduit cette dérive à environ 1,1–1,5°, démontrant un découplage efficace.
• Généralisation : La méthode a maintenu de faibles taux d'erreur (2,6°–4,0%) sur divers objets aux géométries variées (sphères, cylindres, formes irrégulières) et textures de surface (lisses, texturées, bois, plastique), confirmant une robustesse aux conditions pauvres en texture.
• Performance au Niveau de la Politique : Dans des tâches impliquant des perturbations induites par l'humain (Dessin, Insertion d'Engrenage, Pion dans Trou), l'activation du post-processeur tactile a amélioré les taux de réussite sous interférence par rapport à la politique de base seule (par exemple, l'insertion d'engrenage est passée de 20 % à 35 % de réussite sous interférence).

Signification et Revendications
L'article revendique que TacSE3 offre un pont géométrique pratique entre la détection visuo-tactile à faible texture et la manipulation riche en contact dans la pince. En privilégiant la géométrie du contact sur l'apparence de l'image, la méthode réalise une estimation fiable du mouvement là où les méthodes tactiles visuelles ou basées sur la texture traditionnelles échouent. Les auteurs soulignent que l'approche ne vise pas à remplacer la vision globale ni à fournir une estimation complète de l'état de l'objet pour des objets nouveaux sur de longues horizons. Au lieu de cela, elle sert de module robuste, interprétable et léger pour le suivi et la compensation du mouvement local, particulièrement précieux pour les objets lisses, symétriques ou occlus où la vision est peu fiable. La nature équivariante de la sortie garantit que le signal reste cohérent pour le contrôle en aval, indépendamment de l'emplacement spécifique du contact ou de la pose du robot.