Résumé technique : Voir le toucher par le mouvement

1. Énoncé du problème

Les tâches de manipulation riches en contacts (ex. : insertion de précision, essuyage d'objets) nécessitent que les robots perçoivent des interactions physiques subtiles que la vision globale seule ne peut capturer. Bien que les capteurs tactiles optiques offrent une haute résolution spatiale et une détection de force multidimensionnelle en surveillant la déformation d'une surface de gel élastique, l'extraction d'états de contact fins (ex. : distinguer « la mise en contact » de « la libération de contact ») reste un défi important.

Les méthodes existantes reposent généralement sur deux représentations qui souffrent d'une ambiguïté de perception :

1. Images tactiles brutes : Elles capturent les changements d'apparence mais présentent souvent des similitudes trompeuses entre des états de contact distincts (ex. : un contact stable et un contact en cours de libération peuvent être visuellement similaires).
2. Champs de mouvement cumulatifs : Ils représentent la déformation globale du gel par rapport à une image initiale sans contact. Bien qu'ils reflètent l'amplitude et la direction de la déformation globale, ils ne parviennent pas à distinguer les variations subtiles, telles que la différence entre l'initiation et la terminaison d'un contact, car ces deux processus peuvent entraîner des motifs de déformation cumulée similaires.

De plus, les stratégies existantes de fusion visuo-tactile peinent à équilibrer l'interaction intermodale avec la préservation des spécificités de chaque modalité. La fusion au niveau des caractéristiques (ex. : concaténation) permet souvent à une modalité de dominer, tandis que la fusion au niveau de la décision (entraînement de politiques séparées) ne parvient pas à exploiter efficacement les indices intermodaux.

2. Méthodologie

Le papier propose ViTacMotor, une politique visuo-tactile unifiée mais consciente des modalités, qui répond à ces problèmes grâce à deux innovations centrales : une nouvelle représentation tactile et une architecture de fusion spécialisée.

2.1 Corrélation de mouvement tactile (TMC)

Les auteurs découvrent que la corrélation entre le mouvement transitoire (déformation instantanée entre deux images consécutives) et le mouvement cumulatif (déformation agrégée depuis l'état initial sans contact) distingue explicitement les états de contact fins.

• Mouvement transitoire ($M_{tran}$) : Flux optique entre l'image précédente ($T_{t-1}$) et l'image actuelle ($T_t$).

• Mouvement cumulatif ($M_{cumu}$) : Flux optique entre l'image initiale sans contact ($T_0$) et l'image actuelle ($T_t$).

• Mécanisme de corrélation : La méthode calcule le produit scalaire pixel par pixel de ces deux champs de mouvement :
  $$Corr_t(x) = M_{tran}^t(x) \cdot M_{cumu}^t(x)$$

  Interprétation physique :

  • Mise en contact : Les deux mouvements s'alignent dans la même direction $\rightarrow$ Produit scalaire positif.
  • Libération de contact : Les mouvements pointent dans des directions opposées (récupération du gel) $\rightarrow$ Produit scalaire négatif.
  • Contact stable / Pas de contact : Le mouvement transitoire est proche de zéro $\rightarrow$ Le produit scalaire est proche de zéro.
  • Contact de glissement : Le produit scalaire présente un gradient spatial (de négatif à positif) indiquant la direction du glissement.

  Cette représentation est indépendante du capteur (validée sur des capteurs à marqueurs denses et épars) et l'amplitude du produit scalaire est positivement corrélée à la force de contact, fournissant des indices plus riches que l'apparence brute ou le mouvement cumulatif seuls.

2.2 Politique visuo-tactile unifiée consciente des modalités (ViTacMotor)

Pour intégrer cette nouvelle représentation tactile à la vision globale, les auteurs utilisent une architecture de Mélange de Transformers (MoT).

• Conception consciente des modalités : Contrairement à la fusion standard qui traite toutes les entrées de manière uniforme, ViTacMotor traite la corrélation de mouvement tactile comme une modalité distincte de l'apparence tactile et des entrées visuelles.
• Architecture :
  1. Encodeurs : Des encodeurs séparés traitent les entrées visuelles (poignet/vue tierce), les images tactiles brutes et la représentation TMC. Les états proprioceptifs sont également encodés.
  2. Projections spécifiques aux modalités : Chaque modalité $m$ possède des paramètres apprenables uniques ($W_Q^{(m)}, W_K^{(m)}, W_V^{(m)}$) pour préserver ses caractéristiques propres.
  3. Auto-attention globale partagée : Tous les plongements (embeddings) de modalités sont traités par un mécanisme d'auto-attention partagé pour faciliter la complémentarité intermodale.
  4. Affinement spécifique aux modalités : Après l'attention, les sorties passent par des réseaux de propagation avant (FFN) et une normalisation de couche spécifiques aux modalités avant d'être agrégées.
• Sortie : Les plongements fusionnés sont injectés dans un décodeur Transformer pour prédire de manière autorégressive des blocs d'actions (action chunks), entraînés via un objectif $\beta$-VAE pour modéliser la stochasticité des démonstrations humaines.

3. Contributions clés

1. Corrélation de mouvement tactile (TMC) : Le papier révèle que la corrélation entre le mouvement transitoire et le mouvement cumulatif résout explicitement l'ambiguïté des états de contact fins. La TMC est proposée comme une représentation tactile robuste, interprétable physiquement et indépendante du capteur.
2. Cadre ViTacMotor : Une politique unifiée exploitant l'architecture MoT pour parvenir à une fusion visuo-tactile efficace. Elle capture de manière unique les interactions intermodales tout en préservant les propriétés spécifiques des entrées visuelles et tactiles.
3. Validation empirique : Des expériences approfondies sur quatre tâches de manipulation complexes démontrent une performance et une robustesse supérieures par rapport aux bases de référence de l'état de l'art.

4. Résultats expérimentaux

La méthode a été évaluée sur quatre tâches de manipulation riches en contacts en utilisant deux types de capteurs tactiles optiques (marqueurs denses et épars) et un système robotique Agilex.

Tâches :

• Collecte de tubes : Nécessite un alignement précis et une insertion dans un support (sensible à l'occlusion).
• Insertion d'ampoule : Nécessite une rotation et une insertion précise jusqu'à ce que l'ampoule s'allume.
• Essuyage de tableau blanc : Nécessite une force stable et contrôlée pour retirer l'encre sans endommager la surface.
• Taillage de crayon : Nécessite un alignement et une force descendante suffisante.

Points forts de la performance :

• Taux de succès : ViTacMotor a surpassé les bases de référence (ACT, Diffusion Policy, ACT+T, Policy Consensus, TactileACT) sur toutes les tâches.
  • Collecte de tubes : 73,3 % de succès (contre 60,0 % pour TactileACT).
  • Insertion d'ampoule : 40,0 % de succès (contre 40,0 % pour TactileACT, mais avec une plus grande robustesse lors des étapes intermédiaires).
  • Essuyage de tableau blanc : 86,7 % de succès (contre 73,3 % pour TactileACT).
  • Taillage de crayon : 60,0 % de succès (contre 46,7 % pour TactileACT).
• Études d'ablation :
  • Le retrait de la TMC a provoqué des chutes de performance significatives, confirmant sa nécessité pour le contrôle de la force et la perception de l'état.
  • Le remplacement de la fusion MoT par une simple concaténation ou une attention croisée a entraîné des performances moindres, validant l'efficacité de l'architecture consciente des modalités.
• Robustesse : La méthode a maintenu des taux de succès élevés sous des variations environnementales (éclairage uniforme/non uniforme) et des variations d'objets (différents effaceurs, remplacement des tubes par des cylindres).

5. Signification et affirmations

Le papier affirme que la Corrélation de mouvement tactile fournit un mécanisme physiquement interprétable pour distinguer explicitement les états de contact qui sont visuellement ambigus dans les images brutes ou les champs cumulatifs. En modélisant la relation dynamique entre le mouvement transitoire et le mouvement cumulatif, le système acquiert la capacité d'inférer la direction du contact (mise en contact vs libération) et l'amplitude de la force.

De plus, le cadre ViTacMotor démontre qu'une manipulation visuo-tactile efficace nécessite plus qu'une simple concaténation de caractéristiques ; elle nécessite une architecture qui respecte les caractéristiques spécifiques aux modalités tout en permettant une interaction intermodale profonde. Les auteurs positionnent ce travail comme une étape vers des politiques de manipulation riches en contacts généralisables, capables de gérer les interactions physiques subtiles requises pour des tâches robotiques réelles.

Note : Les auteurs reconnaissent des limites concernant la généralisation sous des perturbations visuelles extrêmes ou des variations importantes de position d'objets, notant que des cas d'échec existent dans de telles conditions.