🤖 machine learning

Tactile Modality Fusion for Vision-Language-Action Models

Le papier présente TacFiLM, une méthode légère de fusion post-entraînement qui intègre des signaux tactiles aux modèles vision-langage-action via une modulation linéaire (FiLM), améliorant ainsi significativement les performances des robots lors de tâches de manipulation nécessitant un contact riche.

Auteurs originaux : Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🤖 Le Robot qui a "le toucher" : L'histoire de TacFiLM

Imaginez un robot très intelligent, capable de comprendre ce que vous lui dites et de voir ce qui l'entoure. C'est ce qu'on appelle un modèle VLA (Vision-Language-Action). Il est comme un chef cuisinier qui lit une recette (langage) et regarde les ingrédients (vision) pour préparer un plat.

Mais il y a un gros problème : ce robot est aveugle au toucher.

Si vous lui demandez d'enfiler un bouchon dans un trou très serré, il va essayer de le pousser. S'il rencontre une résistance, il va continuer à pousser de plus en plus fort, comme un enfant qui force sur une porte fermée, jusqu'à ce que ça casse ou qu'il se fatigue. Il ne "sent" pas la friction, la douceur de la surface ou la force nécessaire.

C'est là que l'équipe de recherche (McGill, Mila, NVIDIA) intervient avec une solution géniale appelée TacFiLM.

🧩 Le Problème : Ajouter le toucher sans casser le cerveau

Jusqu'à présent, pour donner le sens du toucher à un robot, les scientifiques faisaient deux choses qui posaient problème :

La méthode "Brute" : Ils ajoutaient des données tactiles comme de nouveaux mots dans la phrase que le robot lit. C'est comme si on essayait d'ajouter une nouvelle langue à un livre en collant des pages supplémentaires à chaque chapitre. Ça alourdit le livre, ça le rend lent et le robot se perd.
La méthode "Réapprentissage" : Ils forçaient le robot à réapprendre tout depuis zéro pour comprendre le toucher. C'est comme demander à un chef étoilé de réapprendre à marcher juste pour savoir tenir un couteau. C'est trop long et trop cher.

✨ La Solution : TacFiLM (Le "Condiment" Magique)

L'équipe propose TacFiLM, une méthode légère et intelligente. Voici l'analogie pour comprendre comment ça marche :

Imaginez que le robot a déjà une "vision" très précise de la scène (comme un œil qui voit tout).

L'ancienne méthode (Concaténation) : C'est comme si le robot devait lire une longue lettre sur le toucher avant de regarder l'image. Ça le distrait et ça le ralentit.
La méthode TacFiLM : C'est comme si le robot avait un super-pouvoir de "filtre".

Quand le robot regarde l'image (par exemple, un bouchon qui approche d'un trou), le système TacFiLM utilise les données du toucher (venant d'un capteur spécial sur sa pince) pour modifier légèrement l'image dans son cerveau, instantanément.

L'analogie du "Filtre Instagram" :
Imaginez que vous regardez une photo. Si vous ajoutez un filtre "Nuit", l'image devient plus sombre. Si vous ajoutez un filtre "Chaleur", elle devient plus rouge.

TacFiLM agit comme un filtre intelligent qui s'ajuste en temps réel. Quand le capteur tactile dit "Oups, ça frotte fort !", le filtre modifie l'image dans le cerveau du robot pour lui dire : "Attention, ralentis, c'est serré ici".

Le robot ne voit pas deux choses (une image + un texte tactile). Il voit une seule image améliorée par le toucher. C'est rapide, léger et ça ne change pas la façon dont le robot a déjà appris à voir.

🏆 Les Résultats : Plus de succès, moins de force

Les chercheurs ont testé ça sur un vrai robot (un bras Franka Panda) avec des tâches difficiles : enfiler des bouchons ronds, carrés, ou brancher des câbles HDMI.

Voici ce qu'ils ont observé :

Moins de force brute : Le robot avec TacFiLM n'essaie pas de forcer. Il "caresse" l'objet jusqu'à ce qu'il rentre. Il utilise environ 3 fois moins de force que les autres méthodes. C'est comme passer d'un marteau à un doigt délicat.
Plus de réussite : Sur des tâches très difficiles (comme un trou de 2 mm de marge), le robot a réussi 100 % du temps, alors que les autres échouaient souvent.
Plus rapide : Comme il ne perd pas de temps à essayer de forcer et à se corriger, il finit la tâche plus vite.
Robuste à l'obscurité : Même si on éteint les lumières ou si la caméra a des problèmes, le robot continue de bien travailler car il s'appuie sur son "doigt" (le toucher) pour se guider.

🚀 En résumé

TacFiLM est une astuce géniale qui permet de donner le sens du toucher à un robot intelligent sans le rendre lent ou compliqué. Au lieu de lui faire lire un manuel sur le toucher, on lui donne un "filtre" qui ajuste sa vision en temps réel selon ce que ses doigts ressentent.

C'est la différence entre un robot qui pousse aveuglément un objet, et un robot qui sent et adapte son geste, exactement comme un humain le ferait. C'est un grand pas vers des robots capables de faire des tâches délicates dans notre monde réel.

1. Problématique

Les modèles Vision-Language-Action (VLA) récents ont démontré une grande capacité de généralisation et d'ancrage sémantique pour la robotique. Cependant, ils reposent presque exclusivement sur la perception visuelle. Cette limitation est critique pour les tâches de manipulation riche en contacts (contact-rich), telles que l'insertion de pièces ou le branchement de câbles, où la vision seule échoue souvent à capturer :

Les forces de contact et la friction de surface.
La conformité (compliance) des objets.
Les forces de cisaillement.
Les ajustements à l'échelle du millimètre nécessaires lorsque la vision est obstruée.

Les approches existantes pour intégrer le tactile aux modèles VLA souffrent de deux défauts majeurs :

Complexité computationnelle : Les méthodes de préentraînement multimodal à grande échelle sont coûteuses.
Inefficacité de la fusion : Les méthodes basées sur la concaténation de tokens (ajout de tokens tactiles à l'entrée du modèle) augmentent la longueur de la séquence, le coût computationnel et risquent de dégrader les performances en perturbant les priors visuels et linguistiques pré-entraînés.

2. Méthodologie : TacFiLM

Les auteurs proposent TacFiLM, une approche de fusion de modalités légère conçue pour être appliquée en finetuning post-entraînement (post-training finetuning) sans nécessiter de réentraînement massif ni d'encodage spécifique à la tâche.

Architecture Principale

Base : Le modèle s'appuie sur OpenVLA-OFT, qui combine un encodeur visuel fusionné (SigLIP + DINOv2) et un modèle de langage (LLaMA 2 7B).
Intégration Tactile : Au lieu d'ajouter des tokens, TacFiLM utilise la Modulation Linéaire par Caractéristiques (FiLM - Feature-wise Linear Modulation).
- Les observations tactiles (images de capteurs comme DIGIT) sont encodées par un encodeur tactile pré-entraîné (ex: Sparsh ou T3) pour produire un vecteur d'embedding tactile $z$ .
- Ce vecteur $z$ est utilisé pour conditionner les caractéristiques visuelles intermédiaires du backbone visuel du VLA.
- Pour chaque bloc ViT sélectionné, un MLP projette $z$ en paramètres d'échelle ( $\gamma$ ) et de décalage ( $\beta$ ).
- Une transformation affine est appliquée aux caractéristiques visuelles $F^n$ après la normalisation et avant l'attention multi-têtes :
  $\text{FiLM}(F^n | \gamma, \beta) = F^n \odot (1 + \gamma) + \beta$
Avantages : Cette méthode préserve les priors visuels et linguistiques pré-entraînés, n'augmente pas la longueur de la séquence de tokens, et est très efficace en paramètres.

Encodage Tactile

L'étude évalue deux encodeurs pré-entraînés :

T3 : Un cadre de représentation tactile adaptable à divers capteurs.
Sparsh : Un cadre basé sur l'apprentissage auto-supervisé (SSL) avec des variantes MAE, IJEPA/VJEPA et DINO.
Les résultats montrent que Sparsh-DINO offre les meilleures performances pour les tâches d'insertion.

3. Contributions Clés

TacFiLM : Une nouvelle méthode de fusion de modalités qui intègre les signaux tactiles via un conditionnement d'images (image-conditioning) plutôt que par concaténation de tokens.
Efficacité et Performance : Démonstration que TacFiLM améliore les taux de réussite (jusqu'à +30% par rapport aux baselines), réduit le temps d'exécution et diminue les forces de contact appliquées, tout en évitant le réentraînement de gros composants du modèle.
Évaluation des Encodeurs : Une investigation approfondie de l'utilisation d'encodeurs tactiles pré-entraînés (Sparsh, T3) pour l'intégration dans les politiques VLA.

4. Résultats Expérimentaux

Les expériences ont été menées sur un bras robotique Franka Emika Panda équipé d'un capteur tactile DIGIT, avec plus de 700 rollouts sur des tâches d'insertion (pièces rondes, carrées, pentagonales, câbles HDMI/USB).

Comparaison avec les Baselines

Les méthodes comparées sont :

OpenVLA-OFT : Modèle VLA vision-seule (baseline).
TactileConcat : Fusion par concaténation de tokens tactiles.
TacFiLM : La méthode proposée.

Résultats Notables :

Tâches In-Distribution (ID) : Sur l'insertion de broche circulaire (3mm), TacFiLM atteint 100% de réussite contre 86,67% pour la vision seule. Le taux d'insertion directe (sans ajustement) est de 36,67% contre 3,33% pour la vision seule.
Tâches Out-of-Distribution (OOD) : TacFiLM maintient une robustesse supérieure, notamment sur le branchement de câbles HDMI où il atteint 66,67% de réussite contre 6,67% pour la vision seule.
Forces et Sécurité : TacFiLM applique significativement moins de force (environ 1/3 de la force des méthodes baselines sur certaines tâches), réduisant le risque de dommages aux objets ou au robot.
Robustesse Visuelle : Dans des conditions de faible luminosité (80% d'assombrissement) ou de flux vidéo partiellement gelé (50% d'images), TacFiLM maintient un taux de réussite de 100%, prouvant que le tactile compense efficacement la dégradation visuelle.

Étude Ablative

L'étude montre que l'application de FiLM sur tous les blocs ViT n'est pas strictement nécessaire ; l'intégration dans une sous-partie des blocs (Early, Middle, Late) suffit pour obtenir de bonnes performances, bien que l'intégration précoce (EarlyFiLM) favorise davantage les insertions directes.

5. Signification et Conclusion

Ce travail démontre que l'intégration de signaux tactiles dans les modèles VLA ne nécessite pas de préentraînement multimodal coûteux ni d'architectures lourdes. En utilisant une modulation de caractéristiques (FiLM) sur des représentations tactiles pré-entraînées, TacFiLM permet d'obtenir des politiques robotiques :

Plus robustes aux variations de géométrie et aux perturbations visuelles.
Plus précises (taux d'insertion directe élevé).
Plus sûres (forces de contact réduites).

Cette approche ouvre la voie à des robots capables de manipulations complexes et riches en contacts en exploitant efficacement les données tactiles sans sacrifier les capacités sémantiques des grands modèles de langage et de vision.