💻 computer science

Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force

Cet article propose MuSe, un cadre d'apprentissage continu multisensoriel qui adapte efficacement des politiques robotiques préentraînées uniquement basées sur la vision à de nouvelles modalités de force-couple grâce à une fusion multi-étapes et une relecture d'expérience, améliorant ainsi les performances sur les tâches riches en contacts sans oublier les capacités originales.

Auteurs originaux : Jaden Clark, Changhao Wang, Yihuai Gao, Seongheon Hong, Hojung Choi, Mark Cutkosky, Yifan Hou, Shuran Song

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jaden Clark, Changhao Wang, Yihuai Gao, Seongheon Hong, Hojung Choi, Mark Cutkosky, Yifan Hou, Shuran Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez entraîné un robot pour être un chef étoilé, mais que vous ne l'ayez appris qu'en utilisant ses yeux. Il a appris à couper, remuer et dresser les plats en regardant des milliers de vidéos. Il est excellent pour voir ce qu'il doit faire, mais il ne sait pas quelle pression exercer ou quand quelque chose glisse.

Maintenant, imaginez que vous vouliez enseigner au robot une nouvelle compétence : le ressenti. Vous voulez qu'il utilise un capteur de force (comme un toucher sensible) pour manipuler des tâches délicates, comme essuyer un vase sans le casser ou visser une ampoule sans la fissurer.

Voici le problème : vous ne disposez pas d'une immense bibliothèque de vidéos incluant à la fois les "yeux" du robot et ses nouveaux capteurs de "toucher". Vous n'avez qu'un tout petit nouveau jeu de données avec ces nouveaux capteurs. Si vous essayez simplement d'enseigner au robot avec ces petites nouvelles données, il risque de s'embrouiller et d'oublier tout ce qu'il a appris par la vue. C'est ce qu'on appelle l'oubli catastrophique.

Ce document présente une solution appelée MuSe (Apprentissage Continuel Multisensoriel). Considérez MuSe comme un guide d'étude astucieux qui aide le robot à apprendre un nouveau sens sans oublier les anciens.

Voici comment fonctionne MuSe, en utilisant des analogies simples :

1. La connexion en "sens de circulation bidirectionnel" (Fusion multi-étapes)

Habituellement, quand on ajoute un nouveau sens à un robot, on se contente de l'ajouter à la fin, comme on ajouterait un accompagnement à un repas. MuSe est différent. Il crée une rue à double sens entre les yeux du robot et ses nouveaux capteurs de toucher.

Fusion précoce : Il mélange les données de "toucher" avec les données de "vue" dès le début, comme on mélange la farine et les œufs avant de cuire une pâte. Cela permet au robot de comprendre immédiatement comment le toucher et la vue sont liés.
Fusion tardive : Il vérifie également plus tard dans le processus, comme un goûteur qui ajuste l'assaisonnement à mi-cuisson.
Le résultat : Le robot ne fait pas que "voir" ou "sentir" ; il apprend une compréhension unifiée où la vue et le toucher s'entraident.

2. La "Boule de cristal du futur" (Prédiction multisensorielle du futur)

Pour s'assurer que le robot comprend vraiment le nouveau sens, MuSe ne lui demande pas seulement de "réaliser la tâche". Il lui demande de prédire l'avenir.

Le robot est entraîné à deviner : "Que vais-je voir dans la seconde qui vient ? Que vais-je ressentir dans la seconde qui vient ? Quelle action dois-je entreprendre ?"
L'analogie : Imaginez un conducteur apprenant à conduire sous la pluie. Au lieu de simplement conduire, on lui demande de prédire : "Si je tourne le volant maintenant, est-ce que la voiture va déraper ?" et "Est-ce que les essuie-glaces vont bien dégager l'eau ?"
En forçant le robot à prédire à la fois la scène visuelle et les signaux de force, il construit une carte interne profonde du fonctionnement du monde physique. Cela l'aide à généraliser, ce qui signifie qu'il peut utiliser ses nouvelles compétences de "toucher" même sur des tâches qu'il n'a pas encore rencontrées.

3. La "Révision par fiches de révision" (Rejeu d'expérience)

C'est la partie la plus critique pour empêcher le robot d'oublier. Lorsque le robot apprend les nouvelles compétences de "toucher", MuSe le force à continuer à pratiquer ses anciennes compétences de "vue" en même temps.

L'analogie : Imaginez un étudiant apprenant une nouvelle langue (le français) tout en essayant de garder ses compétences en espagnol bien aiguisées. S'il ne fait qu'étudier le français pendant un mois, il pourrait oublier l'espagnol. MuSe est comme un professeur qui dit : "Pour chaque heure passée à étudier le français, tu dois passer 30 minutes à réviser l'espagnol."
Dans le cas du robot, il mélange les petites nouvelles données de "toucher" avec les énormes anciennes données de "vue". Lorsqu'il voit une tâche où il n'a pas de données de toucher (parce que les anciennes données n'en avaient pas), MuSe masque simplement la partie "toucher" de la question et laisse le robot répondre en se basant uniquement sur la vue. Cela maintient les anciennes compétences vivantes.

Qu'ont trouvé les chercheurs ?

Les chercheurs ont testé cela sur un véritable bras robotique.

Transfert vers l'avant (Apprendre de nouvelles choses) : Le robot est devenu bien meilleur dans les tâches impliquant un contact (comme essuyer un vase ou insérer une cheville) grâce aux nouveaux capteurs de toucher. Il n'a pas seulement appris la tâche ; il a appris comment se frayer un chemin grâce au toucher.
Transfert vers l'arrière (Ne pas oublier) : De manière surprenante, après avoir appris à utiliser les capteurs de toucher, le robot est devenu meilleur dans ses tâches originales basées uniquement sur la vue. Il semble que l'apprentissage du "toucher" l'ait aidé à mieux comprendre la physique du monde, ce qui a rendu ses compétences de "vue" plus aiguisées.
Généralisation cross-modale : Même sur des tâches où on n'avait jamais montré les données de toucher au robot pendant l'entraînement, celui-ci pouvait toujours prédire quelles auraient été les forces exercées. Il a appris un concept général de "force" qu'il peut appliquer partout.

L'essentiel à retenir

MuSe montre que vous n'avez pas besoin d'un jeu de données massif et parfait pour chaque capteur possible pour entraîner un robot. Vous pouvez prendre un robot qui est déjà un expert de la vue, lui donner une petite quantité de nouvelles données de "toucher", et utiliser cette méthode d'entraînement spéciale pour le mettre à niveau. Le robot apprend le nouveau sens, conserve ses anciennes compétences, et devient en réalité plus intelligent globalement.

Résumé Technique : Apprentissage Continuel Multisensoriel (MuSe)

Énoncé du Problème

La manipulation robotique, particulièrement dans les scénarios riches en contacts, repose souvent sur des données sensorielles allant au-delà de la vision, telles que le retour d'effort (force-couple ou F/T), tactile ou audio, pour inférer des états d'interaction comme le glissement ou les forces de contact qui ne sont pas directement visibles. Cependant, les jeux de données multisensoriels à grande échelle sont rares, et les capteurs sont souvent spécifiques au matériel ou à la tâche, ce qui rend impraticable le préentraînement de politiques avec chaque modalité sensorielle potentielle.

Cet article formalise le défi comme un apprentissage continu multi-sensoriel : adapter une politique de robot préentraînée (entraînée sur des données uniquement visuelles) pour incorporer de nouvelles modalités sensorielles pour de nouvelles tâches tout en préservant les performances sur les tâches originales. L'objectif est d'atteindre trois objectifs spécifiques :

Transfert vers l'avant (Forward Transfer) : Améliorer les performances sur les nouvelles tâches en utilisant la nouvelle modalité par rapport à un entraînement à partir de zéro.
Transfert vers l'arrière (Backward Transfer) : Retenir ou améliorer les performances sur les tâches de préentraînement après l'apprentissage de nouvelles tâches avec de nouvelles données sensorielles.
Généralisation Cross-Modale : Comprendre et utiliser une modalité nouvellement introduite sur des tâches où elle n'a jamais été observée durant l'entraînement.
Le réglage fin (fine-tuning) naïf sur de nouvelles données multisensorielles entraîne souvent un oubli catastrophique des compétences de préentraînement et échoue à intégrer correctement les nouvelles dimensions d'entrée sans trop s'appuyer sur elles.

Méthodologie : Cadre MuSe

Les auteurs proposent MuSe (Multi-Sensory continual learning), un cadre conçu pour intégrer efficacement de nouvelles modalités sensorielles dans des politiques vision-action préentraînées. Le cadre est instancié par l'ajout de la détection de force-couple à un modèle Unified Video-Action (UVA) préentraîné. MuSe repose sur trois composantes critiques :

1. Fusion Multi-Étapes

Pour équilibrer l'interaction croisée profonde et la préservation des représentations préentraînées, MuSe emploie une architecture de fusion à double voie :

Fusion Précoce (Early Fusion) : La nouvelle modalité (ex: F/T) est encodée par un encodeur spécifique à la modalité et projetée dans l'espace de plongement partagé. Ces jetons (tokens) sont concaténés avec les jetons d'observation et d'action existants avant d'être traités par le transformeur de base (backbone). Cela permet au backbone d'effectuer une attention croisée à travers toutes les couches.
Fusion Tardive (Late Fusion) : Les caractéristiques de la nouvelle modalité sont injectées dans les couches intermédiaires du transformeur via des adaptateurs d'attention croisée légers.
Cette combinaison garantit que la nouvelle modalité a un accès direct au chemin de traitement de séquence tout en recevant un conditionnement spécifique à la modalité, empêchant ainsi le nouveau capteur d'écraser les connaissances visuo-motrices.

2. Prédiction de Futur Multisensorielle (Modélisation du Monde)

MuSe est entraîné avec un objectif de prédiction de futur flexible qui encourage un espace latent unifié et physiquement ancré. Au lieu de prédire uniquement les actions, le modèle prédit :

Les actions futures ( $L_{act}$ ).
Les observations originales futures (ex: images vidéo, $L_{obs}$ ).
Les valeurs futures de la modalité nouvellement introduite ( $L_{new}$ , ex: signaux F/T).

La perte totale est une somme pondérée : $L = \lambda_a L_{act} + \lambda_o L_{obs} + \lambda_{n+1} L_{new}$ . Prédire la nouvelle modalité force la représentation à encoder les données sensorielles, tandis que prédire les images futures ancre la représentation aux dynamiques visuelles partagées entre les jeux de données.

3. Rejeu d'Expérience (Experience Replay)

Pour atténuer l'oubli catastrophique lors du réglage fin, MuSe utilise le rejeu d'expérience. Les lots d'entraînement sont échantillonnés à partir d'un mélange du nouveau jeu de données multisensoriel ( $D_{new}$ ) et du jeu de données de préentraînement original ( $D_{pre}$ ).

Pour les échantillons de $D_{new}$ , le modèle reçoit une entrée multisensorielle complète et est supervisé sur tous les objectifs de prédiction.
Pour les échantillons de $D_{pre}$ , la nouvelle modalité est absente. L'entrée est remplacée par un jeton de "masque de modalité" appris, et la perte pour la nouvelle modalité ( $L_{new}$ ) est masquée, tandis que la supervision pour les actions et les observations originales est conservée.

Configuration Expérimentale et Résultats

Les auteurs ont évalué MuSe sur des tâches de manipulation en conditions réelles en utilisant un backbone UVA préentraîné sur 1 271 épisodes de 21 tâches uniquement visuelles. Le modèle a ensuite été ajusté sur 434 épisodes de cinq tâches riches en contacts avec supervision F/T.

Résultats Clés

Généralisation Cross-Modale : MuSe a démontré sa capacité à prédire les signaux F/T sur des tâches de préentraînement où les données F/T ont été enregistrées mais jamais utilisées pour la supervision. MuSe a obtenu l'erreur de prédiction L2 la plus faible (8,42) par rapport aux ablations (ex: la suppression du rejeu d'expérience a augmenté l'erreur à 12,38).
Transfert vers l'avant : Sur les tâches de réglage fin riches en contacts, MuSe a nettement surpassé les bases de comparaison :
- Essuyage de Vase (Vase Wiping) : 11,5/15 succès (MuSe) contre 5/15 (Sans F/T) et 8/15 (Sans Préentraînement).
- Insertion de Tenon (Peg Insertion) : 13/15 succès (MuSe) contre 9/15 (Sans F/T) et 6/15 (Sans Préentraînement).
  MuSe a utilisé efficacement le F/T pour réguler les forces de contact et se rétablir des blocages, là où la base de comparaison "Sans F/T" a échoué en raison d'une mauvaise régulation du contact.
Transfert vers l'arrière : MuSe a préservé ou amélioré les performances sur les tâches de préentraînement originales par rapport à la base de comparaison uniquement visuelle :
- Essuyage de Tableau Blanc (Whiteboard Wiping) : 12,5/15 (MuSe) contre 8,5/15 (Préentraînement uniquement).
- Insertion de Tenon (Peg Insertion) : 10/15 (MuSe) contre 8/15 (Préentraînement uniquement).
  Crucialement, la base de comparaison "Sans Rejeu d'Expérience" (No ER) a souffert d'un oubli sévère (ex: 0,5/15 sur l'essuyage de tableau blanc), soulignant la nécessité du rejeu pour conserver les compétences visuelles.

Signification et Revendications

L'article affirme que MuSe démontre qu'un jeu de données multisensoriel modeste peut améliorer la capacité générale du modèle au-delà de la distribution de réglage fin. Spécifiquement :

Généralisabilité du F/T : La détection de force-couple, même lorsqu'elle est apprise à partir de données limitées, peut être prédite et exploitée sur une large gamme de tâches, y compris celles où elle n'a jamais été explicitement supervisée.
Représentation Améliorée : Le conditionnement sur le F/T permet un apprentissage de représentation plus riche pour les comportements riches en contacts, tandis que la prédiction du futur F/T fournit une estimation du profil de compliance requis pour une interaction précise.
Déploiement Pratique : Cette approche permet aux politiques de robots d'être adaptées a posteriori à de nouveaux capteurs sans nécessiter un préentraînement multisensoriel à grande échelle dès le départ, répondant ainsi aux contraintes de matériel et de rareté des données dans le monde réel.

Les auteurs notent des limites, notamment l'accent mis sur l'expansion d'un seul capteur (F/T) et la dépendance à l'accès aux données de préentraînement originales pour le rejeu, suggérant que les travaux futurs devraient explorer d'autres modalités et méthodes ne nécessitant pas le stockage de données antérieures.