💻 computer science

MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation

MuseVLA est un modèle multimodal Vision-Langage-Action adaptatif qui invoque dynamiquement divers capteurs en tant qu'outils à la demande, convertit leurs lectures en une représentation unifiée d'« image de capteur ancrée », et exploite un pipeline de synthèse de données pour atteindre une performance supérieure dans des tâches complexes de manipulation robotique nécessitant des capteurs de température, de son ou de radar.

Auteurs originaux : Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

Publié 2026-06-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xingyuming Liu, Ruichun Ma, Heyu Guo, Qixiu Li, Qingwen Yang, Lin Luo, Shiqi Jiang, Chenren Xu, Jiaolong Yang, Baining Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de trouver un objet spécifique dans une pièce en désordre. Si vous n'aviez que vos yeux (vision RGB), vous pourriez rater une boisson fraîche parce qu'elle ressemble exactement à une boisson chaude, ou vous pourriez ne pas entendre un téléphone qui sonne caché sous une couverture. Les humains sont intelligents à ce sujet : nous ne nous contentons pas de regarder ; nous utilisons différents « outils » selon la tâche. Si quelque chose est chaud, nous pouvons ressentir l'air ; si quelque chose fait du bruit, nous écoutons ; si quelque chose est caché, nous pouvons utiliser un outil pour voir à travers.

MuseVLA est un cerveau de robot conçu pour faire exactement cela. C'est un nouveau type de contrôleur de robot qui ne se repose pas seulement sur une caméra ; il sait comment choisir le bon « sens » pour la tâche, tout comme un humain le fait.

Voici comment cela fonctionne, décomposé en concepts simples :

1. L'approche de la « Boîte à outils »

La plupart des cerveaux de robots aujourd'hui sont comme une personne qui n'a qu'une lampe de poche. Ils peuvent voir, mais ils ne peuvent pas ressentir la chaleur ou entendre les sons. MuseVLA est différent. Il traite les capteurs (comme les caméras thermiques, les microphones et les radars) comme des outils dans une boîte à outils.

Le Problème : Si vous demandez à un robot d'« attraper la boisson chaude », un robot standard doté d'une simple caméra pourrait attraper une boisson froide car elles se ressemblent.
La Solution MuseVLA : Quand le robot entend « boisson chaude », il ne se contente pas de regarder. Il réfléchit : « Je dois vérifier la température », et il « appelle » son outil de caméra thermique. Si la commande est « trouver le téléphone qui sonne », il passe à son outil de microphone. Il n'utilise que l'outil dont il a besoin, économisant ainsi de l'énergie et de la concentration.

2. La « Superposition Magique » (Images de capteurs ancrées)

C'est l'astuce la plus ingénieuse de l'article. Différents capteurs parlent des langues différentes. Une caméra thermique parle en « cartes de chaleur » (couleurs montrant la température), et un radar parle en « cartes de réflexion ». Il est difficile d'apprendre à un robot à comprendre toutes ces langues différentes à la fois.

MuseVLA résout cela en créant une Superposition Magique :

Imaginez que vous avez une photo normale d'une table.
Le robot choisit le bon capteur (par exemple, thermique).
Il prend la « carte de chaleur » de ce capteur et la peint uniquement sur l'objet spécifique qui l'intéresse (comme la bouteille), laissant le reste de la photo normale.
Désormais, le robot voit une image unique et unifiée où la bouteille « chaude » brille en rouge par-dessus la photo normale.

Cela permet au robot d'utiliser son « cerveau de vision » existant (qui est déjà très bon pour regarder des photos) pour comprendre la chaleur, le son ou le radar sans avoir besoin d'apprendre une toute nouvelle langue pour chaque capteur.

3. Apprendre sans un million de robots (Synthèse de données)

L'entraînement des robots nécessite généralement de collecter des milliers d'heures de vidéos réelles où des robots touchent réellement des tasses chaudes ou écoutent des téléphones qui sonnent. C'est coûteux et lent.

MuseVLA utilise un Pipeline de Synthèse de Données (un générateur de « fausses données ») :

Les chercheurs ont pris des vidéos existantes de robots déplaçant des objets normaux.
Ils ont utilisé un programme informatique pour « injecter » des données de capteurs factices. Par exemple, ils ont pris une vidéo d'une tasse et ont numériquement peint une couleur « chaude » dessus, puis ont dit au robot : « Ceci est une tasse chaude ».
Cela leur a permis de créer une immense bibliothèque de données d'entraînement « multisensorielles » à partir de vidéos régulières, apprenant au robot comment réagir à la chaleur, au son et au radar sans avoir besoin qu'un robot physique le fasse 10 000 fois.

4. Les Résultats : Un Maître de tous les Sens

L'équipe a testé MuseVLA sur un vrai robot doté d'une main dextre (très flexible). Ils lui ont donné trois types de tâches complexes :

Thermique : Prendre une boisson qui est spécifiquement « chaude » ou « froide ».
Audio : Trouver un téléphone qui sonne alors qu'il est caché sous une serviette.
Radar : Trouver un objet caché à l'intérieur d'une boîte en carton fermée (que la caméra ne peut pas voir à travers).

Le Score :

Les robots qui n'utilisaient que des caméras ont échoué la plupart du temps (environ 20 % de réussite).
Les robots qui essayaient d'utiliser tous les capteurs à la fois (sans être intelligents dans leur approche) ont également eu des difficultés.
MuseVLA a réussi 80,6 % du temps.

Plus impressionnant encore, lorsqu'ils ont donné au robot une nouvelle tâche qu'il n'avait jamais vue auparavant (comme trouver un « jouet qui sonne » au lieu d'un téléphone), il a quand même réussi environ 66,7 % du temps, prouvant qu'il a véritablement appris le concept de « l'utilisation du bon sens pour la tâche ».

Résumé

MuseVLA est un cerveau de robot qui agit comme un humain habile : il écoute l'instruction, décide quel sens (vue, chaleur, son ou radar) est nécessaire, se concentre sur l'objet approprié et combine cette information en une seule image pour accomplir la tâche. Il fait cela efficacement, sans avoir besoin d'être réentraîné pour chaque nouveau capteur, et il peut se généraliser à de nouvelles situations qu'il n'a jamais rencontrées auparavant.

Résumé Technique : MuseVLA

Problématique

Les modèles actuels de Vision-Langage-Action (VLA) pour la manipulation robotique reposent principalement sur des observations RGB. Bien qu'efficaces pour les tâches visuelles, cette limitation restreint la capacité du robot à percevoir des propriétés physiques difficiles ou impossibles à inférer à partir de caméras standards, telles que la température, le son ou les réponses radar. Les tentatives existantes d'incorporation de modalités non visuelles (ex: profondeur, tactile, audio) souffrent de trois limitations principales :

Manque d'adaptabilité : Elles nécessitent généralement des architectures ou des encodeurs spécialisés pour chaque capteur spécifique, ce qui rend difficile l'adaptation à des ensembles de capteurs divers ou évolutifs.
Rareté des données : Elles dépendent de jeux de données multisensoriels à grande échelle et coûteux, qui sont longs à collecter.
Utilisation statique des capteurs : Les modèles existants supposent souvent une configuration de capteurs fixe, manquant de la capacité de sélectionner de manière adaptative l'entrée sensorielle la plus pertinente en fonction de la tâche spécifique, ce qui entraîne une inefficacité et des performances sous-optimales.

Les humains, à l'inverse, traitent les modalités sensorielles comme des outils orientés vers la tâche, sélectionnant et invoquant de manière adaptative le bon capteur (ex: thermique pour la chaleur, acoustique pour le son) uniquement lorsque cela est nécessaire. MuseVLA vise à reproduire cette capacité adaptative au sein d'un cadre VLA unifié.

Méthodologie

MuseVLA est un modèle VLA de détection multimodale adaptative conçu pour intégrer divers capteurs en tant qu'« outils à la demande ». L'architecture et le pipeline sont structurés comme suit :

1. Mécanisme de sélection adaptative des capteurs

Au lieu de traiter tous les flux de capteurs simultanément, MuseVLA décompose la tâche en trois étapes :

Génération du capteur et de la cible : Étant donné une instruction linguistique ( $l$ ) et une observation RGB ( $o_t$ ), le modèle VLA ( $\pi$ ) génère d'abord un jeton de capteur (ex: <thermal>, <acoustic>, <mmWave>, ou <none>) et une description de la cible ( $l_d$ ). Cela est analogue à un appel d'outil avec des arguments, sélectionnant la modalité spécifique et l'objet d'intérêt.
Construction de l'image sensorielle ancrée : La mesure du capteur sélectionné ( $s_{i,t}$ ) est traitée par une fonction d'ancrage ( $G$ ). En utilisant la description de la cible, un module de segmentation (SAM3) crée un masque binaire de l'objet cible sur l'image RGB. La donnée sensorielle est ensuite superposée sous forme de carte de chaleur (heatmap) sur cette région masquée, créant ainsi une image sensorielle ancrée ( $m_{i,t}$ ).
Génération de l'action : L'image sensorielle ancrée est ajoutée à l'entrée du modèle. Le modèle VLA génère ensuite le bloc d'action ( $A$ ) basé sur l'instruction, l'image RGB et l'image sensorielle ancrée unifiée.

2. Représentation unifiée

Pour éviter les encodeurs spécifiques à chaque modalité, MuseVLA utilise des images sensorielles ancrées comme représentation intermédiaire unifiée. En projetant des lectures sensorielles hétérogènes (thermique, radar, audio) sur le plan de la caméra RGB sur l'objet cible, le modèle peut utiliser un encodeur visuel pré-entraîné unique (SigLIP) pour toutes les modalités. Cela découple le traitement spécifique aux capteurs de l'architecture VLA, permettant l'intégration de nouveaux capteurs sans réentraînement complet.

3. Pipeline de synthèse de données

Pour remédier à la rareté des jeux de données multisensoriels réels, les auteurs proposent un pipeline de synthèse de données :

Injection de mots-clés : Des mots-clés de propriétés physiques (ex: « chaud », « résonnant », « occupé ») sont injectés dans les instructions de tâches à partir de jeux de données existants uniquement RGB.
Ancrage synthétique : Un VLM génère une description de la cible, SAM3 segmente l'objet, et un masque coloré correspondant à la propriété physique est superposé sur la région segmentée.
Expansion du jeu de données : Ce processus génère des données d'entraînement multisensorielles (9,6K épisodes) à partir de jeux de données RGB existants (MolmoAct, AgiBotWorld-Alpha, VITRA), permettant un entraînement efficace des données et une généralisation zero-shot.

4. Architecture du modèle et entraînement

Backbone : Le modèle utilise PaliGemma-2 (Gemma-2 + SigLIP) comme backbone VLM et un Transformer de Diffusion (DiT) comme expert d'action.
Stratégie d'entraînement : Le modèle subit un co-entraînement. Le VLM est entraîné pour minimiser la perte de cross-entropie pour la génération du jeton de capteur et de la description de la cible. Le VLA est entraîné de bout en bout en utilisant une fonction de perte combinée : la perte VLM plus la perte MSE de diffusion pour la prédiction de l'action. Cela garantit que le modèle maintient une sélection de capteur précise tout en générant des actions de manipulation efficaces.

Contributions clés

Modèle MuseVLA : Un VLA de détection multimodale adaptative qui traite les capteurs comme des outils à la demande, permettant une intégration de capteurs évolutive et efficace pour la manipulation de mains dextères.
Nouvelles représentations et mécanismes : L'introduction de jetons de capteurs apprenables pour la sélection adaptative et d'images sensorielles ancrées comme représentation unifiée qui élimine le besoin d'encodeurs spécifiques aux modalités.
Pipeline de synthèse de données : Une méthode pour générer des jeux de données multisensoriels à partir de données RGB existantes, facilitant l'entraînement sur des tâches non vues sans collecte de données matérielles coûteuses.
Évaluation empirique : Évaluation complète sur un robot réel doté d'une main dextère à 12 degrés de liberté à travers des tâches guidées par thermique, acoustique et radar.

Résultats expérimentaux

Le modèle a été évalué sur une configuration robotique réelle impliquant des caméras thermiques, des radars mmWave et des réseaux de microphones.

Taux de succès des tâches : MuseVLA a atteint un taux de succès moyen de 80,6 % pour le pick-and-place guidé par thermique, la recherche d'objets pilotée par l'audio et la récupération d'objets cachés assistée par radar.
- Cela a nettement surpassé les bases de référence uniquement RGB (ex: $\pi_0$ -RGB à 20,8 %) et les bases de référence utilisant des cartes de chaleur de capteurs bruts sans sélection adaptative (ex: $\pi_0$ -Raw à 27,8 %).
- Plus précisément, MuseVLA a surpassé la meilleure base de référence uniquement RGB de 58 % et la meilleure base de référence de capteurs bruts de 47 % en taux de succès moyen.
Précision de la sélection adaptative : Le modèle a démontré une grande précision dans la sélection du jeton de capteur et de la description de la cible, atteignant 100 % de précision de sélection de capteur sur les tâches d'entraînement et 82,0 % de précision de description de cible sur les tâches non vues lors du pré-entraînement.
Efficacité : En sélectionnant uniquement le capteur pertinent, MuseVLA a réduit l'utilisation de la mémoire GPU d'inférence de 13,23 Go (traitement de tous les capteurs) à 6,61 Go.
Généralisation Zero-Shot : Lorsqu'il a été entraîné sur le jeu de données synthétisé, MuseVLA a atteint un taux de succès de 66,7 % sur des tâches non vues (tâches avec de nouvelles combinaisons d'objets ou des structures d'instructions), démontrant de fortes capacités de généralisation.
Tâches multi-étapes : Le modèle a géré avec succès des tâches en cascade (ex: Radar $\to$ Thermique), atteignant un succès de 75,0 % lors du changement de modalités au sein d'une seule exécution de bout en bout.

Signification et affirmations

L'article affirme que MuseVLA représente une voie évolutive vers une manipulation multisensorielle généralisée. En découplant le traitement des capteurs de l'architecture VLA et en traitant les capteurs comme des outils conditionnels, l'approche permet aux robots d'acquérir efficacement des observations physiques orientées vers la tâche sans la surcharge computationnelle du traitement de tous les capteurs disponibles. Les auteurs soutiennent que leur pipeline de synthèse de données atténue efficacement le goulot d'étranglement de la rareté des données, permettant une robuste généralisation zero-shot aux tâches nécessitant une détection multimodale.

Les auteurs reconnaissent les limites actuelles, spécifiquement l'échelle modeste de leur jeu de données réel et la dépendance à un module de segmentation performant (SAM3), notant que ces contraintes pourraient être levées à mesure que des jeux de données plus vastes et des modèles de segmentation plus puissants deviennent disponibles. Ce travail est présenté comme une étape vers la capacité des robots à interagir avec le monde physique avec la même flexibilité sensorielle adaptative et conditionnée par la tâche que les humains.