💻 computer science

ManiSoft: Towards Vision-Language Manipulation for Soft Continuum Robotics

Cet article présente ManiSoft, un nouveau benchmark et simulateur conçus pour répondre aux défis de la manipulation vision-langage en robotique douce à continuum en fournissant une pipeline évolutive pour générer des tâches et des trajectoires diversifiées, tout en révélant les limitations actuelles de l'estimation proprioceptive et de l'évitement adaptatif des obstacles.

Auteurs originaux : Ziyu Wei, Luting Wang, Chen Gao, Li Wen, Si Liu

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyu Wei, Luting Wang, Chen Gao, Li Wen, Si Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bras robotique. La plupart de ceux que vous voyez dans les films ou les usines ressemblent à des bras humains constitués d'os et d'articulations en métal rigide. Ils sont excellents pour se déplacer en ligne droite, mais si vous placez un tas de livres sur leur passage, ils restent souvent coincés car ils ne peuvent pas se plier autour du désordre.

Maintenant, imaginez un type différent de bras robotique : l'un fait d'un matériau doux et élastique, comme une immense tentacule d'octopus haute technologie. C'est un robot continu souple. Il peut se tordre, s'étirer et se comprimer pour contourner les obstacles qui arrêteraient net un robot rigide.

Le document dont vous parlez, ManiSoft, est comme une nouvelle « salle de sport » et un « circuit d'essai » conçus spécifiquement pour apprendre à ces bras élastiques à suivre des commandes vocales humaines.

Voici le détail de ce qu'ils ont fait, en utilisant quelques analogies du quotidien :

1. Le Problème : Le Dilemme « Rigide » vs « Élastique »

Le Robot Rigide : Imaginez un bras robotique rigide comme une canne à pêche. Elle est forte et précise, mais si vous devez atteindre un poisson en contournant un arbre, la canne ne peut pas se plier. Elle heurte simplement l'arbre.
Le Robot Souple : Imaginez un bras robotique souple comme un jardin d'arrosage ou un serpent. Il peut s'écouler autour de l'arbre. Cependant, contrôler un serpent est beaucoup plus difficile que de contrôler une canne à pêche. Vous ne pouvez pas simplement dire « déplacez l'extrémité vers le point A » car tout le corps se plie de manière étrange. Vous ne savez pas exactement où se trouvent les « articulations » car le bras n'a pas d'articulations rigides ; il se comprime simplement.

2. La Solution : ManiSoft (La Salle de Sport)

Les chercheurs ont créé un jeu vidéo spécial (un simulateur) pour apprendre à ces bras souples à écouter des commandes linguistiques comme « Prenez la tasse rouge » ou « Empilez les livres ».

Le Simulateur : Ils ont créé un monde numérique où le bras souple se comporte de manière réaliste. C'est comme un moteur physique qui sait comment le caoutchouc s'étire et rebondit. Ils ont combiné deux types de physique : l'un pour le bras élastique et l'autre pour les objets durs qu'il touche, les reliant ensemble par un « ressort virtuel » afin qu'ils bougent naturellement ensemble.
Les Tâches : Ils ont mis en place quatre défis spécifiques, comme un niveau de jeu vidéo :
1. Collecter : Saisir un objet et le mettre dans une boîte.
2. Aligner : Tourner un objet pour qu'il fasse face à une direction spécifique.
3. Empiler : Empiler des objets proprement (comme empiler des crêpes).
4. Disposer : Placer des objets selon un motif spécifique sur une table.

3. Comment Ils Ont Généré les Données (Le « Professeur »)

Vous ne pouvez pas simplement dire à un robot souple quoi faire ; il doit d'abord voir des exemples. Mais noter chaque mouvement pour un bras élastique est impossible pour un humain.

Alors, ils ont construit un professeur automatisé :

Le Planificateur de Haut Niveau : C'est comme un chef de projet. Il regarde l'objectif (par exemple, « Empilez les tasses ») et le décompose en une liste de points de contrôle (par exemple, « Déplacez la main vers la tasse », « Saisissez la tasse », « Déplacez-vous vers l'empilement »). Il ne se soucie pas de comment le bras se plie, seulement de où il doit aller.
L'Exécutant de Bas Niveau : C'est comme la mémoire musculaire. Il prend ces points de contrôle et détermine exactement quelle pression appliquer au bras souple pour y parvenir. Il utilise une méthode d'apprentissage par « essai-erreur » (Apprentissage par Renforcement) pour trouver la bonne quantité de compression et de torsion.

Ils ont utilisé ce système pour générer 6 300 scénarios différents, allant de tables vides à des tables encombrées pleines d'obstacles, créant ainsi une immense bibliothèque de démonstrations « expertes ».

4. Les Résultats : La Réalité « Propre » vs « Encombrée »

Ils ont testé trois différents cerveaux IA (politiques) sur ce nouveau gymnase pour voir s'ils pouvaient apprendre à partir des données.

Les Bonnes Nouvelles : Lorsque la table était propre et simple (sans obstacles), les modèles IA ont fait un travail décent. Ils pouvaient suivre les instructions et déplacer le bras souple pour saisir des objets.
Les Mauvaises Nouvelles : Lorsqu'ils ont rendu la table encombrée (en ajoutant des obstacles aléatoires, en changeant l'éclairage et en utilisant différents mots pour les mêmes objets), l'IA s'est perdue.
- Le Problème de « Cécité » : L'IA avait du mal à deviner où se trouvait réellement le bras simplement en regardant une caméra. Parce que le bras est élastique, il a une apparence différente sous chaque angle. L'IA ne pouvait pas dire si le bras était plié trop loin ou pas assez loin.
- Le Problème de « Souplesse » : L'IA ne savait pas comment utiliser la flexibilité du bras à son avantage. Au lieu de se plier autour d'un bloc pour saisir un jouet derrière lui, l'IA tentait souvent de pousser directement à travers le bloc et échouait.

5. Le Bug « Arrêt de Mouvement »

Une observation amusante qu'ils ont faite est que l'un des modèles IA (OpenVLA) restait parfois coincé dans une boucle. Après avoir réussi à saisir un objet, il se figeait et arrêtait de bouger, même si la tâche n'était pas terminée. C'était comme un robot qui, tellement nerveux à l'idée de tenir l'objet, oubliait de le poser. Les autres modèles n'avaient pas ce problème autant.

Résumé

ManiSoft est une nouvelle référence qui dit : « Nous avons ces robots incroyables, flexibles et semblables à des octopodes, mais nous n'avons pas encore de bonne méthode pour leur apprendre à nous écouter. »

Ils ont construit un simulateur et un ensemble de données pour aider les chercheurs à entraîner ces robots. Leurs tests ont montré que, bien que l'IA actuelle s'améliore, elle lutte toujours pour « voir » la forme d'un bras élastique et déterminer comment utiliser cette élasticité pour naviguer dans un monde encombré. C'est une première étape vers la création de robots capables de travailler dans nos maisons encombrées et réelles sans rester coincés.

Résumé Technique : ManiSoft : Vers la manipulation vision-langage pour la robotique en continuum souple

Énoncé du Problème
Les recherches existantes en manipulation vision-langage (VLM) ciblent principalement des bras robotiques rigides, qui reposent sur une proprioception précise et une cinématique de faible dimension. Bien qu'efficaces dans des environnements structurés, les morphologies rigides rencontrent des limitations fondamentales dans des espaces encombrés ou confinés nécessitant une adaptation significative de la forme. Les bras robotiques souples offrent une alternative prometteuse grâce à leur déformabilité continue, leur permettant de naviguer autour d'obstacles. Cependant, l'application de la VLM aux bras souples introduit des défis distincts : l'absence de capteurs proprioceptifs fiables (nécessitant souvent une inférence à partir de données visuelles uniquement), la complexité de l'actionnement de bas niveau distribué (par exemple, couples, pressions) et l'espace d'action de haute dimension et couplé. De plus, les simulateurs existants excellent soit dans la modélisation de la dynamique élastique mais manquent d'interactions de contact robustes, soit gèrent bien les contacts mais échouent à simuler la déformation continue.

Méthodologie
Pour combler ces lacunes, les auteurs introduisent ManiSoft, une référence conçue pour catalyser la recherche en manipulation vision-langage pour les bras souples. La méthodologie comprend trois composantes principales :

Simulateur Hybride (ManiSoft-Sim) :
Les auteurs développent un simulateur sur mesure comblant l'écart entre la dynamique des corps souples et les interactions des corps rigides.
- Modélisation du Corps Souple : Le bras est modélisé comme une tige de Cosserat utilisant la bibliothèque Elastica, discrétisée en $N$ segments pour capturer les déformations axiales, de cisaillement, de flexion et de torsion sous des couples externes.
- Modélisation des Interactions : L'effecteur terminal (EEF) et les contacts environnementaux sont gérés par MuJoCo pour une simulation efficace des contacts et de la friction.
- Couplage : Une contrainte de force élastique novatrice relie le corps souple déformable et l'EEF rigide. Les translations relatives ( $\Delta x$ ) et les rotations ( $\Delta \theta$ ) entre les points d'attache génèrent des forces et des couples de rappel via la loi de Hooke, assurant un mouvement coordonné tout en étant compliant.
- Rendu : Les observations visuelles sont générées à l'aide de Blender depuis des points de vue de caméra fixes.
Définition des Tâches et Génération de Données :
ManiSoft définit quatre tâches de manipulation, mettant chacune en évidence différents aspects du contrôle déformable :
- Collecte (COLL) : Rassembler un objet dans un conteneur.
- Alignement (ALN) : Positionner un objet selon une pose spécifique à 6 degrés de liberté (6-DoF).
- Empilement (STK) : Assembler des éléments en une pile verticale stable.
- Agencement (ARR) : Placer des objets dans une configuration spatiale spécifiée.
La référence inclut 6 300 paires scène-trajectoire (2 100 propres, 4 200 randomisées). Un pipeline automatisé génère ces scènes en utilisant une bibliothèque d'actifs de 263 objets. Crucialement, la référence exclut les états proprioceptifs internes (par exemple, les angles articulaires) de l'entrée de la politique, forçant les modèles à inférer la configuration du bras uniquement à partir des observations visuelles.
Génération Hiérarchique de Trajectoires :
Pour produire des démonstrations d'experts de haute qualité à grande échelle, les auteurs emploient un mécanisme hiérarchique :
- Planification de Haut Niveau : Un planificateur basé sur des règles décompose les tâches en une séquence de points de passage à 6 degrés de liberté.
- Contrôle de Bas Niveau : Un exécutant par Apprentissage par Renforcement (RL), entraîné avec une fonction de récompense dense (combinant la différence de pose et les récompenses de stabilité), génère des commandes de couple pour piloter le bras souple entre les points de passage. Cette décomposition atténue la difficulté de planifier directement des séquences de couple sur de longs horizons.

Contributions Clés

Référence ManiSoft : La première référence spécifiquement conçue pour la manipulation vision-langage avec des robots en continuum souple, dotée d'un simulateur hybride, de tâches diversifiées et d'un jeu de données à grande échelle de trajectoires d'experts.
Cadre de Simulation Hybride : Une intégration novatrice de la dynamique des tiges de Cosserat et de la simulation de contact des corps rigides via des contraintes de force élastique, permettant une manipulation réaliste riche en contacts avec des corps déformables.
Évaluation Systématique : Un benchmarking complet de trois modèles de politique représentatifs (Diffusion Policy, RDT et OpenVLA-OFT) dans des conditions propres et randomisées, révélant des modes d'échec spécifiques aux incarnations souples.

Résultats
Les auteurs ont évalué trois modèles : Diffusion Policy (DP), RDT-1B et OpenVLA-OFT.

Scènes Propres : Les modèles existants montrent des résultats prometteurs, DP et OpenVLA-OFT atteignant des taux de réussite moyens d'environ 31 % et 30 % respectivement, surpassant significativement RDT (9,2 %). DP excelle dans les tâches simples (COLL), tandis qu'OpenVLA-OFT démontre une meilleure généralisation dans les tâches complexes (ALN, STK, ARR).
Scènes Randomisées : Tous les modèles subissent une baisse substantielle de performance. Le taux de réussite de DP chute de 29,4 %, tandis qu'OpenVLA-OFT montre une plus grande robustesse, maintenant un taux de réussite moyen de 27,0 % (une baisse de seulement 3,4 % par rapport à sa performance propre, surpassant DP de 13,1 % dans le cadre randomisé).
Analyse des Échecs : La visualisation des cas d'échec révèle trois goulots d'étranglement principaux :
1. Ambiguïté de l'État Proprioceptif : Une estimation visuelle imprécise de la déformation du bras souple conduit à des couples internes non corrigés et à un contrôle instable.
2. Sous-utilisation de la Compliance : Les politiques échouent souvent à exploiter la déformabilité du bras pour naviguer autour des obstacles, tentant plutôt des chemins directs qui entraînent des collisions.
3. Comportement Arrêt-Bouge : Les politiques déterministes (comme OpenVLA-OFT) entrent occasionnellement dans une boucle de rétroaction où de subtiles variations visuelles après la saisie suppriment la génération d'actions ultérieures, un comportement moins courant dans les politiques de diffusion stochastiques.

Signification et Revendications
L'article positionne ManiSoft comme un terrain d'essai précieux pour combler l'écart entre les bras rigides et souples dans le contexte de la manipulation vision-langage. Les auteurs affirment que la référence expose des modes d'échec uniques aux incarnations déformables, spécifiquement les défis de la proprioception visuelle et de l'évitement d'obstacles adaptatif. Ils anticipent que ManiSoft facilitera le développement de méthodes répondant à ces défis spécifiques, soutenant ultimement la création de systèmes robotiques plus sûrs et plus conviviaux pour l'humain, capables d'opérer dans des environnements complexes et non structurés. Le travail est présenté comme une première étape, reconnaissant les limites en matière de diversité d'actionnement et de transfert simulation-réalité, mais établissant une fondation pour la recherche future sur l'interaction conforme.