MoMaStage: Skill-State Graph Guided Planning and Closed-Loop Execution for Long-Horizon Indoor Mobile Manipulation

Each language version is independently generated for its own context, not a direct translation.

🤖 MoMaStage : Le Chef d'Orchestre pour les Robots de Maison

Imaginez que vous demandez à un robot de faire une tâche complexe dans votre maison, comme : "Va dans la cuisine, prends l'assiette grise sur le comptoir, va dans le salon et pose-la sur la table blanche."

Pour un robot, c'est comme essayer de résoudre un puzzle géant en marchant sur des œufs. S'il fait une erreur au début (par exemple, il rate la prise de l'assiette), tout le reste s'effondre. C'est ce qu'on appelle un "effet domino".

Les chercheurs de l'Université de Nanjing ont créé MoMaStage, une nouvelle façon de donner des ordres aux robots pour qu'ils réussissent ces tâches longues et difficiles, même s'ils se trompent parfois.

Voici comment ça marche, avec trois métaphores simples :

1. Le Problème : Le Robot qui Rêve (Les Hallucinations)

Les robots actuels utilisent souvent des "cerveaux" très puissants (des modèles d'intelligence artificielle) qui parlent très bien. Mais ils ont un défaut : ils sont un peu comme des rêveurs.

Ils peuvent imaginer une suite d'actions qui a du sens dans la tête ("Prends l'assiette, puis va à la table"), mais ils oublient la réalité physique.
Exemple : Le robot peut dire "Je vais prendre l'assiette" alors qu'il tient déjà un verre dans l'autre main ! Ou il peut essayer de traverser un mur parce qu'il a oublié où il se trouve.
Sans surveillance, le robot continue d'agir même quand il a échoué, ce qui mène à l'échec total.

2. La Solution : La Carte des "États" (Le Graphique)

Au lieu de laisser le robot rêver, MoMaStage lui donne une carte de règles strictes appelée "Graphique État-Skill" (Skill-State Graph).

Imaginez que le robot est un acteur dans une pièce de théâtre, et que ce graphique est le scénario :

Le Scénario (Le Graphique) : Il ne dit pas seulement "Fais ceci", il dit "Tu ne peux faire cette action que si tu es dans cet état".
- Règle : "Tu ne peux 'saisir' un objet que si ta main est vide."
- Règle : "Tu ne peux 'marcher' vers la table que si tu es bien debout."
Le Chef d'Orchestre (Le VLM) : C'est l'intelligence artificielle qui lit le scénario. Mais contrairement aux autres, elle ne peut pas inventer des lignes de dialogue. Elle doit suivre les règles du scénario. Si elle essaie de dire une phrase impossible (comme saisir un objet avec une main pleine), le scénario la bloque immédiatement.

3. Le Système de Sécurité : Le "Retour en Arrière" Intelligent

Même avec un bon scénario, les accidents arrivent (le robot glisse, l'objet tombe, il se cogne).

Les anciens robots : Ils continuaient leur chemin même après un accident, comme un train qui continue de rouler sur des rails cassés.
MoMaStage : Il a un système de surveillance en temps réel. C'est comme un gardien de la sécurité qui regarde les pieds du robot.
- Si le robot trébuche ou rate sa prise, le gardien crie : "STOP !"
- Au lieu de paniquer, le robot regarde sa carte (le graphique), voit où il est vraiment (par exemple, "Ah, je suis toujours dans la cuisine et je n'ai rien dans la main"), et réécrit le plan pour la suite.
- Il ne recommence pas tout depuis le début, il trouve juste le chemin le plus court pour se remettre sur la bonne voie.

🏆 Pourquoi c'est génial ? (Les Résultats)

Les chercheurs ont testé leur méthode dans de vraies maisons et dans des simulations complexes :

Moins d'erreurs logiques : Le robot ne propose plus de plans impossibles (comme tenir deux objets lourds avec une seule pince).
Plus de réussite : Sur des tâches longues (17 étapes !), les autres robots échouaient presque toujours. MoMaStage réussit beaucoup plus souvent grâce à sa capacité à se corriger.
Économie d'énergie : En guidant le robot avec des règles claires, l'intelligence artificielle ne perd pas de temps à "réfléchir" à des idées folles. C'est plus rapide et moins cher en calcul.

En Résumé

MoMaStage, c'est comme passer d'un robot qui rêve de faire le ménage à un robot qui travaille avec un plan d'architecte et un chef de chantier.

Il sait ce qu'il peut faire (grâce à la carte des règles).
Il sait quand il s'est trompé (grâce aux capteurs).
Il sait comment se rattraper sans tout abandonner (grâce au replanification).

C'est une avancée majeure pour que les robots puissent un jour nous aider vraiment dans nos maisons, sans avoir besoin qu'un humain les surveille à chaque seconde.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé du papier de recherche MoMaStage, rédigé en français.

1. Problématique : Les défis de la manipulation mobile à long horizon

La manipulation mobile intérieure (MoMA) consiste à transformer des instructions en langage naturel en une séquence d'actions physiques complexes (navigation et interaction avec des objets) dans des environnements dynamiques. Le défi majeur réside dans l'exécution à long horizon (tâches comportant de nombreuses étapes séquentielles).

Les approches existantes souffrent de limitations critiques :

Méthodes basées sur l'apprentissage (Imitation Learning) : Bien que robustes visuellement pour des tâches courtes, elles peinent à maintenir la cohérence logique sur de longues séquences et sont sensibles à l'accumulation d'erreurs (compounding errors).
Planification symbolique basée sur des cartes : Elles reposent sur des représentations explicites de la scène (cartes 3D, graphes de scène) qui imposent des hypothèses structurelles rigides, réduisant l'adaptabilité dans des environnements dynamiques et augmentant la charge computationnelle.
Agents pilotés par des VLM (Vision-Language Models) : Bien que puissants pour la décomposition sémantique, les planificateurs VLM ouverts (open-loop) génèrent souvent des séquences de compétences physiquement incohérentes ou "hallucinent" des transitions impossibles, car ils ignorent l'état physique accumulé du robot (ex: essayer de saisir un objet alors que la pince est déjà occupée).

2. Méthodologie : MoMaStage

MoMaStage est un cadre structuré sans carte (map-free) et piloté par un VLM, conçu pour la manipulation mobile à long horizon. Il repose sur trois modules clés pour garantir la faisabilité logique, la cohérence physique et la robustesse d'exécution.

A. Ancrage Structuré des Compétences (Structured Skill Grounding)

Au lieu d'utiliser un modèle de monde symbolique lourd, MoMaStage introduit deux structures légères :

Bibliothèque Hiérarchique de Compétences (Hierarchical Skill Library) :
- Niveau Action : Primitives fines (contrôle articulaire, mouvements de base) découplées de la sémantique.
- Niveau Sémantique : Compétences couplées au contexte (ex: "saisir", "placer", "naviguer") avec des préconditions explicites.
Graphe d'État des Compétences (Skill-State Graph) :
- Un graphe topologique où les nœuds représentent les compétences sémantiques et les arêtes les transitions faisables.
- Innovation clé : Chaque nœud est enrichi par un état de précondition ( $C$ ) et une fonction de variation d'état ( $\Delta$ ).
- Pour un robot mobile à deux bras, l'état $C$ inclut la localisation et les objets tenus par chaque pince. La fonction $\Delta$ modélise mathématiquement comment une compétence modifie cet état (ex: ADD un objet à la pince, MOVE la base).
- Cela permet de vérifier dynamiquement la cohérence globale de l'état sans reconstruire l'environnement 3D complet.

B. Planification Guidée par le Graphe et Vérification

Le processus de planification se déroule en deux étapes :

Planification Sémantique Topologique : Le VLM décompose l'instruction naturelle en une séquence de compétences candidates, en étant contraint uniquement par la connectivité du graphe (sans accès aux détails 3D explicites, forçant le modèle à raisonner sur les affordances).
Vérification de Faisabilité Pilotée par l'État : Une étape de vérification a posteriori simule l'exécution de la séquence candidate sur le Graphe d'État. Elle vérifie récursivement si les préconditions de chaque compétence sont satisfaites par l'état résultant des compétences précédentes. Si un conflit est détecté (ex: pince occupée), le plan est rejeté et le VLM est invité à se réorganiser.

C. Exécution en Boucle Fermée et Replanification

Pour gérer les incertitudes du monde réel, MoMaStage intègre un mécanisme de boucle fermée :

Surveillance de l'État Proprioceptif : Le système surveille en temps réel les capteurs du robot (encodeurs, capteurs tactiles) pour confirmer le succès des actions primitives (ex: saisie réussie).
Vérification Sémantique : Le VLM vérifie si l'état visuel observé correspond à la variation d'état attendue ( $\Delta$ ).
Replanification Guidée : En cas d'échec ou de déviation, le système ne redémarre pas la tâche. Il utilise l'état actuel observé comme point de départ et interroge le planificateur pour trouver un chemin de récupération dans le Graphe d'État, garantissant que la nouvelle séquence reste physiquement et logiquement valide.

3. Contributions Clés

Cadre MoMaStage : Une architecture unifiée sans carte qui intègre la compréhension des instructions, la génération de chaînes de compétences, l'exécution et la raffinement par feedback dans un pipeline de décision en boucle fermée.
Mécanisme de Planification Ancré dans l'État : Introduction du Graphe d'État des Compétences et d'une bibliothèque hiérarchique qui imposent la faisabilité cumulative des états sur les chaînes générées par le VLM, permettant une récupération robuste face aux échecs.
Validation Expérimentale : Des évaluations extensives dans des simulations riches en physique et sur des robots réels démontrent une amélioration significative de la validité de la planification, de la robustesse d'exécution et des taux de réussite sur des tâches à long horizon par rapport aux méthodes de l'état de l'art.

4. Résultats Expérimentaux

Les expériences ont été menées sur un robot mobile réel (Agilex Cobot Magic avec 4 bras) et dans le simulateur mshab*.

Performance sur Robot Réel :
- Sur des tâches complexes à long horizon (17 sous-tâches), MoMaStage atteint un taux de réussite final de 60%, contre 0% pour les méthodes de base (ACT end-to-end, DeCo* sans vérification d'état).
- Les méthodes de base échouent rapidement à cause de l'accumulation d'erreurs ou de l'incapacité à récupérer après un échec physique (ex: glissement de prise). MoMaStage réussit à se replanifier localement pour récupérer.
Benchmark en Simulation :
- MoMaStage maintient des taux de réussite élevés (79% à 94%) sur divers scénarios (ranger la maison, préparer des courses, dresser la table), surpassant largement DeCo* (qui plafonne autour de 20-47%).
- Efficacité Computationnelle : Bien que MoMaStage utilise plus de tokens que DeCo* (qui échoue), il est plus efficace que sa propre variante "MoMaStage*" (qui utilise le graphe complet non filtré). La version optimisée réduit le temps d'inférence de 24,6s à 16,0s et le nombre de tokens de "réflexion" de 3853 à 2485, prouvant que le guidage structurel allège la charge cognitive du VLM.
Analyse des Échecs :
- Les échecs résiduels sont principalement dus à des limitations physiques de la simulation (dépassement de limites de force, bugs de physique) et non à des erreurs de raisonnement sémantique.
- Le taux d'échec dû à la régression des tâches précédentes (PTF) est de 0%, validant la cohérence monotone du système.

5. Signification et Impact

MoMaStage démontre que pour la manipulation mobile à long horizon, la clé n'est pas de construire un modèle de monde symbolique complet et coûteux, mais de modéliser explicitement les transitions d'état des compétences.

Pont entre Sémantique et Physique : Le cadre comble le fossé entre le raisonnement de haut niveau (VLM) et l'exécution physique en imposant des contraintes d'état réalistes sans nécessiter de cartographie explicite.
Robustesse : L'approche en boucle fermée permet aux robots de s'adapter dynamiquement aux imprévus, rendant les systèmes plus fiables pour le déploiement dans des environnements domestiques réels.
Efficacité : En guidant le VLM via un sous-graphe structuré, le système réduit les hallucinations et les coûts computationnels, offrant une voie scalable pour des tâches robotiques complexes.

En conclusion, MoMaStage propose une nouvelle approche où la modélisation des transitions d'état du robot (embodiment-state) est centrale pour garantir la réussite de tâches à long horizon, dépassant les limitations des approches purement sémantiques ou purement basées sur l'apprentissage par imitation.