🤖 AI

STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration

Le document propose STEP, un cadre sensible à l'état qui exploite les modèles de langage de grande taille multimodaux pour estimer explicitement les états du système et prédire les transitions d'état, surmontant ainsi les hallucinations et l'ambiguïté dans la collaboration homme-robot afin d'améliorer significativement l'exécutabilité des actions et de réduire les erreurs d'état final dans les tâches d'assemblage industriel.

Auteurs originaux : Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Publié 2026-08-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde trépidant de l'industrie moderne, le rêve d'un travail d'équipe fluide entre l'homme et la machine devient une réalité, pourtant il reste marqué par un malentendu fondamental. Pour qu'un robot puisse véritablement assister un humain, il ne doit pas se contenter de suivre une liste de commandes ; il doit comprendre l'intention de l'humain et anticiper ce qui va suivre. Ce défi est au cœur d'un domaine connu sous le nom d'anticipation d'actions à long terme, où les ordinateurs tentent de prédire une séquence d'événements futurs en se basant sur ce qu'ils viennent de voir. Ces dernières années, de puissants systèmes d'intelligence artificielle capables de traiter à la fois des images et du texte sont apparus comme des outils prometteurs pour cette tâche. Ces systèmes peuvent regarder une vidéo d'une personne au travail et deviner ce qu'elle essaie de construire. Cependant, un fossé important subsiste : bien que ces systèmes intelligents soient excellents en langage et en reconnaissance de formes, ils manquent souvent d'une véritable compréhension du monde physique. Ils ne suivent pas naturellement la manière dont l'état d'une pièce change lorsqu'un objet est déplacé, ce qui les amène à imaginer des actions impossibles ou à perdre de vue l'objectif ultime.

Pour combler ce fossé, des chercheurs du Honda Research Institute et de l'Université de Caroline du Nord à Chapel Hill ont développé une nouvelle méthode appelée STEP, qui signifie State-Aware Task Estimation and Planning (Estimation de tâche et planification sensibles à l'état). L'équipe s'est concentrée sur un scénario industriel courant où un opérateur humain assemble une structure à l'aide de blocs de bois sur un établi, tandis qu'un robot observe et attend de prendre le relais. Dans leurs expériences, l'humain commençait à construire une forme spécifique, telle qu'un pont ou une tour, puis s'arrêtait, confiant la responsabilité de la planification au robot. Les chercheurs voulaient voir s'ils pouvaient apprendre au robot non seulement à deviner l'aspect de la structure finale, mais aussi à mettre constamment à jour sa carte mentale de l'espace de travail au fur et à mesure qu'il planifiait les mouvements suivants. Contrairement aux approches précédentes qui demandaient simplement au robot de prédire la prochaine étape sous forme de phrase, ce nouveau système force le robot à décrire explicitement l'agencement actuel de chaque bloc, à prédire comment cet agencement changera après chaque action, puis à utiliser cette description mise à jour pour planifier les étapes suivantes.

L'innovation centrale de STEP est son exigence de maintenir un enregistrement numérique structuré du monde physique. Lorsque le robot observe l'établi, il ne génère pas simplement une idée vague de « construction d'une tour ». Au lieu de cela, il crée une liste détaillée et organisée de faits sur la scène : où se trouve chacun des cinq blocs de bois, si un bloc est debout ou couché, et exactement comment il est orienté par rapport à la caméra et aux autres objets. Le système utilise ensuite cette description précise pour simuler le futur. Il se demande : « Si je déplace ce bloc ici, à quoi ressemblera la scène ensuite ? », puis répète cette question pour le mouvement suivant. En vérifiant constamment ses propres prédictions par rapport à l'objectif, le système peut mesurer à quel point il est loin de terminer la tâche. Si une séquence de mouvements planifiée mène à une impasse ou à un état éloigné de l'objectif, le système reconnaît cette erreur et raccourcit son plan, choisissant un chemin différent qui le rapproche du résultat souhaité. Ce processus de planification, de simulation du résultat et de correction de trajectoire est répété plusieurs fois pour s'assurer que le robot reste sur la bonne voie.

Les chercheurs ont testé cette approche dans un environnement simulé en utilisant un ensemble de données d'opérateurs humains téléopérant deux bras robotiques pour assembler des blocs de bois. Ils ont comparé leur méthode à une technique existante de pointe qui ne suivait pas l'état de l'environnement de cette manière structurée. Les résultats ont montré un avantage clair pour le nouveau système. Les plans générés par STEP étaient nettement plus pratiques ; les chercheurs ont constaté que les actions prédites par leur méthode pouvaient être exécutées avec succès par le robot 32,8 % plus souvent que celles de la méthode de référence. De plus, lorsque le robot a terminé sa tâche, la structure finale qu'il a construite était 14,8 % plus proche de l'objectif prévu que les structures produites par l'ancienne méthode. L'étude a également révélé que, bien que l'ancienne méthode produisait parfois des listes d'actions plus longues correspondant à la séquence originale de l'humain, ces étapes supplémentaires étaient souvent inutiles ou incorrectes, tandis que la nouvelle méthode produisait des plans plus courts et plus efficaces qui atteignaient l'objectif de manière fiable.

L'équipe a découvert que le succès de cette approche reposait largement sur la précision des étapes initiales. Si le système identifiait correctement ce que l'humain essayait de construire et décrivait avec précision l'état actuel des blocs, la planification ultérieure était très efficace. Cependant, si le système commettait une erreur en devinant l'objectif ou jugeait mal la position d'un bloc, ces erreurs se répercutaient sur le reste du plan. Cette conclusion souligne l'importance de la capacité du système à réévaluer constamment la réalité physique de l'espace de travail. Les chercheurs ont noté que, bien que leur méthode soit actuellement conçue pour ce scénario spécifique de construction de blocs, le principe sous-jacent du suivi explicite des changements d'état pourrait être adapté à d'autres tâches industrielles, telles que l'assemblage de machines ou la construction de structures modulaires. Ils ont également reconnu que le système actuel nécessite un temps de calcul important pour exécuter ces multiples cycles de planification, ce qui le rend plus lent que les méthodes plus simples, mais ils pensent qu'avec l'avancement de la technologie, ces délais pourront être réduits. Enfin, ce travail démontre qu'en donnant à l'intelligence artificielle un moyen de tenir un compte courant du monde physique, nous pouvons créer des robots qui ne sont pas seulement réactifs, mais de véritables partenaires collaboratifs capables de comprendre et d'accomplir des tâches complexes aux côtés des humains.

Résumé Technique : Estimation et Planification de Tâches Sensibles à l'État avec des LLM Multimodaux (STEP)

Énoncé du Problème

Une collaboration homme-robot (CHR) efficace dans les contextes industriels nécessite que les robots puissent inférer les intentions humaines et générer des plans exploitables à long terme. Bien que les Modèles de Langage Multimodaux (MM-LLM) aient montré un potentiel pour l'Anticipation d'Actions à Long Terme (LTA) via l'apprentissage en contexte, ils font face à deux limitations critiques en robotique :

Manque de conscience de l'état : Les MM-LLM sont pré-entraînés sur des données textuelles et d'images statiques sans interaction avec le monde réel. Par conséquent, ils peinent à suivre les transitions d'état du système, menant souvent à des actions « hallucinées » qui s'écartent de l'objectif visé. Les approches existantes qui tentent le suivi d'état reposent souvent sur des descriptions en langage naturel (qui manquent de précision) ou nécessitent l'accès aux états initiaux de vérité terrain, ce qui est irréaliste dans des scénarios industriels dynamiques.
Ambiguïté de l'action : Les sorties standard des MM-LLM sont souvent limitées à des paires « verbe-nom » de haut niveau (ex: « placer sur la table »). Cette abstraction ne parvient pas à capturer les paramètres d'exécution nécessaires, tels que les coordonnées de placement spécifiques, l'orientation de l'objet ou les relations spatiales, ce qui crée une ambiguïté lors de l'exécution physique.

Méthodologie : Le Cadre STEP

Les auteurs proposent STEP (State-Aware Task Estimation and Planning), un pipeline qui incite un MM-LLM à estimer explicitement les états du système et à prédire les transitions d'état parallèlement aux plans d'action. Le cadre fonctionne sans nécessiter d'interaction directe avec l'environnement ou d'entrées d'état de vérité terrain.

Le pipeline se compose de cinq étapes séquentielles :

1. Estimation de la Tâche

Le système prend la séquence d'actions effectuées par un opérateur humain ( $A_1, ..., A_k$ ) et une image du poste de travail actuel ( $I$ ). En utilisant un petit ensemble d'exemples en contexte, le MM-LLM estime la tâche globale ( $T$ ) que l'opérateur a l'intention de réaliser (ex: « Construire un Arche »). La sortie est contrainte à une liste prédéfinie de tâches possibles pour guider le modèle.

2. Génération de la Représentation de l'État

Simultanément, le MM-LLM analyse l'image du poste de travail ( $I$ ) pour générer une représentation d'état structurée ( $S$ ) au format JSON. Contrairement aux descriptions en langage naturel, cette sortie structurée capture :

Localisation : Position de chaque bloc (ex: sur la table, sur un autre bloc spécifique).
Orientation : Debout, couché face vers le bas, ou couché sur le côté.
Orientation de la face supérieure : Parallèle ou perpendiculaire à la caméra.
Positionnement relatif : Emplacement spécifique (gauche/droite/centre) si empilé.

Ce format structuré permet une analyse quantitative de l'espace de travail.

3. Prédiction d'Action

En utilisant la tâche estimée ( $T$ ) et l'historique des actions ( $A_1, ..., A_k$ ), le MM-LLM prédit la séquence des actions futures ( $A_{k+1}, ..., A_n$ ) requises pour accomplir la tâche. Notamment, les auteurs ont constaté que l'inclusion de données d'image dans ce prompt spécifique dégradait les performances ; ainsi, cette étape repose uniquement sur la tâche textuelle et l'historique des actions.

4. Propagation de l'État

Pour remédier au manque de suivi d'état, STEP propage explicitement l'état. Le MM-LLM est incité avec l'état actuel ( $S$ ), l'historique des actions, et la prochaine action prédite ( $A_{k+1}$ ) pour produire le prochain état ( $S_{k+1}$ ) sous forme d'objet JSON. Cela est effectué de manière itérative pour générer une séquence d'états futurs ( $S_{k+1}, ..., S_n$ ) correspondant aux actions prédites. Une approche de type « chaîne de pensée » (chain-of-thought) est utilisée, où le modèle décrit d'abord les changements en langage naturel avant de formater le prochain état en JSON.

5. Rollouts et Troncation

STEP emploie un mécanisme de « rollout » (déploiement) itératif pour affiner le plan :

Calcul de la Distance : Le système calcule une distance quantitative ( $d_T$ ) entre les états actuels/prédits et l'état cible estimé. Il s'agit du nombre total de différences à travers les 5 blocs et leurs 4 caractéristiques (distance max $d_T = 20$ ).
Troncation : Le système évalue plusieurs rollouts et tronque la séquence d'actions à l'état présentant la plus faible $d_T$ .
Itération : L'état tronqué devient le nouveau point de départ pour le prochain rollout. Ce processus se répète jusqu'à ce que $d_T = 0$ ou qu'un nombre maximum de rollouts soit atteint, garantissant que le plan converge vers l'objectif.

Configuration Expérimentale

Jeu de données : Un scénario simulé d'assemblage de blocs comprenant 495 instances issues de 19 utilisateurs. Les utilisateurs téléopéraient deux bras robotiques Franka pour assembler cinq blocs de bois identiques en l'une des huit structures (ex: Tuning Fork, Bridge, Horse).
Baseline : Une approche LTA de pointe inspirée d'AntGPT, qui effectue l'estimation de la tâche et un seul déroulement de prédiction d'action sans suivi d'état ni représentation d'état structurée.
Métriques :
- Exécutabilité : Pourcentage d'actions passant les contraintes logiques et physiques (ex: préconditions, poses des objets).
- Erreur de l'État Final : La différence entre l'état final réalisable et le véritable état cible.
- Plus Longue Sous-Séquence Commune (LCS) : Mesure le chevauchement dans l'ordre des actions entre les séquences prédites et enregistrées.
- Correction de la Tâche et Erreur de l'État Actuel : Précision de l'inférence de la tâche et de l'estimation de l'état.

Résultats Clés

Évalué sur un scénario de complétion de tâche à 50 % avec GPT-4o, STEP a démontré des améliorations significatives par rapport à la baseline :

Exécutabilité : L'article rapporte une amélioration globale de 32,8 % de l'exécutabilité des actions par rapport à l'état de l'art. Dans l'ablation spécifique GPT-4o (Tableau III), STEP a atteint 78,12 % d'exécutabilité contre 71,68 % pour la baseline.
Erreur de l'État Final : L'article rapporte une amélioration globale de 14,8 % de l'erreur de l'état final. Dans l'ablation spécifique GPT-4o (Tableau III), STEP a réduit l'erreur à 4,38 contre 4,53 pour la baseline.
LCS : La baseline a obtenu un LCS plus élevé. Les auteurs attribuent cela au fait que la baseline génère des séquences d'actions plus longues et moins efficaces qui chevauchent davantage les données enregistrées, tandis que la stratégie de troncation de STEP produit des plans plus courts et plus directs.
Robustesse : STEP a surpassé la baseline à travers diverses tailles de MM-LLM (GPT-4o, GPT-4.1, GPT-5.1, GPT-5.2), bien que les performances diminuent avec des modèles plus petits (GPT-4o mini) en raison d'une plus faible précision de l'estimation de la tâche.

Signification et Revendications

L'article affirme que STEP comble le fossé entre le raisonnement de haut niveau des MM-LLM et les exigences précises de l'exécution robotique dans les contextes industriels. En modélisant explicitement les transitions d'état et en utilisant des représentations JSON structurées, la méthode :

Atténue l'Hallucination : Empêche la génération d'actions physiquement impossibles ou divergeant de l'objectif en suivant quantitativement la distance de l'état.
Permet une Exécution Paramétrée : Va au-delà des paires « verbe-nom » pour fournir les paramètres d'assistance spécifiques (localisation, orientation) requis pour l'exécution réelle.
Opère Sans Vérité Terrain : Contrairement aux travaux précédents nécessitant des états de vérité terrain initiaux, STEP infère l'état à partir d'une entrée visuelle, ce qui le rend applicable à des scénarios réels où de telles données sont indisponibles.

Les auteurs reconnaissent des limites, spécifiquement que l'implémentation actuelle est adaptée à l'assemblage de blocs et que le processus de rollout itératif introduit une latence (environ 148 secondes contre 18 secondes pour la baseline), qui doit être adressée pour un déploiement en temps réel. Ils suggèrent que les travaux futurs pourraient se concentrer sur l'automatisation de la génération de prompts pour de nouveaux scénarios et l'optimisation de la vitesse d'inférence via l'hébergement local ou le fine-tuning du modèle.