CABTO: Context-Aware Behavior Tree Grounding for Robot Manipulation

Cet article présente CABTO, un cadre innovant qui utilise des grands modèles pré-entraînés pour automatiser la création de systèmes d'arbres de comportement complets et cohérents, surmontant ainsi la nécessité d'une expertise manuelle intensive dans la planification robotique.

L'essentiel

Imaginez que vous voulez apprendre à un robot à faire des tâches complexes, comme ranger une chambre ou préparer un repas. Pour y parvenir, le robot a besoin de deux choses essentielles :

1. Un chef d'orchestre (la planification) : Quelqu'un qui décide quoi faire et dans quel ordre (ex: "d'abord ouvrir le tiroir, puis prendre la cuillère").
2. Des musiciens (le contrôle) : Des bras et des mains capables d'exécuter physiquement ces ordres avec précision.

Le problème, c'est que dans le monde de la robotique, on a souvent un excellent chef d'orchestre, mais les musiciens ne savent pas jouer de leur instrument ! Ou alors, on a de super musiciens, mais le chef ne sait pas quelles partitions leur donner. C'est ce qu'on appelle le problème de l'"ancrage" (Grounding) : faire en sorte que la théorie (le plan) corresponde parfaitement à la réalité (l'action).

Voici comment le papier CABTO résout ce casse-tête, expliqué simplement :

1. Le Problème : Le Chef et le Musicien qui ne se comprennent pas

Auparavant, pour créer un système robotique fiable, il fallait des experts humains pour écrire manuellement des milliers de règles. C'était long, fastidieux et sujet aux erreurs.

• L'erreur classique : Le chef dit "Mets la pomme dans le tiroir". Le musicien (le robot) essaie, mais il ne sait pas que le tiroir doit être ouvert avant. Résultat : le robot cogne le tiroir fermé et échoue. Le plan était logique, mais l'exécution était impossible.

2. La Solution : CABTO (Le Traducteur Intelligent)

Les auteurs ont créé CABTO, un système qui agit comme un traducteur ultra-intelligent entre le chef d'orchestre et les musiciens. Il utilise des modèles d'intelligence artificielle (comme les grands modèles de langage que vous connaissez) pour apprendre par essais et erreurs, mais de manière très intelligente.

CABTO fonctionne en trois étapes, comme un atelier de réparation :

Étape 1 : Le Chef propose une idée (Modélisation de haut niveau)

Le système demande à une IA (un "Grand Modèle de Langage") : "Voici la tâche : ranger les jouets. Quelles actions sont nécessaires ?"
L'IA propose une liste d'actions (ex: "Ouvrir", "Prendre", "Mettre").

• L'astuce : Le système teste immédiatement ces idées avec un simulateur de plan. Si le plan échoue (parce qu'il manque une étape), le simulateur dit : "Hé, tu as oublié de dire qu'il faut d'abord que le tiroir soit ouvert !"
• L'IA corrige alors sa liste. C'est comme un chef d'orchestre qui écoute les musiciens et ajuste la partition en temps réel.

Étape 2 : Le Musicien essaie de jouer (Échantillonnage de politique)

Une fois qu'une action est proposée (ex: "Ouvrir le tiroir"), le système doit trouver comment le robot le fait physiquement.

• Il utilise une autre IA (un modèle "Vision-Language") qui regarde des images de la situation.
• Elle dit : "Pour ouvrir ce tiroir, il faut saisir la poignée ici, tourner le poignet ainsi..." et génère le code pour le robot.
• Le robot essaie. Si ça marche, super ! Si ça rate (le tiroir est trop lourd, ou la poignée glisse), le système enregistre l'échec.

Étape 3 : La Réparation Croisée (Affinement)

C'est la partie la plus brillante. Si le robot échoue à exécuter une action, le système ne jette pas simplement l'idée. Il mélange les informations :

• Il prend le plan (ce que le chef voulait faire) et le feedback physique (ce qui a raté).
• Il demande à l'IA : "Tu voulais ouvrir le tiroir, mais le robot a glissé. Peux-tu réécrire la règle pour dire 'Saisir la poignée fermement' au lieu de juste 'Ouvrir' ?"
• L'IA réécrit la règle pour qu'elle soit à la fois logique et physiquement possible.

L'Analogie du "Jeu de Rôle"

Imaginez que vous essayez d'enseigner à un ami à cuisiner un plat complexe, mais il ne connaît pas la cuisine.

1. Sans CABTO : Vous lui donnez une recette écrite par un chef étoilé. Il essaie de couper l'oignon, mais il n'a pas de couteau, ou il coupe son doigt. Il échoue. Vous devez tout réécrire à la main.
2. Avec CABTO : Vous avez un assistant virtuel.
   • Il lit la recette.
   • Il regarde votre ami essayer de couper.
   • Il voit que l'ami n'a pas de couteau.
   • Il modifie la recette : "D'abord, prendre le couteau".
   • Il voit que l'ami glisse sur l'oignon.
   • Il modifie la technique : "Tenir l'oignon fermement avec la main gauche".
   • À la fin, vous avez une recette parfaite, adaptée à la réalité de votre cuisine, générée automatiquement.

Pourquoi c'est important ?

Ce papier montre que nous n'avons plus besoin d'experts humains pour coder chaque petit mouvement des robots. En utilisant l'IA pour faire le lien entre la pensée (le plan) et l'action (le mouvement), on peut créer des robots capables de s'adapter à de nouvelles tâches beaucoup plus vite et plus sûrement.

En résumé, CABTO est le pont magique qui permet aux robots de comprendre non seulement ce qu'ils doivent faire, mais aussi comment le faire réellement dans le monde physique, en apprenant de leurs propres erreurs grâce à l'intelligence artificielle.

Résumé technique

1. Problématique : Le Problème de "Grounding" des Arbres de Comportement (BT)

Les Arbres de Comportement (Behavior Trees - BT) sont une architecture de contrôle puissante pour la robotique, offrant modularité, interprétabilité et réactivité. Cependant, l'approche actuelle de la planification de BT repose sur une hypothèse critique : l'existence préalable d'un système de BT bien "ancré" (grounded).

Un système de BT ancré doit posséder deux propriétés fondamentales :

1. Complétude : Le système doit contenir un ensemble suffisant de modèles d'actions (haut niveau) permettant de générer, via la planification, un BT solution pour toutes les tâches d'un ensemble donné.
2. Cohérence : Les politiques de contrôle (bas niveau) associées à chaque action doivent garantir que les transitions d'état réelles dans l'environnement correspondent exactement à celles prédites par le modèle d'action (préconditions, effets ajoutés, effets supprimés).

Le problème central identifié par les auteurs est l'absence de méthodes automatisées pour construire ce système complet et cohérent. Traditionnellement, cela nécessite une expertise humaine massive pour modéliser les actions et concevoir les politiques de contrôle. L'article formalise ce défi sous le nom de problème de Grounding des BT : la construction automatisée d'un système de BT complet et cohérent pour un ensemble de tâches spécifique.

2. Méthodologie : Le Framework CABTO

Pour résoudre ce problème sans recourir à une recherche exhaustive (qui est exponentiellement complexe), les auteurs proposent CABTO (Context-Aware Behavior Tree grOunding). Ce framework utilise des Modèles de Langage (LM) pré-entraînés pour explorer heuristiquement l'espace des modèles d'actions et des politiques de contrôle, guidé par des retours contextuels.

CABTO opère en trois phases itératives :

A. Proposition de Modèles Haut Niveau (High-level Model Proposal)

• Objectif : Générer des modèles d'actions symboliques prometteurs.
• Mécanisme : Un Grand Modèle de Langage (LLM) reçoit une description textuelle structurée de l'ensemble des tâches (états initiaux, objectifs, objets).
• Boucle de raffinement : Le LLM propose un ensemble de modèles candidats. Un algorithme de planification de BT (sound et complet) tente de résoudre les tâches avec ces modèles.
  • Si la planification échoue, les détails de l'échec (topologie du BT incomplet, conditions non satisfaites) sont renvoyés au LLM comme contexte de planification.
  • Le LLM utilise ces informations pour identifier les lacunes symboliques et proposer de nouveaux modèles d'actions, réduisant ainsi l'espace de recherche.

B. Échantillonnage de Politiques Bas Niveau (Low-level Policy Sampling)

• Objectif : Vérifier la cohérence physique des modèles d'actions proposés.
• Mécanisme : Pour chaque modèle d'action $h$, un Modèle Vision-Langage (VLM) est utilisé pour échantillonner une politique de contrôle $\pi$ (code Python, paramètres).
• Intégration Multimodale : Le VLM utilise des API de perception (ex: Molmo pour extraire des points clés visuels) et de contrôle (ex: cuRobo pour la cinématique inverse) pour générer une politique exécutable.
• Validation : La politique est exécutée dans un simulateur. Si l'état final correspond aux effets symboliques attendus ($add$ et $del$ du modèle), l'action est considérée comme cohérente.
• Contexte d'exécution : Les observations visuelles et les signaux de succès/échec servent de contexte pour guider l'échantillonnage.

C. Raffinement Inter-Niveaux (Cross-level Refinement)

• Objectif : Corriger les modèles d'actions qui échouent à être exécutés physiquement.
• Mécanisme : Si aucune politique ne peut être trouvée pour un modèle $h$ (incohérence détectée), le VLM combine deux types de contextes :
  1. Le contexte de planification (pourquoi ce modèle était nécessaire symboliquement).
  2. Le contexte d'exécution (données multimodales de l'échec physique).
• Le VLM génère alors un modèle d'action corrigé $h'$ (par exemple, en ajoutant une précondition manquante comme "IsOpen(drawer)" ou en ajustant les effets), qui est réintégré dans le processus.

3. Contributions Clés

1. Formalisation du problème : Définition rigoureuse du "BT Grounding" comme la construction simultanée d'un système complet (planification) et cohérent (exécution), accompagnée d'une analyse de complexité.
2. Framework CABTO : Première solution efficace utilisant des LMs pour explorer l'espace des modèles et des politiques, évitant la recherche exhaustive grâce à des boucles de rétroaction contextuelles.
3. Validation Empirique : Démonstration de l'efficacité du framework sur 7 ensembles de tâches robotiques variés (manipulation mono-bras, bi-bras, mobile) avec des résultats supérieurs aux approches de base.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois plateformes robotiques (Franka Emika mono-bras, Franka bi-bras, et Fetch mobile) dans des simulateurs réalistes (Isaac Sim, OmniGibson).

• Performance de la Proposition de Modèles (Haut Niveau) :

  • L'utilisation des contextes de planification (retours du planificateur) améliore considérablement les performances.
  • Avec GPT-4o, le taux de réussite de planification complète (CSR) passe de ~50% (sans contexte) à >90% (avec contexte), surpassant nettement GPT-3.5.
  • Cela démontre que les LLM peuvent résoudre des défis logiques complexes lorsqu'ils sont guidés par des feedbacks formels.

• Échantillonnage de Politiques (Bas Niveau) :

  • L'approche combinant Molmo (vision) et cuRobo (contrôle) a montré les meilleurs résultats pour les actions complexes (ouvrir/fermer, basculer des interrupteurs), atteignant un taux de réussite global de 62% contre 46% pour les méthodes sans contexte d'exécution.
  • Les politiques basées sur l'extraction de points clés sémantiques (poignées, charnières) sont plus robustes que les approches purement end-to-end ou basées sur des règles rigides.

• Raffinement Inter-Niveaux :

  • La boucle de raffinement permet de corriger les incohérences (ex: préconditions manquantes).
  • Le taux de réussite des modèles d'actions après raffinement atteint 74%, contre seulement 44% pour une approche sans feedback environnemental.
  • Le nombre moyen de cycles de feedback (FC) reste faible (environ 1.3), indiquant une convergence rapide.

5. Signification et Impact

CABTO représente une avancée majeure pour l'automatisation de la robotique de manipulation :

• Réduction de l'effort humain : Il élimine le besoin d'experts pour modéliser manuellement chaque action et sa politique de contrôle, un goulot d'étranglement majeur dans le déploiement de robots.
• Fiabilité théorique et pratique : En garantissant à la fois la complétude (le robot peut planifier la tâche) et la cohérence (le robot peut l'exécuter physiquement), CABTO comble le fossé entre la planification symbolique et l'exécution réelle.
• Généralisation : La capacité du framework à s'adapter à différents types de robots et de tâches (du simple empilement de blocs à la cuisine mobile) suggère une forte potentiel de généralisation pour des systèmes robotiques autonomes complexes.

En conclusion, CABTO établit un nouveau paradigme où les modèles de langage, enrichis par des boucles de rétroaction multi-niveaux (planification et exécution), deviennent des moteurs centraux pour la construction autonome de systèmes de contrôle robotique fiables.