🤖 AI

Learning Bilevel Policies over Symbolic World Models for Long-Horizon Planning

L'article présente BISON, un système qui combine l'apprentissage par imitation neuronale de bas niveau avec des abstractions symboliques de haut niveau pour créer des politiques à deux niveaux capables de résoudre efficacement des tâches de planification à long horizon impliquant un grand nombre d'objets, surpassant les méthodes existantes de bout en bout en matière d'évolutivité et d'efficacité.

Auteurs originaux : Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

Publié 2026-05-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dillon Z. Chen, Till Hofmann, Toryn Q. Klassen, Sheila A. McIlraith

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment nettoyer une pièce en désordre. Si vous montrez simplement au robot une vidéo de quelqu'un en train de nettoyer, il pourrait apprendre à ramasser un chaussette spécifique ou à plier un t-shirt particulier. Mais si vous lui demandez de nettoyer une pièce contenant 100 objets différents, ou si les objets bougent pendant qu'il travaille, cette approche simple de « singe qui imite » échoue souvent. Il se sent submergé.

Ce papier présente une nouvelle méthode pour enseigner aux robots, appelée BISON. Considérez BISON comme un système de « Manager et Ouvrier » qui combine le meilleur de deux styles d'enseignement différents.

L'Approche à Deux Équipes

Les auteurs ont réalisé que les robots ont besoin de deux types de « cerveaux » différents travaillant ensemble :

L'Ouvrier (Politique de bas niveau) : C'est la mémoire musculaire. C'est comme un danseur hautement qualifié qui sait exactement comment bouger ses bras et ses doigts pour saisir une tasse sans la faire tomber. Le robot apprend cela en regardant de nombreuses vidéos (démonstrations) de personnes effectuant les tâches physiques. Dans le papier, il s'agit d'un réseau de neurones qui gère les détails complexes et continus du monde réel.
Le Manager (Politique de haut niveau) : C'est le planificateur stratégique. Il ne se soucie pas de comment bouger les doigts ; il se soucie de quoi faire ensuite. Il pense en symboles et en logique, comme un joueur d'échecs ou un chef de projet. Il dit : « D'abord, prenez le bloc rouge. Ensuite, allez à la table. Ensuite, posez-le. »

Le Problème : Habituellement, ces deux-là ne communiquent pas bien. L'« Ouvrier » est trop bête pour planifier une longue séquence, et le « Manager » est trop abstrait pour savoir comment bouger réellement le bras du robot.

La Solution BISON : BISON enseigne au Manager en observant les succès passés de l'Ouvrier. Il prend les vidéos désordonnées du robot déplaçant des objets, les traduit en une histoire simple et symbolique (comme une bande dessinée), puis enseigne au Manager à écrire un scénario basé sur cette histoire.

Comment ça marche : L'Analogie de la « Recette »

Imaginez que vous voulez enseigner à un robot à faire un gâteau, mais que vous n'avez que des vidéos d'un boulanger humain le faisant.

Regarder la vidéo (Données de bas niveau) : Vous enregistrez le boulanger mélangeant, versant et faisant cuire. Ce sont les données de « bas niveau ».
Résumer l'histoire (Abstraction) : BISON regarde la vidéo et ignore les détails minuscules (comme la vitesse exacte du fouet). Au lieu de cela, il crée un résumé : « Étape 1 : Mélanger les ingrédients. Étape 2 : Verser dans le moule. Étape 3 : Cuire. » C'est l'histoire de « haut niveau ».
Apprendre les règles (Régression vers l'objectif) : Le système regarde l'objectif (« Nous voulons un gâteau ») et travaille à rebours. Il se demande : « Pour obtenir un gâteau, nous devions le cuire. Pour cuire, nous devions verser. » Il transforme cette pensée à rebours en un ensemble de règles simples « Si-Alors ».
- Règle : « SI nous avons de la pâte ET un moule vide, ALORS verser. »
- Règle : « SI nous avons un moule dans le four, ALORS attendre. »
Généraliser (Le tour de magie) : C'est la plus grande affirmation du papier. La plupart des robots échouent si vous leur donnez une recette pour 1 gâteau, puis leur demandez d'en faire 100. Les règles de BISON sont écrites avec des « variables » (comme « SI nous avons n'importe quelle pâte... »). Cela signifie que le Manager peut gérer 1 gâteau, 10 gâteaux, ou même 10 000 gâteaux sans avoir besoin de nouvelle formation. C'est comme avoir une recette qui dit « Ajouter de la farine » au lieu de « Ajouter 2 tasses de farine pour ce bol spécifique ».

Pourquoi c'est mieux que la concurrence

Le papier a testé BISON contre d'autres méthodes, notamment :

Les modèles VLA (Vision-Language-Action) : Ce sont comme d'énormes chatbots IA qui tentent de voir le monde et d'agir. Le papier a constaté qu'ils luttaient terriblement avec les tâches longues et se perdaient facilement.
Les réseaux de neurones de bout en bout : Ils tentent d'apprendre tout d'un coup. Ils sont comme un élève essayant de mémoriser chaque étape d'un livre de 100 pages. Ils fonctionnent correctement pour les tâches courtes mais échouent lorsque la tâche devient longue ou que le nombre d'objets augmente.
Les planificateurs symboliques traditionnels : Ils sont très logiques mais ne peuvent pas gérer le monde réel désordonné et imprévisible (comme un bloc qui tombe de manière inattendue).

Les victoires de BISON :

Tâches plus longues : Il peut planifier beaucoup plus loin à l'avance que les autres.
Plus d'objets : Alors que les autres méthodes plantaient lorsque le nombre d'objets dépassait 6 ou 10, BISON gère des environnements avec beaucoup plus d'objets.
Vitesse : La partie « Manager » de BISON est si efficace que, si l'on ignore le temps nécessaire pour bouger réellement le bras du robot, elle peut résoudre un problème de planification avec 10 000 objets en moins d'une minute. C'est comme planifier un mariage pour 10 000 invités instantanément.

L'Avantage du « Monde Ouvert »

Le papier souligne également que BISON fonctionne dans des « mondes ouverts ». Imaginez un robot dans une pièce où de nouveaux objets pourraient apparaître de nulle part, ou où les objets pourraient se téléporter.

Les anciennes méthodes cassent souvent car elles ont été entraînées sur un ensemble spécifique d'objets.
BISON utilise ses règles symboliques « Si-Alors ». Si un nouvel objet apparaît, le Manager vérifie simplement : « Y a-t-il une règle pour cet objet ? » Si la règle dit « S'il y a un bloc rouge, ramassez-le », le robot ramassera le nouveau bloc rouge immédiatement, même s'il n'a jamais vu ce bloc spécifique auparavant.

Résumé

En termes simples, BISON est un système qui enseigne à un robot à être à la fois un ouvrier qualifié et un manager intelligent. Il observe l'ouvrier faire le travail, résume le travail en règles logiques simples, puis utilise ces règles pour planifier à l'avance des tâches de toute taille. Il est plus rapide, plus intelligent et plus flexible que les méthodes actuelles, permettant aux robots de gérer des objectifs complexes et à long terme avec de nombreuses pièces mobiles sans se perdre.

Résumé technique : Apprentissage de politiques à deux niveaux sur des modèles du monde symboliques pour la planification à long horizon

Énoncé du problème

L'article aborde le défi de la conception d'agents d'intelligence artificielle incarnés capables de résoudre de manière fiable des problèmes de planification à long horizon dans des espaces d'états et d'actions continus avec des nombres d'objets variables. Si l'apprentissage par imitation à partir de démonstrations a prouvé son efficacité pour le contrôle moteur et la manipulation de bas niveau (BN), il peine à générer des plans à long horizon efficaces. À l'inverse, les planificateurs symboliques de haut niveau (HN) sont efficaces pour le raisonnement à long horizon, mais échouent souvent à se généraliser à des contextes présentant des modalités sensorielles variables, une observabilité partielle et des dynamiques de bas niveau complexes.

Les auteurs formulent le problème comme l'apprentissage d'une politique conditionnée par un objectif $\pi(all | s_{bn}, g_{hn})$ qui choisit des actions de bas niveau ( $a_{bn}$ ) pour atteindre des objectifs de haut niveau ( $g_{hn}$ ). Les entrées d'apprentissage comprennent :

Démonstrations BN : Des trajectoires d'états et d'actions appariées à des objectifs HN.
Langage d'abstraction ( $D$ ) : Une théorie du domaine définissant des prédicats et des schémas d'actions.
Fonction d'étiquetage ( $L$ ) : Une fonction de mappage des observations BN vers des états symboliques HN.

L'objectif est d'apprendre une politique qui se généralise à des états et des objectifs non vus de manière zéro-shot, gérant des nombres arbitraires d'objets et des conditions de monde ouvert.

Méthodologie

Les auteurs proposent BISON, un système qui apprend des politiques à deux niveaux $(\pi_{hn}, \pi_{bn})$ en combinant l'apprentissage par imitation neuronal avec l'abstraction symbolique et la généralisation inductive.

1. Architecture de politique à deux niveaux

Le système décompose le problème en deux politiques distinctes :

Politique de Haut Niveau (HN) ( $\pi_{hn}$ ) : Une politique symbolique opérant sur des états abstraits ( $s_{hn}$ ) et des objectifs ( $g_{hn}$ ) pour proposer des actions HN ( $a_{hn}$ ).
Politique de Bas Niveau (BN) ( $\pi_{bn}$ ) : Une politique neuronale (Réseau de Neurones à Graphes) qui prend l'état BN actuel ( $s_{bn}$ ), l'action HN proposée ( $a_{hn}$ ) et l'objectif ( $g_{hn}$ ) pour produire des actions BN continues ( $a_{bn}$ ).

Les politiques sont composées de telle sorte que $\pi(all | s_{bn}, g_{hn}) = \sum_{a_{hn}} \pi_{bn}(all | s_{bn}, a_{hn}, g_{hn}) \cdot \pi_{hn}(a_{hn} | L(s_{bn}), g_{hn})$ .

2. Apprentissage de la politique de Haut Niveau ( $\pi_{hn}$ )

La politique HN est apprise à partir de démonstrations BN via un processus en trois étapes (illustré dans la Figure 2) :

Construction de traces HN : La fonction d'étiquetage $L$ est appliquée aux démonstrations BN pour extraire des traces HN abstraites (séquences d'états et d'actions HN).
Régression d'objectif : Les auteurs appliquent la régression d'objectif (une technique de réécriture d'image préimage) à ces traces. Cela calcule les conditions minimales sous lesquelles une action atteint un objectif. En régressant les objectifs à rebours à travers les traces d'actions, le système extrait des règles condition-action de base.
Généralisation inductive : Les règles de base sont élevées à la logique du premier ordre en remplaçant les objets spécifiques par des variables. Cela aboutit à un ensemble compact de règles Condition $\mapsto$ Action avec des valeurs de priorité basées sur la proximité de l'objectif. Ces règles sont interprétables et peuvent se généraliser à des nombres arbitraires d'objets.

La politique HN résultante est un ensemble de règles du premier ordre. L'exécution consiste à trouver la règle applicable ayant la valeur de priorité la plus faible (priorité la plus élevée) qui satisfait les conditions de l'état actuel et des objectifs non atteints.

3. Apprentissage de la politique de Bas Niveau ( $\pi_{bn}$ )

La politique BN est implémentée sous la forme d'un Réseau de Neurones à Graphes (GNN) comptant moins de 33 000 paramètres.

Encodage des entrées : Le GNN encode l'état BN (état de l'agent et états des objets), le schéma d'action HN et les faits d'objectif HN.
Architecture : Il utilise le passage de messages entre les nœuds d'objets, les nœuds d'actions et un nœud global pour agréger les informations.
Entraînement : Le GNN est entraîné par apprentissage par imitation (clonage de comportement) sur l'ensemble de données de tuples $\langle s_{bn}, a_{hn}, g_{hn}, a_{bn} \rangle$ dérivés des démonstrations, en minimisant l'erreur quadratique moyenne (MSE) entre les actions prédites et les actions de vérité terrain.

4. Garanties théoriques

L'article établit la propriété de raffinement descendant non déterministe (NDRP), garantissant que toute solution au problème HN peut être raffinée en une solution pour le problème BN. De plus, le Théorème 1 prouve que, sous des conditions d'indépendance d'objectif bornée en C (où les composantes d'objectif peuvent être atteintes indépendamment dans n'importe quel ordre avec une taille de politique bornée), la politique HN apprise se généralise à des problèmes avec un nombre arbitraire d'objets et d'horizons.

Contributions clés

Système BISON : Une approche pour apprendre des politiques à deux niveaux $(\pi_{hn}, \pi_{bn})$ à partir de démonstrations BN appariées à des objectifs HN, utilisant une théorie du domaine et une fonction d'étiquetage.
Apprentissage symbolique HN : L'application de la régression d'objectif et de la généralisation inductive pour apprendre des politiques HN compactes et expressives. Ces politiques sont représentées sous forme de règles condition-action du premier ordre, permettant une opération dans des environnements de monde ouvert et partiellement observables, et une généralisation à des nombres d'objets arbitraires.
Apprentissage BN efficace : La réalisation de politiques BN via un GNN compact (moins de 33k paramètres) conditionné par des actions HN.
Validation empirique : Des expériences extensives (21 600 épisodes) sur des benchmarks MetaWorld étendus démontrant une efficacité, une généralisation et des capacités de planification à long horizon supérieures par rapport aux modèles Vision-Language-Action (VLA), aux méthodes de bout en bout et aux planificateurs symboliques de référence.

Résultats expérimentaux

Les auteurs ont évalué BISON par rapport à 8 références (incluant SmolVLA, PureNN, PddlNN et diverses stratégies de replanification) sur 8 environnements présentant des incertitudes variables (exogène, endogène, incertitude d'état).

Généralisation : BISON a réussi à se généraliser à des environnements avec plus d'objets (jusqu'à 10) et des horizons plus longs que ceux observés lors de l'entraînement (3 objets), surpassant les références GNN de bout en bout dont les performances se sont dégradées de manière significative au-delà de 6 objets.
Robustesse : BISON a obtenu les taux de réussite moyens les plus élevés dans la plupart des environnements, en particulier dans des scénarios complexes où les références de replanification luttaient ou échouaient.
Efficacité : BISON a démontré une efficacité supérieure en termes de temps et de mémoire, tant pour l'entraînement que pour l'inférence, par rapport aux méthodes de bout en bout et de replanification.
Évolutivité : En ignorant l'exécution BN, les politiques HN symboliques de BISON ont résolu des problèmes de planification avec 10 000 objets en moins d'une minute, surpassant nettement le planificateur PDDL de l'état de l'art LAMA, qui peinait avec quelques centaines d'objets.
Performance VLA : Les modèles VLA préentraînés (SmolVLA) n'ont réussi à résoudre aucune tâche dans les benchmarks, soulignant la difficulté de les appliquer directement à la manipulation multi-objets à long horizon sans adaptations architecturales spécifiques.

Importance et affirmations

L'article affirme que BISON offre une solution novatrice au défi de longue date de la planification à long horizon en comblant efficacement le fossé entre l'apprentissage par imitation neuronal et le raisonnement symbolique.

Planification sans recherche : Contrairement aux systèmes de planification à deux niveaux traditionnels qui recherchent des plans HN sur des abstractions symboliques avant de les affiner, BISON généralise inductivement les politiques HN directement à partir des démonstrations, éliminant le besoin de recherche lors de l'exécution.
Capacité de monde ouvert : L'encodage des politiques sous forme de règles condition-action du premier ordre facilite la planification dans des environnements de monde ouvert et gère l'observabilité partielle, répondant aux limitations des planificateurs purement symboliques.
Efficacité et évolutivité : L'approche produit des politiques compactes qui sont computationnellement efficaces et capables de s'adapter à des nombres massifs d'objets, une capacité souvent absente des approches purement neuronales et purement symboliques.

Les auteurs reconnaissent des limites, notant que l'approche hérite de la dépendance à la qualité de l'abstraction HN (qu'elle soit apprise ou donnée) et ne garantit pas l'optimalité des politiques BN. Cependant, ils affirment que la méthode fournit un cadre robuste pour permettre aux agents incarnés de résoudre des tâches complexes à long horizon avec des nombres d'objets variables.