🤖 machine learning

Reward Shaping and Action Masking for Compositional Tasks using Behavior Trees and LLMs

Ce papier présente l'Arbre de Comportement de Récompense Masquée (MRBT), un cadre neurosymbolique qui exploite les grands modèles de langage et les solveurs SMT pour générer automatiquement des fonctions de façonnage de récompense et de masquage d'actions vérifiables, modulaires et réactives, améliorant ainsi considérablement l'efficacité et les taux de réussite de l'apprentissage par renforcement pour des tâches compositionnelles impliquant des objets variables.

Auteurs originaux : Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nicholas Potteiger, Ankita Samaddar, Taylor T. Johnson, Xenofon Koutsoukos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment nettoyer une maison en désordre. Si vous dites simplement au robot « Nettoyez la maison » et ne lui accordez une grosse récompense qu'une fois le travail entièrement terminé, le robot risque de se perdre. Il pourrait balayer le sol, puis laisser tomber l'aspirateur, puis essayer de laver les fenêtres, sans jamais vraiment finir. C'est comme essayer d'apprendre une danse complexe en ne recevant un prix qu'à la toute fin de la chanson ; vous ne saurez pas quelles étapes étaient justes ou fausses en cours de route.

Ce papier présente une méthode plus intelligente pour enseigner aux robots (ou aux agents autonomes) comment gérer des tâches complexes et multi-étapes. Les auteurs appellent leur solution MRBT (Masking Reward Behavior Tree, ou Arbre de Comportement à Récompense Masquée). Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : La « Boîte Noire » des Récompenses

Dans l'entraînement traditionnel des robots (Apprentissage par Renforcement), vous devez concevoir manuellement un « système de récompense ». Vous devez décider exactement pour quoi le robot reçoit un « point » et pour quoi il reçoit une « pénalité ».

La Partie Difficile : Si le robot échoue à une petite étape (comme faire tomber une clé), un système de récompense simple pourrait ne pas savoir dire au robot de revenir en arrière et réessayer. Il pourrait simplement continuer à errer sans but.
Le Problème de Modularité : Si vous modifiez légèrement la tâche (par exemple, au lieu d'une clé rouge, utilisez une clé bleue), vous devez souvent réécrire tout le système de récompense depuis zéro.

2. La Solution : Un « Coach Intelligent » avec une Liste de Contrôle

Les auteurs utilisent un Arbre de Comportement. Imaginez cela comme un organigramme ou une liste de contrôle que le robot suit. Il décompose la grande tâche en petites étapes gérables (sous-tâches).

L'Astuce du « Masquage » : Imaginez que le robot a les mains pleines d'outils. Parfois, il doit cacher (masquer) les outils dont il n'a pas besoin immédiatement. Par exemple, si le robot doit marcher vers une porte, le système « masque » (cache) le bouton « ramasser » afin que le robot n'essaie pas accidentellement de ramasser l'air. Cela empêche le robot de perdre du temps sur des actions inutiles.
L'Astuce de la « Récompense » : Le système accorde de petites récompenses pour la réussite de chaque étape de la liste de contrôle, et non pas seulement pour l'objectif final. Si le robot laisse tomber la clé, le système dit immédiatement : « Oh non, vous l'avez laissée tomber ! Retournez au début de cette étape », plutôt que de laisser le robot s'égarer.

3. L'Ingrédient Magique : L'« Architecte » IA (LLM)

Concevoir manuellement ces listes de contrôle et ces règles est difficile. Les auteurs ont donc utilisé un Grand Modèle de Langage (LLM) — le même type d'IA qui alimente les chatbots — pour faire le gros du travail.

Vous donnez à l'IA un modèle (comme un formulaire vide) et une description de la tâche (par exemple, « Prenez la clé dans la pièce rouge »).
L'IA remplit les blancs : elle écrit la logique pour « La porte est-elle ouverte ? », « La clé est-elle à proximité ? », et décide quels boutons masquer à chaque étape.
Le Filet de Sécurité (Résolveur SMT) : Comme l'IA peut faire des erreurs, les auteurs ont ajouté un « vérificateur logique » (un résolveur SMT). C'est comme un professeur de mathématiques strict qui vérifie le travail de l'IA. Si l'IA écrit une règle qui n'a pas de sens (par exemple, « La porte est ouverte » alors que le robot est encore loin), le vérificateur le repère, dit à l'IA « C'est faux » et lui demande de réessayer.

4. Les Résultats : Un Robot Qui Apprend Plus Vite

L'équipe a testé cela sur deux « terrains de jeu » différents :

MiniGrid : Un monde en grille simple où un robot doit trouver des clés, ouvrir des portes et atteindre un objectif.
MuJoCo Fetch : Une simulation plus réaliste d'un bras robotique ramassant des blocs.

Ils ont constaté que les robots entraînés avec leur système MRBT :

Ont appris beaucoup plus vite : Ils ont atteint l'objectif en moins d'essais.
Ont eu plus de succès : Dans les tâches les plus difficiles, ils ont réussi plus de 80 % du temps, tandis que d'autres méthodes peinaient en dessous de 70 %.
Ont mieux géré les erreurs : Si le robot laissait tomber un objet, le système le guidait immédiatement pour corriger l'erreur, plutôt que de le laisser se perdre.

5. Pourquoi Cela Compte (Selon le Papier)

Les auteurs mettent en avant trois super-pouvoirs principaux de leur système :

Transférabilité : Ils ont entraîné un robot dans un monde en grille simple et cela a fonctionné de manière surprenante lorsqu'il a été déplacé vers un simulateur de drone réaliste (AirSim). C'est comme apprendre à conduire sur un parking et pouvoir ensuite conduire sur une vraie autoroute.
Modularité : Si vous voulez ajouter une nouvelle étape à la tâche (comme « laver les fenêtres » après « nettoyer le sol »), vous pouvez simplement la brancher à l'arbre sans reconstruire tout le système. C'est comme ajouter un nouveau chapitre à un livre sans réécrire toute l'histoire.
Vérifiabilité : Parce qu'ils ont utilisé le « vérificateur logique », ils peuvent prouver mathématiquement que les règles générées par l'IA sont correctes, plutôt que de simplement espérer qu'elles fonctionnent.

En résumé : Le papier montre comment utiliser l'IA pour écrire automatiquement un « coach intelligent » pour les robots. Ce coach décompose les gros travaux en petites étapes, cache les boutons inutiles et corrige instantanément les erreurs, permettant aux robots d'apprendre des tâches complexes beaucoup plus vite et plus fiablement qu'auparavant.

Résumé technique : Façonnage de récompense et masquage d'actions pour des tâches compositionnelles utilisant des arbres de comportement et des LLM

1. Énoncé du problème

Les agents autonomes sont souvent confrontés à des tâches complexes nécessitant de décomposer un objectif de haut niveau en une séquence de sous-tâches plus simples, telles que se rendre vers un objet, le manipuler, puis se diriger vers un but. Bien que l'apprentissage par renforcement (RL) puisse optimiser des politiques pour ces sous-tâches, il souffre d'une faible efficacité d'échantillonnage en l'absence de fonctions de récompense et de masques d'action bien définis. La conception manuelle de ces composants est difficile car elle nécessite :

L'identification de sous-tâches appropriées.
La garantie d'une réactivité face aux échecs de sous-tâches (par exemple, si un agent laisse tomber une clé, il doit revenir en arrière pour la ramasser plutôt que de continuer).
Le maintien d'une modularité à travers divers objets de tâche (par exemple, la même logique doit s'appliquer que l'objet soit une « clé rouge » ou une « clé bleue »).

Les approches automatisées existantes utilisant des modèles de langage (LLM) ou des modèles vision-langage (VLM) génèrent souvent du code de récompense ou des machines à états finis, mais échouent à traiter pleinement la réactivité face aux échecs, la modularité pour les tâches compositionnelles, ou l'optimisation conjointe de la récompense et du masquage d'actions.

2. Méthodologie

Les auteurs proposent les Arbres de Comportement de Récompense à Masquage (MRBTs), une structure symbolique servant à la fois de fonction de façonnage de récompense et de fonction de masquage d'actions. La méthodologie intègre trois composants principaux : un modèle d'arbre de comportement, des spécifications logiques pour la vérification, et un pipeline automatisé utilisant un LLM et un solveur SMT.

2.1. Arbre de Comportement de Récompense à Masquage (MRBT)

Un MRBT est un arbre de comportement (BT) où les nœuds feuilles sont des Machines de Récompense de Comportement à Masquage (MBRMs).

Structure : Le BT coordonne l'exécution via des nœuds de contrôle (Séquence → et Retour ?).
Feuilles : Chaque feuille est une MBRM qui produit une récompense scalaire et un masque d'actions discret basés sur l'état de l'agent et la tâche.
Réactivité : La structure du BT permet le retour en arrière. Si une sous-tâche échoue (par exemple, une interaction échoue), le BT revient à un état précédent, garantissant que l'agent réessaie l'étape nécessaire plutôt que de recevoir une récompense pour une séquence incomplète.
Modularité : Le MRBT utilise des espaces réservés pour les sous-tâches et les formules logiques, lui permettant de s'adapter à différents attributs d'objets (par exemple, les couleurs) au sein d'un espace de tâches défini.

2.2. Modèle de MRBT

Les auteurs conçoivent un modèle spécifique pour les tâches séquentielles d'interaction avec des objets. Pour une séquence de $k$ sous-tâches, le modèle inclut :

Formules logiques : Pour chaque sous-tâche $i$ , il définit une formule de complétion ( $\psi_i$ ) et une formule de proximité d'objet ( $\phi_i$ ).
Masques d'actions : Deux masques par sous-tâche : $\eta_{i,1}$ pour la navigation et $\eta_{i,2}$ pour l'interaction.
Logique d'exécution : Le BT exécute une séquence de MBRMs. Si une sous-tâche est complétée, il passe à la suivante ; si l'agent est proche de l'objet, il active l'interaction ; sinon, il active la navigation. Si une sous-tâche échoue (transition d'état vers Échec), le BT revient en arrière.

2.3. Pipeline automatisé de génération et de vérification

Pour automatiser la création de MRBTs, les auteurs ont développé un pipeline (Figure 1) impliquant :

Génération par LLM : Un LLM (ChatGPT-5) prend en entrée une description de tâche, le modèle de MRBT et les prédicats de l'environnement. Il génère les sous-tâches spécifiques, les formules logiques ( $\psi_i, \phi_i$ ) et les masques d'actions ( $\eta_{i,1}, \eta_{i,2}$ ).
Vérification SMT : Un modèle symbolique de la dynamique de l'environnement ( $E_{sym}$ $E_{sy m}$ ) est construit dans un solveur SMT (Z3). Le solveur vérifie les formules logiques générées contre trois spécifications :
- Correction de complétion : Garantit que si la tâche finale est complétée, toutes les sous-tâches l'ont été.
- Proximité d'objet : Garantit que l'agent est proche de l'objet immédiatement avant la complétion de la sous-tâche.
- Récompense maximale non régressive : Garantit qu'une fois une sous-tâche complétée, elle reste complétée (pas de régression) pour atteindre la récompense maximale.
Raffinement : Si le solveur SMT trouve un contre-exemple (par exemple, une trajectoire où l'agent complète la tâche sans satisfaire une condition de sous-tâche), il génère une invite de débogage. Le LLM est relancé avec ce contre-exemple pour affiner les formules logiques jusqu'à ce qu'elles soient satisfaisables.
Entraînement RL neurosymbolique : Le MRBT vérifié est intégré dans une boucle RL neurosymbolique (utilisant PPO) pour entraîner l'agent. Le MRBT fournit le signal de récompense et restreint l'espace d'actions à chaque étape.

3. Contributions clés

Cadre MRBT : Introduction d'une structure symbolique générant conjointement des récompenses et des masques d'actions, spécifiquement conçue pour la réactivité et la modularité dans les tâches compositionnelles.
Modèle et spécifications MRBT : Un modèle systématique pour construire des MRBTs destinés aux tâches séquentielles d'interaction avec des objets, accompagné de spécifications logiques pour vérifier la correction (complétion, proximité et non-régression) à l'aide d'un solveur SMT.
Pipeline automatisé : Un système utilisant un LLM pour générer des MRBTs et un solveur SMT pour les vérifier et les affiner, assurant une robustesse à travers un espace de tâches avec des objets variables.
Évaluation complète : Expériences menées sur cinq espaces de tâches dans deux environnements (MiniGrid et MuJoCo Fetch) sous des dynamiques déterministes et stochastiques.
Analyse des avantages : Démonstration de la transférabilité des MRBTs (vers AirSim), de leur modularité (meilleure évolutivité que les Machines de Récompense Hiérarchiques) et de leur vérifiabilité (garanties théoriques via Z3).

4. Résultats expérimentaux

Les auteurs ont évalué l'approche MRBT par rapport à deux bases de référence :

Tâche : Une récompense binaire donnée uniquement lors de la complétion totale de la tâche.
Procédure : Une machine de récompense basée sur VLM-CaR qui attribue des récompenses pour la complétion de sous-tâches mais manque de retour en arrière réactif et de masquage d'actions.
RBT (Ablation) : Un MRBT sans masquage d'actions.

Principales constatations :

Efficacité d'entraînement et succès : Les MRBTs ont constamment atteint une efficacité d'entraînement et des taux de réussite de tâche supérieurs par rapport aux bases de référence et à l'ablation RBT.
Gestion de la complexité : Dans l'espace de tâches le plus complexe (LockedRoom, 4 sous-tâches, 36 variantes), les MRBTs ont atteint un taux de réussite moyen de $\ge 80\%$ , tandis que les bases de référence ont atteint $\le 70\%$ .
Stochasticité : Les MRBTs ont maintenu des performances élevées dans des environnements stochastiques (par exemple, des clés tombant aléatoirement), démontrant la valeur du retour en arrière réactif.
Transférabilité : Les politiques entraînées avec des MRBTs dans MiniGrid ont été transférées avec succès à un simulateur réaliste de quadricoptère (AirSim), atteignant un taux de réussite de 97 % dans des conditions déterministes et de 94 % dans des conditions stochastiques, surpassant toutes les ablations.
Modularité : La structure MRBT évolue de manière plus modulaire que les Machines de Récompense Hiérarchiques (HRM) ; l'ajout d'une sous-tâche à un MRBT nécessite un stockage de $O(1)$ , tandis que les HRM nécessitent un stockage de $O(k)$ pour les arêtes de retour.
Vérification : Le solveur SMT a affiné avec succès les formules logiques générées (par exemple, en corrigeant les seuils de proximité ou les conditions de persistance) en moins de 10 minutes pour la plupart des tâches.

5. Signification et affirmations

L'article affirme que les MRBTs offrent une solution robuste pour automatiser le façonnage de récompense et le masquage d'actions dans les tâches compositionnelles. La signification réside dans trois avantages principaux :

Transférabilité : La nature symbolique des MRBTs permet aux politiques entraînées en simulation de se transférer efficacement vers des simulateurs réalistes (AirSim) et vers divers objets de tâche.
Modularité : Contrairement aux machines à états finis ou aux machines de récompense, la structure arborescente des MRBTs permet une évolutivité et une modification plus faciles à mesure que la complexité de la tâche augmente.
Vérifiabilité : En intégrant des solveurs SMT, l'approche fournit des garanties théoriques que la logique de récompense et de masquage d'actions est correcte par rapport aux spécifications de la tâche, une caractéristique absente des approches purement basées sur les données ou sur la démonstration.

Les auteurs concluent que bien que l'approche nécessite un solveur SMT pour la vérification, les MRBTs résultants améliorent considérablement l'efficacité de l'apprentissage et le succès de la tâche, en particulier dans des environnements complexes et multi-étapes où la réactivité face à l'échec est critique. Il est noté que des travaux futurs exploreront la généralisation du modèle de MRBT.