Résumé technique : L'apprentissage conjoint des prédicats et des actions permet la composition de compétences en zéro-shot

1. Définition du problème

L'apprentissage par démonstration (LfD) a permis aux robots d'acquérir des comportements complexes, pourtant les politiques visuomotrices génératives existantes échouent souvent à se généraliser à de nouvelles combinaisons de compétences connues sans réentraînement. Les approches actuelles modélisent généralement des distributions sur les trajectoires d'actions uniquement. Bien qu'efficaces pour capturer des comportements multi-modaux, ces modèles manquent de capacité à raisonner sur les résultats symboliques (changements d'état) induits par les actions. Cette limitation crée un écart dans les tâches à long horizon où le décalage de distribution s'accumule et où l'espace des variations de tâches croît de manière combinatoire.

Les travaux antérieurs tentant de combler cet écart découplent souvent les composants : entraîner un modèle pour générer des actions et un modèle distinct pour classifier les prédicats à partir des observations. Cette séparation ignore le couplage étroit entre les actions de manipulation et leurs effets symboliques. Par conséquent, des incohérences au moment de l'inférence peuvent survenir où l'état symbolique prédit ne correspond pas au mode d'action réel, entravant la composition robuste basée sur la planification.

2. Méthodologie : Compétences Prédicat-Action (PACTS)

Les auteurs proposent les Compétences Prédicat-Action (PACTS), une classe de politiques visuomotrices en boucle fermée qui modélisent les compétences comme un processus génératif conjoint sur les trajectoires d'actions ($x$) et les trajectoires de croyance des prédicats ($z$).

Formulation de base

Au lieu d'apprendre $p(x|o)$ et $p(z|o)$ séparément, PACTS apprend une distribution couplée :
$$(x, z) \sim p_\theta(x, z | o)$$
où :

• $x$ est la trajectoire d'actions sur un horizon $H$.
• $z$ est une trajectoire de croyance des prédicats, représentant une trace compacte de valeurs de vérité floues (scores de confiance dans $[0, 1]$) pour un ensemble de prédicats $J$ au fil du temps.
• $o$ est l'observation courante.

En échantillonnant à partir de cette distribution conjointe, le modèle produit des paires cohérentes où l'engagement envers un mode d'action spécifique engage intrinsèquement la trace symbolique correspondante.

Implémentation architecturale

• Variable conjointe : Le modèle définit une variable de trajectoire conjointe $y \triangleq [x | z]$ et apprend un seul modèle génératif conditionnel $p_\theta(y | o)$.
• Objectifs : Le cadre prend en charge à la fois la Modélisation Probabiliste de Diffusion Débruitante (DDPM) et l'Appariement de Flux Conditionnel (CFM).
  • DDPM : Entraîne un réseau de prédiction de bruit $\epsilon_\theta$ pour débruiter la variable conjointe $y$.
  • CFM : Entraîne un champ vectoriel $v_\theta$ pour transporter le bruit vers les données le long d'un chemin de transport optimal.
• Architectures de base : Le générateur de trajectoires peut être instancié avec un UNet temporel (convolutions 1D) ou un Transformer (auto-attention sur les pas de temps).
• Exécution : PACTS opère de manière à horizon glissant. À chaque cycle de contrôle, il se conditionne sur l'observation courante, échantillonne une simulation conjointe $(x, z)$, exécute un préfixe de l'action, et ré-échantillonne.

Composition basée sur la planification

La trajectoire de croyance des prédicats générée $z$ sert d'interface symbolique en ligne pour la planification.

1. Estimation d'état : Les valeurs de croyance continues dans $z$ sont seuillées (par exemple, $>0,5$) pour produire des états de prédicats discrets $\hat{p}_t$.
2. Boucle de planification : Un planificateur PDDL standard utilise ces états prédits pour :
   • Vérifier les préconditions et les effets.
   • Enchaîner les compétences pour atteindre les objectifs.
   • Déclencher une replanification si les effets prédits d'une compétence sont violés (par exemple, en raison de perturbations environnementales).
     Cela permet une composition en zéro-shot, permettant aux robots d'enchaîner des compétences apprises pour atteindre de nouveaux objectifs sans réentraînement.

Outils de données

Pour faciliter le déploiement dans le monde réel, les auteurs introduisent une boîte à outils de segmentation et d'étiquetage des compétences. Cet outil convertit les ensembles de données de démonstration monolithiques (par exemple, format LeRobot) en ensembles de données centrés sur les compétences en :

• Annotant des images clés éparses avec des prédicats ancrés.
• Interpolant ceux-ci en étiquettes denses par pas de temps.
• Segmentant les épisodes en trajectoires par compétence contiguës basées sur des configurations de prédicats réalisant l'objectif.

3. Contributions clés

L'article fait trois contributions principales :

1. Formulation générative conjointe : Un modèle de compétence qui traite les trajectoires d'actions et les traces de prédicats comme un processus génératif couplé, produisant des simulations cohérentes d'actions et de résultats au sein d'un seul modèle.
2. Composition basée sur la planification : Une méthode pour séquencer et surveiller les compétences en utilisant des traces de croyance des prédicats comme interface en ligne, permettant une composition en zéro-shot avec des planificateurs standards.
3. Boîte à outils open source : Une boîte à outils de segmentation et d'étiquetage qui convertit les démonstrations monolithiques en ensembles de données adaptés à l'apprentissage conjoint $(x, z)$.

4. Résultats expérimentaux

Les auteurs ont évalué PACTS sur un benchmark compositionnel 2D (PushBarrier), deux tâches 3D RoboMimic (Cuisine et Préparation de café), et une tâche réelle de rangement de cubes.

Performance de politique unique

• Qualité de l'action : Dans l'environnement 2D PushBarrier, PACTS a obtenu des récompenses de tâche parfaites ou quasi parfaites (Récompense Max $\approx 1,0$) à travers diverses architectures de base (UNet/Transformer) et objectifs (DDPM/CFM), surpassant ou égalant les modèles de référence basés uniquement sur les actions. Dans les tâches 3D, PACTS est resté compétitif par rapport aux politiques basées uniquement sur les actions, démontrant que l'ajout de la modélisation des résultats ne dégrade pas les performances de contrôle.
• Prédiction de prédicats : PACTS a constamment surpassé les modèles de référence dans la classification des prédicats (F1, Rappel, Précision, Exactitude). Notamment, il a dépassé un modèle de référence multi-tâches avec un encodeur partagé mais des têtes séparées, suggérant que l'échantillonnage conjoint fournit un biais inductif plus fort qu'un simple partage de paramètres.

Cohérence et composition

• Cohérence Prédicat-Action : Les expériences ont montré que les simulations de croyance prédites par PACTS correspondaient étroitement aux résultats réels obtenus en exécutant les actions générées (faibles scores Cross-Brier et Cross-NLL), confirmant que la trace symbolique dépend de l'action et n'est pas un a priori.
• Composition en zéro-shot : Dans des simulations et des environnements réels, le système a réussi à composer des sous-compétences apprises pour atteindre de nouveaux objectifs (par exemple, ranger uniquement des cubes d'une couleur spécifique) qui n'avaient pas été démontrés de bout en bout.
• Récupération face à l'adversité : Le système a démontré sa capacité à détecter lorsque les effets d'une compétence étaient violés (par exemple, une porte se fermant en cours d'exécution) via l'interface de prédicats, déclenchant une replanification pour récupérer et compléter la tâche.

5. Importance et affirmations

L'article soutient que la limitation fondamentale dans l'apprentissage actuel des compétences est le découplage des actions de leurs résultats symboliques. En modélisant les compétences comme des simulations conjointes d'actions et de résultats, PACTS fournit une interface « alignée avec le planificateur » qui est naturellement cohérente avec le comportement de la politique.

Les auteurs affirment que cette approche permet :

• Une généralisation robuste : La capacité d'enchaîner des compétences pour des compositions de tâches inédites sans réentraînement.
• Une surveillance fiable : Une interface symbolique en ligne permettant aux planificateurs de vérifier la progression de l'exécution et de détecter les échecs.
• Un biais inductif : L'apprentissage de la distribution couplée encourage la politique à représenter la relation spécifique entre les modes d'action et les transitions symboliques, améliorant à la fois le contrôle et la prédiction.

L'article conclut avec modestie, reconnaissant que les performances dépendent de la qualité de l'ensemble de prédicats et que l'approche actuelle suppose un domaine symbolique défini manuellement. Cependant, il postule que la modélisation conjointe des actions et des résultats est une étape nécessaire vers des compétences robotiques évolutives, fiables et composables.