Résumé Technique : SkillWrapper : Invention de Prédicats Générative pour la Planification de Tâches par Robot

Énoncé du Problème

Construire des robots autonomes capables de planification de tâches à long horizon nécessite de combler le fossé entre le contrôle sensorimoteur de bas niveau et le raisonnement abstrait de haut niveau. Alors que les humains peuvent raisonner sur des tâches complexes (par exemple, cuisiner) sans modéliser le contrôle musculaire, les robots dépendent généralement de modèles de niveau tâche (préconditions et effets) spécifiés manuellement par des experts du domaine. Dans des contextes réels, l'acquisition de ces modèles est non triviale en raison des contraintes complexes entre les compétences et des incarnations environnementales spécifiques.

Les approches existantes pour apprendre ces abstractions font face à une dichotomie :

1. Les méthodes bottom-up : Offrent des garanties théoriques (correction et complétude) mais reposent souvent sur des espaces d'états structurés et restreints (ex: espace de configuration) ou peinent à passer de données de pixels à des modèles sans modèles de fondation (foundation models).
2. Les méthodes pilotées par des Modèles de Fondation (FM) : Exploiter les FM pour générer des prédicats sémantiquement significatifs à partir d'entrées sensorielles brutes (un processus appelé invention de prédicat générative). Cependant, ces méthodes reposent généralement sur des procédures heuristiques ou ad hoc, manquant de garanties formelles concernant les propriétés que les abstractions apprises doivent satisfaire ou la manière de garantir que les modèles résultants sont corrects pour la planification.

Le défi central abordé par ce papier est : Comment peut-on apprendre de manière autonome des représentations symboliques sondes et complètes de compétences de robots "boîtes noires" à partir d'observations RGB brutes, en utilisant des modèles de fondation, tout en fournissant des garanties formelles pour la planification de tâches ?

Méthodologie : SkillWrapper

Les auteurs proposent SkillWrapper, un cadre d'apprentissage actif qui acquiert de manière autonome des modèles symboliques sondes et complets pour des compétences de type boîte noire. Le système opère sur un domaine défini par un ensemble de compétences centrées sur les objets ($\Omega$) et apprend un modèle de transition abstrait $M = \langle P, A \rangle$, où $P$ est un ensemble de prédicats et $A$ un ensemble d'opérateurs.

La méthode itère à travers trois étapes primaires :

1. Collecte Active de Données

Au lieu d'une exploration aléatoire, SkillWrapper sélectionne activement des séquences d'instances de compétences à exécuter. Il sollicite un Modèle de Fondation (FM) pour générer des séquences de compétences candidates, qui sont ensuite scorées selon deux axes :

• Équilibre ($b$) : Priorise les séquences où le ratio d'exécutions réussies par rapport aux échecs est proche d'une cible (ex: 0,5). Cela garantit la collecte d'exemples positifs et négatifs, ce qui est critique pour l'apprentissage contrastif.
• Couverture ($c$) : Priorise les séquences qui maximisent l'entropie des paires de compétences consécutives observées. Cela garantit que le système observe des dépendances inter-compétences diversifiées.
  Le système sélectionne le sous-ensemble de séquences Pareto-optimales et les exécute, enregistrant les transitions $\langle s, \omega, s' \rangle$ qui capturent l'exécutabilité et les résultats.

2. Invention de Prédicat Générative

SkillWrapper commence avec un ensemble de prédicats vide ($P = \emptyset$). Il invente de nouveaux prédicats uniquement lorsque le modèle actuel échoue à expliquer les transitions observées. L'invention est déclenchée par deux conditions formelles :

• Condition 1 (Incohérence de Précondition) : Le modèle prédit qu'une instance de compétence réussira, mais elle échoue (ou vice versa), et les prédicats actuels ne peuvent pas distinguer l'état de succès de l'état d'échec.
• Condition 2 (Incohérence d'Effet) : Le modèle ne peut pas distinguer les effets d'une exécution réussie et d'une exécution échouée de la même compétence (même en tenant compte de différents arguments d'objets via une fonction de levage/lifting).

Lorsqu'elle est déclenchée, le système sollicite un FM (spécifiquement un Modèle de Vision-Langage) pour générer un prédicat candidat qui distingue sémantiquement les cas conflictuels. Un candidat est évalué en vérifiant s'il améliore la capacité du modèle à expliquer l'ensemble de données (c'est-à-dire s'il permet la construction d'opérateurs qui séparent correctement les transitions réussies et échouées).

3. Apprentissage d'Opérateurs

En utilisant les données accumulées et l'ensemble actuel de prédicats, SkillWrapper apprend des opérateurs (actions avec préconditions et effets).

• Clustering : Les transitions sont regroupées en clusters basés sur leurs "changements abstraits levés" (différences dans les états abstraits).
• Dérivation de Préconditions : Pour chaque cluster, les préconditions sont dérivées comme l'intersection des états initiaux abstraits des transitions dans ce cluster.
• Gestion des Types : Pour éviter la sur-généralisation dans des domaines avec des catégories d'objets chevauchantes, le système assigne de manière conservatrice les paramètres d'opérateur en utilisant le niveau le plus bas de la hiérarchie des types cohérent avec les données.

Cadre Théorique

Le papier établit une théorie formelle pour l'invention de prédicat générative, fournissant les premières garanties prouvables pour cette classe de méthodes :

• Sonnance (Soundness) : Le modèle appris prédit correctement les effets d'un plan ; si un planificateur prédit qu'une séquence atteint un état, l'exécution mène réellement à celui-ci.
• Complétude (Completeness) : Le modèle n'omet jamais de solutions réelles ; si une solution existe dans l'environnement, le planificateur peut trouver un plan abstrait.
• Correction : Les auteurs prouvent que le modèle appris par SkillWrapper est empiriquement correct par rapport aux données observées (Théorème 1) et converge asymptotiquement vers un modèle correct sous un processus $\beta$-mixant stationnaire (Théorème 2).

Résultats Expérimentaux

Les auteurs ont évalué SkillWrapper à la fois en simulation et sur de vrais robots.

Simulation (Robotouille)

Dans un environnement de cuisine simulé avec six objets et cinq compétences, SkillWrapper a été comparé à :

• Opérateurs Experts : Modèles PDDL définis manuellement.
• Prédicats Système : Prédicats de l'oracle du simulateur (ground-truth).
• ViLa : Une ligne de base utilisant le prompting direct de FM pour la sélection d'actions.
• Ablations : Variantes sans heuristiques de collecte de données actives ou sans l'algorithme spécifique d'invention de prédicats.

Résultats :

• SkillWrapper a surpassé toutes les lignes de base non privilégiées (incluant ViLa et l'exploration aléatoire).
• Sur les problèmes "difficiles" (jusqu'à 15 étapes), SkillWrapper a surpassé la ligne de base des prédicats système, démontrant que les abstractions apprises peuvent être plus efficaces que les prédicats système de vérité terrain dans des scénarios de planification complexes.
• Il a correctement identifié 100 % des tâches impossibles, une exigence pour la sonnance.

Expériences sur Robot Réel

Des expériences ont été menées sur un Franka Emika Panda (tabletop) et un manipulateur bimanuel Kuka iiwa.

• Généralisation : Un modèle appris dans des environnements d'entraînement restreints (sous-ensembles d'objets) a réussi à se généraliser à un environnement de test contenant tous les objets, résolvant des tâches inédites à long horizon.
• Efficacité des Données : Dans un contexte bimanuel avec des impasses (dead ends), SkillWrapper a amélioré ses performances au fil des itérations, surpassant toutes les lignes de base en cinq itérations. Le système a démontré que la collecte de données active guidée est cruciale pour apprendre dans des environnements comportant des actions irréversibles.

Signification et Revendications

Le papier affirme être le premier travail sur l'invention de prédicat générative qui garantit de manière prouvable la sonnance et la complétude pour la planification de tâches.

Les contributions clés incluent :

1. Théorie Formelle : Une caractérisation des conditions sous lesquelles un modèle appris est prouvé son et complet, répondant au manque de rigueur théorique des approches antérieures pilotées par les FM.
2. Système SkillWrapper : Un système structuré qui exploite les modèles de fondation pour collecter des données de manière interactive, inventer des prédicats et apprendre des représentations symboliques interprétables sans spécification manuelle.
3. Validation Empirique : Des preuves étendues montrant que ces représentations apprises permettent aux robots de composer des compétences "boîtes noires" pour résoudre des tâches inédites à long horizon dans le monde réel en utilisant des planificateurs classiques standards.

Les auteurs concluent que SkillWrapper offre une voie prometteuse vers l'apprentissage de modèles symboliques scalables, permettant aux robots de raisonner sur des objectifs de haut niveau sans nécessiter d'abstractions faites à la main ou de connaissances privilégiées de la dynamique de l'environnement. Le travail reconnaît des limites, telles que l'hypothèse de dynamiques déterministes et l'incapacité à contrôler directement les sorties des FM, suggérant des travaux futurs dans les contextes probabilistes et la gestion du bruit.