From Pixels to Predicates: Learning Symbolic World Models via Pretrained Vision-Language Models

Cet article propose une méthode permettant d'apprendre des modèles du monde symboliques abstraits à partir de démonstrations visuelles et de modèles vision-langage préentraînés, afin de résoudre par planification des tâches de prise de décision à long horizon dans des environnements robotiques complexes avec une généralisation zéro-shot.

L'essentiel

Voici une explication simple et imagée de l'article "Des pixels aux prédicats : Apprendre des modèles du monde symboliques via des modèles vision-langage pré-entraînés".

Imaginez que vous voulez apprendre à un robot à faire le ménage ou à cuisiner, mais vous ne voulez pas lui programmer chaque mouvement minute par minute. Vous voulez juste lui montrer quelques vidéos de vous en train de faire ces tâches, et espérer qu'il puisse ensuite gérer n'importe quelle situation nouvelle (une cuisine différente, de nouveaux objets, un objectif bizarre).

C'est exactement le défi que relève cette équipe de chercheurs (du MIT et d'autres) avec leur méthode appelée pix2pred.

1. Le Problème : Le Robot est un Touriste Perdu

Actuellement, beaucoup de robots sont comme des touristes qui suivent un guide GPS très strict. Si vous leur dites "va à la cuisine", ils le font. Mais si vous leur dites "nettoie la table, mais attention, il y a un bol de fruits dessus, et ensuite range la serviette", ils paniquent.

Pourquoi ? Parce qu'ils ne comprennent pas le sens de ce qu'ils voient. Ils voient des millions de pixels (des points de couleur), mais ils ne savent pas que "ceci est une serviette", "ceci est un bol", ou "le bol est sur la table". Ils ne comprennent pas les règles du jeu.

2. La Solution : Le Robot avec un "Super-Cerveau" de Traducteur

Les chercheurs ont une idée géniale : utiliser l'intelligence artificielle la plus avancée du moment (les modèles Vision-Langage, comme GPT-4 ou Gemini) non pas pour faire le travail à la place du robot, mais pour apprendre au robot à penser comme un humain.

Imaginez que le robot a un assistant invisible, un "traducteur" ultra-intelligent qui regarde la caméra du robot et lui chuchote à l'oreille des règles simples :

• "Regarde, il y a un objet sur la table."
• "La main du robot est vide."
• "Le robot tient un essuie-tout."

Ces phrases simples sont appelées des prédicats (des affirmations vraies ou fausses). C'est comme passer d'une image floue (des pixels) à une liste de faits clairs (du langage).

3. Comment ça marche ? (L'Analogie du Chef et du Chef de Cuisine)

Le processus se déroule en trois étapes magiques :

Étape 1 : La Récolte des Idées (Le Traducteur propose)

Le robot regarde quelques vidéos de démonstration (par exemple, quelqu'un qui essuie une table).
Le "traducteur" (le modèle d'IA) regarde ces vidéos et propose des centaines de règles possibles.

• Proposition 1 : "Il y a un essuie-tout."
• Proposition 2 : "La table est sale."
• Proposition 3 : "Le robot tient un objet."
• Proposition 4 : "Le sol est bleu." (Inutile !)

Le traducteur est très créatif, mais il propose aussi beaucoup de choses inutiles ou redondantes.

Étape 2 : Le Tri Sélectif (Le Chef de Cuisine choisit)

C'est ici que la méthode pix2pred brille. Au lieu de garder toutes les idées, l'algorithme joue au "jeu du tri". Il teste mentalement : "Si je garde cette règle, est-ce que le robot pourra mieux planifier ses actions ?"
Il rejette les règles inutiles (comme "le sol est bleu") et garde les règles cruciales (comme "la main est vide" ou "la table est propre").
C'est comme si un chef de cuisine prenait un panier rempli de 100 ingrédients et ne gardait que les 5 essentiels pour réussir le plat.

Étape 3 : L'Apprentissage du Plan (Le Robot devient un Stratège)

Une fois que le robot a ses règles clés, il ne se contente plus d'imiter les mouvements. Il apprend à planifier.

• But : "Nettoyer la table."
• Règle apprise : "Je ne peux pas nettoyer si je ne tiens pas l'essuie-tout."
• Plan : 1. Prendre l'essuie-tout. 2. Nettoyer. 3. Ranger.

Si demain, la table est dans une autre pièce, ou si l'essuie-tout est dans une boîte, le robot utilise ses règles pour déduire : "Ah, je dois d'abord ouvrir la boîte, puis prendre l'essuie-tout." Il n'a pas besoin d'avoir vu cette situation précise avant !

4. Les Résultats : Un Robot qui "Comprend"

Les chercheurs ont testé cela sur de vrais robots (un Boston Dynamics Spot) et dans des simulations complexes (faire des burgers, faire du jus, nettoyer).

• Avant : Si on changeait un peu la pièce, le robot échouait.
• Avec pix2pred : Le robot a réussi à accomplir des tâches très longues et complexes, même avec des objets qu'il n'avait jamais vus, dans des pièces différentes, et avec des objectifs nouveaux (comme "nettoyer la table, puis ranger l'essuie-tout dans une poubelle qui est pleine").

En Résumé

Cette méthode permet de transformer un robot qui ne voit que des pixels en un robot qui comprend des concepts.
C'est comme passer d'un enfant qui répète bêtement ce qu'il voit, à un adulte qui comprend la logique derrière les actions et qui peut s'adapter à n'importe quelle nouvelle situation en utilisant son bon sens.

L'analogie finale :
C'est la différence entre apprendre à conduire en mémorisant "tourne le volant de 30 degrés à gauche à 50 mètres du panneau" (ce qui échoue si le panneau est déplacé) et apprendre à conduire en comprenant "il faut éviter les obstacles et respecter les feux" (ce qui fonctionne partout). pix2pred apprend au robot à comprendre les feux et les obstacles, pas juste à mémoriser les virages.

Résumé technique

1. Problématique et Contexte

L'objectif central de ce travail est de permettre aux robots de résoudre des problèmes de prise de décision à long horizon dans des environnements complexes, en partant uniquement d'entrées visuelles de bas niveau (pixels) et d'un nombre limité de démonstrations.

Les défis majeurs identifiés sont :

• Généralisation : Les robots doivent s'adapter à de nouveaux objets, de nouveaux agencements, de nouveaux arrière-plans visuels et à des objectifs inédits, sans réapprentissage.
• Abstraction : Les méthodes d'apprentissage par imitation (imitation learning) purement basées sur les données (model-free) peinent à généraliser car elles tendent à mémoriser des séquences d'actions spécifiques plutôt qu'à comprendre la structure causale du monde.
• Manque de supervision sémantique : Dans un cadre d'apprentissage par démonstration, on ne dispose pas d'une liste prédéfinie de concepts (prédicats) ou de relations entre les objets. Le système doit découvrir ces concepts lui-même à partir d'images.

L'approche proposée vise à apprendre des modèles de monde symboliques abstraits qui permettent une planification efficace et une généralisation agressive, en reliant directement les pixels aux concepts logiques (prédicats).

2. Méthodologie : Pix2Pred

Les auteurs proposent une nouvelle méthode nommée pix2pred. Cette méthode combine la puissance des Modèles Vision-Langage (VLM) pré-entraînés (comme GPT-4V ou Gemini) avec un cadre d'optimisation pour l'invention de prédicats et l'apprentissage d'opérateurs symboliques.

Le processus se déroule en trois étapes principales :

A. Proposition de Prédicats via VLM (Invention)

Au lieu de définir manuellement les prédicats, le système utilise un VLM pour générer un pool diversifié de candidats :

1. Entrée : Le système prend une série de démonstrations (images avant/après chaque action) et la séquence d'actions exécutées.
2. Génération : Le VLM est invité à proposer des "atomes" (faits concrets) pertinents pour la prise de décision (ex: NoObjectsOnTop(table), IsEraser(obj)).
3. Lifting : Ces atomes sont transformés en prédicats symboliques génériques avec des variables typées (ex: NoObjectsOnTop(?surface)).
4. Diversité : Le prompt incite le VLM à proposer des synonymes et des antonymes pour enrichir le pool de candidats.

B. Évaluation et Sous-sélection (Optimisation)

Le pool de prédicats proposé est souvent trop grand et contient du bruit ou des redondances.

1. Évaluation : Le VLM est utilisé comme classifieur pour évaluer la vérité de chaque prédicats sur les images des démonstrations (vrai, faux, inconnu).
2. Sélection par Optimisation : Un algorithme de type "hill-climbing" (montée de colline) est utilisé pour sélectionner le sous-ensemble optimal de prédicats et d'opérateurs.
   • Objectif : Maximiser l'efficacité de la planification (capacité à résoudre les tâches de démonstration avec un nombre minimal d'états abstraits).
   • Robustesse au bruit : Des mécanismes de "soft intersection" sont employés pour gérer les erreurs d'étiquetage potentielles du VLM, évitant ainsi le surapprentissage (overfitting) sur des cas particuliers.

C. Apprentissage du Modèle et Planification

Une fois le sous-ensemble de prédicats sélectionné :

• Le système apprend des opérateurs symboliques (de style PDDL) définissant les préconditions et les effets des compétences (skills) robotiques.
• Des échantillonneurs (samplers) continus sont entraînés pour proposer les paramètres numériques (ex: coordonnées de saisie) nécessaires à l'exécution des compétences.
• Phase de test : Pour une nouvelle tâche, le robot utilise le VLM pour étiqueter l'état actuel du monde avec les prédicats appris, puis un planificateur de recherche (basé sur PDDL) génère une séquence d'actions pour atteindre l'objectif.

3. Contributions Clés

1. Invention de Prédicats à partir de Pixels : La première méthode capable d'inventer des prédicats symboliques sémantiquement significatifs directement à partir de démonstrations visuelles brutes, sans supervision explicite sur la nature des prédicats.
2. Utilisation des VLM comme "Senseurs Sémantiques" : Démonstration que les VLM peuvent servir non seulement pour la planification de haut niveau, mais aussi pour l'étiquetage précis d'états visuels et la proposition de concepts abstraits nécessaires à la modélisation du monde.
3. Généralisation Aggressive : La méthode permet de résoudre des tâches avec des objets, des quantités et des objectifs totalement nouveaux, dépassant largement les limites des démonstrations d'entraînement.
4. Validation Réelle : Implémentation réussie sur un robot physique (Boston Dynamics Spot) dans des environnements réels (nettoyage, fabrication de jus), prouvant la transférabilité des modèles appris à partir de vidéos humaines vers un robot autonome.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs domaines simulés (Kitchen, Burger, Coffee, Juice) et deux domaines réels (Cleanup, Juice).

• Performance en Simulation :

  • pix2pred surpasse systématiquement les approches de base (baselines) et les méthodes d'ablation (sans sous-sélection, sans invention de prédicats, etc.).
  • Il obtient les taux de réussite les plus élevés sur des tâches à long horizon (jusqu'à 30 étapes) et avec des objectifs complexes (ex: empiler plusieurs burgers, gérer des ingrédients variés).
  • Comparé à ViLa (une méthode de planification directe par VLM sans abstraction symbolique), pix2pred généralise beaucoup mieux. ViLa échoue souvent sur des tâches nécessitant une composition de démonstrations ou des états initiaux non vus (ex: tenir un objet au départ), car elle tend à faire du "pattern matching" plutôt que du raisonnement logique.

• Performance en Réel (Boston Dynamics Spot) :

  • Avec seulement 6 à 10 démonstrations humaines, le robot a réussi à accomplir des tâches complexes dans de nouveaux environnements (nouveaux objets, nouveaux arrière-plans, nouveaux objectifs).
  • Exemple notable : Dans le domaine "Cleanup", le robot a appris à vider une poubelle pour récupérer un objet (une gomme) qu'il n'avait jamais vu dans cet état, puis à nettoyer la table, une séquence jamais montrée lors de l'entraînement.

• Analyse des Échecs :

  • La majorité des échecs proviennent d'erreurs de classification du VLM lors de l'étiquetage des prédicats au moment du test (bruit visuel), et non d'un défaut du modèle symbolique lui-même.

5. Signification et Limites

Signification :
Ce travail marque une avancée significative vers des robots capables d'apprendre des modèles du monde interprétables et structurés à partir de données visuelles brutes. En combinant la flexibilité sémantique des VLM avec la rigueur de la planification symbolique, pix2pred comble le fossé entre la perception de bas niveau et la prise de décision de haut niveau, permettant une généralisation robuste là où l'apprentissage par imitation échoue.

Limites :

• Dépendance aux descripteurs d'objets : Le système suppose que les objets pertinents sont identifiés et nommés manuellement (ou via un détecteur d'objets) avant la planification.
• Observabilité complète : L'hypothèse d'une observabilité totale des objets n'est pas toujours vraie dans des environnements réels complexes (occlusions).
• Coût computationnel : La procédure d'optimisation (hill-climbing) pour sélectionner les prédicats peut être lente, surtout avec un grand pool de candidats et de nombreuses démonstrations.
• Bruit des VLM : La fiabilité du modèle dépend de la capacité du VLM à étiqueter correctement les images, ce qui peut introduire du bruit dans l'apprentissage.

En conclusion, pix2pred démontre qu'il est possible d'apprendre des modèles de monde symboliques efficaces et généralisables à partir de quelques démonstrations visuelles, ouvrant la voie à des robots domestiques capables de s'adapter à des environnements domestiques variés et imprévisibles.