Compose by Focus: Scene Graph-based Atomic Skills

Cet article propose un cadre d'apprentissage de compétences robotiques basé sur des graphes de scène et l'apprentissage par imitation, qui améliore la robustesse et la généralisation compositionnelle des robots généralistes en se concentrant sur les objets et relations pertinents pour la tâche.

L'essentiel

Voici une explication de l'article de recherche "Compose by Focus" (Composer par la concentration), imagée et simplifiée pour un public général.

🤖 Le Problème : Le Robot "Distrait"

Imaginez un robot apprenti cuisinier. Vous lui avez appris à faire une chose très simple : couper une carotte sur une table parfaitement vide et propre. Il est un expert, il le fait parfaitement.

Maintenant, vous le mettez dans une vraie cuisine, remplie de fruits, de légumes, de casseroles et de fourchettes éparpillées partout. Vous lui dites : "Prends toutes les carottes et mets-les dans le panier."

Le robot panique. Pourquoi ? Parce qu'il a été entraîné sur une table vide. Quand il voit la table en désordre, son cerveau (son algorithme) se noie sous les informations inutiles. Il essaie de "voir" tout ce qui l'entoure, se trompe de cible, ou oublie comment couper la carotte parce qu'il y a une banane à côté. C'est ce qu'on appelle un manque de généralisation compositionnelle : il sait faire la tâche A, et la tâche B, mais il échoue quand il doit les combiner dans un environnement complexe.

💡 La Solution : Le "Filtre Magique" (Le Graphe de Scène)

Les chercheurs de Harvard et de l'Université du Michigan ont une idée brillante : au lieu de donner au robot une photo brute de la cuisine (qui est un chaos visuel), donnons-lui une liste de courses intelligente et un plan de navigation.

C'est ce qu'ils appellent un Graphe de Scène (Scene Graph).

L'Analogie du "Dessinateur de Scénario"

Imaginez que le robot ne regarde pas la scène avec des yeux humains, mais avec un dessinateur de scénario très rapide.

1. Il ignore le bruit : Il ne dessine pas la banane, la fourchette ou le fond de la cuisine.
2. Il ne garde que l'essentiel : Il dessine uniquement :
   • La main du robot.
   • La carotte (l'objet cible).
   • Le panier (la destination).
   • Et une petite ligne pointillée pour dire : "Attention, il y a un obstacle ici, ne passe pas par là."

Ce dessin est un Graphe.

• Les points (nœuds) sont les objets importants.
• Les lignes (arêtes) sont les relations entre eux (ex: "la carotte est à côté de l'obstacle").

En donnant cette information structurée au robot, on lui dit : "Oublie le reste du monde, concentre-toi juste sur ce petit dessin."

🛠️ Comment ça marche ? (La Recette)

Le système utilise trois ingrédients magiques :

1. Les Yeux du Robot (Modèles de Vision) : Ils scannent la scène et disent "Tiens, il y a une carotte ici, et un panier là".
2. Le Cerveau Logique (VLM - Modèle de Langage) : Il comprend la phrase "Mets la carotte dans le panier" et crée le petit dessin (le graphe) en ne gardant que les éléments nécessaires.
3. Le Moteur d'Action (Diffusion Policy) : C'est le robot qui bouge. Au lieu d'apprendre à bouger en regardant des millions de photos, il apprend à bouger en regardant ce petit dessin.

🚀 Pourquoi c'est révolutionnaire ?

Dans l'article, ils ont testé cela avec deux défis :

• Le défi des légumes (Simulation et Réel) :

  • Sans le filtre : Le robot tombe en panne dès qu'il y a trop d'objets sur la table.
  • Avec le filtre : Le robot réussit à ramasser tous les légumes, même dans un désordre total, car il sait exactement sur quoi se concentrer à chaque étape.

• Le défi des outils :

  • Imaginez devoir pousser un cube avec un bâton, mais il y a un mur sur le chemin.
  • Le robot doit comprendre : "Je dois pousser le cube, mais éviter le mur".
  • Grâce au graphe, le robot voit la relation "Cube - Obstacle" et trace une trajectoire intelligente pour contourner l'obstacle, même s'il n'a jamais vu cet obstacle précis auparavant.

🌟 La Grande Leçon

L'idée centrale de ce papier est la Concentration.

Pour qu'un robot soit vraiment intelligent et capable de faire des tâches complexes (comme ranger toute une chambre), il ne doit pas essayer de tout voir et tout comprendre en même temps. Il doit savoir ignorer ce qui est inutile et se focaliser uniquement sur ce qui est pertinent pour la tâche immédiate.

C'est comme si, au lieu de vous demander de lire tout un livre pour trouver une information précise, on vous donnait un résumé qui ne contient que les phrases importantes. Le robot devient ainsi plus robuste, plus rapide et capable de s'adapter à n'importe quel nouveau désordre, sans avoir besoin d'être rééduqué pour chaque nouvelle situation.

En résumé : Ils ont appris aux robots à ne pas se laisser distraire par le chaos du monde réel, en leur donnant une carte mentale simplifiée et intelligente de la situation.

Résumé technique

Titre : Compose by Focus : Compétences Atomiques Basées sur les Graphes de Scène

1. Problématique

Le défi central abordé par les auteurs est la généralisation compositionnelle des robots généralistes. Pour accomplir des tâches à long horizon (long-horizon tasks), un robot doit composer plusieurs compétences atomiques (primitives de manipulation) en une séquence cohérente.

Les travaux antérieurs se sont principalement concentrés sur l'apprentissage d'un planificateur de haut niveau pour séquencer des compétences pré-apprises. Cependant, l'exécution robuste de ces compétences individuelles reste problématique. Les politiques visuomotrices (basées sur l'apprentissage par imitation) échouent souvent face aux décalages de distribution (distribution shifts) induits par la composition de scènes complexes (ex: objets en désordre, présence de distracteurs).

• Exemple motivant : Un robot entraîné à saisir une carotte sur une table vide échoue souvent dans un environnement encombré contenant d'autres légumes et objets, même si le planificateur (VLM) a correctement décomposé la tâche globale en sous-objectifs.
• Hypothèse : Pour être composables, les compétences doivent être focalisées (focused), c'est-à-dire qu'elles ne doivent prêter attention qu'aux éléments de la scène pertinents pour la tâche en cours, en ignorant les distracteurs.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage qui transforme les entrées visuelles brutes en graphes de scène dynamiques et sémantiques, servant d'entrée pour des politiques de contrôle basées sur l'apprentissage par imitation.

A. Construction du Graphe de Scène (Scene Graph)
Au lieu d'utiliser des images RGB brutes ou des nuages de points 3D complets, le système extrait une représentation structurée :

• Nœuds : Représentent les objets pertinents pour la tâche (ex: préhenseur du robot, objet cible, cible, obstacles). Les caractéristiques géométriques 3D sont encodées via un encodeur léger (DP3 Encoder) après segmentation par un modèle de fondation visuelle (Grounded-SAM).
• Arêtes : Capturent les relations dynamiques entre les objets (ex: « saisir », « à côté de », « à l'intérieur de »). Ces relations sont inférées à partir des images RGB par un modèle de langage-vision (VLM, ex: ChatGPT).
• Avantage : Cette approche filtre le bruit visuel et ne conserve que le contexte pertinent pour la compétence atomique actuelle.

B. Apprentissage de la Politique (Multi-skill Policy Training)

• Architecture : Un réseau de neurones à attention graphique (GAT - Graph Attention Network) à deux couches extrait des embeddings à partir du graphe de scène.
• Modèle de Contrôle : Une politique visuomotrice est entraînée via un modèle de diffusion conditionnel.
  • Entrées conditionnelles : Les caractéristiques du graphe de scène ($F$), la description textuelle de la compétence ($P$, encodée par CLIP) et la pose du robot ($Q$).
  • Objectif : Le modèle apprend à débruiter un bruit gaussien pour prédire les actions ($A_t$) nécessaires à l'exécution de la compétence.
• Données : L'entraînement se fait uniquement sur des démonstrations de compétences isolées (jamais de compositions complexes), rendant la méthode efficace en termes de données.

C. Composition de Compétences au Moment du Test
Pour une tâche complexe :

1. Un planificateur de haut niveau (VLM) décompose la tâche globale en une séquence de sous-objectifs.
2. Pour chaque sous-objectif, un sous-graphe de scène dynamique est construit en temps réel (segmentation des objets pertinents + inférence des relations).
3. La politique entraînée exécute la compétence atomique correspondante en se focalisant uniquement sur ce sous-graphe.

3. Contributions Clés

1. Représentation Structurée : Proposition d'utiliser des graphes de scène sémantiques comme entrée générale et interprétable pour l'apprentissage de politiques par imitation comportementale (behavior cloning), construits à l'aide de VLM et de modèles de fondation visuelle.
2. Intégration Diffusion-Graphe : Combinaison de l'apprentissage par imitation basé sur la diffusion avec des représentations de graphes, permettant une composition robuste de compétences.
3. Généralisation et Robustesse : Démonstration que cette approche surpasse les méthodes de l'état de l'art (y compris les grands modèles de base pré-entraînés) dans des tâches de composition, tant en simulation que dans le monde réel, grâce à une insensibilité accrue aux variations visuelles.

4. Résultats Expérimentaux

A. Simulation (ManiSkill2)

• Tâches : Cinq ensembles de tâches multi-compétences (ex: tri par couleur, empilement de blocs, utilisation d'outils, évitement d'obstacles).
• Performance :
  • Sur des compétences atomiques isolées, toutes les méthodes (y compris les bases) performent bien.
  • Sur des tâches de composition, les méthodes de base (Diffusion Policy 2D/3D, $\pi_0$) voient leur taux de réussite chuter drastiquement (souvent < 50 %), échouant à généraliser aux scènes encombrées.
  • La méthode proposée maintient un taux de réussite élevé (0.78 à 0.93 selon les tâches), démontrant une robustesse exceptionnelle face aux perturbations visuelles.
• Études d'ablation : Elles confirment que la combinaison de la représentation 3D, de la structure de graphe et du GNN est cruciale. L'absence de graphe (concaténation simple de nuages de points) ou l'utilisation d'images 2D dégradent fortement les performances.

B. Monde Réel

• Tâches :
  1. Récolte de légumes : Saisir plusieurs légumes dans un panier encombré.
  2. Utilisation d'outils : Pousser ou tirer des cubes avec des bâtons en évitant des obstacles.
• Résultats :
  • Récolte de légumes : La méthode atteint 97 % de réussite en composition, contre 0 % pour la Diffusion Policy standard et 5 % pour $\pi_0$.
  • Utilisation d'outils : La méthode atteint 90 % de réussite, surpassant largement les baselines (40 % à 60 %).
  • Robustesse : Le système réussit à éviter des obstacles non vus pendant l'entraînement (ex: passer de bâtons à des briques comme obstacles) en se focalisant sur la relation objet-obstacle via le graphe.

5. Signification et Impact

Cet article propose un changement de paradigme dans l'apprentissage de compétences robotiques :

• Efficacité des données : En apprenant des compétences atomiques sur des graphes de scène focalisés, le robot n'a pas besoin de démonstrations exponentielles pour chaque combinaison possible de tâches complexes.
• Interface Unifiée : Le graphe de scène sert d'interface naturelle entre la planification de haut niveau (VLM/LLM) et l'exécution de bas niveau (politique visuomotrice), permettant une intégration fluide du raisonnement sémantique et du contrôle moteur.
• Robustesse : La méthode résout le problème de la fragilité des politiques visuelles face aux changements de contexte, rendant les robots plus aptes à opérer dans des environnements réels, non structurés et dynamiques.

Limites : La méthode dépend de la précision des modèles de fondation visuelle (Grounded-SAM) et des VLM pour la construction du graphe, ce qui introduit une surcharge computationnelle et des risques d'erreurs de segmentation, bien que gérables pour des sous-graphes de petite taille.