Résumé technique : Représentations d'images structurées pour l'apprentissage robotique explicable (SIR)

Énoncé du problème

Les politiques robotiques existantes basées sur des plongements visuels (embeddings) appris manquent souvent de structure explicite et sont sensibles aux distractions visuelles. Bien que ces plongements fournissent des encodages compacts de l'information visuelle, ils restent opaques, rendant le processus de prise de décision difficile à interpréter. De plus, alors que les agents robotiques réels opèrent dans des environnements complexes avec de nombreux objets observés, il existe un besoin croissant de représentations de scènes structurées et expressives qui facilitent à la fois la performance et l'explicabilité dans l'apprentissage par imitation conditionné par un objectif (GCIL). Les approches actuelles reposent souvent sur des caractéristiques visuelles non structurées ou nécessitent des algorithmes de planification complexes, ceant leur applicabilité à l'apprentissage par étapes sans points clés explicites.

Méthodologie : Représentations d'images structurées (SIR)

Les auteurs proposent les Représentations d'Images Structurées (SIR), un cadre qui exploite les Graphes de Scène (SG) comme représentation intermédiaire pour l'apprentissage de politiques robotiques. Contrairement aux méthodes d'explicabilité post-hoc, SIR est intrinsèquement explicable car le graphe creux sert d'état intermédiaire appris lors de la génération d'actions.

L'architecture se compose de quatre composantes principales :

1. Génération du graphe de scène :

   • Le système construit un Graphe Totalement Connecté (FC-Graph) initial où les nœuds représentent les objets détectés dans la scène (via des masques de segmentation réels ou prédits).
   • Les représentations initiales des nœuds sont dérivées de diverses modalités d'image, incluant :
     • Label : Étiquette d'objet codée en one-hot.
     • Cropped-Image-Feature : Plongements visuels issus de réseaux pré-entraînés (ex: ResNet18) appliqués aux recadrages des boîtes englobantes d'objets.
     • BB-Coordinates : Coordonnées 2D normalisées des boîtes englobantes (bounding boxes).
     • Point-Cloud-Feature : Plongements issus de réseaux pré-entraînés (ex: PointNet) appliqués aux nuages de points des objets.
   • Les caractéristiques des arêtes sont initialisées sur la base de distances géométriques ou définies à 1.

2. Sparsification de graphe apprenable :

   • Un module entraînable, nommé FiLMDecoder (un décodeur de Transformer à deux couches avec normalisation de couche adaptative conditionnée par des objectifs linguistiques), prédit un score pour chaque nœud.
   • Le système emploie une sélection de nœuds ancrée sur l'instruction pour ne conserver que les $k$ nœuds ayant les scores les plus élevés, créant ainsi un sous-graphe minimal et pertinent pour la tâche.
   • Pour garantir que la sparsification soit apprenable et différentiable, les auteurs introduisent :
     • Une perte d'histogramme doux (soft histogram loss) pour encourager une distribution uniforme des scores de nœuds et éviter l'effondrement.
     • Une perte L1 sur les poids des nœuds pour guider la sélection des nœuds pertinents par rapport à l'instruction.
     • Un mécanisme où les poids des nœuds ($NW$) sont incorporés dans les poids des arêtes et l'étape de pooling. Cela garantit que l'information provenant des nœuds "supprimés" ne se propage pas dans l'encodage final du graphe, rendant la sparsification véritablement de bout en bout.

3. Génération de l'encodage du graphe de scène :

   • Le sous-graphe creux est traité par un Réseau d'Attention de Graphe (GATv2) à deux couches avec des connexions résiduelles.
   • Une couche de pooling moyen global agrège les caractéristiques des nœuds conservés pour produire la représentation finale de la scène (encodage du graphe).

4. Génération d'actions :

   • L'encodage du graphe résultant, combiné à un objectif linguistique encodé (via CLIP), sert d'entrée d'état pour les générateurs d'actions en aval. Les auteurs évaluent deux générateurs : le Multimodal Diffusion Transformer (MDT) et un Transformer de Clonage de Comportement (BC-Transformer).

Contributions clés

1. Investigation des SG dans le GCIL : Le papier fournit une investigation approfondie de l'utilisation des graphes de scène comme représentations d'état directes pour l'apprentissage robotique, analysant systématiquement quelles modalités d'image (symboliques, géométriques, visuelles) servent de caractéristiques initiales de nœuds efficaces.
2. Sparsification apprenable : Les auteurs proposent une nouvelle méthode de sparsification de SG apprenable de bout en bout. Cela crée un sous-graphe creux qui agit comme une explication directe du processus de décision du modèle, révélant quels objets et interactions sont jugés critiques.
3. Explicabilité intrinsèque : En analysant les écarts entre les sous-graphes appris et les attentes humaines (ex: inclusion de distracteurs ou omission d'objets clés), la méthode permet la détection des biais de l'ensemble de données, tels que les corrélations spécieuses et les biais positionnels.

Résultats expérimentaux

La méthode a été évaluée sur les benchmarks RoboCasa et CALVIN en utilisant 100 passages (rollouts) par configuration.

• Performance : Sur RoboCasa, SIR a atteint un taux de succès moyen de 19,5 %, surpassant les modèles de base basés sur l'image (14,81 %) et les modèles de graphes totalement connectés sans sparsification (16,98 %).
• Intégration des modalités : Les modèles basés sur les graphes ont démontré une capacité supérieure à intégrer diverses modalités. Par exemple, alors que les modèles de base utilisant uniquement le nuage de points ont peu performé (4,13 %), les modèles basés sur les graphes utilisant des caractéristiques de nuages de points ont atteint des taux de succès nettement plus élevés (11,08 % à 15,04 %).
• Robustesse aux distracteurs : Lorsque de nouveaux objets distracteurs ont été introduits lors de l'inférence, les modèles basés sur l'image ont subi une baisse de performance d'environ 3,3 %. En revanche, SIR et les autres modèles basés sur les graphes ont montré presque aucune dégradation de performance, démontrant une haute robustesse aux distractions visuelles.
• Études d'ablation : L'étude a confirmé que la sparsification ancrée sur l'instruction avec une perte d'histogramme doux produit la meilleure performance par rapport à la suppression aléatoire, la suppression naïve ou les méthodes basées sur un seuil.

Signification et affirmations

Le papier affirme que SIR offre une avancée significative dans l'apprentissage robotique explicable en passant de plongements visuels opaques à des représentations relationnelles structurées.

• Intrinsèque vs Post-hoc : Les auteurs soulignent que SIR n'est pas une méthode d'explication post-hoc (comme utiliser un VLM pour filtrer les objets après l'entraînement). Au contraire, le graphe creux est une représentation intermédiaire apprise. Cela permet au modèle de révéler sa logique réelle de prise de décision, y compris ses failles potentielles.
• Détection de biais : Une conclusion critique est que l'analyse des sous-graphes appris peut révéler les biais des ensembles de données. Par exemple, les auteurs ont observé que dans certaines tâches, le modèle exécutait les actions avec succès en ignorant l'objet cible et en se fiant uniquement à l'état du robot (biais positionnel), ou en exploitant des corrélations spécieuses avec des objets d'arrière-plan non pertinents.
• Interprétabilité : La capacité de visualiser les sous-graphes de "l'explication de la tâche" fournit un aperçu direct pour savoir si le modèle réussit pour les bonnes raisons ou s'il exploite des raccourcis dans les données d'entraînement.

Les auteurs concluent que, bien que SIR améliore la performance et la robustesse, sa contribution la plus précieuse est la capacité d'utiliser les graphes creux appris comme outil de débogage tant pour le comportement du modèle que pour la qualité de l'ensemble de données.