💻 computer science

SlotVLA: Towards Modeling of Object-Relation Representations in Robotic Manipulation

Ce papier présente LIBERO+, un benchmark fin avec des annotations centrées sur les objets, et SlotVLA, un cadre basé sur l'attention par slots qui exploite des représentations compactes des relations entre objets pour réaliser une manipulation robotique multitâche efficace, interprétable et compétitive.

Auteurs originaux : Taisei Hanyu, Nhat Chung, Huy Le, Toan Nguyen, Yuki Ikebe, Anthony Gunderman, Duy Nguyen Ho Minh, Khoa Vo, Tung Kieu, Kashu Yamazaki, Chase Rainwater, Anh Nguyen, Ngan Le

Publié 2026-05-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Taisei Hanyu, Nhat Chung, Huy Le, Toan Nguyen, Yuki Ikebe, Anthony Gunderman, Duy Nguyen Ho Minh, Khoa Vo, Tung Kieu, Kashu Yamazaki, Chase Rainwater, Anh Nguyen, Ngan Le

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un bras robotique comment ranger une cuisine en désordre.

L'Ancienne Méthode : L'Approche « Lourde en Pixels »
La plupart des robots actuels tentent d'apprendre en observant l'ensemble de la scène de la cuisine comme une photo géante en haute résolution. Ils décomposent cette photo en centaines de minuscules carrés (pixels) et tentent de déterminer ce que signifie chaque carré individuel.

Le Problème : C'est comme essayer de lire un livre en fixant chaque grain de papier de la page. Le robot est submergé par des détails inutiles (comme la texture du plan de travail ou le motif du mur) et gaspille une quantité massive de puissance cérébrale simplement pour déterminer qu'« il y a un bol ici ». C'est lent, coûteux et difficile de comprendre pourquoi le robot a fait une erreur.

La Nouvelle Méthode : SlotVLA (L'Approche « Liste Intelligente »)
Les auteurs de cet article, SlotVLA, proposent une méthode plus intelligente. Au lieu de regarder l'image entière, ils enseignent au robot à identifier des « personnages » spécifiques dans la scène et comment ces personnages interagissent.

Pensez-y ainsi :

Emplacements d'Objets (La Distribution des Personnages) : Au lieu de voir 500 pixels, le robot crée une courte liste d'« emplacements ». Chaque emplacement est un marque-place mental pour un objet spécifique, comme « Le Bol », « La Cuisinière » ou « La Main du Robot ».
Emplacements de Relations (L'Intrigue) : Le robot ne se contente pas de lister les objets ; il crée également des emplacements pour les relations entre eux. Il se demande : « La main touche-t-elle le bol ? » ou « Le bol est-il au-dessus de la cuisinière ? »
Le Filtre (Le Réalisateur) : C'est l'astuce magique. Le robot lit l'instruction (par exemple, « Mettez le jus d'orange dans le panier ») et agit comme un réalisateur de film. Il regarde toute la cuisine et dit : « D'accord, nous n'avons pas besoin de nous soucier du grille-pain ou du réfrigérateur pour l'instant. Nous devons seulement nous concentrer sur le Jus d'Orange, le Panier et la Main du Robot. » Il élimine tous les autres « emplacements » pour garder la liste courte et efficace.

Le Nouvel Ensemble de Données : LIBERO+
Pour enseigner aux robots cette nouvelle façon de penser, les auteurs ont créé un nouvel ensemble d'entraînement appelé LIBERO+.

L'Analogie : Imaginez que les anciennes vidéos d'entraînement n'étaient que des images brutes d'un robot en mouvement. Le robot devait deviner ce qui se passait.
La Mise à Niveau : LIBERO+ est comme un tournage brut qui s'accompagne d'un script et d'un storyboard. Il étiquette explicitement chaque objet avec un cadre, un masque (une forme découpée) et un identifiant de suivi (pour que le robot sache que « Bol #1 » dans l'image 1 est le même que « Bol #1 » dans l'image 10). Cela fournit au robot des données claires et structurées à partir desquelles apprendre, plutôt que de devoir deviner.

Ce Qu'ils Ont Découvert

Efficacité : En passant de centaines de « jetons de pixels » à une poignée de « jetons d'objets et de relations », le robot est devenu beaucoup plus rapide et a utilisé considérablement moins de puissance de calcul (environ 3 à 4 fois moins).
Performance : Sur des tâches plus simples avec quelques objets (comme déplacer un bol vers une cuisinière), la nouvelle méthode fonctionnait aussi bien que les méthodes lourdes et lentes.
La Contrainte : Lorsque la scène devenait très encombrée (comme une cuisine avec 20 objets différents), la méthode de « courte liste » peinait un peu car elle devait ignorer trop de choses. Elle fonctionne mieux lorsque le robot n'a besoin de se concentrer que sur quelques objets spécifiques.

Pourquoi Cela Compte
L'article soutient que cette approche rend les robots plus interprétables. Si un robot échoue, nous pouvons examiner sa « liste » et voir exactement ce qu'il pensait : « Je me concentrais sur la tasse, mais j'ai manqué la relation entre la tasse et la table. » Il est beaucoup plus facile de déboguer une liste logique et courte qu'un nuage géant et confus de pixels.

En résumé, l'article montre que les robots n'ont pas besoin de fixer chaque grain de sable de la pièce pour accomplir une tâche ; ils ont simplement besoin de savoir quels quelques grains de sable comptent et comment ils s'assemblent.

Résumé technique : SlotVLA – Vers une modélisation des représentations objet-relation en manipulation robotique

Énoncé du problème

Les récentes avancées des modèles Vision-Language-Action (VLA) ont amélioré la manipulation robotique en intégrant des conditions linguistiques avec des indices visuels. Cependant, les architectures actuelles de l'état de l'art (par exemple, OpenVLA, $\pi^0$ ) reposent sur des embeddings visuels denses générés par des encodeurs préentraînés (par exemple, DINOv2, SigLIP). Ces encodeurs produisent des centaines de tokens visuels (généralement 256–512) par image, entraînant des coûts computationnels prohibitifs à mesure que le nombre de tokens augmente. De plus, les embeddings denses entremêlent souvent les caractéristiques des objets avec des indices de fond et des informations redondantes, limitant l'interprétabilité et obscurcissant les signaux pertinents pour la tâche destinés au décodeur d'action.

Bien que l'apprentissage centré sur les objets en vision par ordinateur offre des représentations désenchevêtrées, son application directe à la robotique est sous-optimale. Les approches purement centrées sur les objets échouent souvent à capturer les indices relationnels essentiels, tels que les interactions préhenseur-objet, qui sont critiques pour la manipulation incarnée. Les méthodes existantes ignorent soit ces relations, soit s'appuient sur des annotations externes (boîtes englobantes/points clés) qui limitent la flexibilité. Il existe un besoin d'un cadre qui modélise à la fois les objets et leurs interactions en utilisant une représentation compacte et économe en tokens, capable de soutenir un raisonnement multitâche.

Méthodologie : SlotVLA

Les auteurs proposent SlotVLA, un cadre conçu pour transformer les embeddings visuels denses en représentations structurées et compactes d'objets et de relations. L'approche se compose de trois composants principaux :

1. Encodeur centré sur les objets et conscient de la tâche

Ce module compresse les tokens visuels denses en un petit ensemble de slots centrés sur les objets ( $S_t$ ), guidés par un filtrage de tâche basé sur le langage.

Attention de slots avec cohérence temporelle : L'encodeur utilise une attention de slots (employant un GRU) pour mapper des patches visuels denses vers des slots apprenables. Un mécanisme de « report de slots » initialise les slots aléatoirement à $t=0$ et les propage depuis l'instant précédent pour assurer une identité d'objet cohérente à travers les images.
Filtrage de slots conscient de la tâche : Tous les objets détectés ne sont pas pertinents pour une tâche spécifique. Un mécanisme d'attention croisée bidirectionnelle (BCA) calcule des scores de pertinence entre les slots d'objets et les embeddings de la description de la tâche. Une sélection Top- $k$ ne conserve que les slots les plus pertinents (généralement 2–4), filtrant ainsi le fond et les objets non pertinents.

2. Encodeur centré sur les relations

Pour pallier le manque de modélisation relationnelle dans les approches standard centrées sur les objets, SlotVLA introduit un Encodeur Centrée sur les Relations qui génère des tokens de relation ( $R_t$ ).

Modélisation des interactions : Des requêtes de relations apprenables intègrent des informations à la fois des patches visuels denses ( $V_t$ ) et des slots d'objets filtrés ( $S_t$ ) via un Bloc d'Attention Croisée (CAB).
Sortie : Ce processus capture explicitement les interactions, telles que les relations préhenseur-objet et le contexte objet-fond, produisant un ensemble de tokens de relations qui complètent les slots d'objets.

3. Décodage de l'action

La représentation finale combine les slots d'objets conscients de la tâche ( $S_t$ ), les tokens de relations ( $R_t$ ), les embeddings linguistiques ( $P$ ) et la proprioception du robot ( $o_t$ ).

Intégration LLM : Ces entrées multimodales sont alimentées dans un décodeur de Grand Modèle de Langage (LLM) équipé de LoRA (Adaptation à Rang Inférieur) pour le décodage d'action.
Efficacité des tokens : Le nombre total de tokens ( $N_S + N_R$ ) est significativement plus faible que l'entrée dense ( $N$ ), permettant un raisonnement en aval efficace.

Stratégie d'entraînement

Le modèle est entraîné en deux étapes :

Étape 1 (Entraînement de l'encodeur) : Supervision de l'Encodeur Centrée sur les Objets et Conscient de la Tâche à l'aide de pertes de boîtes englobantes, d'objectité et de masques (appariement hongrois), ainsi qu'une perte de suivi pour la cohérence temporelle et une perte déséquilibrée par classe pour la pertinence de la tâche.
Étape 2 (Affinage) : Les paramètres de l'encodeur sont figés. L'Encodeur Centrée sur les Relations et le Décodeur d'Action sont affinés conjointement en utilisant une perte d'entropie croisée sur les logits d'action.

Contributions clés

1. Dataset LIBERO+

Les auteurs introduisent LIBERO+, un benchmark fin étendant la suite LIBERO existante.

Annotations : Contrairement au LIBERO original, LIBERO+ fournit une supervision explicite au niveau des objets, incluant des boîtes englobantes 2D, des masques d'objets au niveau des pixels et des IDs temporels au niveau des instances à travers les modalités RGB-D.
Pertinence de la tâche : Il inclut des noms naturels spécifiques à la tâche pour identifier les objets actifs et pertinents pour la tâche, permettant l'évaluation du raisonnement objet-relation.
Sous-ensembles : Le dataset comprend quatre sous-ensembles (LIBERO-Goal, LIBERO-Object, LIBERO-Spatial, LIBERO-Long) avec des nombres d'objets et des complexités de disposition variables.

2. Cadre SlotVLA

SlotVLA est le premier cadre VLA à combiner des slots centrés sur les objets avec des tokens centrés sur les relations pour la manipulation robotique.

Il atteint une représentation compacte en filtrant la pertinence de la tâche et en modélisant explicitement les interactions.
Il réduit le nombre de tokens visuels d'un ordre de grandeur par rapport aux bases denses tout en maintenant des performances compétitives.

Résultats expérimentaux

Les expériences ont été menées sur le benchmark LIBERO+, comparant les variantes de SlotVLA à la base à tokens denses OpenVLA.

Efficacité des tokens : SlotVLA réduit le nombre de tokens de 256 (OpenVLA) à environ 4–28 tokens, entraînant une réduction de 3–4 $\times$ des GFLOPs.
Performance sur les tâches simples : Sur les sous-ensembles avec des dispositions simples et peu d'objets (LIBERO-Goal et LIBERO-Object), SlotVLA atteint des taux de réussite compétitifs ou supérieurs à OpenVLA.
- LIBERO-Goal : OpenVLA (0,77) vs. SlotVLA-ORC (0,86).
- LIBERO-Object : OpenVLA (0,70) vs. SlotVLA-ORC (0,91).
Performance sur les tâches complexes : Sur les sous-ensembles avec des dispositions spatiales complexes et un nombre élevé d'objets (LIBERO-Spatial et LIBERO-Long), les performances se dégradent.
- LIBERO-Long : OpenVLA (0,56) vs. SlotVLA-ORC (0,31). Les auteurs attribuent cela à la limitation d'avoir trop peu de slots (par exemple, 4) pour représenter des scènes comportant jusqu'à 29 objets, où les bases denses capturent davantage de contexte global.
Études d'ablation :
- Filtrage conscient de la tâche : Le filtrage des slots non pertinents est crucial ; sans cela, les performances chutent considérablement, en particulier dans les environnements complexes.
- Cohérence temporelle : Le retrait de la cohérence temporelle provoque une chute brutale des performances (par exemple, ORC passe de 0,86 à 0,40 sur LIBERO-Goal), soulignant la nécessité d'identités de slots stables.
- Nombre de slots : Augmenter le nombre de slots au-delà du petit nombre optimal (4) introduit souvent du bruit ou dilue l'ancrage relationnel, plutôt que d'améliorer les performances.

Importance et revendications

L'article revendique que la tokenisation centrée sur les objets et les relations offre un équilibre prometteur entre efficacité, interprétabilité et efficacité pour la manipulation robotique multitâche.

Efficacité : En réduisant drastiquement le nombre de tokens visuels, SlotVLA permet le contrôle robotique sous des budgets computationnels limités.
Interprétabilité : L'approche basée sur les slots désenchevêtre les entités et filtre la pertinence de la tâche, rendant le processus de raisonnement du modèle plus transparent par rapport aux embeddings denses et entremêlés.
Limites : Les auteurs reconnaissent modestement que, bien que efficace pour des dispositions simples, l'approche peine à s'étendre à des tâches à horizon long et fortement encombrées où le nombre d'objets dépasse la capacité des slots. Ils notent que la dépendance aux boîtes englobantes et masques supervisés pour l'entraînement peut limiter l'applicabilité immédiate dans des environnements réels dépourvus de telles annotations.

En conclusion, les auteurs posent que LIBERO+ et SlotVLA constituent une étape fondamentale vers une IA incarnée structurée, efficace et explicable, déplaçant le paradigme de la perception dense vers un raisonnement compact et conscient des relations.