💻 computer science

SlotDiT: Object-Centric Representations for Diffusion Transformers

Cet article présente SlotDiT, un Transformer de diffusion guidé par le texte qui utilise des représentations latentes centrées sur les objets basées sur des slots pour atteindre une qualité de génération vidéo compétitive et des taux de réussite des tâches significativement améliorés dans les applications robotiques par rapport aux approches traditionnelles basées sur les VAE.

Auteurs originaux : Gjergj Plepi, Sven Behnke

Publié 2026-09-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gjergj Plepi, Sven Behnke

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les robots ont longtemps lutté pour comprendre le monde non pas comme un flou de pixels, mais comme une collection d'objets distincts qui bougent et interagissent. Pendant des années, les systèmes d'intelligence artificielle conçus pour générer des vidéos ou planifier les actions de robots se sont appuyés sur une méthode qui traite chaque image comme une immense grille de points colorés. Bien que cette approche produise des images d'un réalisme saisissant, elle échoue souvent lorsqu'un robot doit déterminer comment ramasser une tasse ou faire glisser un bloc sur une table. Le problème est que ces systèmes voient le monde avec un détail de haute définition, mais manquent d'une carte mentale claire des objets individuels qui le composent. Ils savent à quoi ressemble une scène, mais ils ont du mal à comprendre ce qui s'y passe. Ce fossé entre voir et comprendre a limité la capacité des machines à suivre des instructions simples ou à planifier des mouvements complexes dans des environnements réels.

Une équipe de chercheurs de l'Université de Bonn a proposé une autre façon pour les machines de voir. Au lieu de forcer une intelligence artificielle à traiter chaque pixel d'une vidéo, ils lui ont appris à décomposer une scène en un petit nombre de parties distinctes et mobiles. Ils appellent ces parties des « slots » (créneaux). Imaginez que vous regardiez un comptoir de cuisine encombré et que vous reconnaissiez instantanément la tasse à café, le grille-pain et le bol de fruits comme des entités séparées, plutôt qu'un chaos de formes et de couleurs. Ce nouveau système, que les chercheurs ont nommé SlotDiT, utilise cette approche centrée sur les objets pour guider un puissant modèle informatique de génération de vidéo. En se concentrant sur les objets eux-mêmes plutôt que sur le bruit de fond, le système peut prédire comment une scène changera au fil du temps avec une précision bien plus grande, surtout lorsqu'il reçoit une instruction textuelle simple telle que « déplace le bloc rouge vers le bol bleu ».

Les chercheurs ont construit leur système pour qu'il fonctionne en deux étapes principales. D'abord, l'ordinateur apprend à regarder une image vidéo et à la séparer en ces créneaux d'objets individuels. Il identifie les entités de la scène et attribue à chacune d'elles une représentation numérique compacte. Une fois la scène décomposée, le système utilise une instruction textuelle pour guider une prédiction de ce qui va se passer ensuite. Au lieu d'essayer de deviner la couleur de chaque pixel dans le futur, le modèle prédit simplement comment ces quelques créneaux d'objets vont bouger et changer. Il assemble ensuite ces prédictions pour créer une vidéo du futur. L'équipe a testé cette méthode contre des systèmes plus anciens qui reposaient sur l'approche traditionnelle, lourde en pixels. Ils ont mené des expériences sur quatre ensembles de données différents, allant de simples simulations informatiques de jeux de table à des séquences réelles complexes de robots effectuant des tâches ménagères.

Les résultats ont montré une division claire entre voir le monde en détail et le comprendre de manière structurelle. Les anciens systèmes, qui se concentraient sur la fidélité visuelle élevée, produisaient souvent des vidéos qui paraissaient fluides et réalistes à l'œil humain. Cependant, lorsqu'on leur demandait de suivre une instruction spécifique, ces systèmes échouaient fréquemment. Ils pouvaient générer une belle vidéo d'un bloc qui glisse, mais le bloc se retrouvait au mauvais endroit ou ne parvenait pas à interagir avec l'objet cible comme demandé. En revanche, le nouveau système SlotDiT, bien que produisant parfois des vidéos légèrement moins parfaites visuellement, réussissait systématiquement la tâche réelle. Sur un ensemble de données appelé CLIPort, où un robot doit placer un bloc spécifique dans un bol spécifique, le nouveau système a atteint un taux de réussite de 73,0 %, surpassant largement la méthode suivante, qui n'atteignait que 50 %. Même dans des scénarios réels plus complexes impliquant des tâches ménagères, le système centré sur les objets maintenait un taux de réussite plus élevé que ses rivaux axés sur les pixels.

Au-delà de la simple exécution de la tâche, la nouvelle approche s'est avérée nettement plus rapide et plus efficace. Parce que le système n'a à suivre qu'une poignée de créneaux d'objets au lieu de milliers de pixels, il nécessite beaucoup moins de puissance de calcul pour générer des prédictions. Dans leurs tests, les chercheurs ont constaté que le nouveau système pouvait générer des prédictions plus de cinq fois plus vite que les modèles standards de haute définition. Cet avantage de vitesse est crucial pour la robotique, où une machine doit penser et réagir en temps réel. L'étude suggère que pour que les robots soient véritablement utiles, ils n'ont pas nécessairement besoin de voir le monde en haute définition parfaite ; ils ont besoin de le voir d'une manière qui met en évidence les objets qui comptent. En privilégiant la structure de la scène plutôt que les détails fins de l'image, les chercheurs ont montré que les machines peuvent devenir bien meilleures pour suivre des instructions et planifier leurs propres actions.

Le travail met également en lumière une vérité surprenante sur l'intelligence artificielle : mieux regarder ne signifie pas toujours mieux penser. Les chercheurs ont explicitement constaté que les systèmes produisant les vidéos les plus impressionnantes visuellement étaient souvent les moins performants pour résoudre les tâches. Cela indique que la norme actuelle pour juger la génération de vidéo — son réalisme visuel — pourrait être trompeuse lorsque l'objectif est de construire des machines capables d'interagir avec le monde physique. L'étude conclut qu'offrir aux robots une vision centrée sur les objets du monde est un moyen puissant d'améliorer leur capacité à planifier et à contrôler leurs mouvements. Bien que le système présente encore des limites, telles que la nécessité d'un nombre fixe d'objets à suivre, les conclusions offrent une voie prometteuse. Elles suggèrent que l'avenir de l'intelligence robotique pourrait ne pas résider dans le fait de faire voir plus de choses aux machines, mais dans le fait de les aider à comprendre ce qu'elles voient.

Résumé Technique : SlotDiT : Représentations Centrées sur les Objets pour les Transformers de Diffusion

Problématique

Les modèles de diffusion latente conditionnés par le texte ont démontré un succès significatif dans la génération de vidéos et sont prometteurs pour les applications robotiques telles que la planification, l'apprentissage de politiques et la modélisation du monde. Cependant, les approches existantes reposent principalement sur des représentations latentes au niveau des pixels ou basées sur des auto-encodeurs variationnels (VAE). Ces représentations sont généralement apprises avec des objectifs de reconstruction (par exemple, le VAE de Stable Diffusion), privilégiant la fidélité visuelle élevée au détriment d'une structure sémantique explicite. Par conséquent, l'espace latent manque souvent de la décomposition structurée, au niveau de l'objet, nécessaire pour des tâches en aval efficaces en robotique, où l'accomplissement de la tâche et la planification comptent plus que la reconstruction parfaite des pixels. Bien que les représentations centrées sur les objets se soient révélées bénéfiques pour la modélisation de la dynamique et le contrôle, leur intégration en tant qu'espaces latents pour la modélisation générative par diffusion reste inexplorée.

Méthodologie

Les auteurs proposent SlotDiT, un Transformer de Diffusion (DiT) guidé par le texte, qui opère au sein d'un espace latent compact, centré sur les objets et basé sur des "slots" (créneaux). Le cadre se compose de deux étapes principales :

1. Apprentissage des Représentations Basées sur les Slots

La première étape consiste à apprendre une décomposition de la scène centrée sur les objets.

Encodeur : Un transformer de vision (ViT) DINOv2 gelé extrait les caractéristiques visuelles des images d'entrée.
Attention de Slot (Slot Attention) : Un module de Slot Attention affine de manière itérative un ensemble de vecteurs latents (slots) en portant attention aux caractéristiques visuelles. Cela impose une compétition entre les slots pour représenter des entités de scène distinctes.
Décodeur : Un décodeur à deux étapes (un décodeur de diffusion par MLP suivi d'un décodeur d'image par CNN) reconstruit la scène à partir des slots, optimisant à la fois les pertes de reconstruction de caractéristiques et d'image.
Sortie : Chaque image est représentée comme un ensemble de $N_S$ slots centrés sur les objets, où chaque slot correspond à une entité spécifique de la scène.

2. Transformer de Diffusion Conditionné par le Texte Basé sur les Slots

La seconde étape entraîne le modèle génératif au sein de l'espace de slots appris.

Architecture : SlotDiT utilise un squelette de Diffusion Transformer composé de blocs identiques contenant une auto-attention bidirectionnelle, une attention croisée texte-vers-slot et des MLP.
Conditionnement : Le modèle est conditionné par une instruction linguistique (encodée via un encodeur T5) et le contexte de la scène observé (ensemble de slots initial).
Processus de Génération : Étant donné une image de référence et une instruction, le modèle débruite de manière autorégressive les trajectoires futures des slots. Il opère sur une fenêtre temporelle de longueur fixe, recevant les slots de contexte et les plongements textuels, tout en injectant un bruit gaussien dans les images futures.
Entraînement : Le modèle suit le cadre Diffusion Forcing Transformer (DFoT), utilisant un paradigme de masquage par le bruit où chaque image est corrompue par un niveau de bruit indépendant. L'objectif est de prédire la vélocité ( $v$ -prediction) du processus de débruitage.
Inférence : La génération procède de manière autorégressive en utilisant un échantillonneur DDIM. Un guidage sans classificateur (classifier-free guidance) est employé pour améliorer la qualité des échantillons et le respect des instructions en combinant les prédictions conditionnelles et inconditionnelles.

Contributions Clés

Modèle SlotDiT : L'introduction d'un Transformer de Diffusion guidé par le texte qui opère dans un espace latent centré sur les objets, permettant une modélisation générative structurée pour les environnements robotiques.
Étude Comparative Contrôlée : Une investigation systématique comparant les représentations basées sur les slots aux espaces latents établis basés sur les VAE (SD-VAE, ImageVAE, VA-VAE, VideoVAE) et alignés sémantiquement (basés sur DINOv2) au sein d'un cadre DiT unifié. Cela isole l'impact de la conception de l'espace latent tout en maintenant l'architecture et les procédures d'entraînement constantes.
Validation Empirique : Démonstration que la structure centrée sur les objets sert de biais inductif puissant, produisant une qualité de génération vidéo compétitive tout en améliorant considérablement les taux de réussite des tâches dans la génération de vidéos guidées par le texte et les tâches de contrôle robotique.

Résultats

Les auteurs ont évalué SlotDiT sur quatre jeux de données robotiques (LanguageTable-Synthetic, CLIPort, LanguageTable-Real et Bridgev2) couvrant des environnements simulés et réels.

Succès de la Tâche vs Fidélité Visuelle : Une découverte critique est le découplage des métriques de qualité visuelle et du succès de la tâche. Alors que les lignes de base basées sur les VAE atteignaient souvent des scores perceptuels supérieurs (LPIPS, FVD, JEDi), elles échouaient fréquemment à suivre les instructions ou à accomplir les tâches. Par exemple, sur CLIPort, DiT + VideoVAE a obtenu la plus haute fidélité visuelle parmi les bases VAE mais n'a atteint qu'un taux de réussite de la tâche de 57,1 %, tandis que SlotDiT a atteint 87,8 %. De même, sur LanguageTable-Synthetic, DiT + VideoVAE a surpassé SlotDiT en termes de métriques visuelles mais a obtenu un taux de réussite nettement inférieur (55,8 % contre 79,7 %).
Contrôle Robotique : Dans les évaluations de contrôle robotique en boucle fermée et ouverte, SlotDiT a surpassé toutes les lignes de base, y compris les prédicteurs Transformer centrés sur les objets (TextOCVP) et les DiT basés sur les VAE. Sur LanguageTable-Synthetic, SlotDiT a presque égalé les performances d'un oracle utilisant les slots futurs de vérité terrain, suggérant que les trajectoires générées préservent les informations essentielles à la tâche.
Efficacité : La nature compacte de la représentation par slots (par exemple, 10 slots par image contre 256 tokens pour les VAE) a entraîné une efficacité computationnelle substantielle. SlotDiT a obtenu une accélération de 5,68× du débit d'inférence par rapport à la ligne de base DiT + SD-VAE, principalement due au nombre réduit de tokens lors de l'étape d'échantillonnage de la diffusion.
Robustesse et Contrôlabilité : SlotDiT a démontré une robustesse face aux configurations de scène hors distribution (par exemple, augmentation du nombre d'objets) et aux modèles d'instructions inédits. Il a également montré une forte contrôlabilité, adaptant avec succès les trajectoires générées à des instructions textuelles modifiées tout en maintenant la cohérence de la scène.

Signification et Revendications

L'article affirme que la structure centrée sur les objets est un puissant biais inductif pour la modélisation générative basée sur la diffusion dans les environnements robotiques.

Les auteurs soutiennent que si la reconstruction visuelle de haute fidélité est précieuse pour la génération de vidéos générales, elle n'est pas la principale exigence pour la planification et le contrôle robotiques. Au lieu de cela, un espace latent qui décompose explicitement les scènes en entités sémantiques (slots) fournit une représentation plus efficace et plus performante pour modéliser la dynamique pertinente de la tâche. Les résultats suggèrent que les métriques standard de génération de vidéos ne capturent pas pleinement l'utilité d'un espace latent pour les tâches robotiques en aval. En privilégiant la sémantique structurée au niveau de l'objet plutôt que la fidélité au niveau du pixel, SlotDiT comble le fossé entre la modélisation générative et l'application robotique pratique, offrant une alternative computationnellement efficace qui améliore à la fois la précision de la planification et les taux d'accomplissement des tâches.