Résumé Technique : TextOCVP

Énoncé du Problème

Les agents autonomes nécessitent la capacité de comprendre et de prévoir les futurs états d'une scène pour planifier efficacement dans des environnements complexes. Bien que les modèles centrés sur les objets avec des espaces latents structurés aient montré des promesses pour modéliser la dynamique et les interactions entre objets, ils font face à des limitations significatives. Les approches existantes peinent souvent à passer à l'échelle au-delà de simples jeux de données synthétiques, ne parviennent pas à intégrer des guidages externes (tels que le langage naturel) et manquent de mécanismes pour contrôler les prédictions basées sur une intention sémantique de haut niveau. De plus, les méthodes actuelles reposent souvent sur des représentations de scènes holistiques qui ignorent la compositionnalité de la scène, ce qui les rend moins robustes face à des configurations inédites et plus difficiles à interpréter.

Méthodologie

Les auteurs proposent TextOCVP, un modèle centré sur les objets pour la prédiction vidéo guidée par des descriptions textuelles. L'architecture décompose le processus de prédiction en trois étapes principales :

1. Analyse de la Scène (Décomposition Centrée sur les Objets) :
   Le modèle analyse une image de référence observée ($X_1$) en un ensemble de représentations d'objets invariantes par permutation appelées slots ($S_1$). Le papier implémente deux variantes basées sur différents noyaux de décomposition :

   • TextOCVP$^{SAVi}$ : Utilise le cadre SAVi (Kipf et al., 2022) avec un extracteur de caractéristiques CNN et une attention par slots (Slot Attention).
   • TextOCVP$^{DINO}$ : Étend le cadre DINOSAUR (Seitzer et al., 2023) en utilisant un transformer de vision DINOv2 pour l'extraction de caractéristiques, mieux adapté aux scènes réelles complexes.
     Dans les deux variantes, l'attention par slots met à jour les slots de manière itérative en fonction des caractéristiques visuelles, encourageant ces derniers à rivaliser pour représenter des objets distincts.

2. Prédicteur Centré sur les Objets Conditionné par le Texte :
   Un prédicteur basé sur un transformer prévoit les futurs états des objets ($\hat{S}_{2:T+1}$) conditionnés par les slots initiaux et une description textuelle ($C$).

   • Encodage de Texte : La légende textuelle est encodée en plongements de jetons (token embeddings) à l'aide d'un encodeur transformer (par exemple, T5).
   • Architecture : Le prédicteur reflète un décodeur transformer. Il emploie une auto-attention pour modéliser les relations spatio-temporelles entre les slots d'objets et un mécanisme d'attention croisée texte-vers-slots (text-to-slot cross-attention). Cette attention croisée intègre explicitement le guidage textuel dans les représentations des slots, permettant au modèle d'aligner des objets spécifiques avec des actions ou des attributs décrits.
   • Autorégressivité : Le modèle prédit les futurs slots de manière autorégressive. Une connexion résiduelle de la structure actuelle vers les prochains slots prédits est utilisée pour améliorer la cohérence temporelle.

3. Rendu Vidéo :
   Les slots prédits sont décodés pour générer les images vidéo ($\hat{X}_{2:T+1}$).

   • La variante SAVi utilise un décodeur de diffusion spatiale (Spatial Broadcast Decoder) basé sur des CNN pour rendre les images et les masques des objets, qui sont ensuite combinés via une somme pondérée.
   • La variante DINO utilise un décodeur en deux étapes : un décodeur de diffusion spatiale basé sur un MLP reconstruit les caractéristiques de patchs, suivi d'un décodeur CNN pour générer les images finales à haute résolution.

Stratégie d'Entraînement :
Le modèle est entraîné en deux étapes. Premièrement, les modules d'analyse de scène et de rendu sont entraînés pour reconstruire les images vidéo (en minimisant l'erreur de reconstruction). Deuxièmement, le prédicteur conditionné par le texte est entraîné sur des données vidéo-texte appariées en utilisant une perte combinée de l'erreur de reconstruction d'image ($L_{Img}$) et de l'erreur d'alignement des slots ($L_{Slot}$), en employant un entraînement autorégressif plutôt que le "teacher forcing" pour mieux modéliser la dynamique à long terme.

Contributions Clés

• Architecture TextOCVP : Un nouveau modèle centré sur les objets qui intègre le guidage textuel dans le processus de prédiction vidéo via un mécanisme d'attention texte-vers-slots, permettant de prévoir des états futurs alignés avec des instructions en langage naturel.
• Espace Latent Structuré : L'utilisation de représentations par slots permet un contrôle précis du processus de prédiction, en désentravant la dynamique des objets de l'arrière-plan et des autres objets.
• Performance et Robustesse : Le modèle démontre une performance supérieure par rapport aux bases de comparaison de prédiction vidéo conditionnées par le texte, particulièrement dans les scènes comportant plusieurs objets en mouvement. Il fait preuve d'une forte robustesse face à des configurations de scènes inédites, incluant des nombres variables d'objets et des couleurs non vues.
• Interprétabilité et Contrôlabilité : L'espace latent structuré offre une interprétabilité, révélant comment les jetons textuels influencent les représentations d'objets spécifiques. Le modèle permet un contrôle fin, où la modification de l'instruction textuelle change le mouvement prédit d'objets spécifiques tout en maintenant la cohérence de la scène.

Résultats Expérimentaux

Les auteurs ont évalué TextOCVP sur deux jeux de données : CATER (mouvement d'objets 3D synthétique) et CLIPort (tâches de manipulation robotique).

• Performance Quantitative : TextOCVP a surpassé plusieurs modèles de référence, notamment MAGE, SEER et les variantes non centrées sur les objets (Non-OC), selon les métriques standards (PSNR, SSIM, LPIPS, JEDi). Notamment, il a obtenu les meilleurs scores sur les métriques perceptuelles (LPIPS et JEDi), indiquant une meilleure qualité visuelle et un réalisme de mouvement accru.
• Généralisation : Dans les tests de robustesse impliquant des couleurs inédites et une augmentation du nombre d'objets (8 objets contre 6 lors de l'entraînement), TextOCVP a montré une dégradation de performance nettement plus faible par rapport aux modèles holistiques comme MAGEDINO.
• Contrôlabilité : Les analyses qualitatives et quantitatives ont confirmé que le modèle peut adapter avec succès les prédictions à diverses instructions, telles que le changement d'objets cibles, d'actions ou du nombre d'entités en mouvement.
• Efficacité : TextOCVP a démontré des temps d'inférence plus rapides (environ 40 % de latence en moins) par rapport aux bases de comparaison basées sur la diffusion ou les modèles autorégressifs lours en jetons comme MAGE, grâce à son fonctionnement sur un ensemble compact de slots d'objets plutôt que sur des jetons spatiaux denses.

Signification et Revendications

L'article affirme que TextOCVP représente une étape significative vers la manipulation contrôlable centrée sur les objets dans les environnements robotiques simulés. En combinant des représentations centrées sur les objets structurées avec un guidage par le langage, le modèle répond aux limites de scalabilité et de contrôlabilité des méthodes précédentes centrées sur les objets.

Les auteurs soulignent que l'espace latent structuré offre :

1. Un Contrôle Précis : La capacité d'aligner les instructions linguistiques avec des objets spécifiques pour une prédiction précise du mouvement par objet.
2. La Robustesse : Une généralisation supérieure aux nouvelles compositions de scènes par rapport aux représentations de scènes holistiques.
3. L'Interprétabilité : La transparence des mécanismes d'attention permet de comprendre comment les indices textuels pilotent la dynamique spécifique des objets.

Ce travail suggère qu'une telle prédiction structurée et guidée par le langage constitue une base prometteuse pour une planification, un raisonnement et une prise de décision plus efficaces dans les systèmes autonomes, bien que les auteurs reconnaissent les limitations actuelles concernant les artefacts visuels et la cohérence temporelle à long terme dans des scénarios réels complexes.