Résumé Technique : DiLA : Modèles du Monde à Action Latente Désenchevêtrée

1. Énoncé du Problème

Les Modèles à Action Latente (LAM) visent à apprendre des modèles du monde à partir de vidéos non étiquetées en inférant des actions abstraites entre des images consécutives, servant de substituts aux signaux de contrôle explicites. Cependant, les LAM existants font face à un compromis fondamental, qualifié de "Compromis LAM", entre l'abstraction de l'action et la fidélité de la génération.

• Le Dilemme : Pour garantir que les actions soient transférables et abstraites, les modèles imposent généralement de fortes contraintes prédictives (par exemple, la quantification vectorielle ou des goulots d'étranglement variationnels). Bien que ces contraintes favorisent l'abstraction, elles perturbent souvent la variété intrinsèque de l'espace d'action latente, entraînant une simplification excessive et une dégradation de la qualité de la génération vidéo. À l'inverse, l'assouplissement de ces contraintes améliore la génération mais aboutit à des représentations entremêlées où les actions latentes capturent des détails visuels non pertinents plutôt que la dynamique pure.
• Limitations Actuelles : La plupart des approches existantes privilégient l'abstraction au détriment de la qualité de génération, adoptant souvent des paradigmes d'entraînement disjointes en deux étapes où le Modèle de Dynamique Avant (FDM) est abandonné au profit de modèles de diffusion séparés et pré-entraînés. D'autres reposent sur une séparation explicite du mouvement (par exemple, le flux optique) du contenu, mais échouent à optimiser conjointement ces processus au sein d'un seul cadre auto-supervisé.

2. Méthodologie : DiLA

Les auteurs proposent DiLA (Action Latente Désenchevêtrée), un modèle du monde novateur qui résout le Compromis LAM grâce au désenchevêtrement contenu-structure. L'idée centrale est que le désenchevêtrement et l'apprentissage d'actions latentes sont co-évolutifs : le goulot d'étranglement prédictif inhérent à l'apprentissage d'actions latentes agit comme une force motrice pour le désenchevêtrement.

Architecture

DiLA traite les séquences vidéo via deux voies spécialisées, utilisant un encodeur DINOv2 pour l'extraction de caractéristiques et un décodeur RAE pré-entraîné pour la visualisation.

1. Voie Structure (Dynamique) :

   • Objectif : Isoler les dispositions spatiales liées au mouvement (positions, formes) pour apprendre des actions latentes invariantes au contenu visuel.
   • Mécanisme : Un encodeur de structure compresse les jetons en embeddings de structure ($s_t$). Un Modèle de Dynamique Inverse (IDM) calcule des actions latentes abstraites ($z_t$) à partir de la différence temporelle de ces embeddings ($\Delta s_t$).
   • Contrainte : Un goulot d'étranglement d'information strict force l'IDM à prédire uniquement la dynamique structurelle. Le Modèle de Dynamique Avant (FDM), implémenté comme un Transformer Spatial-Temporel léger, prédit l'état structurel suivant ($\hat{s}_{t+1}$) basé sur l'état actuel et l'action latente.
   • Force Motrice : Le goulot d'étranglement contraint le modèle à distiller la dynamique du mouvement dans $z_t$ tout en déchargeant les détails visuels statiques vers la voie contenu, car les détails de contenu à haute entropie ne peuvent être efficacement compressés dans l'action latente de faible dimension sans entraver la précision de la prédiction.

2. Voie Contenu (Apparence) :

   • Objectif : Extraire et mémoriser les caractéristiques visuelles invariantes temporelles (couleurs, textures, points de repère).
   • Mécanisme : Un encodeur de contenu compresse les jetons en embeddings ($c_t$), qui sont traités par une architecture Mamba pour agréger le contexte historique. Cela imite l'Analyse des Caractéristiques Lentes, accumulant les caractéristiques statiques à mesure qu'elles sont révélées.
   • Rôle : Elle maintient les détails visuels pour une génération haute fidélité et gère les mises à jour de croyance concernant les arrière-plans occlus, permettant à la voie structure de se spécialiser strictement dans la dynamique physique.

3. Décodeur de Fusion :

   • Combine l'état structurel prédit ($\hat{s}_{t+1}$), la mémoire de contenu ($c^{mem}_t$) et l'embedding visuel initial ($e_0$) pour reconstruire l'embedding visuel cible ($\hat{e}_{t+1}$).
   • La conditionnement sur $e_0$ est crucial pour fournir les détails haute fréquence perdus lors de la compression.

Objectifs d'Entraînement

DiLA est entraîné selon un paradigme auto-supervisé de type "teacher-forcing" sur des séquences vidéo sans étiquettes d'action de vérité terrain. La perte totale ($L_{total}$) est une combinaison pondérée de :

• Prédiction de l'Embedding Visuel ($L_e$) : Reconstruction de l'embedding cible.
• Prédiction de la Structure ($L_s$) : Minimisation de l'erreur dans la prédiction de l'état structurel suivant.
• Cohérence de l'Action Latente ($L_z$) : Assurer la cohérence entre les actions inférées vers l'avant et vers l'arrière.
• Régularisation ($L_{reg}$) : Impose la symétrie de groupe (les transitions temporelles inverses produisent des vecteurs d'action opposés), contraint la norme du vecteur pour maintenir une variété compacte, et régularise la variance pour maximiser l'entropie de l'information.

3. Contributions Clés

1. Cadre Unifié : DiLA est le premier modèle du monde à action latente désenchevêtrée qui réconcilie le compromis entre l'abstraction de l'action latente et la fidélité de la génération via le désenchevêtrement contenu-structure.
2. Mécanisme de Co-évolution : L'article démontre que le goulot d'étranglement prédictif agit comme une force motrice pour isoler les dispositions spatiales de l'apparence, et inversement, cette séparation facilite l'apprentissage d'actions latentes hautement abstraites.
3. Performance : Des expériences extensives montrent que DiLA obtient des résultats supérieurs en matière de qualité de génération vidéo, de transfert d'action trans-embodiment et de planification visuelle par rapport aux bases de référence les plus avancées.
4. Interprétabilité : Le modèle apprend un espace d'action latente structuré et interprétable qui soutient la planification visuelle en aval et sépare efficacement la dynamique du mouvement de l'apparence statique.

4. Résultats Expérimentaux

Les expériences ont été menées sur des ensembles de données à grande échelle, notamment Something-Something-v2 (SSv2), RT-1 (robotique), RECON (navigation extérieure) et LoopNav (Minecraft).

• Qualité de Génération Vidéo : Sur SSv2 et RT-1, DiLA a surpassé les bases de référence de premier plan (LAPA, Moto, AdaWorld, Villa-X) tant en SSIM (cohérence structurelle) qu'en LPIPS (similarité perceptuelle). Notamment, la suppression de la voie contenu ("DiLA sans contenu") a entraîné une qualité de génération significativement inférieure, validant la nécessité de l'architecture à double voie.
• Transfert d'Action : DiLA a transféré avec succès des actions latentes entre différents embodiments (par exemple, humain-robot) et domaines (navigation virtuelle-réelle). Il a maintenu une haute qualité de génération tout en transférant des actions sémantiques complexes comme "saisir" des objets à travers des changements de point de vue.
• Validation du Désenchevêtrement :
  • Expériences de Recollage : En fusionnant la structure d'une vidéo avec le contenu d'une autre, DiLA a généré des séquences qui préservaient la dynamique spatiale de la source tout en héritant de l'apparence de la référence.
  • Isolement du Mouvement : Le gel de l'embedding de structure tout en faisant évoluer la mémoire de contenu a résulté en une séquence complètement statique, confirmant que la voie contenu n'encode aucune information de mouvement.
• Études d'Ablation :
  • La suppression des composants IDM/FDM a conduit l'échec du modèle en matière de désenchevêtrement, les embeddings de structure conservant des détails de contenu redondants.
  • Le remplacement du goulot d'étranglement continu par des priors discrets (VQ) ou gaussiens (VAE) a conduit à une qualité de génération inférieure et à une convergence plus lente, suggérant que des priors rigides perturbent la variété intrinsèque de faible dimension des actions latentes.
• Planification Visuelle : Dans le benchmark VP2, DiLA adapté pour le Contrôle Prédictif par Modèle (MPC) a surpassé la base de référence AdaWorld, en particulier dans des tâches comme "Pousser un Bouton", démontrant son utilité dans le contrôle robotique.

5. Importance et Revendications

L'article revendique que DiLA établit un cadre unifié qui atteint simultanément une abstraction d'action de haut niveau et une génération haute fidélité, faisant progresser la frontière de l'apprentissage de modèles du monde auto-supervisé.

• Résolution du Compromis : Les auteurs soutiennent que le désenchevêtrement de la structure par rapport au contenu est la clé pour résoudre la tension entre abstraction et génération. Le goulot d'étranglement prédictif n'est pas simplement une contrainte, mais un mécanisme qui pousse le modèle à apprendre une dynamique de transition pure.
• Robustesse : L'espace d'action latente appris forme une variété continue et sémantiquement structurée qui soutient le transfert entre différents embodiments et environnements sans nécessiter de supervision explicite.
• Limites : Les auteurs reconnaissent modestement que l'abstraction inhérente des actions latentes peut sacrifier la précision du contrôle fin, ce qui pourrait entraîner une instabilité dans les tâches de contrôle vidéo en aval. Ils notent également que le désenchevêtrement actuel sépare les dispositions spatiales des détails visuels mais ne prend pas encore en charge pleinement le découplage des dynamiques multi-objets. De plus, l'approche reste vulnérable aux erreurs d'accumulation autorégressives dans la génération vidéo à long horizon.

En résumé, DiLA postule qu'en exploitant le goulot d'étranglement prédictif pour favoriser le désenchevêtrement contenu-structure, il est possible d'apprendre des modèles du monde à la fois assez abstraits pour la planification et le transfert, et assez détaillés pour une génération haute fidélité.