Résumé Technique : MemoryVAM

Énoncé du Problème

Les politiques de modèles de monde vidéo apprennent des représentations pertinentes pour l'action en prédisant les observations futures, en se conditionnant sur une fenêtre d'observation de longueur fixe et courte. Bien qu'efficace pour les tâches approximativement markoviennes, cette conception échoue dans les tâches de manipulation à long terme et à étapes multiples où l'action correcte dépend d'événements antérieurs qui ne sont plus visibles dans la fenêtre actuelle. Dans de tels scénarios (par exemple, « ramasser le bloc rouge trois fois »), des états visuellement similaires nécessitent des actions différentes basées sur un progrès caché de la tâche (par exemple, le compte actuel). Sans mémoire épisodique, ces tâches deviennent non markoviennes, provoquant l'échec des politiques lorsqu'elles ne peuvent pas distinguer les différentes étapes d'une séquence répétitive ou se rappeler l'historique spatial.

Méthodologie : MemoryVAM

Les auteurs proposent MemoryVAM, un mécanisme de mémoire épisodique conçu pour intégrer l'historique dans les politiques de modèles de monde vidéo. L'innovation centrale est le conditionnement par double mémoire, où un ensemble compact de jetons de mémoire influence à la fois les prédictions futures du backbone vidéo et les décisions de contrôle du décodeur d'action.

1. Encodage de l'Historique de l'Épisode

À chaque pas de temps $t$, le système maintient un historique d'épisode $\mathcal{H}_t$ constitué des plongements visuels CLIP des images passées. L'utilisation des plongements CLIP permet à la mémoire de suivre les changements sémantiques pertinents pour la tâche plutôt que les différences de pixels de bas niveau.

2. Le Module Recap-Cue (RC)

Le module RC traite l'historique de longueur variable pour produire une représentation de mémoire de taille fixe :

• Compresseur de Récapitulation (Recap Compressor) : Un resampleur basé sur Perceiver projette l'historique de l'épisode en une matrice compacte de jetons de mémoire $\mathbf{G}$. En utilisant des requêtes apprises, il porte une attention sélective aux événements expliquant la progression de la tâche, capturant à la fois ce qui s'est passé et quand cela s'est passé via un encodage positionnel sensible à l'ordre.
• Porte de Signal (Cue Gate) : Un module léger estime un score d'achèvement de la tâche $q_\omega$ basé sur les caractéristiques agrégées du backbone, les jetons de mémoire et les instructions linguistiques. Cela permet une terminaison autonome de la tâche sans nécessiter de labels de progression par image pendant l'entraînement ; la supervision est dérivée des limites d'épisodes dans les démonstrations.

3. Double Conditionnement de Mémoire (Injection)

Les jetons de mémoire $\mathbf{G}$ sont injectés via deux voies complémentaires :

• Voie 1 (Backbone Vidéo) : $\mathbf{G}$ est injecté dans les couches d'attention croisée du backbone vidéo.
  • Pour les backbones Cosmos DiT, les jetons de mémoire sont ajoutés à la matrice de conditionnement textuel.
  • Pour les backbones SVD UNet (ex: VPP), une branche de mémoire séparée est introduite aux côtés de la branche textuelle.
  • Effet : Cela garantit que les images futures prédites et les caractéristiques intermédiaires du backbone sont conditionnées sur l'historique complet de l'épisode, alignant l'« imagination » du modèle avec la progression de la tâche.
• Voie 2 (Décodeur d'Action) : Les mêmes jetons de mémoire $\mathbf{G}$ sont concaténés avec les jetons d'observation (dérivés du backbone) et transmis au décodeur d'action.
  • Effet : Cela contraint directement la distribution d'action basée sur la mémoire épisodique, garantissant que la politique sélectionne des contrôles cohérents avec l'historique.

4. Stratégie d'Entraînement

Le modèle utilise une procédure d'entraînement en deux étapes :

1. Étape 1 : Entraîne le backbone vidéo et le module de mémoire en utilisant des objectifs de prédiction vidéo, une perte auxiliaire de reconstruction delta et la perte de la Cue Gate. Cela enseigne à la mémoire à encoder des informations utiles pour prédire les états futurs et déterminer l'achèvement de la tâche.
2. Étape 2 : Entraîne la politique d'action sur les caractéristiques résultantes conditionnées par la mémoire tout en maintenant la stabilité du backbone.

Le mécanisme est agnostique à l'architecture, démontré sur des backbones UNet (VPP) et Diffusion Transformer (DiT) (Cosmos).

Principales Contributions

1. Interface de Double Injection : Un mécanisme à deux voies qui intègre des jetons de récapitulation compacts à la fois dans le backbone vidéo et dans le décodeur d'action, permettant à l'historique d'influencer conjointement les futurs imaginés et les caractéristiques de contrôle.
2. Module Recap-Cue (RC) : Un nouveau module combinant un compresseur basé sur Perceiver pour la summarisation de l'historique et une Cue Gate pour l'achèvement autonome des tâches, entraîné sans labels explicites de progression par étape.
3. Agnosticisme du Backbone : La méthode est validée à travers distinctes de paradigmes de backbones vidéo (UNet et DiT), démontant que la mémoire épisodique est une exigence générale pour les politiques de modèles de monde vidéo à long horizon.

Résultats Expérimentaux

Les auteurs ont évalué MemoryVAM sur des benchmarks de simulation et des tâches de robotique réelle nécessitant un rappel épisodique.

• Benchmark LIBERO-Mem :

  • Sur les tâches nécessitant un rappel épisodique (comptage, séquençage, raisonnement spatial), le modèle a amélioré les taux de réussite moyens de 5 % à 42,5 % pour le backbone UNet et de 3,0 % à 40,5 % pour le backbone DiT.
  • Les études d'ablation ont montré que l'utilisation de la seule Voie 1 (injection backbone) produisait 28,5 % de réussite, tandis que la Voie 2 seule (injection décodeur d'action) n'en produisait que 7,5 %. La double injection complète était nécessaire pour une performance optimale.
  • MemoryVAM a surpassé les bases VLA augmentées par la mémoire (ex: MemoryVLA, Gated Memory Policy) et les bases sans mémoire.

• Expériences de Robotique Réelle :

  • Ramassage de Jouet ($k\times$) : 78,3 % de réussite sur les tâches de comptage (répétitions 1x, 3x, 5x).
  • Placer et Retourner : 80,0 % de réussite sur les tâches de rappel spatial.
  • Shell Game : 75,0 % de réussite sur les tâches de suivi séquentiel impliquant des objets occultés.
  • En revanche, les politiques sans mémoire ont échoué (0 % de réussite) sur ces tâches lorsque la progression de la tâche n'était pas directement observable.

• Qualité de Prédiction Vidéo :

  • L'injection de mémoire a considérablement amélioré la fidélité des déroulés autoregressifs à long horizon. Par exemple, sur le backbone UNet, les scores FVD sont passés de 43,36 à 18,32 à un horizon simple, et de 37,81 à 19,84 à un horizon 8x.
  • La Cue Gate a réussi à réduire le « ratio d'arrêt » (mouvement post-achèvement), empênant le modèle d'imaginer des actions inutiles après l'atteinte d'un objectif.

Signification et Revendications

L'article soutient que la mémoire épisodique doit être traitée comme une composante intégrale de l'état du modèle de monde, plutôt que comme un simple apport auxiliaire à la politique d'action. En permettant à l'historique de l'épisode de façonner à la fois ce que le robot imagine (prédiction future) et comment la politique agit (décodage de contrôle), MemoryVAM répond à la nature non markovienne des tâches à long horizon.

Les auteurs affirment que cette approche offre une voie évolutive pour les systèmes de mémoire, car le module de mémoire est supervisé par l'objectif génératif de la vidéo (prédire les images futures) plutôt que de reposer uniquement sur des démonstrations étiquetées par des actions. Cela permet à la mémoire d'apprendre des signaux de progression de tâche qui sont cohérents avec la dynamique visuelle de l'environnement. Ce travail démontre qu'une mémoire épisodique explicite est cruciale pour que diverses architectures de backbones vidéo réussissent dans des manipulations robotiques complexes à plusieurs étapes.