VPWEM: Non-Markovian Visuomotor Policy with Working and Episodic Memory

Ce papier présente VPWEM, une politique visuomotrice non markovienne qui intègre une mémoire de travail et une mémoire épisodique compressée via un mécanisme Transformer pour surmonter les limites des approches actuelles dans les tâches robotiques nécessitant une mémoire à long terme, surpassant ainsi les modèles de l'état de l'art sur plusieurs benchmarks.

L'essentiel

Voici une explication simple de la recherche VPWEM, imagée pour que tout le monde puisse comprendre, même sans être expert en robotique.

🤖 Le Problème : Le Robot qui a la "mémoire de poisson rouge"

Imaginez un robot qui apprend à faire la vaisselle ou à ranger une chambre en regardant un humain le faire. C'est ce qu'on appelle l'apprentissage par imitation.

Le problème, c'est que la plupart des robots actuels ont une mémoire très courte. Ils ne se souviennent que des 2 ou 3 dernières secondes.

• L'analogie : C'est comme si vous essayiez de cuisiner un gâteau complexe, mais que vous oubliiez l'étape précédente dès que vous avez ajouté l'ingrédient suivant.
• La conséquence : Si le robot doit attendre 10 secondes pour que quelque chose se passe (comme un four qui chauffe ou une porte qui s'ouvre), il panique. Il oublie pourquoi il est là. Il ne peut pas gérer les tâches qui demandent de se souvenir du début de l'action pour réussir la fin.

Si on essaie de simplement "agrandir" la mémoire du robot pour qu'il se souvienne de tout, cela devient trop lourd. C'est comme essayer de lire un livre entier page par page en même temps : le cerveau du robot (le processeur) explose, et il devient trop lent pour agir en temps réel.

---

💡 La Solution : VPWEM (Le Robot avec deux types de mémoires)

Les chercheurs de l'Université de Hong Kong ont créé un nouveau système appelé VPWEM. Pour le comprendre, imaginons comment fonctionne le cerveau humain. Nous avons deux façons de gérer l'information :

1. La Mémoire de Travail (Working Memory) : C'est ce que vous retenez dans votre tête maintenant. Par exemple, "Je tiens cette tasse, je ne dois pas la lâcher". C'est frais, immédiat, mais ça dure peu de temps.
2. La Mémoire Épisodique (Episodic Memory) : C'est votre "album photo" ou votre journal intime. C'est ce qui se passe quand vous avez fini de faire la vaisselle et que vous vous souvenez : "Ah oui, j'ai d'abord mis les assiettes dans le lave-vaisselle, puis j'ai essuyé la table". C'est une version résumée du passé.

VPWEM donne ces deux mémoires au robot.

Comment ça marche ? (L'analogie du Chef et du Stagiaire)

Imaginez un Chef (le robot) qui prépare un plat complexe, aidé par un Stagiaire (le système VPWEM).

1. La Mémoire de Travail (Le Chef en direct) :
   Le Chef regarde ce qui se passe sous ses yeux (les images de la caméra). Il garde en tête les 2 ou 3 dernières actions. C'est rapide et précis.

2. Le Compresseur Contextuel (Le Stagiaire intelligent) :
   C'est la grande innovation. Dès qu'une action sort du champ de vision immédiat du Chef (elle devient "vieille"), elle ne disparaît pas. Elle est donnée au Stagiaire.

   • Le Stagiaire lit tout ce qui s'est passé avant.
   • Au lieu de donner au Chef un rapport de 100 pages (ce qui serait trop long), le Stagiaire écrit un résumé ultra-court et intelligent (un "token" de mémoire).
   • Exemple : Au lieu de dire "J'ai pris la cuillère, je l'ai mise dans l'eau, je l'ai essuyée, je l'ai mise dans le tiroir...", le Stagiaire dit simplement : "La cuillère est rangée".

3. La Synthèse :
   Le Chef (le robot) prend les informations immédiates (ce qu'il voit maintenant) ET le résumé du Stagiaire (ce qui s'est passé avant). Il combine les deux pour décider de la prochaine action.

---

🚀 Pourquoi c'est génial ?

• Économie d'énergie : Au lieu de relire tout l'histoire du début à la fin à chaque seconde (ce qui est lent et coûteux), le robot lit juste le résumé. C'est comme lire un résumé de livre au lieu de tout relire.
• Pas de confusion : Parfois, si on donne trop d'informations brutes à un robot, il se trompe en copiant des mouvements inutiles (comme un perroquet). En résumant, le robot apprend à filtrer ce qui est important et à ignorer le bruit.
• Résultats :
  • Sur des tâches où il faut se souvenir de quelque chose caché depuis longtemps (comme un jeu de cache-cache avec des objets), le robot VPWEM réussit 20% de plus que les meilleurs robots actuels.
  • Sur des tâches de déplacement (comme un robot qui marche et manipule des objets), il gagne aussi environ 5% de réussite.

En résumé

VPWEM, c'est comme donner au robot un journal de bord intelligent. Au lieu de se souvenir de chaque seconde de sa journée (ce qui est impossible), il écrit chaque soir un petit résumé de ce qui est important. Le lendemain, il lit ce résumé pour savoir où il en est, tout en regardant ce qui se passe devant lui.

C'est une façon élégante de donner à la machine une "mémoire à long terme" sans la rendre lente ou lourde, lui permettant enfin de réussir les tâches complexes qui demandent de la patience et de la réflexion.

Résumé technique

Voici un résumé technique détaillé de l'article "VPWEM: Non-Markovian Visuomotor Policy with Working and Episodic Memory", présenté en français.

1. Problématique

L'apprentissage par imitation (Imitation Learning) a connu un succès notable dans le contrôle robotique. Cependant, la plupart des politiques visuomotrices actuelles reposent sur des observations à un seul instant ou sur des historiques de contexte très courts (généralement 2 à 10 étapes). Cette approche est insuffisante pour les tâches non markoviennes, où l'état actuel ne contient pas toute l'information nécessaire pour prendre une décision optimale (par exemple, en raison de limitations des capteurs, de la stochasticité de l'environnement ou de tâches à long horizon avec plusieurs sous-objectifs).

Les tentatives pour simplement augmenter la fenêtre de contexte pour inclure plus d'historique se heurtent à deux obstacles majeurs :

1. Coût computationnel et mémoire : La complexité des mécanismes d'attention (comme dans les Transformers) croît de manière quadratique ($O(L^2)$) avec la longueur de l'historique $L$, rendant l'entraînement coûteux et l'inférence lente.
2. Surapprentissage et confusion causale : Conditionner le modèle sur un historique long sans filtrage approprié conduit souvent à l'apprentissage de corrélations parasites (nuisance correlations) ou au problème du "copycat" (répétition aveugle des actions passées), ce qui provoque des échecs catastrophiques lors de changements de distribution.

Les humains, à l'inverse, utilisent des mécanismes de mémoire à court terme (mémoire de travail) et à long terme (mémoire épisodique) pour compresser les expériences passées et les réutiliser efficacement.

2. Méthodologie : VPWEM

Les auteurs proposent VPWEM (Visuomotor Policy with Working and Episodic Memory), un cadre d'apprentissage qui intègre deux types de mémoires pour gérer les dépendances temporelles à long terme tout en maintenant des coûts de calcul constants par étape.

A. Architecture Globale

Le framework s'appuie sur des politiques de diffusion (Diffusion Policies) et introduit deux composants clés :

1. Mémoire de Travail (Working Memory) : Une fenêtre glissante de taille fixe ($L$) contenant les tokens d'observation récents. Cela assure la prise en compte du contexte immédiat avec un coût computationnel faible.
2. Mémoire Épisodique (Episodic Memory) : Un mécanisme pour stocker et résumer l'historique au-delà de la fenêtre de travail.

B. Compresseur de Mémoire Contextuelle (Contextual Memory Compressor)

C'est le cœur de l'innovation. Il s'agit d'un module basé sur l'architecture Transformer qui convertit récursivement les observations sortant de la fenêtre de travail en un nombre fixe de tokens de mémoire épisodique.

• Fonctionnement : Lorsqu'une observation quitte la fenêtre de travail, elle est ajoutée à un cache d'observations. Le compresseur utilise :
  • Une attention auto (self-attention) sur un cache de tokens de résumé passés pour capturer l'évolution de la mémoire.
  • Une attention croisée (cross-attention) sur le cache des observations historiques pour extraire les détails pertinents.
• Apprentissage : Le compresseur est entraîné conjointement avec la politique de diffusion. Il apprend à filtrer l'information non pertinente et à condenser l'historique complet en un ensemble compact de tokens ($M$ tokens), agissant comme une "hippocampe artificielle".

C. Génération d'Action

La politique de diffusion génère les actions en conditionnant le processus de débruitage sur deux sources d'information :

1. La mémoire de travail (observations récentes).
2. La mémoire épisodique (résumé compressé de l'historique lointain).

Cette approche permet de maintenir une complexité de mémoire et de calcul constante par étape, indépendamment de la durée totale de la tâche, tout en exploitant l'information sur l'ensemble de la trajectoire.

3. Contributions Clés

1. Nouveau Framework de Mémoire : Proposition d'un mécanisme utilisant un compresseur contextuel basé sur Transformer pour condenser l'historique complet en tokens de mémoire fixes, servant de résumé dynamique de la trajectoire.
2. Implémentation sur Politiques de Diffusion : Intégration réussie de ce mécanisme dans des politiques de diffusion (basées sur DP et MaIL), redéfinissant les pipelines d'entraînement et d'inférence pour conditionner la génération d'actions sur des mémoires à court et long terme.
3. Validation Expérimentale : Démonstration que cette approche surpasse significativement les méthodes de l'état de l'art sur des tâches nécessitant une mémoire, tout en restant compétitive sur des tâches markoviennes.

4. Résultats Expérimentaux

Les auteurs ont évalué VPWEM sur trois benchmarks :

• MIKASA (Tâches intensives en mémoire) : Sur des tâches de manipulation nécessitant de se souvenir de positions ou de couleurs cachées, VPWEM surpasse les politiques de diffusion classiques et les modèles VLA (Vision-Language-Action) de l'état de l'art d'plus de 20 % en taux de réussite.
• MoMaRT (Manipulation mobile) : Sur des tâches de cuisine mobile à long horizon, la méthode améliore les performances des baselines (DP et MaIL) d'environ 5 % en moyenne.
• Robomimic (Tâches quasi-markoviennes) : Sur des tâches où la mémoire à long terme est moins critique, VPWEM obtient des performances équivalentes aux baselines, prouvant qu'il n'introduit pas de biais négatif.

Efficacité Computationnelle :
Contrairement à l'augmentation simple de la fenêtre de contexte (qui augmente drastiquement le temps d'inférence et la mémoire GPU), VPWEM maintient un coût computationnel faible. Par exemple, sur la tâche "Unload-Suboptimal", VPWEM atteint un taux de réussite de 58,3 % avec un temps d'inférence de 0,22s, tandis que les variantes à fenêtre étendue (DP-PTP) voient leur performance stagner ou chuter avec des temps d'inférence beaucoup plus longs.

5. Signification et Impact

VPWEM adresse une limitation fondamentale des politiques robotiques actuelles : l'incapacité à gérer efficacement les dépendances temporelles à long terme sans exploser les coûts computationnels.

• Inspiration Biologique : Le modèle s'inspire directement des mécanismes de consolidation de la mémoire dans le cerveau humain (hippocampe vs néocortex), offrant une solution élégante au compromis entre mémoire et efficacité.
• Généralité : La méthode est orthogonale aux améliorations des modèles de base (backbones) et peut être appliquée à diverses architectures de politiques.
• Futur : Ce travail ouvre la voie au déploiement de robots capables d'exécuter des tâches complexes et à long horizon dans des environnements réels, où la mémoire à long terme est indispensable pour la réussite.

En résumé, VPWEM représente une avancée majeure en permettant aux robots de "se souvenir" de leur passé lointain de manière efficace et compacte, transformant ainsi les politiques visuomotrices en agents véritablement non markoviens.