💻 computer science

Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks

Cet article introduit PRISM, une architecture basée sur les transformeurs avec une attention à porte et une compression hiérarchique qui étend efficacement la mémoire à court terme des politiques visuomotrices pour les tâches à long horizon, ainsi que le benchmark ReMemBench pour une évaluation systématique, atteignant des améliorations de performance significatives par rapport aux bases de référence existantes sans recourir à un préentraînement à grande échelle.

Auteurs originaux : Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de cuisiner un plat complexe, mais chaque fois que vous tournez la tête pour attraper une épice, vous oubliez instantanément ce que vous étiez en train de faire. Vous pourriez allumer la cuisinière, vous éloigner pour chercher une poêle, puis oublier de l'éteindre, ou pire, oublier que vous avez déjà mis le sel. C'est le problème auquel sont confrontés de nombreux robots actuels : ils sont incroyablement intelligents pour voir ce qui se trouve devant eux en ce moment même, mais ils n'ont presque aucune « mémoire à court terme » de ce qui s'est passé il y a quelques secondes ou minutes.

Ce document présente un nouveau cerveau robotique appelé PRISM et un nouveau test appelé REMEMBENCH pour résoudre ce problème. Voici comment cela fonctionne, expliqué simplement :

Le Problème : Des robots avec une « mémoire de poisson rouge »

La plupart des robots modernes apprennent en observant les humains accomplir des tâches (comme un élève copiant un professeur). Cependant, ils ne regardent généralement que l'image vidéo actuelle. Si une tâche nécessite de se souvenir de quelque chose qui s'est passé il y a 30 secondes — comme « j'ai allumé la cuisinière, donc je dois attendre 2 minutes avant de l'éteindre » — le robot échoue car il n'a pas de mémoire d'une action passée.

Si l'on tente de corriger cela en donnant simplement au robot un historique vidéo plus long à observer, deux problèmes surviennent :

Le Problème du Bruit : Le robot est submergé par trop d'informations. Il peut commencer à établir des liens entre des détails inutiles et aléatoires (comme un objet perturbateur en arrière-plan) et ses décisions, ce qui entraîne des erreurs.
Le Problème de la Charge de Travail : Traiter un historique vidéo long nécessite une puissance de calcul et une mémoire informatiques massives, ce qui rend le robot lent et coûteux à exploiter.

La Solution : PRISM (Le Bibliothécaire Intelligent)

Les auteurs ont construit PRISM, une politique robotique qui agit comme un bibliothécaire intelligent plutôt que comme un accumulateur. Au lieu de garder chaque page d'un livre dans sa tête, il utilise deux astuces ingénuses :

Le Filtre de « l'Attention à Porte » (Le Videur) :
Imaginez que la mémoire du robot est une pièce bondée. PRISM possède un videur à la porte qui décide qui peut rester et qui doit sortir. Si le robot se souvient de « j'ai ramassé une pomme rouge », mais que la tâche actuelle concerne un bol bleu, le videur bloque le souvenir de la pomme rouge pour ne pas distraire le robot. Cela empêche le robot de faire des connexions absurdes entre des événements passés non pertinents et les actions présentes.
Le Résumeur « Hiérarchique » (Le Présentateur de JT) :
Au lieu de lire chaque mot d'une longue histoire, PRISM lit d'abord de petits fragments de l'histoire et en rédige un court résumé pour chacun. Ensuite, il lit ces résumés pour comprendre l'intrigue globale. C'est comme un présentateur de journal télévisé qui résume les événements de la journée plutôt que de lire chaque rapport de police brut. Cela rend le robot beaucoup plus rapide et nécessite beaucoup moins de mémoire informatique, lui permettant de se souvenir jusqu'à deux minutes d'historique.

Le Test : REMEMBENCH (L'Examen de Mémoire du Robot)

Pour prouver que leur robot possède réellement une mémoire, les auteurs ont créé REMEMBENCH. Considérez cela comme un « examen du permis de conduire » standardisé pour la mémoire des robots. Il ne teste pas seulement si le robot peut bouger son bras ; il teste quatre types spécifiques de mémoire à court terme :

Mémoire Spatiale : « Où ai-je posé ce fruit ? » (Le robot doit trouver un objet qu'il ne voit pas actuellement).
Mémoire Prospective : « Je dois éteindre la cuisinière dans 2 minutes. » (Le robot doit se souvenir d'une action future basée sur un déclencheur passé).
Mémoire Associative d'Objet : « J'ai lavé cette pomme, donc je dois la remettre dans ce bol spécifique. » (Le robot se souvient quel objet va avec quel contenant).
Mémoire d'Ensemble d'Objets : « Je dois déplacer tous les bâtonnets de pain, mais je dois les compter au fur et à mesure. » (Le robot tient un décompte d'un groupe d'articles).

Les Résultats : Un Gagnant Clair

Lorsqu'ils ont testé PRISM face à d'autres robots (y compris ceux dotés d'une « mémoire longue » standard ou de différents types de cerveaux IA) :

Sur le Test de Mémoire : PRISM est le grand vainqueur, dépassant le robot suivant de manière significative (de 5 % à 12 %).
Sur les Tâches Standards : Même sur des tâches qui ne testent pas explicitement la mémoire, PRISM s'en sort mieux. Pourquoi ? Parce qu'avoir une mémoire aide le robot à comprendre le contexte. Par exemple, savoir s'il « vient de prendre » une tasse ou s'il est « sur le point de la poser » l'aide à éviter la confusion.
Monde Réel : Lorsqu'ils ont essayé sur un vrai robot physique, le robot sans mémoire a totalement échoué (0 % de réussite), tandis que PRISM a réussi 30 % du temps.

L'Essentiel

L'article affirme qu'en utilisant un « videur » pour filtrer le bruit et un « résumeur » pour gagner de l'espace, les robots peuvent enfin se souvenir de ce qui s'est passé il y a quelques minutes. Cela leur permet de gérer des tâches ménagères longues et complexes qui nécessitent une séquence d'étapes, plutôt que de simplement réagir à l'instant présent. Les auteurs fournissent le cerveau du robot (PRISM) et le test (REMEMBENCH) pour aider d'autres chercheurs à construire de meilleurs robots dotés de capacités de mémoire.

Résumé Technique : Mise à l'échelle de la mémoire à court terme des politiques visuomotrices pour les tâches à long horizon

1. Énoncé du problème

Les tâches robotiques nécessitent souvent une mémoire à court terme (s'étendant de quelques secondes à quelques minutes) pour gérer l'observabilité partielle, comme récupérer des objets qui ne sont plus visibles ou cadencer des actions comme éteindre un appareil. Cependant, la plupart des politiques visuomotrices actuelles, entraînées par apprentissage par imitation, sont myopes, s'appuyant uniquement sur les entrées sensorielles immédiates sans exploiter les expériences passées.

L'extension des politiques standard basées sur les transformers pour inclure des fenêtres de contexte plus longues afin de répondre à ce problème présente deux défis critiques :

Corrélations spécieuses : Porter attention naïvement à de longs historiques introduit des informations non pertinentes (ex: l'emplacement de distracteurs passés), amenant les modèles à apprendre de fausses corrélations qui dégradent les performances lorsque le contexte change.
Scalabilité computationnelle : L'empreinte de calcul et de mémoire des mécanismes d'attention standard augmente linéairement ou quadratiquement avec la longueur du contexte. Le traitement d'entrées visuelles de haute dimension sur de longues séquences temporelles (ex: plusieurs minutes) devient prohibitif.

2. Méthodologie : PRISM

Les auteurs proposent PRISM (Policy Architecture with Short-Term Memory), une architecture basée sur les transformers conçue pour utiliser efficacement la mémoire à court terme grâce à deux innovations clés :

Attention à porte (Filtrage de l'information) : Pour atténuer les corrélations spécieuses, PRISM introduit un mécanisme de porte post-attention. Ce composant filtre sélectivement l'information récupérée en modulant la sortie de chaque bloc d'attention à l'aide d'une porte apprenable conditionnée par les caractéristiques de l'entrée actuelle. Cela permet à la politique d'adapter l'atténuation des détails non pertinents de l'historique, réduisant ainsi le bruit dans la prédiction de l'action.
Architecture hiérarchique (Efficacité) : Pour répondre aux problèmes de scalabilité, PRISM emploie une conception hiérarchique.
- Encodage local : Un encodeur de mémoire locale traite les entrées sensorielles et les compresse en tokens compacts à l'aide d'un rééchantillonneur de type Perceiver.
- Attention globale : Un encodeur de mémoire globale calcule l'attention sur ces tokens compressés à travers le temps.
- Fusion : L'information globale résultante est diffusée en retour et fusionnée avec les tokens locaux originaux via des connexions résiduelles.
- Avantage : Cette approche réduit la complexité computationnelle de $O((n \cdot k_{tot})^2)$ à environ $O(n \cdot k_{tot} \cdot m + (n \cdot k_{tot}/m)^2)$ , où $m$ est le facteur de compression. Elle réduit également de manière significative l'empreinte mémoire lors du test en ne mettant en cache que les tokens de résumé compressés.

PRISM est entraîné en utilisant le clonage de comportement (apprentissage par imitation) standard, sans pertes auxiliaires ni modules de mémoire externes, en associant des séquences d'entrées sensorielles et d'actions passées à des actions futures dans un cadre en boucle fermée.

3. Contributions clés

Architecture PRISM : Une nouvelle architecture de politique qui combine l'attention à porte et la summarisation hiérarchique pour porter la mémoire à court terme jusqu'à deux minutes (à 2–3 Hz) tout en maintenant l'efficacité computationnelle et la robustesse au bruit.
REMEMBENCH : Un nouveau benchmark comprenant huit tâches de manipulation domestique diverses couvrant quatre catégories de mémoire à court terme issues des sciences cognitives :
- Spatiale : Se souvenir de l'emplacement d'objets (ex: récupérer des fruits cachés).
- Prospective : Retenir des intentions sur un délai (ex: cuire de la viande pendant une durée spécifique).
- Associative-objet : Se souvenir des associations objet-emplacement (ex: remettre un article lavé sur sa soucoupe d'origine spécifique).
- Ensemble d'objets : Maintenir et mettre à jour des ensembles de plusieurs objets (ex: compter des bâtonnets de pain déplacés vers un micro-ondes).
- Contrairement aux benchmarks précédents qui se concentrent sur des aspects uniques ou des tests de mémoire indirects, REMEMBENCH exige explicitement la mémoire pour réussir, car les entrées sensorielles immédiates sont insuffisantes.

4. Résultats expérimentaux

L'article évalue PRISM par rapport aux architectures récurrentes (LSTM, Mamba), aux transformers récurrents par segments (Transformer-XL) et à d'autres variantes de transformers (Attention Linéaire, Scene Memory Transformer) sur REMEMBENCH et des benchmarks standards.

Performance sur REMEMBENCH : PRISM atteint un taux de réussite moyen de 41 %, surpassant les bases de référence les plus fortes (SMT à 36 %, PTP à 28 %, Mamba à 25 %) avec une marge absolue de 5 % à 12 %.
- Scalabilité : La performance augmente avec la taille de la mémoire ; augmenter la fenêtre de 1 à 512 pas de temps améliore le taux de réussite de 16 % à 42 % sans saturation.
- Ablation : Supprimer le mécanisme de porte provoque une chute de 16 points de performance, confirmant sa nécessité pour filtrer l'historique non pertinent.
Benchmarks standards (ROBOCASA & LIBERO) :
- Sur ROBOCASA, PRISM avec mémoire (n=256) atteint 43 % de réussite, soit une amélioration absolue de 11 % par rapport à sa variante sans mémoire et de 11 % par rapport à la base de référence GR00T-N1-2B affinée.
- Sur LIBERO, PRISM atteint 89 % de réussite moyenne, soit une amélioration de 15 % par rapport à la base de référence OpenVLA affinée et de 12 % par rapport à sa variante sans mémoire.
- Les auteurs notent que l'ajout de mémoire aide à résoudre l'ambiguïté d'action dans des états visuellement identiques (ex: distinguer "vient de saisir" de "est sur le point de poser"), réduisant la multimodalité même dans des tâches non explicitement conçues pour tester la mémoire.
Évaluation en conditions réelles : Dans une adaptation réelle de la tâche "Laver et retourner au contenant", PRISM a atteint 30 % de réussite, contre 15 % pour une base de référence transformer sans mémoire et 0 % pour une politique sans mémoire.
Efficacité : À une longueur de contexte de 512 étapes, PRISM réduit l'utilisation de la mémoire GPU de pointe de 80 % et le temps d'exécution de 40 % par rapport à l'attention globale complète et aux approches hybrides à fenêtre glissante.

5. Signification et affirmations

L'article affirme que PRISM et REMEMBENCH établissent une base pour le développement et l'évaluation de politiques visuomotrices augmentées par la mémoire à court terme capables de gérer des tâches à long horizon.

Généralisation : En couvrant quatre catégories de mémoire distinctes, REMEMBENCH encourage le développement de mécanismes de mémoire généraux plutôt que de solutions cloisonnées et spécifiques à une tâche.
Scalabilité : PRISM démontre que la mémoire à court terme peut être étendue à des minutes d'interaction sans les coûts prohibitifs associés à l'extension naïve de la fenêtre de contexte.
Robustesse : Le mécanisme d'attention à porte s'avère essentiel pour empêcher le modèle d'apprendre des corrélations spécieuses dans des données à long horizon et bruitées.

Les auteurs concluent que bien que les taux de réussite actuels sur REMEMBENCH (autour de 30–40 %) indiquent que les tâches à long horizon restent difficiles, les gains constants de l'augmentation de la mémoire à travers diverses architectures et benchmarks valident l'approche. Ils identifient des directions futures telles que l'intégration d'une mémoire persistante à long terme et l'exploitation du pré-entraînement à l'échelle d'Internet pour les modules de mémoire, mais soulignent que leur travail actuel se concentre strictement sur la mécanique de la mémoire à court terme dans le cadre de l'apprentissage par imitation.