Résumé Technique : NativeMEM – Compression de la Mémoire Native pour la Manipulation Robotique à Longue Horizon

1. Énoncé du Problème

Les modèles pré-entraînés de Vision-Langage-Action (VLA) ont montré des promesses dans la prise de décision incarnée, mais sont fondamentalement limités par leur nature réactive. La plupart des VLA existants conditionnent les actions uniquement sur l'observation actuelle et l'instruction textuelle, manquant ainsi de la capacité à retenir des historiques visuels à longue horizon. Cette limitation est critique pour les tâches de manipulation non markoviennes où l'action correcte dépend d'interactions passées, telles que le suivi du nombre d'objets, le souvenir d'états occultés, le rappel de tentatives échouées ou la surveillance de la progression d'une tâche.

Les approches actuelles de l'augmentation de la mémoire font face à des compromis importants :

• Mémoire pilotée par VLM : Les méthodes utilisant des modèles de Vision-Langage (VLM) externes de haut niveau pour générer des notes textuelles ou des sous-tâches nécessitent souvent des annotations coûteuses et peinent à encoder fidèlement les détails visuels subtils par le langage.
• Modules de Mémoire Externes : Les approches qui introduisent des modules de mémoire fraîchement initialisés (par exemple, des états récurrents, des banques de récupération) à l'intérieur de la politique augmentent la complexité architecturale. Puisque ces modules sont invisibles lors du pré-entraînement du VLA, ils risquent de dégrader les performances de la politique pré-entraînée et introduisent un « dilemme de compression » : une compression insuffisante entraîne des coûts de calcul élevés, tandis qu'une compression excessive rejette des détails critiques pour l'action.

Le défi central est de concevoir un mécanisme permettant à un VLA de conserver des historiques visuels détaillés à longue horizon avec un coût de mémoire minimal, tout en restant pleinement compatible avec l'espace de jetons (tokens) et les mécanismes d'attention de la politique pré-entraînée.

2. Méthodologie : NativeMEM

Les auteurs proposent NativeMEM, une politique VLA qui intègre une mémoire à long terme, mise à jour en temps réel, directement dans l'architecture du modèle pré-entraîné sans planificateurs externes ou nouveaux modules de mémoire. L'innovation centrale est la Compression de Mémoire Native.

2.1 Compression de Mémoire Native

Au lieu d'introduire une architecture de mémoire séparée, NativeMEM détourne l'encodeur de vision du propre VLA pour compresser chaque image historique de chaque vue de caméra en un jeton de mémoire natif unique.

• Compression à un jeton : Chaque paire image-vue est résumée en un seul jeton ($M=1$), réduisant drastiquement la longueur de la séquence par rapport au maintien de l'intégralité des jetons visuels.
• Intégration Native : Ces jetons sont produits par le même chemin visuel que les observations actuelles et sont ajoutés à la séquence de jetons originale. Cela permet au VLA pré-entraîné de prêter attention à l'historique à long terme en utilisant ses mécanismes d'attention existants, interprétant les jetons comme une « preuve visuelle native » plutôt que comme des états externes.

2.2 Pipeline d'Entraînement en Deux Étapes

Pour garantir que ces jetons compacts soient à la fois riches en informations et alignés avec la politique pré-entraînée, les auteurs introduisent un processus d'entraînement en deux étapes :

1. Étape 1 : Apprentissage d'un Tokeniseur de Mémoire Générique (Supervisé par l'Action)

   • Le VLA pré-entraîné est gelé.
   • Un tokeniseur de mémoire, initialisé à partir de l'encodeur de vision natif du VLA, est entraîné pour compresser les observations passées.
   • Objectif : Le tokeniseur est optimisé en utilisant la perte de prédiction d'action originale du VLA. Cela garantit que les jetons compressés sont « supervisés par l'action » (encodant des informations pertinentes pour prédire les actions) plutôt que « supervisés par la reconstruction » (ce qui pourrait conserver des détails visuels non pertinents).
   • Données : Le tokeniseur est entraîné sur un mélange de données de manipulation standard et de tâches exigeant de la mémoire pour apprendre une représentation générale alignée sur l'espace de jetons du VLA.

2. Étape 2 : Fine-tuning Spécifique à la Tâche

   • Le tokeniseur de mémoire appris est gelé.
   • Le squelette (backbone) du VLA et la tête d'action sont dégelés et affinés sur une tâche cible spécifique en utilisant un nombre limité de démonstrations.
   • Entrée : La séquence d'entrée se compose de l'observation actuelle, de l'instruction textuelle, de l'état proprioceptif et de la séquence de jetons de mémoire mis en cache et ajoutés, dérivés de l'historique.
   • Cette étape convertit un VLA à image unique en une politique augmentée par la mémoire en utilisant un minimum de données spécifiques à la tâche.

2.3 Inférence en Temps Réel

Pendant le déploiement, le tokeniseur de mémoire fonctionne indépendamment de la politique VLA. À mesure que de nouvelles observations arrivent, le tokeniseur les convertit en jetons de mémoire à une fréquence élevée (par exemple, 10 Hz+). La politique VLA concatène simplement la file d'attente compacte de mémoire la plus récente à ses jetons d'entrée. Ce découplage permet la rétention d'un historique de plusieurs minutes avec un surcoût de latence négligeable.

3. Contributions Clés

• Compression de Mémoire Native : Un schéma novateur qui compresse les images historiques en jetons uniques en utilisant le propre encodeur de vision du VLA, éliminant le besoin de modules de mémoire ou de planificateurs externes.
• Tokenisation Supervisée par l'Action : Une stratégie d'entraînement qui apprend des représentations de mémoire directement via l'objectif de prédiction d'action du VLA, garantissant que l'historique compressé est pertinent pour la prise de décision.
• Rétention Efficace à Longue Horizon : La méthode permet l'attention sur des historiques de plusieurs minutes (plus de 160 images) avec un horizon 9 à 40 fois plus long que les méthodes précédentes, tout en maintenant une faible latence d'inférence et une utilisation réduite de la mémoire GPU.
• Efficacité des Données : L'approche atteint des performances compétitives avec les méthodes de pointe précédentes en utilisant seulement 20 % des données d'entraînement.

4. Résultats Expérimentaux

Les auteurs ont évalué NativeMEM sur des tâches de manipulation dépendantes de la mémoire, tant en simulation que dans le monde réel.

• Performance en Simulation : Sur un benchmark incluant des tâches RMBench et des tâches d'appui sur bouton, NativeMEM a atteint un taux de succès moyen de 84,0 %, surpassant nettement la meilleure ligne de base (Mem-0 à 32,4 %) et les autres méthodes augmentées par la mémoire.
• Performance dans le Monde Réel : Sur de vrais robots, NativeMEM a atteint un taux de succès de 98,7 % sur trois tâches (Cliquer sur des boutons, Remettre un bloc en place et Scanner des articles de courses). Notamment, il a bien performé sur la tâche de « Scan d'articles de courses », qui était inconnue lors de l'entraînement de la première étape du tokeniseur, démontrant une forte généralisation.
• Efficacité :
  • Inférence : NativeMEM supporte jusqu'à 5 000 images historiques dans un budget de 32 Go de mémoire et maintient une réactivité en temps réel (en portant attention à environ 200 images avec une latence inférieure à 100 ms).
  • Données : Avec seulement 10 démonstrations, NativeMEM a atteint 60 % de succès moyen, surpassant Mem-0 par un facteur de 3,5.
• Études d'Ablation :
  • Le retrait de l'entraînement en deux étapes (dégeler le VLA pendant l'apprentissage du tokeniseur) a provoqué une chute de performance à 23,2 %, soulignant la nécessité de garder le VLA gelé pour préserver les priors pré-entraînés.
  • L'utilisation de caractéristiques visuelles génériques (moyenne pondérée) au lieu de jetons natifs appris a entraîné un échec sur les tâches nécessitant des détails fins (ex: Remettre un bloc en place).
  • Des mises à jour éparses ou des horizons courts ont considérablement dégradé les performances, confirmant le besoin d'une couverture dense et à longue horizon.

5. Signification et Revendications

L'article affirme que NativeMEM offre une solution unifiée pour la manipulation à longue horizon en détournant l'encodeur visuel existant du VLA. Sa signification réside dans :

1. Compatibilité : Il permet aux VLA à image unique pré-entraînés d'accéder à l'historique à long terme sans changements architecturaux ou modules externes, préservant la nature « native » de la politique.
2. Scalabilité : En compressant l'historique à un jeton par image, il surmonte les goulots d'étranglement de la longueur du contexte et du calcul qui limitent typiquement la rétention de mémoire dans les transformers.
3. Praticité : Il démontre que des tâches complexes dépendantes de la mémoire peuvent être résolues sur de vrais robots avec un minimum de données de fine-tuning et un faible surcoût de calcul.

Les auteurs reconnaissent des limites, notant que le système n'est pas conçu pour une mémoire persistante sur des heures ou des jours et que la dépendance à la supervision par l'action pourrait créer un écart sémantique pour des besoins de mémoire très abstraits dans des tâches futures plus complexes. Cependant, ils affirment que NativeMEM comble efficacement le fossé entre les politiques VLA réactives et les besoins de la manipulation robotique à longue horizon.