Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

Ce papier présente MIKASA, un benchmark complet et unifié incluant des tâches de manipulation robotique, conçu pour évaluer et faire progresser les capacités de mémoire des agents d'apprentissage par renforcement face à des tâches complexes.

L'essentiel

🤖 MIKASA : Le "Test de Mémoire" pour les Robots

Imaginez que vous essayez d'enseigner à un robot comment faire le ménage. Si vous lui dites "Ramasse la tasse", il le fait. Mais si vous lui dites "Ramasse la tasse qui était cachée sous le torchon il y a 10 secondes", le robot moderne a souvent un gros problème : il oublie.

C'est là qu'intervient ce nouveau papier de recherche, présenté à la conférence ICLR 2026. Les auteurs ont créé MIKASA (un acronyme rigolo pour Memory-Intensive Skills Assessment Suite for Agents), qui est essentiellement un grand examen de mémoire pour les intelligences artificielles et les robots.

Voici les 4 idées clés, expliquées avec des métaphores :

1. Le Problème : Des Tests Trop Faciles ou Trop Spécifiques 🧩

Aujourd'hui, pour tester la mémoire d'un robot, les chercheurs utilisent souvent des environnements très différents les uns des autres. C'est comme si l'un testait la mémoire d'un élève en lui faisant résoudre un Sudoku, et un autre en lui faisant réciter une poésie. On ne peut pas comparer les résultats !

De plus, beaucoup de robots sont testés dans des mondes "parfaits" où tout est visible tout le temps. C'est comme conduire une voiture avec un pare-brise en verre transparent. Mais dans la vraie vie, il y a des nuages, des camions qui passent, et des objets cachés. Les robots actuels sont comme des conducteurs qui paniquent dès qu'ils ne voient plus la route.

2. La Solution : Une "Boîte à Outils" Universelle 🛠️

Les auteurs ont créé MIKASA pour tout mettre au même endroit. Ils ont classé les tâches de mémoire en 4 catégories simples, comme des exercices de gymnastique pour le cerveau :

• Mémoire des Objets (Object Memory) : C'est le jeu de l'œuf de Pâques. "Où était la balle rouge avant qu'on la cache sous un gobelet ?" Le robot doit se souvenir de l'existence d'un objet même s'il est invisible.
• Mémoire Spatiale (Spatial Memory) : C'est comme un GPS interne. "J'ai déplacé cette chaise il y a 5 minutes, où est-elle maintenant ?" Le robot doit garder une carte mentale de la pièce.
• Mémoire Séquentielle (Sequential Memory) : C'est comme suivre une recette de cuisine. "J'ai ajouté le sel, puis le poivre, maintenant je dois ajouter les œufs." Le robot doit se souvenir de l'ordre des actions.
• Capacité de Mémoire (Memory Capacity) : C'est le test de "Simon dit". "Retiens 3 couleurs, puis 5, puis 9 !" Plus il y a d'informations à retenir en même temps, plus c'est dur.

3. Le Terrain de Jeu : MIKASA-Robo 🤖

Au lieu de simples jeux vidéo, les chercheurs ont créé 32 tâches réalistes pour des bras robotiques sur une table. Voici quelques exemples concrets :

• Le Jeu des Gobelets (ShellGame) : Un robot voit une balle sous un gobelet. On cache les gobelets. Le robot doit toucher le bon gobelet.
• Le Jeu des Couleurs (RememberColor) : Le robot regarde un cube rouge. Il disparaît. Dix cubes de couleurs différentes apparaissent. Le robot doit toucher le rouge.
• Le Jeu de la Rotation : Le robot doit tourner un objet d'un angle précis, en se souvenant de sa position de départ.

Ces tâches sont conçues pour être très difficiles si le robot n'a pas de "mémoire". Si le robot réussit, c'est qu'il a vraiment compris et retenu l'information, pas juste deviné.

4. Les Résultats : Les Robots Actuels sont de "Grandes Amnésiques" 📉

Les chercheurs ont testé les robots les plus modernes (y compris ceux qui utilisent l'IA générative, comme les modèles VLA) sur ces tests. Le résultat est sans appel :

• En mode "Tout visible" : Les robots sont excellents. Ils réussissent à 100 %.
• En mode "Mémoire requise" : Dès qu'il faut se souvenir de quelque chose qui a été caché ou qui s'est passé il y a un moment, les robots échouent lamentablement. Leur taux de réussite chute presque à zéro.

C'est comme si vous donniez un smartphone très puissant à un enfant, mais que vous lui retiriez sa mémoire à court terme. Il peut voir l'écran, mais il oublie ce qu'il a vu 5 secondes plus tôt.

🌍 Pourquoi est-ce important ?

Aujourd'hui, on veut des robots pour aider à la maison, dans les hôpitaux ou les usines. Mais pour cela, ils doivent pouvoir gérer l'imprévu et les objets cachés.

Ce papier nous dit : "Arrêtons de nous mentir." Nos robots actuels ne sont pas assez intelligents pour retenir l'information sur le long terme. MIKASA est donc un outil crucial pour les scientifiques : c'est une boussole pour savoir où ils en sont et pour guider la création de robots qui auront enfin une vraie "mémoire", capable de se souvenir de ce qu'ils ont vu et fait, pour agir intelligemment demain.

En résumé : MIKASA est le nouveau "examen du permis de conduire" pour la mémoire des robots. Et pour l'instant, la plupart des candidats (nos robots actuels) échouent au premier tour ! 🚗💨🧠

Résumé technique

Voici un résumé technique détaillé du papier de conférence MIKASA : A Benchmark for Solving Complex Tasks with Reinforcement Learning, publié à ICLR 2026.

1. Problématique et Contexte

La mémoire est un composant essentiel pour permettre aux agents d'IA de résoudre des tâches complexes comportant des dépendances temporelles et spatiales, en particulier dans des environnements partiellement observables (POMDP). Bien que de nombreux algorithmes d'apprentissage par renforcement (RL) intègrent des mécanismes de mémoire, le domaine souffre d'un manque de benchmark universel pour évaluer ces capacités de manière standardisée.

Les défis actuels incluent :

• Fragmentation des évaluations : Les études existantes utilisent des environnements sur mesure, rendant les comparaisons entre agents difficiles.
• Limites des benchmarks existants : Des benchmarks comme POPGym, DMLab-30 ou MemoryGym se concentrent souvent sur des puzzles abstraits ou de la navigation, négligeant la complexité de la manipulation robotique réelle (interactions physiques, occlusions, procédures multi-étapes).
• Absence de standardisation robotique : Dans la robotique, les tâches de manipulation sont souvent traitées comme des MDP (observabilité complète) ou des POMDP artificiels (bruit d'observation), ce qui ne capture pas la nécessité de mémoriser des configurations d'objets cachés ou des séquences d'actions longues.

2. Méthodologie et Architecture

Les auteurs proposent une approche structurée en trois volets pour combler ce vide : une taxonomie des tâches, un benchmark généraliste (MIKASA-Base) et un benchmark spécifique à la robotique (MIKASA-Robo).

A. Taxonomie des Tâches à Mémoire

Le papier propose un cadre de classification systématique des tâches intensives en mémoire, inspiré de la psychologie cognitive, divisé en quatre catégories fondamentales :

1. Mémoire d'Objet (Object Memory) : Capacité à maintenir des informations sur les objets lorsqu'ils deviennent temporairement inobservables (ex: permanence de l'objet).
2. Mémoire Spatiale (Spatial Memory) : Capacité à se souvenir des emplacements et à naviguer dans l'environnement en se basant sur des informations spatiales passées.
3. Mémoire Séquentielle (Sequential Memory) : Capacité à traiter et utiliser des informations ordonnées dans le temps (rappel de séquences d'actions).
4. Capacité de Mémoire (Memory Capacity) : Capacité à gérer simultanément plusieurs éléments d'information (étendue de la mémoire de travail).

B. MIKASA-Base

C'est un cadre unifié basé sur Gymnasium qui consolide des environnements open-source existants (comme ceux de POPGym, MiniGrid, MemoryGym) sous une API commune. Il permet une évaluation systématique des mécanismes de mémoire, allant de tâches vectorielles simples à des tâches complexes basées sur des images.

C. MIKASA-Robo (Le cœur de l'apport)

C'est un benchmark open-source (licence MIT) conçu spécifiquement pour la manipulation robotique sur table.

• Contenu : 32 tâches soigneusement conçues réparties en 12 catégories, couvrant les 4 types de mémoire définis ci-dessus.
• Environnement : Basé sur ManiSkill3, permettant un entraînement parallèle efficace sur GPU.
• Modes d'observation :
  • State : Information complète (MDP, sans besoin de mémoire).
  • RGB + Joints : Caméras (vue supérieure et poignet) + états des articulations (POMDP, nécessite la mémoire).
  • Prompt : Instructions textuelles statiques.
• Exemples de tâches :
  • ShellGameTouch : Mémoriser la position d'une balle sous des gobelets après occlusion.
  • RememberColor/Shape : Mémoriser la couleur ou la forme d'un objet, puis le sélectionner parmi un ensemble distrayeur.
  • Intercept/InterceptGrab : Prédire la trajectoire d'une balle roulante et l'intercepter ou l'attraper.
  • RotateLenient/Strict : Mémoriser l'angle initial d'un piquet et le tourner d'un angle spécifique.
  • ChainOfColors : Mémoriser une séquence ordonnée de couleurs et la reproduire strictement.

3. Contributions Clés

1. Classification des Tâches : Un cadre unifié pour catégoriser les besoins en mémoire (Objet, Spatial, Séquentiel, Capacité).
2. Benchmark Unifié (MIKASA-Base) : Une bibliothèque standardisée pour évaluer les agents RL enrichis de mémoire.
3. Benchmark Robotique (MIKASA-Robo) : La première suite de 32 tâches de manipulation robotique isolant spécifiquement les compétences dépendantes de la mémoire, avec des niveaux de difficulté variables.
4. Données et Évaluations :
   • Publication de datasets d'experts (1000 trajectoires par tâche) pour l'apprentissage hors ligne (Offline RL).
   • Évaluations exhaustives sur des modèles Online RL (PPO, SAC, TD-MPC2), Offline RL (DT, RATE, BC, CQL, Diffusion Policy) et des modèles VLA (Vision-Language-Action) comme Octo, OpenVLA, et $\pi_0$.

4. Résultats Expérimentaux

Les expériences révèlent des limites significatives des méthodes actuelles face aux tâches nécessitant une mémoire robuste :

• Validation du Benchmark : Un agent PPO-MLP entraîné en mode "State" (information complète) atteint un taux de réussite de 100% sur toutes les tâches, prouvant que les tâches sont solubles et que les échecs en mode "RGB" sont dus à un manque de mémoire et non à une complexité physique insurmontable.
• Limites des Architectures Classiques :
  • Les agents sans mémoire (MLP) échouent totalement en mode POMDP.
  • Les agents avec mémoire standard (LSTM) montrent une amélioration sur des tâches simples (ex: 3 couleurs) mais leurs performances s'effondrent drastiquement lorsque la complexité augmente (ex: 5 ou 9 couleurs) ou que les récompenses sont clairsemées (sparse rewards).
• Échec des Modèles VLA (Vision-Language-Action) :
  • Les modèles de pointe (Octo, OpenVLA, $\pi_0$) montrent des performances médiocres sur les tâches de mémoire à long terme.
  • Sur les tâches avec occlusion (ex: RememberColor9), les taux de réussite chutent près de zéro, indiquant que ces modèles ne parviennent pas à retenir les informations pertinentes sur des horizons temporels longs.
  • L'utilisation de "chunks" (fenêtres d'actions) permet parfois de contourner le problème sur des tâches simples, mais échoue sur des séquences complexes.
• Expériences Réelles (Real-World) :
  • Des tests sur un bras robotique physique (SO-101) avec le modèle $\pi_0.5$ confirment les résultats de simulation.
  • Le modèle réussit les tâches MDP (Task 1) et les tâches dynamiques sans occlusion (Task 2), mais échoue presque totalement (10% de réussite) sur la tâche avec occlusion et permutation (Task 3), isolant la mémoire comme facteur limitant principal.

5. Signification et Impact

Ce travail est significatif car il :

• Standardise l'évaluation de la mémoire en robotique, passant d'évaluations ad-hoc à un benchmark rigoureux et reproductible.
• Révèle un "Goulot d'étranglement" (Gap) critique : Les architectures actuelles, y compris les modèles VLA les plus avancés, manquent de mécanismes de mémoire explicites et robustes pour les horizons longs, ce qui limite leur applicabilité dans le monde réel pour des tâches de manipulation complexes.
• Fournit des outils pour la recherche future : En libérant le code, les environnements et les datasets, MIKASA offre une base solide pour développer et tester de nouvelles architectures de mémoire (mémoire externe, mécanismes de récupération, etc.) destinées à la robotique autonome.

En conclusion, MIKASA démontre que la capacité à mémoriser des informations sur de longues périodes reste le défi majeur pour déployer des robots intelligents dans des environnements réels partiellement observables, et fournit la plateforme nécessaire pour surmonter cet obstacle.