💻 computer science

MemCompiler: Compile, Don't Inject -- State-Conditioned Memory for Embodied Agents

MemCompiler introduit un cadre de compilation de mémoire conditionné par l'état qui sélectionne et intègre dynamiquement la mémoire pertinente dans un guidage exécutable via des canaux textuels et latents, améliorant considérablement l'efficacité et l'efficience des agents incarnés par rapport aux méthodes d'injection statique.

Auteurs originaux : Xin Ding, Xinrui Wang, Yifan Yang, Hao Wu, Shiqi Jiang, Qianxi Zhang, Liang Mi, Hanxin Zhu, Kun Li, Yunxin Liu, Zhibo Chen, Ting Cao

Publié 2026-05-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xin Ding, Xinrui Wang, Yifan Yang, Hao Wu, Shiqi Jiang, Qianxi Zhang, Liang Mi, Hanxin Zhu, Kun Li, Yunxin Liu, Zhibo Chen, Ting Cao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le "Sac à Dos Encombré"

Imaginez que vous êtes un robot essayant de ranger une pièce en désordre. Vous avez un sac à dos rempli de notes provenant de moments précédents où vous avez rangé des pièces (votre Mémoire).

La plupart des robots actuels utilisent une méthode que les auteurs appellent AMMI (Injection Monolithique de Mémoire Anticipée). C'est comme vider l'intégralité de votre sac à dos sur le sol dès le tout début de la tâche.

Le Problème : Alors que vous commencez à ranger, vous devez savoir où se trouve le balai. Mais votre sac à dos est aussi rempli de notes sur comment préparer le dîner, comment réparer un robinet qui fuit, et une liste de chaque chaussette que vous avez jamais perdue.
Le Résultat : Le robot est submergé. Il essaie de lire toutes les notes à la fois, se confond avec celles qui sont sans rapport, et performe moins bien que s'il n'avait aucune note du tout. Les auteurs appellent cela la "Dilution de l'Attention" — la concentration du robot est diluée par trop de bruit.

La Solution : Le "Compilateur Intelligent"

Le papier propose un nouveau système appelé MemCompiler. Au lieu de vider tout le sac à dos, MemCompiler agit comme un bibliothécaire intelligent ou un compilateur (un outil qui traduit du code).

Voici comment cela fonctionne, étape par étape :

1. L'"État Bref" (L'Humeur Actuelle du Robot)

Avant que le robot ne fasse un mouvement, le système vérifie son État Bref. C'est un résumé minuscule et structuré de ce qui se passe exactement en ce moment.

Analogie : Au lieu de se souvenir "Je suis un robot", il se souvient : "Je tiens actuellement une assiette sale, je me tiens devant l'évier, et mon objectif est de laver la vaisselle."

2. Le "Compilateur de Mémoire" (Le Filtre Intelligent)

Un modèle d'IA spécial et léger (le Compilateur de Mémoire) examine l'État Bref du robot et le Sac à Dos de Notes.

Il se demande : "Étant donné que je tiens une assiette sale devant l'évier, quelle note spécifique du sac à dos ai-je besoin maintenant ?"
Il ignore les notes sur la cuisine et les listes de chaussettes. Il sélectionne uniquement la note qui dit : "Si vous tenez une assiette, allez à l'évier et ouvrez l'eau."

3. La Livraison "Double Canal" (Texte + Signal Secret)

C'est ici que MemCompiler devient astucieux. Il livre la mémoire sélectionnée au robot de deux manières :

Le Canal Texte : Il écrit une instruction claire : "Allez à l'évier."
Le Canal "Soft-Mem" (Le Signal Secret) : Parfois, on ne peut pas décrire un sentiment ou une disposition spatiale avec des mots. Peut-être que le robot doit "sentir" la texture d'une surface ou se souvenir de la forme exacte en 3D d'une étagère encombrée. Le canal Soft-Mem envoie un signal silencieux et invisible (un "jeton latent") directement au cerveau du robot.
- Analogie : Imaginez un enseignant donnant à un élève une note écrite et un geste de la main subtil qui transmet une idée complexe que la note ne pouvait pas capturer. Le robot reçoit à la fois les mots et le "vibe" de la mémoire.

Pourquoi Cela Compte

Le papier a testé cela sur des robots effectuant des tâches ménagères (comme ranger les courses) et des expériences scientifiques.

Cela Fonctionne Mieux : En ne donnant au robot que la mémoire dont il a besoin à ce moment précis, le robot fait moins d'erreurs. Dans certains tests, cela a amélioré les performances de plus de 100 % par rapport à l'ancienne méthode de "vider tout le sac à dos".
Cela Gagne du Temps : Parce que le robot ne lit pas un roman de 50 pages alors qu'il a seulement besoin d'un rappel d'une phrase, il pense plus vite. Le papier indique que cela réduit le temps passé par le robot à réfléchir de 60 %.
Cela Rétablit l'Équité : Habituellement, seuls les robots "super-cerveaux" les plus chers et les plus massifs pouvaient gérer une mémoire complexe. MemCompiler permet aux robots plus petits et moins chers de performer presque aussi bien que les modèles coûteux, car ils ne gaspillent pas d'énergie sur des informations sans rapport.

Résumé

MemCompiler change la règle de "Rappelez-vous de tout et espérez que cela aide" à "Vérifiez où vous êtes, puis récupérez uniquement la mémoire spécifique dont vous avez besoin maintenant". Il transforme un tas encombré et confus de notes en une instruction précise et opportune, rendant les robots plus intelligents, plus rapides et plus efficaces.

Résumé Technique : MemCompiler — Mémoire Conditionnée par l'État pour les Agents Embodés

Énoncé du Problème

Les systèmes de mémoire actuels pour les agents embodés reposent principalement sur un paradigme d'Injection Monolithique de Mémoire Anticipée (AMMI). Dans cette approche, les entrées de mémoire récupérées sont assemblées en un contexte statique au début d'un épisode et restent fixes tout au long de l'exécution. Les auteurs soutiennent que cette conception souffre d'une dilution de l'attention : à mesure que l'état d'exécution de l'agent évolue, la mémoire statique devient de plus en plus désalignée par rapport aux besoins actuels. Une expérience précieuse est enfouie sous des entrées non pertinentes ou contre-productives, provoquant la dégradation des exécuteurs de politiques légers en dessous de la ligne de base sans mémoire.

Ce problème est spécifique aux agents embodés en raison de deux propriétés structurelles absentes chez les agents linguistiques :

Pertinence Dépendante de l'État : L'utilité de la mémoire dépend de la progression des sous-objectifs inférés et des croyances environnementales dérivées de flux continus d'actions visuelles, et non pas uniquement de requêtes explicites. L'injection statique ne peut pas s'adapter à ces changements.
Nature Multimodale de l'Expérience : L'expérience embodée contient des informations spatiales et d'affordance difficiles à encoder dans du texte. Une mémoire purement textuelle perd des indices critiques, tandis qu'une injection visuelle naïve amplifie la dilution de l'attention.

Les solutions existantes pour les agents linguistiques (par exemple, graphes structurés, divulgation progressive) supposent des moteurs de raisonnement puissants et une interaction centrée sur le texte, ce qui les rend inadaptées aux politiques embodées légères opérant sur des flux visuels.

Méthodologie : MemCompiler

L'article propose MemCompiler, un changement de paradigme passant de l'injection statique à la Compilation de Mémoire Conditionnée par l'État (SCMC). Analogie à un compilateur logiciel traduisant du code source en instructions cibles en fonction de l'environnement d'exécution, MemCompiler traite la mémoire de tâche comme du « code source » et l'état actuel de l'agent comme un « contexte d'exécution ».

Composants Principaux

État Bref ( $b_t$ ) : Un contexte structuré et dynamique maintenu par le Compilateur de Mémoire. Il compresse l'objectif de la tâche, l'historique des actions et les observations en deux dimensions :
- État de Progression de la Tâche : Sous-objectifs terminés/en cours/en attente.
- Croyance Environnementale : Emplacements d'objets connus, statut de l'agent et faits environnementaux.
Compilateur de Mémoire ( $\pi_C$ ) : Un modèle léger qui lit l'état actuel $s_t = (o_t, b_t)$ $s_{t} = (o_{t}, b_{t})$ et le pool de mémoire $M$ $M$ . À chaque étape, il décide dynamiquement de produire l'un des quatre types suivants :
- Expérience : Guidance stratégique ( $m^*_{t}$ ) pour l'Exécuteur.
- Bref : Mises à jour ( $\Delta b_t$ ) du contexte d'exécution.
- Hybride : À la fois guidance et mises à jour du contexte.
- NoAction : Aucune sortie lorsque aucune mémoire n'est actuellement applicable.
Soft-Mem (Sortie à Double Canal) : Pour combler le fossé multimodal, la mémoire compilée est délivrée via deux canaux :
- Canal Textuel : Guidance stratégique interprétable.
- Canal Doux Latent ( $m^*_{t, soft}$ ) : Jetons mous latents projetés directement dans l'espace d'embedding de l'Exécuteur, transportant des informations perceptuelles et spatiales (par exemple, dispositions visuelles) que le texte ne peut exprimer. Une contrainte d'orthogonalité garantit que ce canal ne se réduit pas à une copie redondante du texte.

Pipeline d'Entraînement

MemCompiler est entraîné de bout en bout en deux étapes :

Affinement Supervisé (SFT) : Optimise trois objectifs : perte de génération de texte, perte de prédiction d'action (en utilisant les jetons mous injectés) et une perte de jeton mou. La perte de jeton mou inclut un terme d'alignement sémantique et une contrainte de complémentarité (pénalisant la similarité cosinus entre les représentations latentes et textuelles) pour garantir que le canal latent encode des informations perceptuelles distinctes.
Apprentissage par Renforcement (GRPO) : Utilise l'Optimisation de Politique Relative par Groupes (Group Relative Policy Optimization) pour affiner les décisions de compilation du Compilateur de Mémoire basées sur des récompenses binaires de réussite de tâche, permettant au modèle d'explorer des stratégies au-delà de la distribution SFT.

Contributions Clés

Changement de Paradigme : Introduit la SCMC, remplaçant l'injection statique par une compilation dynamique et étape par étape conditionnée par un État Bref structuré.
Livraison de Mémoire Multimodale : Propose Soft-Mem, un mécanisme à double canal qui contourne le goulot d'étranglement textuel pour délivrer directement au niveau de l'exécuteur des connaissances perceptuelles latentes.
Compilation Sensible à l'État : Démontre qu'un compilateur léger peut filtrer et formater efficacement la mémoire, permettant à des modèles plus petits d'accomplir des tâches complexes sans la dilution de l'attention causée par un contexte statique.

Résultats Expérimentaux

La méthode a été évaluée sur AlfWorld, EmbodiedBench (EB-ALFRED, EB-Habitat) et ScienceWorld à travers quatre backbones open-source (série Qwen) et deux backbones closed-source (GPT-5.2, Gemini-3-flash).

Gains de Performance : MemCompiler a systématiquement amélioré les performances par rapport à la ligne de base sans mémoire sur tous les exécuteurs open-source. Les gains ont atteint +110 % sur EB-ALFRED et +129 % sur ScienceWorld.
Robustesse vs AMMI : Alors que les bases AMMI dégradaient fréquemment les performances sur les modèles open-source plus petits (par exemple, -83,3 % sur Qwen-2.5-VL-32B), MemCompiler a été la seule méthode à améliorer chaque backbone open-source.
Réduction de l'Écart : MemCompiler a permis aux modèles open-source de taille moyenne d'approcher ou de égaler les systèmes closed-source de pointe. Par exemple, Qwen-3.5-27B + MemCompiler a égalé Gemini-3-flash sur Alf World et surpassé GPT-5.2 sur EB-Habitat.
Efficacité : En réduisant les jetons d'entrée de l'exécuteur de 60 % et en diminuant la latence par étape de 0,30 s à 0,12 s, MemCompiler a démontré que la compilation sensible à l'état améliore à la fois l'efficacité et la performance.
Ablation : La suppression de l'État Bref ou du canal Soft-Mem a provoqué des baisses de performance significatives, confirmant que le conditionnement par l'état et la livraison perceptuelle latente sont tous deux critiques.

Importance

L'article conclut que les progrès en matière de mémoire pour les agents embodés dépendent de plus en plus du moment et de la manière dont la mémoire est délivrée, plutôt que uniquement de ce qui est stocké. En redéfinissant l'utilisation de la mémoire comme un processus de compilation conditionné par l'état évolutif de l'agent, MemCompiler adresse le désalignement fondamental de l'injection statique, permettant aux agents embodés légers de tirer efficacement parti de l'expérience accumulée sans subir de dilution de l'attention.