🤖 AI

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM est un cadre novateur pour les agents incarnés dans Minecraft qui transforme la mémoire, passant d'une récupération au moment de l'inférence à des compétences résidentes dans les paramètres, en exploitant une architecture à double système de raisonnement délibératif lent et d'exécution réflexive rapide, où les échecs servent de signaux d'entraînement critiques pour l'apprentissage contrastif et où un mécanisme auto-déclenché décide automatiquement quand internaliser les expériences afin de permettre un apprentissage continu sans oubli catastrophique.

Auteurs originaux : Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à jouer à Minecraft. Actuellement, la plupart des robots apprennent comme un élève qui ne mémorise rien. Chaque fois qu'ils affrontent un zombie ou doivent construire un four, ils doivent s'arrêter, ouvrir un énorme cahier d'expériences passées, chercher une histoire similaire, la lire, puis essayer de déterminer quoi faire. C'est lent, cela consomme beaucoup d'espace « cérébral » (mémoire informatique), et si le cahier devient trop gros, ils se perdent.

PEAM (Parametric Embodied Agent Memory) est une nouvelle façon pour les robots d'apprendre qui change la donne. Au lieu de simplement garder un cahier, PEAM aide le robot à internaliser ses expériences. Il transforme « Je me souviens comment j'ai fait cela » en « Je sais comment faire cela ».

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le système à deux cerveaux : Le Penseur et le Faiseur

PEAM utilise un cerveau « lent » et un cerveau « rapide » travaillant ensemble :

Le Penseur Lent (LLM Délibératif) : C'est le planificateur expert. Il réfléchit profondément, écrit du code, planifie des étapes complexes et tente de résoudre des problèmes difficiles. S'il échoue, il détermine pourquoi et réessaie.
Le Faiseur Rapide (Compétences Paramétriques) : C'est la mémoire musculaire réflexe. Une fois que le Penseur Lent a résolu un problème (comme fabriquer une épée), il ne se contente pas d'enregistrer l'histoire. Il enseigne directement la compétence au Faiseur Rapide. La prochaine fois, le Faiseur Rapide peut le faire instantanément sans demander au Penseur Lent.

2. Le processus d'« Internalisation » : Du cahier à la mémoire musculaire

Pensez à apprendre à faire du vélo. Au début, vous devez réfléchir à l'équilibre, au pédalage et à la direction (Penseur Lent). Finalement, vous le faites simplement sans y penser (Faiseur Rapide). PEAM automatise cela pour un robot.

Apprendre de l'échec : La plupart des robots ignorent les erreurs ou se contentent de les noter sous forme de notes textuelles. PEAM traite l'échec comme un signal d'entraînement. Il examine une « Tentative échouée » et la « Correction » qui l'a résolue. Il enseigne au robot : « Ne fais pas X (l'échec) ; fais Y (la correction). » C'est comme un entraîneur qui dit : « Tu es tombé parce que tu t'es penché trop à gauche ; la prochaine fois, penche-toi à droite. »
Le score de « Valeur » : Le robot n'apprend pas tout. Il possède un filtre (appelé Paramétrage-Valeur) qui demande : « Cette compétence est-elle suffisamment utile pour être mémorisée ? Est-elle stable ? Est-ce quelque chose que nous faisons souvent ? » Si la réponse est oui, elle est internalisée. Si c'est un accident isolé, elle reste dans le cahier.

3. La « Salle de sport spécialisée » (Adaptateurs isolés)

C'est la plus grande innovation de l'article pour prévenir l'« oubli ».
Imaginez une salle de sport avec différentes pièces : une Salle de Fabrication, une Salle de Combat et une Salle d'Agriculture.

Dans les anciens systèmes, apprendre à combattre pouvait accidentellement écraser la façon dont le robot sait fabriquer (comme mélanger vos vêtements de sport).
Dans PEAM, le robot possède des pièces physiquement isolées (appelées adaptateurs). Lorsqu'il apprend à combattre, il ne met à jour que la « Salle de Combat ». La « Salle de Fabrication » reste intacte. Cela signifie que le robot peut apprendre de nouvelles compétences indéfiniment sans oublier les anciennes.

4. Le réveil auto-déclenché

Comment le robot sait-il quand arrêter de s'entraîner et commencer à mémoriser ?

Ancienne méthode : « Entraînons-nous pendant 100 essais, puis mémorisons. » (C'est rigide et cela peut conduire à mémoriser trop tôt ou trop tard).
Méthode PEAM : Le robot possède un réveil auto-déclenché. Il surveille son propre taux d'échec. S'il commence à échouer à une tâche spécifique plus souvent que d'habitude, l'alarme se déclenche : « Hé, nous avons du mal avec cela. Arrêtons et internalisons la solution immédiatement. » Cela fonctionne quelle que soit la tâche, sans qu'un humain ait besoin de définir un nombre spécifique.

Pourquoi est-ce mieux ?

L'article a testé cela dans Minecraft et a trouvé trois avantages principaux :

Vitesse : Parce que le robot n'a pas à chercher dans un cahier à chaque fois, il agit beaucoup plus vite (environ 40 % plus vite dans les tests).
Efficacité : Il utilise beaucoup moins de puissance informatique (environ 85 % de « texte » en moins à traiter) car il n'a pas besoin de relire d'anciennes histoires.
Pas d'oubli : Grâce aux « salles spécialisées », apprendre un nouveau mouvement de combat n'a pas fait oublier au robot comment construire une maison.

Résumé

PEAM revient à prendre un élève qui dépend d'un manuel pour chaque question et à le transformer en expert qui a réellement mémorisé les compétences. Il apprend en faisant, apprend de ses erreurs, maintient différentes compétences séparées pour qu'elles ne se mélangent pas, et sait exactement quand arrêter de s'entraîner et commencer à se souvenir. Le résultat est un robot plus rapide, plus intelligent, et qui n'oublie pas ce qu'il a appris.

Résumé Technique : PEAM - Mémoire Paramétrique pour Agents Embodés

1. Énoncé du Problème

Les agents embodied basés sur les grands modèles de langage (LLM) actuels, en particulier dans des environnements complexes comme Minecraft, reposent fortement sur une mémoire non paramétrique. Dans ces systèmes, les trajectoires passées, les réflexions et les compétences sont stockées de manière externe (par exemple, dans des bases de données vectorielles ou des bibliothèques de compétences) et réinjectées dans l'invite au moment de l'inférence. Bien que cela permette la récupération, cela présente des limitations significatives :

Latence et Coût : Chaque cycle de décision nécessite la récupération et la sérialisation des expériences passées, augmentant l'utilisation de la fenêtre de contexte et la latence d'inférence.
Politique Statique : La politique paramétrique sous-jacente de l'agent (le modèle de base ou le module entraînable) reste inchangée à travers les tâches. Même si une bibliothèque externe s'accroît, l'agent n'apprend pas à exécuter les compétences plus efficacement ; il se contente de les récupérer.
Consolidation Absente : Les systèmes existants gèrent l'acquisition de l'expérience (via des bibliothèques de compétences) mais manquent d'un mécanisme de consolidation — le processus transformant des traces épisodiques sélectionnées en une compétence paramétrique durable et internalisée.

L'article postule que la mémoire durable dans les systèmes cognitifs émerge de deux systèmes complémentaires : un stockage épisodique rapide et un stockage paramétrique distribué lent, couplés par une consolidation hors ligne. PEAM vise à opérationnaliser cela pour les agents embodied en créant un chemin permettant à l'expérience de passer de la récupération externe vers les paramètres entraînables de l'agent.

2. Méthodologie

PEAM (Mémoire Paramétrique pour Agent Embodé) est un cadre à deux niveaux conçu pour internaliser l'expérience en compétences paramétriques.

Architecture

Niveau Lent (Délibératif) : Un grand LLM (par exemple, GPT-4o) gère le raisonnement ouvert, la synthèse de code et la vérification des résultats. Il explore l'environnement, détecte les échecs et génère des trajectoires corrigées.
Niveau Rapide (Paramétrique) : Une architecture multimodale de type Mixture-of-Experts (MoE) LoRA construite sur une base Qwen3-VL-8B-Instruct. Elle exécute les compétences consolidées de manière réflexive avec une faible latence.
Stock Épisodique : Une mémoire externe qui met en scène les trajectoires réussies et les paires échec-correction générées par le niveau lent.

Mécanismes Principaux

PEAM répond à trois questions critiques : Quoi internaliser, Quand internaliser, et Comment internaliser.

A. Comment : Consolidation des Succès et des Paires Échec-Correction

PEAM traite l'échec comme un signal d'apprentissage de première classe. Le stockage épisodique contient :

Trajectoires de Succès ( $D_{succ}$ ) : Exécutions réussies vérifiées.
Paires Échec-Correction ( $D_{cpair}$ ) : Paires d'une trajectoire échouée ( $\tau_f$ ) et d'un succès corrigé subséquent ( $\tau_c$ ) dans le même contexte.

Le module rapide met à jour des adaptateurs isolés par catégorie spécifiques ( $\theta_c$ ) en utilisant un objectif conjoint :
$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$

Clonage Comportemental (BC) : Garantit que l'adaptateur apprend l'armature syntaxique absolue (par exemple, les wrappers de code) requise pour que le parseur d'actions fonctionne.
PEAM-DPO (Optimisation Directe des Préférences) : Une fonction de perte contrastive où la trajectoire corrigée est préférée à la trajectoire échouée. Cela enseigne à l'agent comment corriger les actions, et pas seulement ce qui réussit.
Isolation : Les mises à jour sont restreintes à l'adaptateur de catégorie spécifique (par exemple, Fabrication, Combat), empêchant toute interférence avec les autres compétences.

B. Quoi : Score de Valeur de Paramétrisation (PV)

Toutes les expériences ne doivent pas être internalisées. PEAM utilise une fonction de notation pour classer les candidats en fonction de :

Économies de Coût ( $U_{cost}$ ) : Coût de récupération estimé économisé (fréquence $\times$ longueur du code).
Stabilité ( $U_{stab}$ ) : Cohérence du succès à travers les contextes.
Redondance ( $P_{redun}$ ) : Pénalise la similitude avec les compétences déjà internalisées.
Risque d'Oubli ( $R_{forget}$ ) : Un proxy structurel ; si une compétence partage une catégorie avec des paramètres existants, elle risque une interférence (bien que l'isolation atténue cela, le score prend en compte l'identité de la catégorie).

Seuls les candidats se situant dans le quantile supérieur- $q$ des scores PV sont considérés pour la consolidation.

C. Quand : Consolidation Auto-Déclenchée (STC)

Au lieu d'un calendrier fixe, PEAM utilise un mécanisme auto-déclenché sans échelle. La consolidation est déclenchée lorsque le taux d'échec récent d'une compétence dépasse significativement sa ligne de base historique, déterminé par un test statistique (score Z) plutôt que par un seuil absolu spécifique à la tâche. Cela permet au déclencheur de se transférer à travers différentes distributions de tâches sans réajustement.

3. Contributions Clés

Cadre de Mémoire Paramétrique : PEAM fait passer la mémoire des agents embodied de la récupération au moment de l'inférence à des compétences résidentes dans les paramètres, réduisant la latence et la consommation de tokens tout en améliorant les performances sur les horizons longs.
L'Échec comme Signal d'Apprentissage : Contrairement aux systèmes qui convertissent les échecs en réflexions textuelles pour les invites, PEAM entraîne directement sur des paires de trajectoires échec-correction en utilisant un objectif conjoint BC et DPO. Cela permet à l'agent d'apprendre les différences comportementales spécifiques entre l'échec et le succès.
Résistance à l'Oubli Architecturale : En utilisant des adaptateurs LoRA physiquement isolés par catégorie, PEAM réalise un apprentissage continu au niveau des paramètres. L'internalisation d'une compétence de combat n'écrase pas les paramètres utilisés pour la fabrication, éliminant l'oubli catastrophique par conception plutôt que par régularisation.
Déclencheurs de Consolidation Sans Échelle : L'introduction d'un mécanisme de consolidation auto-déclenché reposant sur des statistiques d'échec relatives permet à l'agent de s'évoluer lui-même sans ajustement manuel de seuils spécifiques à la tâche.

4. Résultats Expérimentaux

Les expériences ont été menées dans Minecraft (1.19) en utilisant le cadre VOYAGER, comparant PEAM à des agents basés sur la récupération (VOYAGER, Optimus-1), des variantes de mémoire non paramétrique (Reflexion) et des bases paramétriques (Full Fine-Tuning, Shared LoRA, EWC).

Succès des Tâches : PEAM a atteint 69,7 % de succès sur les tâches à long horizon, surpassant la base de récupération la plus forte (VOYAGER à 54,5 %) de +15,2 points de pourcentage (McNemar $p=0,018$ ).
Efficacité : PEAM a réduit la latence médiane par appel de 42 % (5,5 s $\to$ 3,2 s) et la consommation de tokens par tâche de 85 % (31,2 K $\to$ 4,6 K) en éliminant la nécessité de réinjecter des bibliothèques de compétences au moment de l'inférence.
Résistance à l'Oubli : Dans les expériences de consolidation séquentielle (Fabrication $\to$ Collecte $\to$ Combat), PEAM a montré 0 % d'oubli sur les compétences apprises précédemment. À l'inverse, les bases Shared LoRA ont perdu 32,4 % de performance, et le full fine-tuning a perdu 78,5 %.
Insights des Ablations :
- BC + DPO : Un adaptateur DPO pur a échoué à générer du code compatible avec le parseur (0/12 cas), tandis que l'objectif conjoint a réussi (12/12). Le terme BC est essentiel pour maintenir une syntaxe déployable.
- Isolation : Le retrait de l'isolation par catégorie a provoqué un oubli significatif, confirmant que l'isolation structurelle est le principal moteur de la rétention.
- Robustesse du Déclencheur : Le mécanisme auto-déclenché a maintenu des performances constantes à travers différentes distributions de tâches (lourdes en fabrication vs lourdes en combat) sans réajustement, contrairement aux bases à seuil fixe.

5. Signification et Revendications

L'article revendique que PEAM démontre une voie viable pour les agents embodied afin de passer de l'accumulation d'histoires externes à l'internalisation d'expériences sélectionnées comme partie intégrante de leur politique de base.

Efficacité vs Récupération : Les résultats suggèrent que bien qu'une récupération plus riche (par exemple, contexte multimodal) aide, les avantages opérationnels de l'internalisation des compétences dans les paramètres (latence, réduction des tokens et exécution directe) fournissent des gains que la récupération seule ne peut capturer.
Apprentissage Continu Structurel : Le travail soutient que la résistance à l'oubli chez les agents embodied doit être soutenue par l'architecture (isolation des paramètres) plutôt que uniquement par des techniques de régularisation.
Constatations Méthodologiques : L'article souligne que les marges de préférence en passage avant (scores DPO) ne prédisent pas toujours la déployabilité du code généré, soulignant la nécessité d'objectifs conjoints qui préservent les contraintes syntaxiques. Il note également que le reslicing des trajectoires peut servir de substitut traitable à l'évaluation inter-distribution lorsque les données appariées du monde réel sont rares.

Les auteurs concluent que les agents embodied ne doivent pas simplement agir comme des politiques fixes avec une mémoire externe ; ils nécessitent un chemin de consolidation où l'expérience sélectionnée devient partie intégrante de la politique elle-même, permettant une auto-évolution et une exécution efficace.