🤖 machine learning

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

L'article introduit MEMENTO, un cadre mémétique guidé par la mémoire qui fait évoluer du code exécutable sous forme de politiques pour des tâches embodiment de long horizon en combinant la génération pilotée par les LLM avec un retour structuré provenant d'un évaluateur évolué, atteignant une performance et un transfert sim-to-real supérieurs par rapport aux bases de référence existantes.

Auteurs originaux : Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Publié 2026-07-28

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à accomplir une tâche complexe, comme construire une tour de blocs ou préparer un sandwich. Il ne s'agit pas seulement d'appuyer sur un bouton unique ; c'est une longue séquence d'étapes où chaque mouvement dépend du précédent. Si le robot saisit le mauvais bloc ou ouvre la mauvaise porte, tout le plan s'effondre. C'est le monde de l'« IA incarnée » (embodied AI), où le logiciel rencontre le monde physique et désordonné. Le grand défi ici est le « problème de l'attribution de crédit » : lorsqu'un robot échoue à la fin d'une tâche de longue durée, comment savoir quelle étape spécifique a fait défaut ? Était-ce le premier mouvement, ou le dixième ?

Pour résoudre cela, des chercheurs essaient une astuce ingénieuse appelée « code-as-policy » (le code comme politique). Au lieu d'entraîner un robot avec des instructions vagues ou des récompenses par essais et erreurs, ils écrivent le cerveau du robot sous forme de véritable code informatique. C'est comme donner au robot un livre de recettes plutôt qu'un simple ressenti. Si la recette échoue, vous pouvez la lire, voir exactement quelle instruction était déroutante, et la réécrire. Mais écrire ces recettes à la main est difficile, et deviner le bon code l'est encore plus. C'est là que les modèles de langage étendus (LLM) — les mêmes cerveaux d'IA qui rédigent des essais et discutent avec nous — entrent en jeu. Ils peuvent générer du code, mais ils ont souvent besoin d'aide pour comprendre pourquoi un morceau de code a échoué afin de pouvoir le corriger correctement.

C'est l'histoire d'une nouvelle méthode appelée MEMENTO, qui agit comme un éditeur super intelligent et doté de mémoire pour le code des robots. Les chercheurs ont voulu voir s'ils pouvaient faire évoluer de meilleures recettes de robot en laissant une IA les écrire, les tester, puis utiliser une « mémoire » spéciale pour se souvenir de ce qui n'a pas fonctionné, afin de ne pas commettre les mêmes erreurs à nouveau. Ils ont testé cela sur deux jeux difficiles : un où un bras robotique doit résoudre un puzzle de la Tour de Hanoi (déplacer des blocs sans enfreindre les règles), et un autre où un robot doit naviguer dans une maison virtuelle pour préparer un en-cas.

Voici comment fonctionne MEMENTO, et ce que l'équipe a découvert.

Le problème du « tâtonnement »

Imaginez que vous essayiez d'écrire un programme pour résoudre un puzzle. Vous demandez à une IA d'écrire le code. Elle écrit quelque chose, vous l'exécutez, et cela échoue. Si vous demandez simplement à l'IA d'« essayer à nouveau » avec une nouvelle idée aléatoire, vous obtiendrez peut-être une erreur légèrement différente, mais vous n'apprenez pas vraiment. C'est comme essayer de trouver une clé cachée dans un immense champ en lançant des fléchettes les yeux bandés.

Les méthodes précédentes tentaient de corriger cela en générant de nombreuses versions différentes du code à la fois et en choisissant la meilleure. Mais les chercheurs ont découvert que cette approche passait souvent à côté de la plaque. C'était comme avoir cent personnes suggérant différentes façons de réparer un tuyau qui fuit, mais aucune d'entre elles ne regardait réellement l'endroit précis où l'eau coulait. Elles manquaient d'un moyen de prendre une bonne idée, de l'ajuster soigneusement, de se souvenir des ajustements qui avaient échoué, et de combiner les meilleures parties de différentes idées.

Entrée en scène MEMENTO : L'éditeur doté de mémoire

Les auteurs ont introduit MEMENTO, qui signifie Memory-Guided Memetic Code-as-Policy Evolution (Évolution de politique par code guidée par la mémoire et mémétique). Le nom semble sophistiqué, mais l'idée est étonnamment humaine. Considérez MEMENTO comme un maître éditeur travaillant avec un seul brouillon « étoile » du cerveau du robot.

Le processus se déroule en deux actes principaux :

Acte 1 : Construire le Juge
Avant même que le robot ne commence à apprendre, MEMENTO crée un « Juge » spécial (un évaluateur). Ce Juge est un morceau de code qui observe le robot tenter la tâche et lui donne un score. Mais il ne se contente pas de dire « Réussite » ou « Échec ». Il donne un bulletin de notes détaillé : « Vous avez obtenu le score, mais vous avez lâché le bloc ici », ou « Vous avez ouvert la porte trop vite ». Les chercheurs ont d'abord fait évoluer ce Juge, en s'assurant qu'il était capable de repérer précisément ce qui n'allait pas dans la performance du robot.

Acte 2 : La recherche à trois branches
Une fois le Juge prêt, la véritable évolution commence. MEMENTO ne lance pas de fléchettes au hasard ; il utilise trois stratégies spécifiques pour améliorer le code du robot, tout en conservant une « mémoire » des échecs passés :

Le Hill-Climber (L'ajusteur minutieux) : Cette branche prend le meilleur code actuel et effectue des changements minuscules et prudents. Si un changement améliore le robot, il le conserve. Si un changement l'aggrave, il se souvient de pourquoi ce changement spécifique a échoué. Cette « mémoire des idées rejetées » empêche l'IA de commettre deux fois la même erreur. C'est comme un randonneur qui tente un sentier, trouve une impasse, la marque sur une carte, puis essaie un autre chemin, s'assurant de ne pas retourner dans le même buisson.
Le Macro-Mutateur (Le générateur de grandes idées) : Parfois, de petits ajustements ne suffisent pas. Cette branche prend le meilleur code et effectue des changements majeurs et audacieux — comme réécrire un paragraphe entier de la recette. C'est le moment du « et si nous essayions une approche complètement différente ? ».
Le Crossover (Le mélangeur) : C'est l'ingrédient magique. Il prend le meilleur résultat de l'Ajusteur minutieux et le meilleur résultat du Générateur de grandes idées, et les mélange. C'est comme prendre les meilleurs ingrédients de deux recettes différentes pour créer un nouveau plat superlatif.

Après avoir essayé ces trois voies, MEMENTO choisit le résultat unique le plus performant pour devenir l'« Élite » du tour suivant. Ce cycle se répète, affinant lentement le code jusqu'à ce que le robot puisse accomplir la tâche.

Les résultats : Est-ce que cela fonctionne vraiment ?

Les chercheurs ont testé MEMENTO dans deux mondes très différents :

Robosuite Tower of Hanoi : Un bras robotique empilant quatre blocs.
AI2-THOR : Un robot naviguant dans une cuisine virtuelle pour mettre une pomme dans un micro-ondes et du pain dans un frigo.

Ils ont comparé MEMENTO à deux autres méthodes populaires (Eureka et REvolve). Les résultats étaient clairs : MEMENTO a gagné.

Dans la tâche de la Tour de Hanoi, MEMENTO a atteint un taux de réussite de 0,97 ± 0,06 (ce qui signifie qu'il a résolu le puzzle presque à chaque fois), tandis que les autres méthodes ont eu du mal, l'une n'atteignant que 0,53 et l'autre échouant complètement (0,00). Dans la tâche de la cuisine, MEMENTO a atteint un taux de réussite parfait de 1,00 ± 0,00, alors que les autres n'ont réussi que 0,40 et 0,00.

Mais la véritable magie ne se trouvait pas seulement dans la salle d'entraînement. Les chercheurs ont testé si le robot pouvait gérer de nouvelles situations qu'il n'avait jamais vues auparavant.

Nouvelles formes : Lorsque les blocs ont été changés de cubes à des cylindres étranges ou des objets asymétriques, MEMENTO a quand même résolu le puzzle 0,87 du temps. Les autres méthodes sont tombées à 0,23 ou 0,00.
Nouvelles pièces : Lorsqu'ils ont déplacé le robot de cuisine dans une configuration de maison totalement nouvelle qu'il n'avait jamais vue, MEMENTO a quand même réussi 0,78 du temps. Les autres sont tombés à 0,08.

Cela suggère que MEMENTO n'a pas seulement mémorisé les blocs spécifiques ou la cuisine spécifique ; il a réellement appris la logique de la tâche.

Les moments de révélation (Études d'ablation)

Pour prouver que leur conception spécifique était la recette secrète, les chercheurs ont essayé de retirer des parties de MEMENTO pour voir ce qui se passerait.

Sans mémoire : Lorsqu'ils ont supprimé la « mémoire » des idées rejetées, le robot s'est retrouvé coincé à commettre les mêmes erreurs encore et encore.
Sans grands changements : S'ils ne laissaient le robot faire que de petits ajustements (sans « Macro-Mutation »), il ne pouvait pas sortir des pièges locaux.
Sans mélange : S'ils arrêtaient de mélanger les meilleures idées (sans « Crossover »), le robot ne pouvait pas combiner les bonnes stratégies.
Sans évolution du Juge : Lorsqu'ils ont utilisé un Juge simple, non entraîné, au lieu du Juge évolué, le robot n'a pas pu comprendre comment gagner.

Chaque fois qu'ils retiraient une pièce, la performance chutait de manière significative, prouvant que l'ensemble du système était nécessaire.

De la simulation à la réalité

La partie la plus excitante ? Ils ont pris le meilleur code que MEMENTO a fait évoluer dans la simulation informatique et l'ont appliqué à un véritable robot physique (un bras robotique Franka). Ils ne l'ont pas réentraîné ni modifié le code ; ils l'ont simplement laissé fonctionner.

Le robot a résolu la Tour de Hanoi dans le monde réel 90 % du temps (9 tentatives sur 10). L'unique échec n'était pas dû à une erreur de code, mais au fait que la caméra du robot avait mal interprété la position d'un bloc. Cela a prouvé que l'approche « code-as-policy » n'est pas seulement un tour de simulation — elle fonctionne dans le monde physique réel et désordonné.

Ce que cela signifie

L'article suggère que pour que les robots apprennent des tâches longues et complexes, nous avons besoin de plus que de simples conjectures aléatoires. Nous avons besoin d'un système qui se souvienne de ce qui n'a pas fonctionné, qui effectue à la fois de petits et de grands changements, et qui mélange les meilleures idées ensemble. MEMENTO montre qu'en traitant le code du robot comme une recette qui peut être éditée, testée et affinée avec une mémoire des échecs passés, nous pouvons enseigner aux robots à résoudre des puzzles qui étaient auparavant trop difficiles pour eux.

Les auteurs précisent avec prudence que cela a été testé sur des tâches spécifiques et que la méthode dépend du modèle de langage spécifique utilisé. Ils n'ont pas prétendu que cela résout tous les problèmes robotiques, mais ils ont montré une voie très prometteuse pour apprendre aux robots à penser en code.

Résumé Technique : MEMENTO pour l'évolution du « Code-as-Policy »

Problématique

Les tâches de contrôle incarné à long horizon présentent un défi important dû au « problème d'attribution de crédit à long horizon ». Dans ces tâches, le succès n'est observable qu'après une séquence de nombreuses actions dépendantes, où les actions précoces déterminent l'état rencontré par les actions ultérieures. Les approches existantes, telles que l'apprentissage basé sur des démonstrations ou l'apprentissage par renforcement avec abstraction temporelle, échouent souvent à exposer la logique de décision spécifique d'une politique défaillante ou à identifier les parties de cette logique nécessitant une révision.

Bien que la représentation des politiques sous forme de programmes exécutables (« code-as-policy ») permette une inspection et une révision directe de la logique de décision, l'amélioration de ces programmes via des modèles de langage de grande taille (LLM) est difficile. Le succès binaire de la tâche est trop rare pour guider l'affinement, et le feedback structuré est difficile à spécifier manuellement. De plus, les méthodes d'évolution pilotées par LLM existantes sélectionnent principalement parmi des variantes générées indépendamment, manquant ainsi d'une phase d'amélioration locale séquentielle et ne parvenant pas à conserver une mémoire des révisions précédemment échouées.

Méthodologie : MEMENTO

Les auteurs proposent MEMENTO, un cadre mémétique à élite unique guidé par la mémoire, conçu pour faire évoluer des programmes exécutables de type « code-as-policy ». Le cadre opère en deux étapes distinctes :

1. Évolution de l'Évaluateur
Avant de rechercher les politiques, MEMENTO fait évoluer un évaluateur spécialisé ( $E^\star$ ).

Entrée : Une politique initiale ( $p_0$ ) est exécutée pendant $N_{roll}$ épisodes pour créer un ensemble de déroulements fixes ( $T_0$ ).
Processus : Un pool d'évaluateurs candidats (programmes générés par LLM) est affiné de manière itérative. Chaque candidat mappe l'ensemble de déroulement vers un score de fitness scalaire ( $F$ ) et des métriques de feedback structurées ( $M$ ).
Sélection : Les candidats sont évalués selon leur capacité à corréler avec le succès de la tâche, et le meilleur évaluateur est sélectionné via un vote majoritaire par LLM.
Sortie : Un évaluateur fixe et évolué $E^\star$ qui fournit à la fois un signal de fitness pour la sélection et des métriques structurées pour conditionner les futures révisions de code.

2. Évolution de la Politique sous Évaluateur Fixe
Une fois $E^\star$ fixé, le cadre recherche la politique de programme optimale en partant d'un candidat élite unique ( $C_g$ ). Chaque génération explore trois branches distinctes, la meilleure sortie devenant l'élite pour la génération suivante :

Montée de gradient séquentielle (Micro-mutation) : Une branche de recherche locale qui affine de manière itérative le candidat actuel accepté. Crucialement, elle maintient une mémoire ( $H$ ) des résumés d'éditions des propositions rejetées. Cette mémoire conditionne le LLM pour éviter de répéter des éditions échouées, guidant la recherche loin des minima locaux connus.
Macro-Mutation : Des éditions indépendantes et à grande échelle appliquées directement au candidat élite de la génération pour introduire des changements structurels significatifs.
Crossover (Croisement) : Une recombinaison des meilleurs candidats des branches de montée de gradient et de macro-mutation, permettant la combinaison de stratégies exécutables partielles.

Le mécanisme de sélection est élitiste : le candidat ayant le score de fitness ( $F$ ) le plus élevé parmi les trois branches est sélectionné comme la prochaine élite ( $C_{g+1}$ ).

Principales Contributions

Le papier identifie quatre contributions primaires :

Cadre mémétique à élite unique : Une méthode de recherche pour des programmes de politiques exécutables qui combine de manière unique l'amélioration locale séquentielle (avec mémoire des propositions rejetées), la macro-mutation et le crossover.
Étape d'Évolution de l'Évaluateur : Une phase de pré-recherche qui produit un évaluateur fixe capable de fournir à la fois un fitness scalaire pour la sélection et un feedback de déroulement structuré pour conditionner les révisions de code.
Évaluation Empirique : Tests complets sur deux domaines à long horizon (Robosuite et AI2-THOR), incluant des études d'ablation sur la génération zero-shot, l'évolution de l'évaluateur et les opérateurs de recherche, ainsi que des tests de généralisation sur des géométries d'objets et des scènes non vues.
Transfert Sim-to-Real : Un déploiement physique de la politique Robosuite évoluée sur un robot Franka, démontrant la faisabilité du transfert de code évolué en simulation vers des environnements réels.

Résultats Expérimentaux

MEMENTO a été évalué sur Robosuite Franka Tower-of-Hanoi et l'interaction domestique AI2-THOR, en comparaison avec les bases adaptées Eureka et REvolve.

Performance : MEMENTO a nettement surpassé les bases. Sur Robosuite, il a atteint un taux de succès de 0,97 ± 0,06 contre 0,53 ± 0,12 pour REvolve et 0,00 pour Eureka. Sur AI2-THOR, MEMENTO a atteint 1,00 ± 0,00 de succès, tandis que REvolve a obtenu 0,40 ± 0,10 et Eureka 0,00.
Généralisation : Les politiques évoluées ont démontré une forte généralisation. Dans Robosuite, les politiques ont été transférées d'objets cubiques à des objets asymétriques et cylindriques. Dans AI2-THOR, les politiques entraînées sur trois cuisines ont réussi à se généraliser à 26 cuisines non vues.
Études d'Ablation :
- La génération zero-shot a échoué à résoudre les deux domaines (0 % de succès), prouvant la nécessité de la recherche évolutive.
- Les évaluateurs non évolués (évaluateurs LLM zero-shot) n'ont pas réussi à guider les politiques vers l'achèvement de la tâche, soulignant la nécessité de l'évolution de l'évaluateur pour aligner le feedback avec le succès à long horizon.
- Suppression d'opérateur : La suppression de la branche de crossover ou de la branche de macro-mutation a entraîné un échec de résolution des tâches, indiquant que la l'affinement local et la variation globale/recombinaison sont tous deux nécessaires.
Sim-to-Real : La meilleure politique Robosuite a été déployée sur un robot Franka physique, atteignant un taux de succès de 0,90 sur 10 essais, l'unique échec étant attribué à une erreur de perception.

Signification et Revendications

Le papier affirme que MEMENTO répond aux limites de l'évolution actuelle du « code-as-policy » en intégrant la recherche locale guidée par la mémoire avec la variation évolutive. Les auteurs soutiennent que :

La mémoire est critique : Conserver un historique des éditions rejetées empêche le LLM de cycler à travers les mêmes modifications échouées, permettant une montée de gradient efficace dans des espaces de code complexes.
L'évolution de l'évaluateur est essentielle : Un évaluateur fixe et évolué fournit un signal plus riche et mieux aligné qu'un évaluateur statique ou zero-shot, ce qui est crucial pour guider la recherche dans des environnements à récompense parcimonieuse et à long horizon.
La recherche hybride est supérieure : La combinaison de micro-mutations (affinement local), de macro-mutations (exploration globale) et de crossover (recombinaison) est nécessaire pour résoudre des tâches qu'une recherche locale pure ou une évolution basée sur la population pure ne pourraient résoudre seules.

Le travail conclut que la recherche mémétique guidée par la mémoire est un mécanisme viable pour améliorer les politiques incarnées exécutables utilisant un feedback de déroulement parcimonieux, comblant avec succès le fossé entre la simulation et la réalité.