🤖 machine learning

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

El artículo presenta MEMENTO, un marco memético guiado por memoria que evoluciona código ejecutable como políticas para tareas corporales de largo alcance mediante la combinación de generación impulsada por LLM con retroalimentación estructurada de un evaluador evolucionado, logrando un rendimiento superior y una transferencia de simulación a realidad en comparación con las líneas base existentes.

Autores originales: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Publicado 2026-07-28

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a realizar una tarea compleja, como construir una torre de bloques o hacer un sándwich. Esto no es solo presionar un único botón; es una secuencia larga de pasos donde cada movimiento depende del anterior. Si el robot agarra el bloque equivocado o abre la puerta equivocada, todo el plan se desmorona. Este es el mundo de la "IA incorporada" (embodied AI), donde el software se encuentra con el mundo físico y desordenado. El gran desafío aquí es el "problema de la asignación de crédito": cuando el robot falla al final de una tarea larga, ¿cómo sabes qué paso específico salió mal? ¿Fue el primer movimiento o el décimo?

Para resolver esto, los investigadores están probando un truco ingenioso llamado "código como política" (code-as-policy). En lugar de entrenar a un robot con instrucciones vagas o recompensas por ensayo y error, escriben el cerebro del robot como código de computadora real. Esto es como darle al robot un libro de recetas en lugar de solo un sentimiento. Si la receta falla, puedes leerla, ver exactamente qué instrucción fue confusa y reescribirla. Pero escribir estas recetas a mano es difícil, e intentar adivinar el código correcto es aún más difícil. Aquí es donde entran en juego los Modelos de Lenguaje Extensos (LLM) —los mismos cerebros de IA que escriben ensayos y charlan con nosotros—: ellos pueden generar código, pero a menudo necesitan ayuda para entender por qué falló una pieza de código para poder arreglarla adecuadamente.

Esta es la historia de un nuevo método llamado MEMENTO, que actúa como un editor superinteligente que guarda la memoria del código del robot. Los investigadores querían ver si podían evolucionar mejores recetas para robots dejando que una IA las escribiera, las probara y luego utilizara una "memoria" especial para recordar qué no funcionó, de modo que no cometiera los mismos errores de nuevo. Lo probaron en dos juegos complicados: uno donde un brazo robótico tiene que resolver un rompecabezas de la Torre de Hanoi (moviendo bloques sin romper las reglas), y otro donde un robot tiene que navegar por una casa virtual para prepararse un refrigerio.

Así es como funciona MEMENTO, y lo que el equipo descubrió.

El problema del "Adivinar y Comprobar"

Imagina que estás tratando de escribir un programa para resolver un rompecabezas. Le pides a una IA que escriba el código. Escribe algo, lo ejecutas y falla. Si solo le pides a la IA que "lo intente de nuevo" con una nueva idea aleatoria, podrías obtener un fallo ligeramente distinto, pero realmente no estás aprendiendo. Es como intentar encontrar una llave perdida en un campo gigante lanzando dardos con los ojos vendados.

Métodos anteriores intentaron solucionar esto generando muchas versiones diferentes de código a la vez y eligiendo la mejor. Pero los investigadores descubrieron que este enfoque a menudo no daba en el blanco. Era como tener a cien personas sugiriendo diferentes formas de arreglar una tubería con fugas, pero ninguna de ellas realmente miraba el punto específico donde el agua goteaba. Carecían de una forma de tomar una buena idea, ajustarla cuidadosamente, recordar qué ajustes fallaron y luego combinar las mejores partes de diferentes ideas.

Entra MEMENTO: El Editor que Guarda la Memoria

Los autores presentaron MEMENTO, que significa Memoria-Guiada de Evolución de Código como Política Memética (Memory-Guided Memetic Code-as-Policy Evolution). El nombre suena sofisticado, pero la idea es sorprendentemente humana. Piensa en MEMENTO como un editor maestro trabajando con un único borrador "estrella" del cerebro de un robot.

El proceso ocurre en dos actos principales:

Acto 1: Construyendo al Juez
Antes de que el robot siquiera comience a aprender, MEMENTO crea un "Juez" especial (un evaluador). Este Juez es un fragmento de código que observa al robot intentar la tarea y le otorga una puntuación. Pero no solo dice "Pasa" o "Falla". Entrega un reporte de calificaciones detallado: "Conseguiste la puntuación, pero soltaste el bloque aquí", o "Abriste la puerta demasiado rápido". Los investigadores evolucionaron primero a este Juez, asegurándose de que fuera bueno detectando exactamente qué salió mal en el desempeño del robot.

Acto la 2: La Búsqueda de Tres Ramas
Una vez que el Juez está listo, comienza la verdadera evolución. MEMENTO no solo lanza dardos; utiliza tres estrategias específicas para mejorar el código del robot, todo mientras mantiene una "memoria" de los fallos pasados:

El Escalador de Colinas (El Ajustador Cuidadoso): Esta rama toma el mejor código actual y realiza cambios diminutos y cuidadosos. Si un cambio hace que el robot mejore, lo conserva. Si un cambio lo hace peor, recuerda por qué ese cambio específico falló. Esta "memoria de ideas rechazadas" evita que la IA cometa el mismo error dos veces. Es como un excursionista que prueba un camino, encuentra un callejón sin salida, lo marca en un mapa y prueba un camino diferente, asegurándose de no volver a entrar en el mismo arbusto.
El Mutador de Macros (El Generador de Grandes Ideas): A veces, los ajustes diminutos no son suficientes. Esta rama toma el mejor código y realiza cambios grandes y audaces, como reescribir un párrafo entero de la receta. Es el momento de "¿qué tal si probamos un enfoque completamente diferente?".
El Crossover (El Mezclador): Este es el ingrediente mágico. Toma el mejor resultado del Ajustador Cuidadoso y el mejor resultado del Generador de Grandes Ideas y los mezcla. Es como tomar los mejores ingredientes de dos recetas diferentes para crear un nuevo súper plato.

Después de probar estos tres caminos, MEMENTO elige el único mejor resultado para ser la "Élite" de la siguiente ronda. Este ciclo se repite, refinando el código lentamente hasta que el robot puede completar la tarea.

Los Resultados: ¿Realmente Funciona?

Los investigadores probaron MEMENTO en dos mundos muy diferentes:

Robosuite Tower of Hanoi: Un brazo robótico apilando cuatro bloques.
AI2-THOR: Un robot navegando por una cocina virtual para poner una manzana en el microondas y pan en la nevera.

Compararon MEMENTO con otros dos métodos populares (Eureka y REvolve). Los resultados fueron claros: MEMENTO ganó.

En la tarea de la Torre de Hanoi, MEMENTO logró una tasa de éxito de 0.97 ± 0.06 (lo que significa que resolvió el rompecabezas casi siempre), mientras que los otros métodos tuvieron dificultades, con uno logrando solo 0.53 y el otro fallando por completo (0.00). En la tarea de la cocina, MEMENTO alcanzó una tasa de éxito perfecta de 1.00 ± 0.00, mientras que los otros lograron solo 0.40 y 0.00.

Pero la verdadera magia no estuvo solo en la sala de entrenamiento. Los investigadores probaron si el robot podía manejar situaciones nuevas que nunca había visto antes.

Nuevas Formas: Cuando cambiaron los bloques de cubos a cilindros extraños o objetos asimétricos, MEMENTO todavía resolvió el rompecabezas el 0.87 de las veces. Los otros métodos cayeron a 0.23 o 0.00.
Nuevas Habitaciones: Cuando movieron al robot de la cocina a un diseño de casa completamente nuevo que nunca había visto, MEMENTO todavía tuvo éxito el 0.78 de las veces. Los otros cayeron a 0.08.

Esto sugiere que MEMENTO no solo memorizó los bloques específicos o la cocina específica; realmente aprendió la lógica de la tarea.

Los Momentos de "¡Ajá!" (Estudios de Ablación)

Para demostrar que su diseño específico era la salsa secreta, los investigadores intentaron eliminar partes de MEMENTO para ver qué sucedía.

Sin Memoria: Cuando eliminaron la "memoria" de las ideas rechazadas, el robot se quedó estancado cometiendo los mismos errores una y otra vez.
Sin Grandes Cambios: Si solo permitían que el robot hiciera ajustes diminutos (sin "Mutación de Macro"), no podía escapar de las trampas locales.
Sin Mezcla: Si dejaron de mezclar las mejores ideas (sin "Crossover"), el robot no pudo combinar las estrategias correctas.
Sin Evolución del Juez: Cuando usaron un Juez simple y no entrenado en lugar del evolucionado, el robot no pudo entender cómo ganar.

Cada vez que eliminaban una pieza, el rendimiento disminuía significativamente, demostrando que todo el sistema era necesario.

Del Simulador a la Realidad

¿La parte más emocionante? Llevaron el mejor código que MEMENTO evolucionó en la simulación por computadora y lo pusieron en un robot físico real (un brazo robot Franka). No lo reentrenaron ni cambiaron el código; simplemente lo dejaron funcionar.

El robot resolvió con éxito el rompecabezas de la Torre de Hanoi en el mundo real el 90% de las veces (9 de cada 10 intentos). El único fallo no fue porque el código estuviera mal, sino porque la cámara del robot leyó incorrectamente la posición de un bloque. Esto demostró que el enfoque de "código como política" no es solo un truco de simulación, sino que funciona en el mundo físico real y desordenado.

Qué Significa Esto

El artículo sugiere que para que los robots aprendan tareas largas y complejas, necesitamos más que simples conjeturas al azar. Necesitamos un sistema que recuerde qué no funcionó, que realice cambios tanto pequeños como grandes, y que mezcle las mejores ideas. MEMENTO muestra que al tratar el código del robot como una receta que puede ser editada, probada y refinada con una memoria de fallos pasados, podemos enseñar a los robots a resolver acertijos que antes les resultaban demasiado difíciles.

Los autores advierten cuidadosamente que esto fue probado en tareas específicas y que el método depende del modelo de lenguaje específico que utilizaron. No afirmaron que esto resuelva todos los problemas robóticos, pero sí mostraron un camino muy prometedor hacia la enseñanza de robots para que piensen en código.

Resumen Técnico: MEMENTO para la Evolución de Código-como-Política

Planteamiento del Problema

Las tareas de control corporal de largo horizonte presentan un desafío significativo debido al "problema de asignación de crédito de largo horizonte". En estas tareas, el éxito solo es observable tras una secuencia de muchas acciones dependientes, donde las acciones tempranas determinan el estado encontrado por las posteriores. Los enfoques existentes, como el aprendizaje basado en demostraciones o el aprendizaje por refuerzo con abstracción temporal, a menudo fallen al exponer la lógica de decisión específica de una política fallida o al identificar qué partes de esa lógica requieren revisión.

Si bien representar políticas como programas ejecutables ("código-como-política") permite la inspección y revisión directa de la lógica de decisión, mejorar estos programas mediante Modelos de Lenguaje de Gran Escala (LLMs) es difícil. El éxito binario de la tarea es demasiado disperso para guiar el refinamiento, y el feedback estructurado es difícil de especificar manualmente. Además, los métodos evolutivos impulsados por LLM existentes seleccionan principalmente entre variantes generadas de forma independiente, careciendo de una fase de mejora local secuencial y fallando en retener una memoria de las revisiones fallidas previas.

Metodología: MEMENTO

Los autores proponen MEMENTO, un marco memético de un solo élite guiado por memoria diseñado para evolucionar programas ejecutables de código-como-política. El marco opera en dos etapas distintas:

1. Evolución del Evaluador
Antes de buscar las políticas, MEMENTO evoluciona un evaluador especializado ( $E^\star$ ).

Entrada: Una política inicial ( $p_0$ ) se ejecuta durante $N_{roll}$ episodios para crear un conjunto de ejecuciones (rollout set) fijo ( $T_0$ ).
Proceso: Un grupo de candidatos a evaluadores (programas generados por LLM) se refina iterativamente. Cada candidato mapea el conjunto de ejecuciones a una puntuación de aptitud (fitness) escalar ( $F$ ) y métricas de feedback estructurado ( $M$ ).
Selección: Los candidatos se califican según su capacidad para correlacionarse con el éxito de la tarea, y el mejor evaluador se selecciona mediante votación por mayoría de LLM.
Salida: Un evaluador evolucionado y fijo $E^\star$ que proporciona tanto una señal de aptitud para la selección como métricas estructuradas para condicionar futuras revisiones de código.

2. Evolución de la Política bajo un Evaluador Fijo
Una vez que $E^\star$ está fijo, el marco busca el programa de política óptimo comenzando desde un único candidato élite ( $C_g$ ). Cada generación explora tres ramas distintas, siendo la mejor salida la que se convierte en el élite para la siguiente generación:

Ascenso de Cerco Secuencial (Micro-mutación): Una rama de búsqueda local que refina iterativamente el candidato aceptado actual. Crucialmente, mantiene una memoria ( $H$ ) de los resúmenes de edición de las propuestas rechazadas. Esta memoria condiciona al LLM para evitar repetir ediciones fallidas, guiando la búsqueda lejos de los mínimos locales conocidos.
Macro-mutación: Ediciones independientes de gran escala aplicadas directamente al candidato élite de la generación para introducir cambios estructurales significativos.
Crossover (Cruce): Una recombinación de los mejores candidatos de las ramas de ascenso de cerco y macro-mutación, permitiendo la combinación de estrategias ejecutables parciales.

El mecanismo de selección es elitista: el candidato con la mayor puntuación de aptitud ( $F$ ) de las tres ramas es seleccionado como el siguiente élite ( $C_{g+1}$ ).

Contribuciones Clave

El artículo identifica cuatro contribuciones primarias:

Marco Memético de un Solo Élite: Un método de búsqueda para programas de política ejecutables que combina de forma única la mejora local secuencial (con memoria de propuestas rechazadas), la macro-mutación y el crossover.
Etapa de Evolución del Evaluador: Una fase de pre-búsqueda que produce un evaluador fijo capaz de proporcionar tanto aptitud escalar para la selección como feedback de ejecución estructurado para condicionar las revisiones de código.
Evaluación Empírica: Pruebas exhaustivas en dos dominios de largo horizonte (Robosuite y AI2-THOR), incluyendo estudios de ablación sobre generación zero-shot, evolución de evaluadores y operadores de búsqueda, así como pruebas de generalización en geometrías de objetos y escenas no vistas.
Transferencia de Simulación a Realidad (Sim-to-Real): Un despliegue físico de la política evolucionada de Robosuite en un robot Franka, demostrando la viabilidad de transferir el código evolucionado en simulación a entornos del mundo real.

Resultados Experimentales

MEMENTO fue evaluado en Robosuite Franka Tower-of-Hanoi e interacción doméstica AI2-THOR, comparándolo con las líneas base adaptadas Eureka y REvolve.

Rendimiento: MEMENTO superó significativamente a las líneas base. En Robosuite, logró una tasa de éxito de 0.97 ± 0.06 comparado con 0.53 ± 0.12 para REvolve y 0.00 para Eureka. En AI2-THOR, MEMENTO logró un éxito de 1.00 ± 0.00, mientras que REvolve logró 0.40 ± 0.10 y Eureka 0.00.
Generalización: Las políticas evolucionadas demostraron una fuerte generalización. En Robosuite, las políticas se transfirieron de objetos cúbicos a objetos asimétricos y cilíndricos. En AI2-THOR, las políticas entrenadas en tres cocinas se generalizaron con éxito a 26 cocinas no vistas.
Estudios de Ablación:
- La generación zero-shot falló en resolver ambos dominios (0% de éxito), probando la necesidad de la búsqueda evolutiva.
- Los evaluadores no evolucionados (evaluadores LLM zero-shot) fallaron en guiar las políticas hacia la completitud de la tarea, resaltando la necesidad de la evolución del evaluador para alinear el feedback con el éxito de largo horizonte.
- Eliminación de operadores: Eliminar la rama de crossover o la rama de macro-mutación resultó en un fallo al resolver las tareas, indicando que tanto el refinamiento local como la variación/recombinación global son necesarios.
Sim-to-Real: La mejor política de Robosuite se desplegó en un robot Franka físico, logrando una tasa de éxito de 0.90 en 10 ensayos, con el único fallo atribuido a un error de percepción.

Significancia y Reivindicaciones

El artículo afirma que MEMENTO aborda las limitaciones de la evolución de código-como-política existente integrando la búsqueda local guiada por memoria con la variación evolutiva. Los autores argumentan que:

La memoria es crítica: Retener un historial de ediciones rechazadas evita que el LLM cicle a través de las mismas modificaciones fallidas, permitiendo un ascenso de cerco efectivo en espacios de código complejos.
La evolución del evaluador es esencial: Un evaluador evolucionado y fijo proporciona una señal más rica y alineada que un evaluador estático o zero-shot, lo cual es crucial para guiar la búsqueda en entornos de recompensa dispersa y largo horizonte.
La búsqueda híbrida es superior: La combinación de micro-mutaciones (refinamiento local), macro-mutaciones (exploración global) y crossover (recombinación) es necesaria para resolver tareas que ni la búsqueda local pura ni la evolución basada en población pura pueden resolver por sí solas.

El trabajo concluye que la búsqueda memética guiada por memoria es un mecanismo viable para mejorar las políticas corporales ejecutables utilizando feedback de ejecución disperso, cerrando con éxito la brecha entre la simulación y la realidad.