Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

Este trabajo presenta MIKASA, un marco unificado y un nuevo conjunto de 32 tareas de manipulación robótica diseñadas para evaluar sistemáticamente las capacidades de memoria de los agentes de aprendizaje por refuerzo en entornos complejos y parcialmente observables.

Lo esencial

¡Hola! Imagina que quieres enseñarle a un robot a hacer cosas en tu casa, como limpiar la mesa o buscar un objeto que se cayó detrás del sofá. El problema es que los robots actuales son como niños pequeños con una memoria muy corta: si ves algo, lo recuerdan un segundo, pero si te giras o algo tapa la vista, ¡se les olvida todo al instante!

Este paper (un artículo de investigación) presenta una solución genial llamada MIKASA. Es como un gimnasio de entrenamiento para la memoria de los robots.

Aquí te lo explico con analogías sencillas:

1. El Problema: "El Robot Amnésico"

Imagina que le pides a un robot: "Recuerda dónde dejé las llaves, luego ve a la cocina y tráeme una manzana".

• Si el robot tiene buena memoria, va a la cocina, busca las llaves (que están en un lugar que no veía al principio) y luego busca la manzana.
• Si el robot tiene mala memoria (como los actuales), llega a la cocina, se olvida de las llaves, se olvida de la manzana y empieza a caminar en círculos.

Hasta ahora, no había una forma estándar de medir qué tan buena es la memoria de un robot. Cada investigador inventaba sus propios juegos, como si un entrenador de fútbol midiera la velocidad de sus jugadores corriendo en una pista de atletismo y otro en una piscina. ¡No se podían comparar!

2. La Solución: MIKASA (El Gimnasio de la Memoria)

Los autores crearon MIKASA, que es una colección de 32 "juegos" o pruebas diseñadas específicamente para poner a prueba la memoria de los robots. Es como un examen de conducir pero para cerebros robóticos.

Dividieron la memoria en cuatro tipos, como si fueran músculos diferentes:

• Memoria de Objetos: ¿Recuerdas que había una pelota roja debajo de una taza, aunque ahora la taza la tapa? (Como el juego de "¿Bajo cuál está la pelota?" en los carnavales).
• Memoria Espacial: ¿Recuerdas dónde dejaste el vaso en la mesa antes de moverte?
• Memoria Secuencial: ¿Recuerdas el orden en que pusiste los ingredientes en la sopa? (Primero sal, luego pimienta, no al revés).
• Memoria de Capacidad: ¿Puedes recordar al mismo tiempo dónde están 5 objetos diferentes?

3. Las Pruebas (Los Juegos)

Dentro de MIKASA, hay tareas divertidas y difíciles. Por ejemplo:

• El Juego de las Copas (Shell Game): El robot ve una pelota roja bajo una taza. Luego, le ponen una manta encima y mueven las tazas. El robot debe tocar la taza correcta. Si no tiene memoria, adivina al azar.
• Recordar el Color: El robot ve un cubo azul, luego la pantalla se pone negra por un momento, y aparecen 9 cubos de colores. El robot debe tocar el azul.
• La Cadena de Colores: El robot debe tocar una serie de cubos en el mismo orden en que los vio antes.

4. ¿Qué descubrieron? (La Mala Noticia)

Cuando probaron los robots más modernos y famosos (incluyendo modelos de Inteligencia Artificial muy avanzados que "ven" y "hablan") en este gimnasio, la mayoría falló estrepitosamente.

• En tareas fáciles (sin memoria): Los robots funcionaban perfecto.
• En tareas con memoria: ¡Se volvieron locos! Olvidaban qué tenían que hacer apenas pasaba un segundo o si algo tapaba la vista.

Es como si le dieras a un genio de las matemáticas un examen de memoria a corto plazo y no pudiera recordar su propio nombre después de 5 segundos.

5. La Conclusión

El mensaje principal es: La Inteligencia Artificial actual es muy buena "viendo" y "pensando" en el momento, pero es terrible "recordando" lo que vio hace un rato.

Para que los robots sean realmente útiles en nuestras casas (limpiando, cocinando, ayudando), necesitamos inventar nuevos tipos de cerebros robóticos que tengan una memoria a largo plazo real, no solo un "bucle" de unos pocos segundos.

En resumen:
Los autores crearon un gimnasio de memoria (MIKASA) para entrenar y medir a los robots. Descubrieron que, aunque los robots son inteligentes, tienen una memoria de pez dorado y necesitan aprender a recordar el pasado para poder ayudar de verdad en el futuro. ¡Y lo mejor es que pusieron todo el gimnasio en internet para que cualquiera pueda entrenar a sus propios robots!

Resumen técnico

Aquí tienes un resumen técnico detallado del paper "MEMORY, BENCHMARK & ROBOTS: A BENCHMARK FOR SOLVING COMPLEX TASKS WITH REINFORCEMENT LEARNING", publicado en ICLR 2026.

1. El Problema

Aunque la memoria es fundamental para que los agentes de Aprendizaje por Refuerzo (RL) resuelvan tareas complejas con dependencias temporales y espaciales (especialmente en entornos parcialmente observables o POMDP), el campo carece de un benchmark universal para evaluar las capacidades de memoria de los agentes.

• Fragmentación: Los estudios existentes utilizan entornos personalizados y específicos (como Atari, DMLab-30 o POPGym) que a menudo se centran en un solo tipo de memoria o dominio, lo que dificulta la comparación directa entre algoritmos.
• Brecha en Robótica: En la manipulación robótica, la mayoría de los simuladores tratan las tareas como MDPs (procesos de decisión de Markov) totalmente observables. Sin embargo, en el mundo real, los robots enfrentan oclusiones, retrasos en las recompensas y la necesidad de recordar configuraciones pasadas de objetos (ej. un objeto oculto bajo una toalla).
• Limitación de Evaluación Actual: Los agentes pueden sobresalir en recordar atributos de objetos a largo plazo pero fallar en el recuerdo secuencial, o viceversa. Las evaluaciones actuales no capturan esta diversidad, dejando ocultas las limitaciones específicas de los mecanismos de memoria.

2. Metodología y Propuesta: MIKASA

Los autores presentan MIKASA (Memory-Intensive Skills Assessment Suite for Agents), un marco unificado que consta de dos componentes principales: MIKASA-Base y MIKASA-Robo.

A. Clasificación de Tareas de Memoria

Se propone una taxonomía sistemática que divide las tareas intensivas en memoria en cuatro categorías fundamentales, basadas en conceptos de psicología cognitiva:

1. Memoria de Objetos (Object Memory): Recordar la existencia y propiedades de objetos cuando están temporalmente ocultos (permanencia del objeto).
2. Memoria Espacial (Spatial Memory): Recordar ubicaciones y navegar basándose en mapas mentales de la disposición del entorno.
3. Memoria Secuencial (Sequential Memory): Procesar y utilizar información ordenada temporalmente (recuerdo serial y secuencias de acciones).
4. Capacidad de Memoria (Memory Capacity): Gestionar múltiples piezas de información simultáneamente (análogo al "span" de memoria humana).

B. MIKASA-Base

Un marco unificado basado en Gymnasium que consolida entornos de memoria de código abierto existentes bajo una API común. Incluye tareas vectoriales (diagnósticas) y basadas en imágenes (más complejas) para evaluar mecanismos de memoria desde el razonamiento atómico hasta la entrada sensorial de alta dimensión.

C. MIKASA-Robo

El núcleo de la contribución: un benchmark de código abierto (licencia MIT) que contiene 32 tareas de manipulación robótica en mesa diseñadas específicamente para probar habilidades de memoria en entornos realistas.

• Características: Las tareas se ejecutan en el simulador ManiSkill3 y cubren las 4 categorías de memoria mencionadas anteriormente.
• Configuraciones: Incluyen modos de observación como State (información completa), RGB+joints (cámaras + estados de articulaciones, el modo estándar de prueba de memoria) y Oracle.
• Recompensas: Soporta recompensas densas (para aprendizaje más rápido) y escasas (sparse), siendo estas últimas más desafiantes y realistas.
• Ejemplos de tareas:
  • ShellGame: Recordar bajo qué taza está una bola oculta.
  • RememberColor/Shape: Recordar el color/forma de un cubo tras un retraso y seleccionarlo entre distractores.
  • Intercept: Predecir la trayectoria de una bola en movimiento y atraparla.
  • ChainOfColors: Recordar una secuencia ordenada de colores y repetirla estrictamente.

3. Contribuciones Clave

1. Taxonomía Unificada: Un marco de clasificación que organiza las tareas de memoria en cuatro tipos distintos, permitiendo una evaluación sistemática sin ambigüedades.
2. MIKASA-Base: La primera colección estandarizada de tareas de memoria para RL, facilitando la reproducibilidad y la comparación justa.
3. MIKASA-Robo: Un conjunto de 32 tareas de manipulación robótica de alta fidelidad que aíslan y estresan habilidades específicas de memoria, superando las limitaciones de benchmarks anteriores que se centraban solo en navegación o puzzles abstractos.
4. Datasets y Evaluación: Liberación de datasets de alta calidad (1000 trayectorias exitosas por tarea) para investigación de RL Offline y evaluación de modelos VLA (Vision-Language-Action).

4. Resultados Experimentales

Los autores evaluaron el benchmark utilizando una amplia gama de algoritmos, desde RL Online y Offline hasta modelos VLA de última generación.

• Validación del Benchmark: Se demostró que un agente PPO-MLP entrenado en modo State (MDP completo) logra un 100% de éxito en todas las tareas, confirmando que las tareas son resolubles y que los fallos en otros modos se deben a limitaciones de memoria, no a defectos en el diseño de la tarea.
• RL Online (PPO-MLP vs. PPO-LSTM):
  • En modo RGB+joints (requiere memoria), los agentes sin memoria (MLP) fallan estrepitosamente.
  • Los agentes con memoria (LSTM) superan a los MLP en tareas simples (ej. 3 colores), pero su rendimiento cae drásticamente (cercano a 0%) a medida que aumenta la complejidad (5-9 colores o secuencias largas), revelando la insuficiencia de las arquitecturas recurrentes estándar para dependencias a largo plazo complejas.
• RL Offline: Modelos avanzados como Decision Transformer (DT), RATE (con memoria) y Diffusion Policy mostraron dificultades significativas. Ningún modelo logró resolver consistentemente las tareas que requieren alta capacidad de memoria o recuerdo secuencial estricto, incluso con datos de expertos.
• Modelos VLA (Octo, OpenVLA, π0, SpatialVLA):
  • Los modelos VLA actuales muestran un rendimiento "frágil". Funcionan bien en tareas totalmente observables (MDP).
  • Su rendimiento se degrada drásticamente cuando se introduce una occlusión que requiere retención de información a largo plazo.
  • El uso de "chunks" (fragmentos de acción) ofrece una compensación limitada, pero no sustituye a una memoria explícita robusta.
• Experimentos en el Mundo Real: Se realizaron pruebas físicas con un brazo robótico SO-101 y el modelo π0.5. Los resultados replicaron la simulación: el robot falló casi por completo en la tarea de RememberColor con oclusión (Task 3), confirmando que la limitación principal es la memoria temporal y no el ruido de percepción o la actuación.

5. Significado e Impacto

El trabajo de MIKASA es fundamental para el avance del RL en robótica por varias razones:

• Diagnóstico Preciso: Permite identificar exactamente qué tipo de memoria falla en un agente (espacial vs. secuencial vs. capacidad), algo que los benchmarks anteriores no permitían.
• Llamada a la Acción: Demuestra que las arquitecturas actuales (incluso los modelos VLA más grandes) carecen de mecanismos de memoria a largo plazo efectivos para tareas del mundo real. Esto impulsa la investigación hacia arquitecturas con memoria explícita y robusta.
• Puente Simulación-Realidad: Al incluir tanto simulación de alta fidelidad como experimentos en robots físicos, valida que los desafíos de memoria son reales y no solo artefactos de simulación.
• Reproducibilidad: Al ser de código abierto y proporcionar datasets estandarizados, establece un nuevo estándar para la evaluación comparativa en el campo del aprendizaje por refuerzo centrado en la memoria.

En resumen, MIKASA no solo expone las limitaciones actuales de los agentes inteligentes en tareas de manipulación con memoria, sino que proporciona las herramientas necesarias para desarrollar la próxima generación de robots capaces de operar en entornos dinámicos y parcialmente observables.