RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots

El artículo presenta RoboCasa365, un marco de simulación a gran escala que ofrece 365 tareas cotidianas en 2.500 entornos de cocina diversos junto con miles de horas de datos de demostración, estableciendo un nuevo estándar reproducible para entrenar y evaluar robots generalistas en manipulación móvil doméstica.

Lo esencial

Imagina que quieres enseñar a un robot a ser el "mayordomo perfecto" de una casa. No solo que sepa abrir la nevera, sino que sepa cocinar un desayuno, limpiar los platos, organizar la despensa y hacerlo todo sin romper nada, incluso si la cocina es diferente a la que vio antes.

El problema es que entrenar a un robot así en el mundo real es como intentar enseñar a un niño a cocinar usando solo un solo fogón, un solo tipo de sartén y un solo día de práctica. Es lento, caro y si el robot se cae, se rompe.

Aquí es donde entra RoboCasa365, presentado en este documento. Es como un "Parque de Atracciones Virtual" gigante y ultra-realista diseñado específicamente para entrenar a robots.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El "Gimnasio" de 2,500 Cocinas

Imagina que en lugar de entrenar al robot en una sola cocina, le das acceso a 2,500 cocinas diferentes.

• Algunas tienen encimeras de mármol, otras de madera.
• Algunas tienen neveras gigantes, otras pequeñas.
• Algunas están en Texas, otras en Nueva York.
• La analogía: Es como si un atleta entrenara en 2,500 gimnasios diferentes con pesas de distintos pesos y máquinas de colores distintos. Así, cuando el robot sale al mundo real, no se sorprende por nada; ya ha visto "de todo".

2. El "Libro de Recetas" de 365 Tareas

El sistema tiene una lista de 365 tareas cotidianas (una para cada día del año).

• No son solo cosas simples como "agarrar una manzana".
• Son cosas complejas como: "Prepara un batido, pero primero pela la pera, luego ponla en la licuadora, enciéndela, espera a que termine y sirve el vaso en la mesa".
• La analogía: Es como tener un libro de cocina con 365 recetas. Algunas son fáciles (hacer un sándwich), pero otras son platos de 5 estrellas que requieren muchos pasos y mucha memoria. El robot practica todas ellas para aprender a pensar en secuencias.

3. El "Entrenador" Humano y el "Clon" Digital

Para enseñar al robot, necesitan ver cómo lo hacen los humanos.

• La parte humana: Los investigadores contrataron a personas reales para que operaran robots y hicieran estas tareas. Esto generó más de 600 horas de video de "buenas prácticas".
• La parte digital (MimicGen): Como 600 horas no son suficientes para aprender todo, usaron un "clon digital" inteligente. Tomaron esas 600 horas y las usaron para generar automáticamente 1,600 horas más de datos sintéticos.
• La analogía: Imagina que tienes un maestro de piano que te enseña una canción. Luego, usas una IA para crear miles de variaciones de esa canción (tocándola más rápido, más lento, con diferentes instrumentos) para que el robot aprenda la esencia de la música, no solo una canción específica.

4. Los Tres Modos de Entrenamiento

Los investigadores usaron este sistema para probar tres formas de aprender:

• Aprendizaje Multitarea (El "Polímata"): Entrenar al robot con todas las tareas a la vez.
  • Resultado: El robot aprende a hacer muchas cosas, pero a veces se confunde con las tareas muy largas y complejas.
• Entrenamiento de Modelo Base (El "Estudiante Universitario"): Primero el robot estudia mucho en la simulación (la universidad) y luego va a hacer prácticas específicas en una casa real.
  • Resultado: ¡Funciona increíble! Aprender primero en el simulador hace que el robot aprenda las tareas reales 3 veces más rápido y con mucha menos necesidad de datos reales.
• Aprendizaje de por Vida (El "Viajero"): El robot aprende una tarea, luego otra nueva, y otra más, sin olvidar las anteriores.
  • Resultado: Aquí es donde el robot sufre. A veces, cuando aprende algo nuevo, olvida lo que sabía antes (como cuando aprendes un idioma nuevo y empiezas a olvidar palabras del anterior). Este sistema ayuda a los científicos a entender cómo arreglar ese problema.

5. ¿Sirve en la vida real?

La prueba final fue llevar el robot entrenado en este "mundo virtual" a una cocina real.

• El resultado: El robot que solo vio datos reales falló más. Pero el robot que primero practicó miles de horas en el simulador y luego se ajustó un poco en la realidad, tuvo un éxito mucho mayor (casi un 80% de éxito).
• La moraleja: El simulador no es solo un juego; es un campo de entrenamiento esencial. Es como un piloto de avión que hace miles de horas en un simulador antes de tocar un avión real.

En resumen

RoboCasa365 es una herramienta masiva que permite a los científicos crear robots "generalistas" (robots que pueden hacer de todo en casa) de una manera más rápida, barata y segura. Al entrenarlos en un mundo virtual lleno de diversidad, estamos un paso más cerca de tener robots que realmente nos ayuden en nuestras casas sin tener que programar cada movimiento manualmente.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots", presentado en ICLR 2026.

1. Planteamiento del Problema

A pesar de los avances recientes en el aprendizaje robótico hacia robots generalistas capaces de realizar tareas cotidianas, el campo enfrenta dos desafíos principales:

• Falta de datos diversos y a gran escala: Los conjuntos de datos existentes suelen ser limitados en diversidad de tareas y entornos, lo que restringe la capacidad de entrenar políticas robustas y generalizables.
• Dificultad en la evaluación sistemática: La evaluación en el mundo real es costosa, ruidosa y difícil de reproducir. Además, los marcos de simulación actuales suelen centrarse en tareas simples o entornos de una sola habitación, sin ofrecer benchmarks estandarizados para estudiar cómo la diversidad de tareas, la variación del entorno y la escala de los datos afectan la generalización.

El objetivo es llenar esta brecha proporcionando un entorno de simulación masivo, reproducible y diverso para entrenar y evaluar robots generalistas.

2. Metodología: RoboCasa365

El trabajo presenta RoboCasa365, un marco de simulación construido sobre la plataforma RoboCasa, diseñado específicamente para la manipulación móvil en hogares. Se compone de cuatro pilares fundamentales:

A. Activos y Escenarios Diversos

• Escenarios: Se crearon 2,500 cocinas únicas para preentrenamiento (combinando 50 planos de planta de casas reales obtenidas de Zillow con 50 estilos decorativos distintos) y 10 escenarios objetivo para evaluación.
• Activos: Se expandió la biblioteca a más de 3,200 objetos (incluyendo 57 nuevas categorías) y 456 accesorios interactivos (electrodomésticos articulados como tostadoras, batidoras, neveras, etc.), superando significativamente las capacidades de marcos anteriores.

B. Suite de Tareas (365 Tareas Diarias)

El benchmark define 365 tareas divididas en:

• 65 tareas atómicas: Habilidades básicas (abrir/cerrar, agarrar, navegar, girar perillas).
• 300 tareas compuestas: Secuencias complejas que requieren planificación a largo plazo, razonamiento semántico y memoria. Estas se organizan en 6 familias de actividades (preparación de bebidas, cocina, limpieza, organización, etc.).
• Requisitos de movilidad: 220 tareas requieren manipulación móvil (navegación + brazo), mientras que 145 pueden realizarse sin movilidad.

C. Conjuntos de Datos a Gran Escala

El marco proporciona más de 2,000 horas de datos de interacción:

• Datos Humanos: 612 horas (30k demostraciones para preentrenamiento en 300 tareas + 25k demostraciones para tareas objetivo).
• Datos Sintéticos: 1,615 horas generadas mediante la herramienta MimicGen, escalando las demostraciones humanas por un factor de 100 para 60 tareas atómicas.
• Total: Más de 500,000 trayectorias.

D. Protocolos de Benchmarking

Se establecen tres configuraciones de aprendizaje para evaluar sistemáticamente:

1. Entrenamiento Multi-tarea Masivo: Evaluar el rendimiento en 300 tareas simultáneamente.
2. Entrenamiento de Modelos Fundacionales (Foundation Models): Preentrenar en el conjunto masivo y luego hacer fine-tuning en tareas objetivo específicas.
3. Aprendizaje de por Vida (Lifelong Learning): Evaluar la capacidad de aprender nuevas tareas secuenciales sin olvidar las anteriores (catastrophic forgetting).

3. Contribuciones Clave

1. El Benchmark de Simulación Más Grande y Diverso: RoboCasa365 es el primer marco que combina miles de escenas únicas, cientos de tareas complejas y un conjunto de datos masivo (real + sintético) en un solo entorno.
2. Herramienta de Evaluación Sistemática: Permite aislar y estudiar el impacto de la diversidad de tareas, la escala de datos y la variación del entorno en la generalización de políticas.
3. Validación Sim-Real: Incluye experimentos en un robot físico real (DROID Panda) para demostrar la transferencia de políticas entrenadas en simulación al mundo real.

4. Resultados Experimentales

Los autores evaluaron cuatro métodos de última generación (Diffusion Policy, $\pi_0$, $\pi_{0.5}$ y GR00T N1.5) utilizando RoboCasa365:

• Rendimiento General: Los modelos basados en visión-idioma-acción de alta capacidad (especialmente GR00T N1.5) superaron a los enfoques tradicionales. Sin embargo, el rendimiento cae drásticamente en tareas compuestas no vistas (zero-shot), indicando que la generalización a nuevas secuencias complejas sigue siendo un desafío.
• Eficacia del Preentrenamiento: El enfoque de "Preentrenamiento + Fine-tuning" mostró una eficiencia de datos 3 veces mayor en comparación con el entrenamiento solo en datos objetivo. El preentrenamiento es crucial para tareas compuestas no vistas.
• Diversidad de Datos:
  • Aumentar la diversidad de tareas en el preentrenamiento (Human300 vs. Human50) mejoró significativamente la generalización, especialmente en tareas no vistas.
  • Contrariamente a la intuición, el uso exclusivo de datos humanos (Human300) superó ligeramente a la mezcla con datos sintéticos (Human300 + MG60), sugiriendo que la calidad de las trayectorias sintéticas generadas por MimicGen puede variar y no siempre es óptima para tareas complejas.
• Aprendizaje de por Vida: Se observó un problema de olvido catastrófico: a medida que el modelo aprendía tareas de mayor horizonte temporal, su rendimiento en tareas anteriores disminuía significativamente.
• Transferencia Sim-Real: El entrenamiento combinado (Simulación + Real) logró un 79.8% de éxito en tareas reales, superando en un 18.1% al modelo entrenado solo con datos reales (61.8%), validando la utilidad del benchmark para aplicaciones reales.

5. Significado e Impacto

RoboCasa365 representa un hito en la investigación de robótica generalista al proporcionar la infraestructura necesaria para escalar el entrenamiento de modelos fundamentales. Sus hallazgos sugieren que:

• La diversidad de tareas es tan crítica como la escala de datos para la generalización.
• El preentrenamiento es indispensable para el aprendizaje eficiente de tareas nuevas.
• El olvido catastrófico sigue siendo una barrera importante para el aprendizaje continuo en robots.

El marco no solo sirve como un banco de pruebas para comparar algoritmos, sino que ofrece una hoja de ruta clara para el desarrollo de robots capaces de operar de manera autónoma y robusta en entornos domésticos complejos, cerrando la brecha entre la simulación y la realidad.