🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

Este artículo propone un método para mejorar la eficiencia de muestreo del aprendizaje por refuerzo en línea mediante el guiado de modelos de mundo con datos fuera de línea abundantes y no curados a través de la rehabilitación de la experiencia y la guía de ejecución, superando así los problemas de desplazamiento de distribución y superando significativamente a las líneas base en diversas tareas visuomotoras.

Autores originales: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Publicado 2026-06-16

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres enseñarle a un robot a caminar, correr o recoger una taza de café. Tradicionalmente, tendrías que sentarte a observar al robot, diciéndole cada vez que hace algo bien o mal. Esto es lento, costoso y requiere mucho esfuerzo humano para etiquetar los datos.

Este artículo presenta un nuevo método llamado NCRL (Data offline no curada para el aprendizaje por refuerzo eficiente) que enseña a los robots mucho más rápido mediante un enfoque de "convertir la basura en tesoro". Así es como funciona, desglosado en conceptos simples:

1. El Problema: El dilema de los datos "basura"

Normalmente, para entrenar a un robot, necesitas un conjunto de datos limpio y organizado donde cada acción esté etiquetada con una puntuación (por ejemplo, "¡Buen trabajo!" o "¡Mal trabajo!"). Pero en el mundo real, tenemos montañas de datos desordenados y sin organizar.

No tienen puntuaciones (libres de recompensa).
Son una mezcla de movimientos excelentes y errores terribles (calidad mixta).
Provienen de diferentes tipos de robots (multiembodiment).

Piensa en esto como una biblioteca llena de millones de libros, pero ninguno tiene título, resumen o calificación. La mayoría de la gente ignoraría esta biblioteca porque es demasiado difícil de usar. Los métodos anteriores intentaron usar estos datos, pero a menudo fallaban porque asumían que los datos eran ordenados y estaban etiquetados.

2. La Solución: Construir un "Mapa Mental" Primero

En lugar de intentar aprender la tarea específica de inmediato, el método NCRL primero construye un Modelo de Mundo (World Model).

La Analogía: Imagina a un estudiante que quiere aprender a conducir un coche. En lugar de subirse a un coche e intentar conducir al supermercado inmediatamente, primero pasa meses viendo todo tipo de vídeos de conducción: algunos de coches de carreras, otros de camiones, otros de personas conduciendo mal y otros de expertos. Aún no conoce el destino; simplemente aprende cómo se mueve el coche, cómo se ve la carretera y cómo funciona el volante.
La Afirmación del Artículo: Los autores entrenaron un único "cerebro" (el Modelo de Mundo) utilizando estos datos desordenados y sin etiquetas de 6 tipos diferentes de robots. Este cerebro aprendió la física general del movimiento sin necesidad de saber cuál era el objetivo final.

3. La Trampa: Por qué el "Simple Ajuste Fino" (Fine-Tuning) Falla

Los investigadores descubrieron que si tomas este cerebro preentrenado e intentas enseñarle inmediatamente una nueva tarea específica (como "Caminar hacia la puerta"), a menudo falla.

La Analogía: Es como tomar a un estudiante que estudió vídeos de conducción general y ponerlo inmediatamente en un coche de carreras en una pista que nunca ha visto. El estudiante entra en pánico porque la pista específica se ve diferente de los vídeos que vio. El "mapa mental" que construyó no coincide con la realidad de la nueva tarea.
El Hallazgo del Artículo: Descubrieron que esto sucede debido a un desplazamiento de distribución (distributional shift). Los datos desordenados utilizados para el entrenamiento se ven muy diferentes de los datos específicos que el robot encuentra cuando comienza a intentar resolver la nueva tarea.

4. El Arreglo: Dos Técnicas Especiales

Para solucionar este desajuste, los autores añadieron dos "ruedas de entrenamiento" para ayudar al robot a cerrar la brecha entre el pasado desordenado y el presente específico.

Técnica A: Ensayo de Experiencia (El Método de las "Fichas de Estudio")

Cómo funciona: Cuando el robot comienza a aprender la nueva tarea, no solo mira su pequeño conjunto de experiencias nuevas. Regresa a su enorme biblioteca de datos desordenados y busca los clips específicos que se parecen a la situación actual.
La Analogía: Imagina que el robot está atrapado en un giro específico. En lugar de solo adivinar, busca una "ficha de estudio" en su biblioteca de vídeos antiguos que muestre un giro similar, incluso si ese vídeo antiguo era de un robot diferente o de un día distinto. "Ensaya" estas memorias relevantes para recordarse a sí mismo cómo funcionan las cosas, evitando olvidar lo que aprendió anteriormente.

Técnica B: Guía de Ejecución (El Método del "Copiloto")

Cómo cómo funciona: El robot tiene un "Copiloto" (una política entrenada con los datos desordenados) que sabe cómo moverse de forma segura, aunque no sea perfecta. Durante las primeras etapas del aprendizaje, el robot alterna entre probar sus propias ideas nuevas y dejar que el Copiloto tome el control durante unos segundos.
La Analogía: Piensa en un conductor novato que tiene a un instructor de conducción en el asiento del pasajero. El nuevo conductor intenta dirigir, pero si empieza a desviarse, el instructor toma el control suavemente por un momento para mantener el coche en la carretera, y luego le devuelve el control. Esto evita que el robot se pierda en "callejones sin salida" donde no puede aprender nada, guiándolo hacia áreas donde es más probable que tenga éxito.

5. Los Resultados: El Doble de Rápido

El artículo probó esto en 72 tareas diferentes, que van desde un guepardo corriendo hasta un brazo robótico apilando bloques.

La Afirmación: Usando este método, los robots aprendieron el doble de rápido que los robots que parten de cero (aprendiendo sin ningún dato previo).
La Comparación: Incluso cuando se comparó con otros métodos que intentaron usar datos offline, NCRL ganó por un margen significativo, especialmente en tareas difíciles donde el robot tiene que explorar y descubrir las cosas por su cuenta.

Resumen

El artículo sostiene que no necesitamos datos perfectos y etiquetados para enseñar a los robots. Podemos usar los datos "desordenados" que ya tenemos (vídeos de robots moviéndose sin puntuaciones) si hacemos lo siguiente:

Construimos una comprensión general del mundo primero.
Utilizamos un sistema de "búsqueda" para encontrar memorias antiguas relevantes al aprender nuevas tareas (Ensayo de Experiencia).
Utilizamos un "Copiloto" para guiar al robot para que no se pierda al principio (Guía de Ejecución).

Esto permite que los robots aprendan habilidades complejas con muchos menos intentos, haciendo que el entrenamiento de la IA sea mucho más eficiente.

Resumen Técnico: Aprendizaje por Refuerzo Eficiente mediante la Guía de Modelos de Mundo con Datos No Curados

Declaración del Problema
El aprovechamiento de datos offline es una vía prometedora para mejorar la eficiencia de muestreo del Aprendizaje por Refuerzo (RL) online. Sin embargo, los enfoques existentes dependen predominantemente de conjuntos de datos offline curados que están etiquetados con recompensas y que a menudo están restringidos a tareas o morfologías específicas. La adquisición de tales datos es costosa y laboriosa, particularmente en la manipulación robótica, donde se requiere la anotación retrospectiva de recompensas. Trabajos recientes han explorado el uso de abundantes datos "no curados" —caracterizados por carecer de recompensas, tener una calidad mixta y haber sido recolectados a través de múltiples morfologías—, pero la aplicación ingenua de estos conjuntos de datos ha demostrado ser insuficiente. Específicamente, el preentrenamiento de un modelo de mundo sobre estos datos y el posterior ajuste fino (fine-tuning) ingenuo para RL online a menudo no logra acelerar el entrenamiento. Los autores identifican la causa raíz de este fallo como un desplazamiento distributivo entre los datos offline utilizados para el preentrenamiento y los datos online recolectados durante la fase de ajuste fino. Cuando la distribución offline no cubre suficientemente la distribución de datos de la tarea descendente (downstream), el modelo de mundo preentrenado tiene dificultades para beneficiar el aprendizaje de la política, lo que conduce al olvido catastrófico o a la degradación de la precisión del modelo.

Metodología: NCRL
El artículo propone NCRL (Datos offline no curados para RL eficiente), un pipeline de dos etapas diseñado para utilizar eficazmente datos no curados, sin recompensas y de múltiples morfologías.

Preentrenamiento de un Modelo de Mundo Multi-Morfología:
En lugar de entrenar modelos separados por tarea, NCRL preentrena un único modelo de mundo agnóstico a la tarea sobre un conjunto de datos no curados a gran escala. La arquitectura se basa en el Modelo de Espacio de Estados Recurrente (RSSM) con modificaciones específicas para manejar diversas entradas:
- Eliminación de pérdidas específicas de la tarea.
- Relleno con ceros (zero-padding) de las acciones para unificar las dimensiones a través de diferentes morfologías.
- Escalamiento a 280 millones de parámetros.
  El modelo se optimiza utilizando pérdidas estándar de predicción, dinámica y representación sobre las trayectorias offline puras, sin etiquetas de recompensa.
Ajuste Fino Basado en RL con Ensayo y Guía:
Para abordar el desplazamiento distributivo y transferir eficazmente el conocimiento preentrenado, NCRL introduce dos técnicas clave durante la etapa de ajuste fino online:
- Ensayo de Experiencia (Experience Rehearsal): En lugar de descartar los datos offline tras el preentrenamiento, NCRL recupera trayectorias relevantes para la tarea del conjunto de datos no curado durante el entrenamiento online. Esto se logra computando la distancia de características neuronales entre las observaciones iniciales en el buffer online y las trayectorias offline utilizando el codificador preentrenado. Estas trayectorias recuperadas se reproducen para:
  - Prevenir el olvido catastrófico al continuar entrenando el modelo de mundo con datos de preentrenamiento relevantes.
  - Aumentar la distribución de estados iniciales ( $p_0(s)$ ) para los rollouts del modelo, permitiendo la generación de trayectorias prometedoras para las actualizaciones de la política.
  - Servir como un regularizador contra el desplazamiento distributivo.
- Guía de Ejecución (Execution Guidance): Para guiar la exploración hacia regiones donde el modelo de mundo tiene alta confianza (y donde existen datos offline), NCRL entrena una política previa ( $\pi_{bc}$ ) mediante clonación de comportamiento (behavioral cloning) sobre los datos offline recuperados. Durante la recolección de datos online, el agente alterna probabilísticamente entre la política de RL ( $\pi_\phi$ ) y la política previa ( $\pi_{bc}$ ). Este enfoque de política mixta dirige al agente hacia regiones de alta calidad del espacio de estados en las etapas tempranas del entrenamiento, mitigando los riesgos de una exploración difícil.

Contribuciones Clave
El artículo detalla cuatro contribuciones principales:

C1: Propone un entorno más realista para el aprovechamiento de datos offline, utilizando conjuntos de datos no curados, sin recompensas, de calidad mixta y de múltiples morfologías, yendo más allá de las restricciones de los datos curados y etiquetados con recompensas.
C2: Demuestra que el ajuste fino ingenuo de modelos de mundo falla en muchas tareas debido al desplazamiento distributivo entre los datos de preentrenamiento y de ajuste fino.
C3: Introduce el ensayo de experiencia y la guía de ejecución como técnicas específicas para mitigar este vacío distributivo y fomentar la exploración.
C4: Presenta el marco NCRL, que integra datos no curados tanto en la etapa de preentrenamiento como en la de ajuste fino, demostrando un rendimiento superior en un conjunto diverso de tareas en comparación con los enfoques existentes.

Resultados Experimentales
Los autores evalúan NCRL en 72 tareas de control visuomotor que abarcan locomoción y manipulación robótica a través de 6 morfologías (usando los entornos de referencia DMControl y Meta-World). El conjunto de datos offline comprende 60k trayectorias (10M de pares estado-acción) recolectadas de agentes no supervisados y demostraciones ruidosas.

Eficiencia de Muestreo: Bajo un presupuesto limitado de 150k muestras online, NCRL logra casi el doble de la puntuación agregada de los baselines de aprendizaje desde cero (DrQ-v2 y DreamerV3). Iguala el rendimiento de estos baselines entrenados con 3.3x a 6.7x más muestras.
Comparación con Métodos Offline: NCRL supera significativamente a los métodos de vanguardia que aprovechan datos offline, incluyendo R3M (preentrenamiento visual), UDS-RLPD, ExPLORe y JSRL-BC. Notablemente, mientras que métodos como JSRL-BC tienen dificultades con trayectorias no expertas, NCRL utiliza eficazmente datos exploratorios y de calidad mixta.
Comparación con Métodos Basados en Modelos: NCRL supera a otros enfoques de preentrenamiento de modelos de mundo (por ejemplo, iVideoGPT, DreamerV3 preentrenado) que dependen de arquitecturas novedosas pero carecen de mecanismos para reutilizar datos offline durante el ajuste fino. Crucialmente, NCRL logra esto sin depender de trucos como el modelado de recompensas (reward shaping) o la inicialización del buffer de replay de expertos utilizados por algunos baselines.
Adaptación de Tareas: En un entorno de aprendizaje continuo, NCRL permite que los agentes se adapten a nuevas tareas (por ejemplo, tareas del robot Ant) significativamente más rápido que el baseline PackNet, logrando la adaptación dentro de 100 ensayos por tarea.

Significancia y Reivindicaciones
El artículo afirma que la principal significancia de NCRL radica en su capacidad para desbloquear el potencial de los abundantes datos no curados para el RL. Al identificar el desplazamiento distributivo como el cuello de botella para el ajuste fino ingenuo y abordarlo mediante el ensayo de experiencia y la guía de ejecución, los autores demuestran que los modelos de mundo preentrenados con datos no curados pueden aumentar sustancialmente la eficiencia de muestreo. El trabajo sugiere que la rica información contenida en los conjuntos de datos no curados (dinámica, estados informativos, priors de acción) no es plenamente aprovechada por los métodos actuales que descartan estos datos tras el preentrenamiento o fallan en alinearlos con los objetivos online. NCRL proporciona un pipeline práctico para cerrar esta brecha, permitiendo un RL eficiente a través de una gama más amplia de tareas y morfologías sin el costo prohibitivo de la anotación de recompensas.