🤖 AI

Q-Learning With World Models

El artículo propone QWM, un marco que integra modelos de mundo con Q-learning estándar para realizar una búsqueda en tiempo de prueba sobre trayectorias imaginadas para la selección de acciones, logrando así una eficiencia de muestra y un rendimiento superiores en evaluaciones de manipulación robótica al evitar el sesgo de modelo acumulativo mediante el entrenamiento exclusivo en transiciones reales.

Autores originales: Perry Dong, Yueru Jia, Chelsea Finn, Dorsa Sadigh

Publicado 2026-08-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Perry Dong, Yueru Jia, Chelsea Finn, Dorsa Sadigh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que aprenden haciendo se están convirtiendo en una realidad, pero a menudo requieren una cantidad agotadora de práctica para dominar incluso las tareas más sencillas. Para mover una taza de una mesa a un estante, un robot podría necesitar intentar el movimiento miles de veces, fallando repetidamente antes de lograr finalmente el éxito. Este proceso de ensayo y error es el corazón de un campo llamado aprendizaje por refuerzo, donde un agente aprende interactuando con su entorno y recibiendo retroalimentación sobre sus acciones. Si bien los avances recientes han hecho que este proceso de aprendizaje sea más rápido, los trabajos más complejos, como ensamblar una herramienta o navegar por una habitación desordenada, todavía exigen vastas cantidades de datos. Los investigadores buscan constantemente formas de hacer que estos robots sean más eficientes, con la esperanza de reducir el tiempo y la energía necesarios para entrenarlos. Una idea prometedora ha sido dotar a los robots de un "modelo de mundo", una simulación mental que les permite imaginar qué sucedería si realizaran una determinada acción, en lugar de simplemente adivinar a ciegas. Sin embargo, utilizar estas simulaciones mentales para entrenar al robot directamente ha sido históricamente arriesgado; si la imaginación del robot es ligeramente errónea, esos errores pueden acumularse, llevando al robot a aprender una versión distorsionada de la realidad que falla en el mundo real.

Un equipo de investigadores de la Universidad de Stanford y la Universidad de Pekín ha desarrollado un nuevo enfoque que evita este peligro cambiando cuándo utiliza el robot su imaginación. En lugar de depender del modelo de mundo para enseñar al robot cómo moverse, lo utilizan únicamente en el momento de la decisión. Su método, llamado QWM, permite que un robot aprenda sus habilidades básicas a partir de interacciones en el mundo real, asegurando que su comprensión de la física y la causa y efecto permanezca fundamentada en la realidad. Pero cuando el robot se enfrenta a una situación nueva y debe elegir qué hacer a continuación, hace una pausa para ejecutar una rápida simulación mental. Imagina varios futuros posibles para cada acción potencial, prediciendo cómo cambiaría el mundo, y luego elige la acción que conduce al mejor resultado. Este proceso es similar a cómo un jugador de ajedrez podría anticipar unos cuantos movimientos antes de comprometerse con una jugada, pero aquí, el robot está mirando hacia adelante para ver qué acción física producirá la mayor recompensa.

Los investigadores probaron este sistema en tareas desafiantes de manipulación robótica, como levantar objetos, colocar latas y ensamblar herramientas. Compararon su método con otros algoritmos de alto rendimiento que aprenden sin ningún modelo mental o que aprenden enteramente dentro de un mundo simulado. Los resultados mostraron que QWM superó significativamente a estos otros métodos. Aprendió más rápido, requiriendo menos intentos en el mundo real para alcanzar un alto nivel de éxito, y funcionó de manera más confiable en diferentes tareas. Crucialmente, el sistema evitó el error común en el que el modelo interno de un robot se vuelve tan defectuoso que le enseña malos hábitos. Al mantener el proceso de aprendizaje vinculado a datos reales y usar la imaginación solo para refinar las elecciones en el último segundo, el robot obtuvo lo mejor de ambos mundos: la seguridad del aprendizaje en el mundo real y la previsión de un modelo predictivo.

El éxito de este enfoque depende de cómo el robot construye su búsqueda mental. Cuando el robot necesita actuar, no solo elige una suposición aleatoria o depende de una única predicción. En su lugar, genera un árbol de posibilidades. Desde su posición actual, considera varias acciones diferentes. Para cada acción, utiliza su modelo de mundo para predecir el siguiente estado del mundo. Luego repite este proceso, imaginando qué sucedería si tomara otra acción desde ese nuevo estado, y así sucesivamente, creando una ruta ramificada de futuros potenciales. El robot evalúa estas rutas no solo mirando el resultado inmediato, sino agregando el valor de toda la secuencia imaginada. Combina su conocimiento directo de lo que vale una acción con las recompensas predichas de los pasos futuros que ha imaginado. Esto le permite ver más allá del momento inmediato y elegir acciones que podrían parecer difíciles ahora, pero que conducirán a un resultado mucho mejor después.

Uno de los hallazgos más significativos es que este método funciona incluso cuando el robot observa el mundo a través de una cámara, lidiando con información visual de alta dimensión en lugar de simples números. En estos entornos basados en píxeles, aprender un modelo de mundo perfecto es increíblemente difícil, sin embargo, los investigadores encontraron que incluso un modelo algo imperfecto podía proporcionar un enorme impulso en el rendimiento cuando se utilizaba para este tipo de búsqueda en tiempo de ejecución. El robot no necesitaba ser un predictor perfecto para beneficiarse; solo necesitaba ser lo suficientemente bueno como para distinguir entre una buena acción y una mala. El estudio también exploró qué tan profundo debía mirar el robot hacia el futuro. Mirar demasiado lejos introducía demasiada incertidumbre porque las predicciones se volvían menos confiables, mientras que mirar demasiado superficialmente no lograba capturar las consecuencias a largo plazo de una acción. Los investigadores encontraron un punto óptimo donde el robot miraba unos pocos pasos adelante, lo suficiente para planificar eficazmente sin perderse en el ruido de los errores de predicción.

Los investigadores también compararon su método con otras formas de usar modelos de mundo, como entrenar al robot enteramente dentro de la simulación. Encontraron que esos métodos a menudo tenían dificultades, especialmente en tareas con recompensas dispersas donde el robot solo recibe una señal cuando tiene éxito al final. En esos casos, los errores en la simulación se acumulaban rápidamente, dificultando que el robot aprendiera algo útil. Por el contrario, el enfoque QWM mantuvo el entrenamiento fundamentado en la realidad. La política central del robot y su comprensión del valor se actualizaban solo con datos del mundo real. El modelo de mundo era meramente una herramienta de selección, una forma de refinar la toma de decisiones del robot sin corromper su aprendizaje fundamental. Esta distinción resultó vital, permitiendo que el sistema escalara a problemas de robótica complejos del mundo real donde los métodos basados en modelos anteriores habían fallado.

Al final, este trabajo demuestra que el poder de un modelo de mundo no reside necesariamente en reemplazar el mundo real, sino en mejorar nuestra capacidad para navegarlo. Al usar la imaginación como un filtro para la elección en lugar de un sustituto de la experiencia, los investigadores han creado un sistema que es tanto eficiente en términos de muestras como robusto. El robot aprende de las duras lecciones de la realidad, pero usa su mente para evitar repetir errores antes de que ocurran. Este enfoque ofrece un camino práctico para el despliegue de robots en entornos no estructurados, donde la capacidad de planificar y adaptarse es tan importante como la capacidad de aprender. Los hallazgos sugieren que el futuro del aprendizaje robótico puede no tratarse de construir simulaciones perfectas, sino de construir robots que sepan cuándo confiar en su experiencia y cuándo confiar en su imaginación.

Resumen Técnico: Q-Learning con Modelos de Mundo (QWM)

Planteamiento del Problema

El aprendizaje por refuerzo (RL) fuera de la política (off-policy) ha logrado una eficiencia de muestra significativa, permitiendo el ajuste fino de modelos de Visión-Lenguaje-Acción (VLA) en políticas fiables. Sin embargo, a medida que el RL se aplica a escenarios cada vez más complejos y de alta dimensión, como la robótica en el mundo real, es esencial lograr mayores ganancias en la eficiencia de muestra. Si bien los modelos de mundo ofrecen un mecanismo para predecir cambios de estado en lugar de solo acciones, su aplicación exitosa se ha limitado en gran medida al aprendizaje de políticas supervisado.

Los métodos tradicionales de RL basados en modelos suelen optimizar las políticas o las funciones de valor directamente sobre trayectorias imaginadas (rollouts) generadas por un modelo de dinámica aprendido. Este enfoque es propenso al sesgo de acumulación (compounding bias), donde los errores en el modelo de mundo se acumulan con el tiempo, degradando el rendimiento. Este problema empeora con horizontes de tarea más largos y una mayor complejidad visual, lo que dificulta su escalabilidad a la robótica del mundo real. La pregunta central abordada por este trabajo es: ¿Pueden los modelos de mundo aprovecharse para mejorar el rendimiento del RL en línea sin recurrir a los enfoques tradicionales basados en modelos que acumulan el sesgo del modelo en el proceso de entrenamiento?

Metodología: QWM

Los autores proponen QWM (Q-Learning con Modelos de Mundo), un marco que integra modelos de mundo aprendidos en el Q-learning estándar mediante la búsqueda en tiempo de prueba (test-time search). A diferencia del RL basado en modelos convencional, QWM no utiliza el modelo de mundo para generar datos de entrenamiento ni para optimizar la política directamente. En su lugar, la política y la función de valor (crítico) se entrenan exclusivamente con transiciones reales del entorno en línea. El modelo de mundo se utiliza únicamente en el momento de la decisión para realizar una búsqueda sobre trayectorias imaginadas para seleccionar acciones de alto valor.

Componentes Principales

Entrenamiento del Modelo de Mundo: Un modelo de dinámica $M_\psi(s'|s, a)$ se preentrena en offline utilizando un conjunto de datos de transiciones del entorno (ya sea offline o acumuladas en línea). Para estados de baja dimensión, se utiliza un modelo de dinámica residual determinista. Para observaciones basadas en píxeles, se ajusta un modelo de mundo de video condicionado a la acción (basado en Wan2.2).
Búsqueda en Árbol sobre Acciones: En cada paso de decisión, QWM construye un árbol de búsqueda con raíz en el estado actual $s_0$ $s_{0}$ .
- Expansión: La política propone $N$ acciones candidatas. Para cada acción, el modelo de mundo predice $K$ estados futuros. Este proceso se repite recursivamente hasta una profundidad $D$ .
- Agregación de Valor: El valor de los nodos en el árbol se calcula combinando dos estimadores:
  - Valor Estado-Acción ( $V_Q$ ): Califica directamente las acciones utilizando la función Q ( $Q_\phi$ ) aprendida. Es de baja varianza e independiente del error del modelo, pero es ciego a las trayectorias futuras.
  - Valor de Estado ( $V_r$ ): Estima el valor utilizando las recompensas predichas por el modelo de mundo y el valor de los estados subsiguientes. Esto explota la trayectoria imaginada completa, pero acumula el error del modelo con la profundidad.
  - Valor Combinado: El valor final del nodo es un promedio ponderado (típicamente 0.5) de $V_Q$ y $V_r$ , equilibrando los beneficios de ambos estimadores.
Poda de Búsqueda: Para gestionar la complejidad computacional, un heurístico selecciona un subconjunto de rutas para expandir en cada profundidad, podando las ramas menos prometedoras basándose en la puntuación Q descontada acumulada.
Selección de Acción: La acción seleccionada para su ejecución es aquella con el valor de búsqueda en árbol agregado más alto. Esta búsqueda se aplica tanto durante los despliegues en línea (para recolectar datos de mayor calidad para el replay buffer) como durante la evaluación.

Contribuciones Clave

Marco QWM: Un marco simple y general que aprovecha los modelos de mundo para la búsqueda en tiempo de prueba sobre el Q-learning estándar. Mejora la selección de acciones imaginando trayectorias futuras sin sustituir las interacciones reales con el entorno.
Evitación del Sesgo de Acumulación: Al entrenar la política y el crítico solo con transiciones reales, QWM evita el sesgo de acumulación que afecta a los métodos que optimizan políticas dentro de modelos de mundo imperfectos.
Escalado en Tiempo de Prueba: El enfoque puede verse como una forma de escalado en tiempo de prueba donde los candidatos se califican según su valor descendente predicho, lo que produce una mejor estimación de las acciones óptimas que la maximización de valor Q de un solo paso.

Resultados Experimentales

Los autores evaluaron QWM en entornos desafiantes de manipulación robótica: Robomimic (basado en estados) y LIBERO (basado en píxeles).

Comparación con Baselines de Modelos sin Modelo (Model-Free): QWM superó significativamente a los fuertes baselines de vanguardia sin modelo (incluyendo EXPO, RLPD, IDQL y otros) tanto en eficiencia de muestra como en rendimiento final en todas las tareas (Lift, Can, Square, Tool Hang y varias tareas de LIBERO).
Comparación con Baselines Basados en Modelos: QWM logró un rendimiento consistentemente más fuerte que los métodos de vanguardia basados en modelos como TD-MPC2 y EfficientZero V2. Notablemente, mientras que TD-MPC2 y EfficientZero V2 tuvieron dificultades para alcanzar un éxito distinto de cero en configuraciones de recompensa dispersa (sparse reward) dentro de los pasos de entrenamiento reportados, QWM tuvo éxito en todas las tareas.
Estudios de Ablación:
- Alcance de la Búsqueda: Aplicar la búsqueda en el árbol tanto durante el muestreo en línea como durante la evaluación produjo los mejores resultados, demostrando los beneficios complementarios de mejorar la recolección de datos y la ejecución.
- Hiperparámetros: Una profundidad de búsqueda moderada ( $D=2$ a $4$) proporcionó el mejor equilibrio entre capturar consecuencias futuras y evitar un error excesivo del modelo.
- Función Q vs. Función de Valor: La búsqueda con la función Q superó significativamente a la búsqueda solo con una función de valor de estado ( $V$ ), resaltando la importancia de la estimación condicionada a la acción.
Escalado Basado en Píxeles: QWM se extendió con éxito a observaciones visuales de alta dimensión (LIBERO), mostrando mejoras claras en la velocidad de aprendizaje y el rendimiento final, incluso cuando el modelo de mundo se utilizó solo para el muestreo durante el entrenamiento en línea.

Significado y Reivindicaciones

El artículo afirma que QWM ofrece un camino práctico para combinar las capacidades predictivas de los modelos de mundo con la estabilidad del Q-learning en línea. Al restringir el rol del modelo de mundo a la búsqueda en tiempo de prueba, el método obtiene los beneficios de eficiencia de muestra del planeamiento predictivo mientras permanece fundamentado en datos reales, evitando así el sesgo de acumulación inherente al entrenamiento de políticas sobre trayectorias imaginadas.

Los autores posicionan a QWM como una mejora general aplicable a cualquier algoritmo de ajuste fino de RL que utilice una función Q, particularmente para modelos de Visión-Lenguaje-Acción. Reconocen las limitaciones, específicamente la sobrecarga computacional de la búsqueda en árbol en el tiempo de despliegue y la dificultad de entrenar modelos de mundo de alta calidad, pero afirman que el marco proporciona una alternativa robusta a los métodos tradicionales de RL basados en modelos para la robótica del mundo real.