💻 computer science

PAVXploreRL: Physical-Action-Visual World Model Reinforcement Learning with Action Exploration

PAVXploreRL es un marco de aprendizaje por refuerzo que mejora los modelos de mundo condicionados a la acción mediante la optimización explícita de los objetivos de Plausibilidad Física, Adherencia a la Acción y Fidelidad Visual (PAV) a través del entrenamiento impulsado por recompensas y la exploración de acciones fuera de la distribución impulsada por ruido, logrando así una generalización superior y una evaluación de políticas más fiable en comparación con los métodos existentes basados únicamente en expertos.

Autores originales: Han Wang, Zijun Wang, Shuoshuo Xue, Rui Cao, Fenjiao Cheng, Xiaodang Liang, Roy Ka-Wei Lee

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Han Wang, Zijun Wang, Shuoshuo Xue, Rui Cao, Fenjiao Cheng, Xiaodang Liang, Roy Ka-Wei Lee

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a realizar una tarea compleja, como apilar bloques o servir una bebida. No puedes simplemente dejar que el robot recorra tu casa un millón de veces para aprender; rompería cosas, se cansaría o tardaría una eternidad. En su lugar, los científicos construyen "modelos de mundo". Piensa en ellos como motores de videojuegos superinteligentes que pueden predecir exactamente qué pasará después si el robot mueve su brazo de cierta manera. Es como tener una bola de cristal que te muestra el futuro de las acciones de un robot sin necesidad de un robot real. Pero aquí está la parte difícil: para que estas bolas de cristal sean útiles, deben ser perfectas. Deben seguir las leyes de la física (para que los objetos no salgan flotando), deben escuchar exactamente las órdenes dadas (si dices "mover a la izquierda", no debería moverse a la derecha) y el video que muestran debe verse lo suficientemente real como para que un humano pueda entenderlo. Si el modelo se equivoca en cualquiera de estas cosas, es como un GPS que te dice que conduzcas hacia un precipicio porque olvidó que la gravedad existe.

El gran problema es que la mayoría de estos modelos solo son entrenados con ejemplos "perfectos": videos de robots realizando tareas exactamente bien. Se vuelven muy buenos copiando esos movimientos específicos, pero si les pides que intenten algo ligeramente diferente o que cometan un error, a menudo alucinan tonterías. No han aprendido cómo lidiar con las partes desordenadas e impredecibles del mundo real. Este artículo, titulado PAVXploreRL, introduce una nueva forma de entrenar estos modelos de mundo para que sean más resistentes, inteligentes y fiables. Los investigadores construyeron un sistema que no solo memoriza videos perfectos; sino que practica activamente intentando movimientos "extraños" o imperfectos en un entorno simulado y seguro. Al recompensar al modelo por ser físicamente realista, obedecer las órdenes y verse nítido, crearon una herramienta que es mucho mejor para predecir lo que los robots realmente harán, incluso cuando las cosas no salen según lo planeado.

La aventura de PAVXploreRL

Los autores de este artículo, Han Wang y su equipo, se propusieron solucionar una debilidad específica en la forma en que enseñamos a los robots a imaginar el futuro. Llaman a su solución PAVXploreRL, un nombre que significa Physical, Action, and Visual Exploration Reinforcement Learning (Aprendizaje por Refuerzo de Exploración Física, de Acción y Visual). Piensa en esto como un campamento de entrenamiento para la imaginación de un robot.

En el pasado, entrenar estos modelos era como enseñar a un estudiante mostrándole únicamente la clave de respuestas. Los modelos observaban miles de videos de robots realizando tareas perfectamente e intentaban copiarlos. ¿El problema? Si le pedías al modelo que imaginara a un robot haciendo algo ligeramente diferente —como moverse un poco más rápido o dejar caer un objeto—, a menudo fallaba, produciendo videos que parecían falsos o que rompían las leyes de la física. Los investigadores argumentan que para crear una "bola de cristal" verdaderamente útil, el modelo necesita entender tres cosas específicas, que ellos llaman los objetivos PAV:

Plausibilidad Física (P): El video debe obedecer las leyes de la física. Si un robot suelta una taza, la taza debe caer, no flotar hacia arriba.
Adherencia a la Acción (A): El video debe hacer exactamente lo que se le ordenó al robot. Si la orden es "agarra el bloque rojo", el video no debería mostrar al robot agarrando el azul.
Fidelidad Visual (V): El video debe verse nítido y real, no borroso o extraño, para que los humanos puedan confiar en lo que ven.

El artículo sostiene que los métodos anteriores fallaron porque solo miraban datos "In-Distribution" (ID) —es decir, solo se entrenaban con videos de expertos perfectos. No enseñaron al modelo qué sucede cuando las cosas salen mal o cuando el robot intenta algo nuevo. Para solucionar esto, PAVXploreRL introduce un método de entrenamiento "juguetón". En lugar de solo copiar videos perfectos, el sistema toma esos videos perfectos e introduce intencionalmente errores en ellos. Añade "ruido" a las órdenes del robot, creando acciones Out-of-Distribution (OOD). Estos son escenarios de tipo "¿qué pasaría si?": ¿Qué pasa si el robot se mueve demasiado rápido? ¿Qué pasa si se resbala?

La magia ocurre porque el sistema no necesita un video real de estos escenarios desordenados para aprender. Utiliza un "juez" especial (basado en un modelo llamado VJEPA-2) que puede mirar un futuro predicho y decir: "Oye, eso no parece físicamente posible" o "Eso no coincide con la orden". El sistema utiliza estas puntuaciones como recompensas, de forma similar a como un videojuego te otorga puntos por buenos movimientos. Si el modelo predice un futuro que parece realista y sigue las reglas, recibe una puntuación alta. Si predice una taza flotante o un robot ignorando sus órdenes, recibe una puntuación baja y lo intenta de nuevo.

Los resultados de este enfoque son bastante prometedores. Los investigadores probaron su nuevo método en dos conjuntos de datos de robots diferentes: Agibot (un robot de dos manos) y Droid (un robot de una mano). Descubrieron que su modelo, tras este entrenamiento especial, superó consistentemente a los modelos estándar. En promedio, observaron una mejora del 5.6% en varios puntos de referencia. Esto puede parecer poco, pero en el mundo del entrenamiento de robots, es un salto significativo. El nuevo modelo fue mejor manteniendo los objetos en el suelo (Plausibilidad Física), siguiendo instrucciones (Adherencia a la Acción) y luciendo realista (Fidelidad Visual).

Quizás el hallazgo más importante es cómo el modelo maneja la "evaluación de políticas" (policy evaluation). Esta es una forma elegante de decir: "¿Podemos usar este modelo para probar si el cerebro de un robot es bueno antes de dejarlo correr en el mundo real?". El artículo muestra que los modelos antiguos suelen ser demasiado confiados, sobreestimando qué tan bien lo hará un robot. Pueden pensar que un robot tendrá éxito en una tarea el 90% de las veces cuando en realidad solo tiene éxito el 60%. PAVXploreRL, sin embargo, ofrece estimaciones más honestas y fiables. No se deja engañar por los "sueños" de éxito del robot; dice la verdad sobre lo que probablemente sucederá.

El equipo también realizó "estudios de ablación", que son como desarmar una máquina para ver qué engranajes están haciendo el trabajo pesado. Probaron su sistema eliminando diferentes partes de la receta de entrenamiento, como las "recompensas centradas en la encarnación" (que se enfocan específicamente en el cuerpo del robot) o la "regularización estática" (que evita que el modelo simplemente prediga una imagen congelada y perfecta). Descubrieron que cada parte de su receta era necesaria. Cuando eliminaron la parte que verifica la plausibilidad física, el modelo empeoró. Cuando eliminaron la parte que gestiona las acciones desordenadas y fuera de la distribución, el modelo se volvió menos fiable. Esto sugiere que la combinación de todos estos elementos es lo que hace que el sistema funcione tan bien.

Al final, PAVXploreRL no trata solo de hacer videos de robots más bonitos. Trata de construir una forma más segura y fiable de entrenar robots. Al enseñar a estos modelos a explorar escenarios de "¿qué pasaría si?" y recompensarlos por ser físicamente precisos y obedientes, los investigadores han creado una herramienta que puede ayudar a los robots a aprender más rápido y de forma más segura en el mundo real. El artículo sugiere que este enfoque podría ser un gran paso adelante para la IA encarnada (embodied AI), haciendo posible el entrenamiento de robots complejos sin necesidad de estrellarlos un millón de veces en un laboratorio real. Aunque el artículo no afirma haber resuelto todos los problemas de la robótica, proporciona un paso sólido y medido hacia la creación de simulaciones de robots en las que realmente podamos confiar.

Resumen Técnico: PAVXploreRL

Planteamiento del Problema

Los modelos de mundo condicionados por la acción son críticos para la IA con cuerpo (embodied AI), sirviendo como evaluadores de políticas escalables que reducen la dependencia de ejecuciones en el mundo real costosas. Sin embargo, los enfoques actuales enfrentan dos limitaciones primarias:

Optimización Insuficiente de los Objetivos PAV: Los modelos actuales dependen fuertemente de pérdidas de reconstrucción a nivel de píxel o puntuaciones de Modelos de Lenguaje-Visión (VLM) no adaptados. No optimizan explícitamente tres objetivos clave: Plausibilidad Física (respetar la dinámica del mundo real como la permanencia de objetos y el contacto), Adherencia a la Acción (seguir fielmente las señales de control) y Fidelidad Visual (mantener salidas de alta calidad e interpretables).
Mala Generalización a Acciones Fuera de Distribución (OOD): La mayoría de los modelos se entrenan exclusivamente con pares de acción-video dentro de la distribución (ID) recolectados de expertos humanos (trayectorias exitosas). En consecuencia, tienen dificultades para generalizarse a acciones fuera de la distribución (políticas subóptimas o no vistas) y a menudo sobreestiman las tasas de éxito de estas acciones debido a la falta de supervisión de video correspondiente de verdad fundamental (ground-truth) durante el entrenamiento.

Metodología

Los autores proponen PAVXploreRL, un marco de aprendizaje por refuerzo (RL) diseñado para mejorar los modelos de mundo condicionados por la acción mediante la optimización explícita de los objetivos PAV a través de la exploración de acciones.

1. Arquitectura del Modelo y Preentrenamiento

El marco se basa en un modelo de difusión de video de vanguardia (Wan2.2-TI2V-5B) aumentado con:

Condicionamiento por Acción: Los embeddings de acción se inyectan en la vía temporal mediante normalización de capa adaptativa (AdaLN).
Contexto de Largo Horizonte: Una estrategia de "Framepack" muestrea y comprime los fotogramas históricos de manera desigual para capturar eficientemente dependencias temporales de largo alcance.
Ajuste Fino Supervisado (SFT): El modelo es entrenado primero en conjuntos de datos robóticos (Agibot y Droid) utilizando una pérdida de error cuadrático medio (MSE) de reconstrucción para establecer una línea base preentrenada.

2. Diseño de la Función de Recompensa

La innovación central es una función de recompensa unificada $R$ que opera tanto en trayectorias ID como OOD. Combina cinco componentes para apuntar a los objetivos PAV:

Recompensa a Nivel de Píxel ( $r_{pixel}$ ): Utiliza MSE, SSim y LPIPS para la similitud de imagen de bajo nivel (disponible solo para datos ID con verdad fundamental).
Recompensa del Codificador VJEPA ( $r_{VJEPA-E}$ ): Aprovecha un codificador VJEPA-2 preentrenado para medir la consistencia física de alto nivel entre los fotogramas predichos y los de verdad fundamental (solo ID).
Recompensa del Predictor VJEPA ( $r_{VJEPA-P}$ ): Utiliza un predictor VJEPA-2 condicionado por acción para estimar representaciones latentes futuras a partir del fotograma inicial y las acciones. Esto permite la evaluación OOD sin videos de verdad fundamental al comparar la salida del modelo de mundo contra el pronóstico latente del predictor VJEPA. Se añade un término de regularización de movimiento estático para evitar que el modelo favorezca predicciones estáticas de alta calidad.
Recompensa Enfocada en la Corporeidad ( $r_{emb}$ ): Computa recompensas VJEPA tanto en fotogramas brutos como en fotogramas "enfocados en la corporeidad" (segmentados para retener solo las regiones específicas del robot) para evaluar mejor la adherencia a la acción y la consistencia del movimiento del robot.
Recompensa de Fidelidad Visual ( $r_{VF}$ ): Una métrica libre de referencia que integra medidas perceptuales, estadísticas y de consistencia temporal (por ejemplo, NIQE, SSIM, consistencia temporal) para asegurar la calidad visual, particularmente crucial para las ramas OOD que carecen de videos emparejados.

La recompensa final es una combinación ponderada de estos componentes, alternando entre una rama ID (usando métricas de verdad fundamental) y una rama OOD (usando métricas basadas en el predictor) según una probabilidad de muestreo $\alpha_{OOD}$ .

3. Pipeline de Aprendizaje por Refuerzo

El marco adopta el enfoque Diffusion-NFT para un ajuste fino eficiente:

Generación de Trayectorias: Durante las ejecuciones (rollouts), el modelo genera fotogramas futuros condicionados por fotogramas históricos y acciones.
Ponderación de Recompensa: Se computa una recompensa escalar a nivel de trayectoria. El objetivo de entrenamiento es una pérdida de eliminación de ruido ponderada por recompensa que construye objetivos implícitos positivos (alineados con la recompensa) y negativos (subóptimos) para guiar la actualización de la política.
Actualizaciones de Parámetros: Solo el codificador de acción y los parámetros LoRA se actualizan durante la fase de RL para preservar las capacidades del modelo preentrenado mientras se adapta a las nuevas señales de recompensa.

4. Adaptación de VJEPA-2

Para servir como el evaluador de recompensa, VJEPA-2 es reentrenado en datos robóticos con modificaciones específicas:

Entradas Duales: Procesa tanto imágenes brutas como imágenes enfocadas en la corporeidad (segmentadas).
Predicción de Múltiples Pasos: El entrenamiento se divide en dos etapas. La Etapa 1 realiza la predicción de un solo paso. La Etapa 2 introduce un despliegue autorregresivo sobre todo el bloque de acción con una pérdida acumulada, permitiendo que el modelo prediga fotogramas futuros dado solo un fotograma inicial y una secuencia de acciones, mejorando así la consistencia de largo horizonte.

Contribuciones Clave

Función de Recompensa Unificada: La propuesta de una función de recompensa que optimiza explícitamente la Plausibilidad Física, la Adherencia a la Acción y la Fidelidad Visual, yendo más allá de la simple reconstrucción de píxeles.
Marco de RL con Exploración OOD: El desarrollo de un marco de RL que aprovecha conjuntamente pares de acción-video ID y la exploración de acciones impulsada por ruido sin requerir supervisión de video emparejada para la rama OOD.
Mejora en la Evaluación de Políticas: La demostración de que PAVXploreRL mejora consistentemente los modelos de mundo preentrenados, resultando en evaluaciones de política más confiables y reduciendo el sesgo de sobreestimación en comparación con las líneas base de solo expertos.

Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos Agibot (mano dual) y Droid (mano única).

Desempeño Cuantitativo: PAVXploreRL superó consistentemente a las líneas base preentrenadas en todos los benchmarks, logrando una ganancia promedio del 5.6%.
- En el conjunto de validación de Agibot, el modelo RL logró un PSNR de 21.20 (frente a 20.52 para PT), un SSIM de 0.812 y redujo el LPIPS a 0.127.
- En el conjunto de validación de Droid, el modelo RL logró un PSNR de 21.71 y un SSIM de 0.828.
Mejoras Cualitativas: Los resultados visuales indicaron una mayor plausibilidad física, mejor adherencia a las acciones y mayor realismo visual en los despliegues de largo horizonte.
Estudios de Ablación: Los experimentos confirmaron la necesidad de cada componente de recompensa (Codificador VJEPA, Predictor VJEPA, Regularización Estática, Enfoque en la Corporeidad y Fidelidad Visual), siendo la combinación completa la que produce el mejor desempeño.

Significado y Reivindicaciones

El artículo afirma que PAVXploreRL aborda la brecha crítica en los modelos de mundo actuales con respecto a su capacidad para manejar acciones diversas y no vistas mientras mantienen la integridad física y visual. Al reemplazar las recompensas de píxel/VLM con un modelo de mundo latente adaptado al dominio (VJEPA-2) para la evaluación directa de los objetivos PAV, el método permite una exploración robusta de las acciones OOD. Esto conduce a modelos de mundo que no solo son mejores generando simulaciones realistas, sino que también sirven como evaluadores de política más confiables, mitigando el sesgo de sobreestimación común en los modelos previos basados solo en expertos como Ctrl-World. El trabajo sugiere que la optimización explícita de los objetivos PAV a través de RL impulsado por recompensa es un camino viable hacia sistemas de IA con cuerpo más escalables y confiables.