🤖 AI

WAM-OPD: On-Policy Distillation for World Action Models

El artículo presenta WAM-OPD, un método de post-entrenamiento que utiliza la destilación on-policy para reparar Modelos de Acción de Mundo de video-primero entrenándolos con sus propios historiales generados mediante una supervisión densa del profesor, mejorando significamente las tasas de éxito en las tareas sin requerir el aprendizaje por refuerzo de recompensa dispersa.

Autores originales: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

Publicado 2026-08-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Liuhaichen Yang, Zhuang Jiang, Chenchao Sheng, Zezhi Tang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots están aprendiendo a ver y moverse con un nuevo tipo de inteligencia, una que intenta comprender el mundo no solo reaccionando a lo que está sucediendo en este momento, sino imaginando lo que sucederá después. Durante años, los investigadores han entrenado a los robots utilizando vastas cantidades de datos de video e instrucciones, enseñándoles a vincular lo que ven con cómo deben mover sus brazos. Estos sistemas, a menudo llamados modelos de visión-lenguaje-acción, son potentes, pero pueden ser lentos y torpes cuando se les pide realizar tareas complejas en tiempo real. Para hacerlos más rápidos, los científicos han desarrollado una técnica llamada destilación, que es como tomar a un profesor lento y brillante y entrenar a una versión estudiante rápida para que imite su comportamiento. El objetivo es crear un robot que pueda pensar y actuar en un único movimiento fluido. Sin embargo, hay un inconveniente: cuando aceleras el cerebro de un robot, a veces olvida cómo manejar situaciones complicadas o se pierde en estados que nunca vio durante su entrenamiento inicial. El robot se vuelve rápido, pero pierde la capacidad de terminar el trabajo.

Aquí es donde entra un nuevo enfoque llamado WAM-OPD, un método diseñado para arreglar estos robots rápidos sin necesidad de enviarlos a aprender desde cero mediante el ensayo y error. Los investigadores, trabajando con un sistema que predice futuros fotogramas de video para planificar sus movimientos, se dieron cuenta de que la forma estándar de entrenar a estos robots acelerados era defectuosa. El problema era que el robot rápido estaba siendo enseñado a actuar basándose en las predicciones perfectas del profesor lento, pero en el mundo real, el robot rápido tenía que actuar basándose en sus propias predicciones, ligeramente imperfectas. Era como enseñar a un estudiante a conducir mostrándole un video de un conductor perfecto, pero luego entregarle el volante y esperar que reaccione a la carretera exactamente como lo haría el profesor, a pesar de que el coche del estudiante se mueve de manera diferente. El desajuste entre lo que el robot esperaba ver y lo que realmente veía causaba que fallara.

Para resolver esto, el equipo creó un bucle de entrenamiento donde el robot rápido en realidad sale a un entorno simulado y se mueve por su cuenta. A medida que se mueve, crea un historial de lo que ve y hace. Un robot profesor, congelado, lento y altamente preciso, observa entonces estos momentos específicos y proporciona las respuestas correctas sobre lo que debería suceder a continuación. Crucialmente, el robot rápido es entrenado para predecir el futuro y elegir sus acciones basándose en su propia visión imperfecta del mundo, mientras intenta al mismo tiempo coincidir con las respuestas correctas del profesor. Esto asegura que el robot aprenda a manejar las situaciones específicas que realmente encuentra, en lugar de simplemente memorizar una lista de texto de escenarios que podría no ver nunca. Los investigadores probaron este método en dos tareas específicas en una simulación: pasar un micrófono de una mano robótica a otra, y colocar un objeto dentro de un cajón de un gabinete.

Los resultados mostraron que este método podía mejorar significamente la capacidad del robot para completar estas tareas. Para la entrega del micrófono, una tarea en la que el robot rápido falló completamente al principio, el nuevo método de entrenamiento ayudó a que tuviera éxito en más de la mitad de los intentos. Para la tarea del gabinete, donde el robot ya era algo exitoso, la mejora fue menor pero aun así notable, elevando la tasa de éxito de aproximadamente uno de cada seis intentos a uno de cada tres. Estas cifras provienen de un conjunto muy específico de pruebas utilizando un número pequeño de escenas simuladas, por lo que los investigadores son cuidadosos al decir que esto es una prueba de concepto en lugar de una solución universal. Encontraron que el método funciona bien para estos desafíos específicos, lo que sugiere que enseñar a un robot a aprender de sus propias experiencias en tiempo real, guiado por un profesor sabio pero estático, es una forma prometedora de solucionar las debilidades de la IA rápida y acelerada. El trabajo no pretende haber resuelto el aprendizaje robótico para todas las situaciones, pero ofrece un camino claro hacia adelante para hacer que estos sistemas de alta velocidad sean más fiables cuando realmente se ponen a trabajar.

Resumen Técnico: WAM-OPD

Planteamiento del Problema
Los Modelos de Acción de Mundo (WAMs, por sus siglas en inglés) integran la predicción visual futura con la generación de acciones robóticas, ofreciendo un enfoque estructurado para el control de robots. Sin embargo, los modelos "estudiante" acelerados derivados de estos sistemas mediante destilación (por ejemplo, Flash-WAM) suelen sufrir una pérdida de capacidades de tareas. Esta degradación ocurre porque los estudiantes acelerados pueden encontrar estados durante el despliegue que están pobremente representados en los datos offline utilizados para su entrenamiento inicial. Si bien el aprendizaje por refuerzo (RL) online puede abordar esto, depende de recompensas binarias dispersas, lo que hace que la asignación de crédito sobre trayectorias largas sea costosa y difícil. Los métodos de destilación on-policy (OPD) existentes, que permiten a un estudiante determinar la distribución de estados mientras un profesor proporciona supervisión densa, se han aplicado a políticas de solo acción o modelos de tokens autorregresivos, pero no se han adaptado a la arquitectura específica de los WAMs basados primero en video.

Un desafío técnico crítico al aplicar OPD a los WAMs es un desajuste de condicionamiento (conditioning mismatch). En un WAM basado primero en video, la generación de la acción está condicionada a un plan de video predicho ( $z_t$ ). Durante el despliegue, el estudiante genera su propio plan de video ( $z_S$ ) y condiciona su rama de acción a este. Si un profesor congelado etiqueta las historias del estudiante utilizando su propio plan de video superior ( $z_T$ ), entrenar la rama de acción del estudiante sobre $z_T$ crea un desajuste con la condición de despliegue ( $z_S$ ). Además, debido a que las rutas de video y acción comparten bloques de la arquitectura Transformer, actualizar una modalidad puede alterar inadvertidamente las representaciones utilizadas por la otra.

Metodología
El artículo presenta WAM-OPD, una receta de post-entrenamiento consistente con el despliegue diseñada para resolver estos problemas sin requerir RL de recompensa dispersa. La metodología central consiste en:

Generación de Datos Consistente con el Despliegue: El estudiante acelerado actúa en el entorno, generando una distribución de historia ( $h \sim d_{\pi_S}$ ) que refleja su comportamiento real de bucle cerrado.
Etiquetado por Profesor Congelado: Un modelo "Profesor" más lento y congelado (basado en LingBot-VA) etiqueta estas historias generadas por el estudiante con objetivos coherentes de video ( $z_T$ ) y acción ( $a_T$ ).
Grafo de Entrenamiento Consistente con el Despliegue: Crucialmente, durante el paso de optimización del entrenamiento, el estudiante sigue su exacto grafo de computación de despliegue:
- Primero genera su propio plan de video: $z_S = f^{vid}_{\theta}(h_S)$ .
- Luego predice acciones condicionadas a su propio plan (aplicando un stop-gradient al tensor del plan): $a_S = f^{act}_{\theta}(h_S, \text{sg}(z_S))$ .
- Esto asegura que la rama de acción aprenda a operar bajo el plan de video que realmente utilizará en tiempo de inferencia, evitando el desajuste de la interfaz condicional.
Objetivo Conjunto: El objetivo de entrenamiento combina tres componentes actualizados mediante adaptadores JointLoRA de rango 8 ligeros a través del backbone Transformer compartido de 30 bloques:
- Pérdida de Video: Una penalización pseudo-Huber que alinea el plan de video generado por el estudiante ( $z_S$ ) con el objetivo del profesor ( $z_T$ ).
- Pérdida de Acción: Una penalización pseudo-Huber que alinea la acción del estudiante ( $a_S$ ) con el objetivo del profesor ( $a_T$ ).
- Regularizador de Flow-Matching: Una pérdida auxiliar en el límite de alto ruido para retener las señales de aprendizaje de flow-matching para el flujo de acción.
- La pérdida total es: $L(\theta) = \lambda_z \rho_\delta(z_S - z_T) + \lambda_a \rho_\delta(a_S - a_T) + \lambda_{FM} \|v^{act}_\theta(x^a_{\sigma=1}, 1, c) - (\epsilon_a - a_T)\|^2_2$ .

Contribuciones Clave

Identificación del Desajuste de Condicionamiento: Los autores señalan un modo de fallo específico en la OPD de WAMs basados primero en video, donde entrenar las acciones sobre un plan de video del profesor crea un desajuste con la condición de despliegue del estudiante.
Pérdida Conjunta de Video-Acción y Actualización LoRA: Definen un objetivo conjunto y una estrategia de actualización eficiente en parámetros (JointLoRA) para WAMs compartidos basados en flujo que respeta el grafo de despliegue mientras utiliza la alineación de video para reducir la brecha entre los planes del profesor y el estudiante.
Validación Empírica: El artículo proporciona evaluaciones emparejadas exactas en dos tareas de RoboTwin 2.0, demostrando que la misma receta mejora las tasas de éxito en ambos entornos, aunque con magnitudes variables.

Resultados
Los autores evaluaron WAM-OPD en dos tareas en el entorno de simulación RoboTwin 2.0: HANDOVER MIC (transferir un micrófono entre las manos del robot) y PUT OBJECT CABINET (colocar un objeto en un cajón). Utilizando como línea base un Flash-WAM de un solo paso de video/acción liberado:

HANDOVER MIC: La tasa de éxito mejoró del 0.0% (línea base) al 58.3%.
PUT OBJECT CABINET: La tasa de éxito mejoró del 16.7% (línea base) al 33.3%.

Estos resultados se obtuvieron utilizando ocho trayectorias de estudiantes, 160 contextos etiquetados por el profesor y 120 pasos del optimizador, evaluados en seis semillas de escena mantenidas fuera del conjunto de entrenamiento bajo dos bancos de ruido fijos.

Significancia y Reivindicaciones
El artículo posiciona a WAM-OPD como una prometedora interfaz de post-entrenamiento para los WAMs basados primero en video, en lugar de un método terminado y universalmente generalizable. Los autores declaran explícitamente que los resultados constituyen una "prueba inicial de capacidad" en lugar de evidencia de una generalización amplia o uniforme.

La significancia radica en demostrar que la supervisión densa del profesor sobre las historias inducidas por el estudiante puede reparar eficazmente las capacidades de las tareas en los WAMs acelerados sin recurrir al RL de recompensa dispersa. Los autores enfatizan que las magnitudes de mejora variables entre tareas resaltan la dependencia de la tarea de la evidencia actual. Reconocen limitaciones, incluyendo el tamaño pequeño de la muestra, el uso de un paquete de trayectoria fijo (que es estrictamente on-policy solo para el colector inicial) y la falta de comparaciones de cómputo igualado con otros métodos como SFT o RL. El trabajo sirve como una sección vertical que establece la viabilidad de la destilación consistente con el despliegue para esta familia específica de modelos.

Resumen Técnico: WAM-OPD

Más como este