💻 computer science

dVLA-RL: Reinforcement Learning over Denoising Trajectories for Discrete Diffusion Vision-Language-Action Models

Este artículo presenta dVLA-RL, un marco de aprendizaje por refuerzo para modelos de Visión-Lenguaje-Acción de Difusión Discreta que supera la intratabilidad de las probabilidades marginales de acción mediante la optimización de la probabilidad conjunta de las trayectorias de eliminación de ruido, logrando así un rendimiento de vanguardia en evaluaciones comparativas de manipulación robótica a través de un enfoque unificado de programación de pasos variables.

Autores originales: Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

Publicado 2026-06-23

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuhao Wu, Yitian Liu, Weijie Shen, Mishuo Han, Wenjie Xu, Haotian Liang, Zhongshan Liu, Yinan Mao, Lei Xu, Xinping Guan, Ru Ying, Ran Zheng, Wei Sui, Xiaokang Yang, Wenbo Ding, Yao Mu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le estás enseñando a un robot a cocinar una comida compleja, como un suflé.

La forma antigua (El problema del "imitador"):
Anteriormente, los robots aprendían observando a un chef humano hacerlo una vez e intentando copiar sus movimientos exactamente. Esto se llama "Ajuste Fino Supervisado" (Supervised Fine-Tuning). Funciona bien para tareas sencillas, pero si la cocina se ensucia o los ingredientes son ligeramente diferentes, el robot entra en pánico y falla. Es como un estudiante que se memorizó las respuestas de un examen de práctica pero no sabe resolver un problema nuevo.

La nueva herramienta (El robot de "denoising"):
Recientemente, los científicos construyeron un nuevo tipo de cerebro robótico llamado dVLA (un modelo de acción-lenguaje-visión de difusión discreta). En lugar de decidir el siguiente movimiento instantáneamente, este robot piensa de una manera "ruidosa". Imagina que el robot comienza con una hoja de papel en blanco llena de garabatos (ruido). Luego, va borrando los garabatos, paso a paso, revelando la receta perfecta.

Paso 1: Adivina algunas palabras.
Paso 2: Refina esas palabras basándose en lo que ve.
Paso 3: Finaliza la receta.

Este proceso de "revelación lenta" es excelente porque permite al robot refinar su plan de manera iterativa, como un artista haciendo un boceto antes de entintar un dibujo.

La pieza faltante (La brecha del "Aprendizaje por Refuerzo"):
Aunque este robot de "revelación lenta" era inteligente, seguía siendo un imitador. No había aprendido de sus errores. Los científicos querían utilizar el Aprendizaje por Refuerzo (RL) —un método donde el robot intenta cosas, recibe un "pulgar arriba" (recompensa) por el éxito y un "pulgar abajo" por el fallo, aprendiendo a hacerlo mejor con el tiempo.

El gran problema:
Había un obstáculo matemático. En los cerebros robóticos estándar, puedes calcular fácilmente la probabilidad de obtener la respuesta correcta. Pero en este robot de "revelación lenta", la respuesta final es el resultado de un camino largo y sinuoso de conjeturas. Intentar calcular la probabilidad exacta del resultado final mirando cada posible camino que el robot podría haber tomado es como intentar contar cada grano de arena en una playa para predecir la marea. Es matemáticamente imposible (intratable).

La solución: dVLA-RL (El enfoque del "viaje"):
Los autores de este artículo, dVLA-RL, resolvieron esto cambiando la pregunta. En lugar de preguntar: "¿Cuál es la probabilidad de obtener la respuesta perfecta final?", preguntaron: "¿Cuál es la probabilidad de tomar el camino específico que acabamos de recorrer?".

Piensa en esto como un videojuego:

Matemática antigua: Intentar calcular las probabilidades de ganar todo el torneo antes de que comience el juego.
Nueva matemática (dVLA-RL): Calcular las probabilidades de dar los pasos específicos que acabas de dar para llegar al siguiente nivel.

Al tratar el proceso de "revelación lenta" del robot como un viaje paso a paso (una trayectoria), pudieron enseñar al robot utilizando el aprendizaje por refuerzo estándar. Recompensan al robot por todo el camino que tomó para resolver el problema, no solo por el resultado final.

La estrategia "Híbrida" (El "Programador Inteligente"):
El artículo también introdujo un truco ingenioso llamado Hybrid dVLA-RL.

Tareas fáciles: Si el robot es bueno en una tarea sencilla (como recoger una taza), no necesita dar 10 pasos para pensar. Puede tomar solo 1 o 2 pasos. Esto ahorra tiempo y energía.
Tareas difíciles: Si la tarea es compleja (como apilar una torre de bloques), se le permite al robot tomar más pasos para "pensar" y refinar su plan.

Esto es como un profesor que da un cuestionario rápido para las preguntas fáciles pero permite un formato de ensayo para un trabajo de investigación difícil. Esto hace que el robot sea más rápido en trabajos sencillos y más inteligente en los difíciles.

Los resultados
El equipo probó este método en dos campos de entrenamiento robótico importantes:

LIBERO: Una simulación para robots de un solo brazo. El nuevo método logró una tasa de éxito del 99.7%, perfeccionando esencialmente las tareas.
RoboTwin 2.0: Una simulación más difícil para robots de dos brazos (como un humano). El nuevo método mejoró la tasa de éxito en un 30.6% en comparación con la antigua versión de "imitación", superando a otros cerebros robóticos de alto nivel.

En resumen
El artículo presenta una forma de enseñar a los robots de "pensamiento lento" a aprender de sus propias experiencias. En lugar de quedarse estancados intentando calcular matemáticas imposibles sobre el resultado final, le enseñan al robot a aprender del viaje específico que realizó para llegar allí. Esto hace que los robots sean significativamente mejores siguiendo instrucciones y manejando tareas físicas complejas.

Resumen Técnico: dVLA-RL

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han establecido un paradigma poderoso para la manipulación robótica al fundamentar el control en el razonamiento semántico de los Grandes Modelos de Visión-Lenguaje (VLM). Aunque los VLA de Difusión Discreta (dVLAs) han surgido como una alternativa prometedora que unifica visión, lenguaje y acción en un único espacio de tokens discretos mediante el modelado generativo enmascarado, su entrenamiento se ha visto restringido al Ajuste Fino Supervisado (SFT).

La aplicación de Aprendizaje por Refuerzo (RL) a los dVLAs nativos enfrenta un cuello de botella fundamental: la intratabilidad de la probabilidad marginal de la acción. Los algoritmos estándar de gradiente de política (por ejemplo, PPO) requieren la probabilidad exacta de la acción ejecutada final, $\pi_\theta(a_t | s_t)$ . Sin embargo, en los modelos de difusión discreta, la acción final es el resultado de un proceso de eliminación de ruido estocástico de $K$ pasos. Calcular la probabilidad marginal exacta requiere sumar sobre el espacio combinatorio de todas las posibles trayectorias de eliminación de ruido intermedias, lo cual es computacionalmente infactible. Además, aproximar la política utilizando únicamente la salida del último paso ignora los estados intermedios que dictan el despliegue (rollout), lo que conduce a desajustes de gradiente e inestabilidad en el entrenamiento.

Metodología: dVLA-RL

Para abordar esto, los autores proponen dVLA-RL, un marco que desplaza el objetivo de aprendizaje de la intratable probabilidad marginal de la acción hacia la probabilidad conjunta de la trayectoria de eliminación de ruido muestreada.

1. Modelado de Probabilidad a Nivel de Trayectoria

Los autores modelan el proceso de eliminación de ruido como un Proceso de Decisión de Markov (MDP). En lugar de optimizar la probabilidad de la acción final, despliegan el proceso de eliminación de ruido y formulan la probabilidad de la ruta de generación específica muestreada, $\tau = (x_K, \dots, x_0)$ , como un producto de transiciones paso a paso:
$\log \pi_\theta(\tau | s_t) = \sum_{k=1}^K \left[ \log P_{\text{unmask}}(U_k | p_\theta, k) + \sum_{i \in U_k} \log p_\theta(x_{k-1}^i | x_k, s_t) \right]$
donde $U_k$ es el subconjunto de tokens seleccionados para el desmascaramiento en el paso $k$ .

2. Optimización Implícita del Proceso de Desmascaramiento

Un desafío crítico es que el esquema de desmascaramiento de tokens (determinado por un mecanismo Gumbel-TopK) es discreto y no diferenciable. El retropropagación directa a través de las probabilidades de selección de desmascaramiento introduce gradientes de alta varianza.

Solución: Los autores tratan el proceso de desmascaramiento como una dinámica de sistema intrínseca y no diferenciable. Eliminan el término de desmascaramiento del proceso de actualización de gradiente, enfocando el objetivo exclusivamente en las probabilidades de generación de tokens para los tokens que transicionan de [MASK] a un ID de token específico.
Efecto Implícito: Al optimizar la precisión central de la predicción de tokens, la distribución de confianza de la red mejora, lo que optimiza de forma implícita y adaptativa el programador (scheduler) Gumbel-TopK para apuntar a regiones de incertidumbre sin requerir estimadores de gradiente explícitos para el programador mismo.

3. Estrategia Híbrida de Pasos de Eliminación de Ruido

Aprovechando la flexibilidad de la formulación a nivel de trayectoria, los autores introducen un enfoque de dVLA-RL Híbrido. Dado que el marco acomoda naturalmente horizontes de eliminación de ruido variables, se pueden asignar diferentes números de pasos de eliminación de ruido a distintas tareas según su complejidad y el rendimiento inicial de SFT:

Tareas Simples: Menos pasos de eliminación de ruido reducen los costos de despliegue e inferencia manteniendo altas tasas de éxito.
Tareas Complejas: Horizontes de eliminación de ruido más amplios proporcionan acciones iniciales mejores y una exploración en línea más informativa para el refinamiento iterativo.

Principales Contribuciones

Formulación de RL para Difusión Discreta: El artículo formula el aprendizaje por refuerzo para los VLA de difusión discreta nativos optimizando la probabilidad de las trayectorias de eliminación de ruido muestreadas en lugar de la intratable verosimilitud marginal de las acciones finales. Esto proporciona una forma factible de integrar el RL de gradiente de política estándar (PPO) con políticas de eliminación de ruido discreto de múltiples pasos.
Estrategia de Entrenamiento Unificada: Los autores introducen un enfoque de programación de pasos unificado (Hybrid dVLA-RL) que adapta los pasos de eliminación de ruido a las complejidades específicas de cada tarea. Esto equilibra la calidad de la acción, la eficiencia de muestreo y el costo computacional dentro de un solo marco.
Validación Empírica: El marco demuestra que el RL puede mejorar sustancialmente las políticas de VLA de difusión discreta más allá de su inicialización SFT, logrando resultados de vanguardia en entornos estándar.

Resultados Experimentales

Los autores evaluaron dVLA-RL en dos entornos de manipulación robótica: LIBERO (brazo único) y RoboTwin 2.0 (bimanual).

LIBERO: dVLA-RL alcanzó una tasa de éxito promedio del 99.7% en las cuatro suites (Espacial, Objeto, Objetivo, Largo), superando tanto a los modelos base de SFT como a los existentes modelos VLA/World-Action Model (WAM).
RoboTwin 2.0: El método entregó una mejora absoluta del 30.6% sobre la línea base MM-ACT de solo SFT (subiendo de un 61.4% a un 92.0% de tasa de éxito promedio). Logró el mejor rendimiento entre los métodos basados en VLA en este desafiante entorno bimanual y se mantuvo competitivo con los fuertes modelos base de WAM.
Estudios de Ablación:
- Trayectoria vs. Último Paso: Las comparaciones mostraron que el modelado a nivel de trayectoria es necesario; un proxy de "solo último paso" condujo a un entrenamiento inestable y menores tasas de éxito, particularmente a medida que aumentaba el número de pasos de eliminación de ruido.
- Estrategia Híbrida: El enfoque híbrido mejoró con éxito la eficiencia de muestreo, logrando mayores tasas de éxito con menos pasos de interacción con el entorno en comparación con las estrategias de pasos fijos.

Significado y Reivindicaciones

El artículo afirma que dVLA-RL resuelve el desajuste fundamental entre los procesos de difusión discreta de múltiples pasos y los objetivos estándar de RL. Al reformular el objetivo de optimización hacia la probabilidad conjunta de la trayectoria de eliminación de ruido, los autores permiten la primera aplicación exitosa de RL en línea a las políticas de VLA de difusión discreta nativa.

Los resultados sugieren que la difusión discreta es un paradigma de generación de acciones prometedor para las políticas VLA optimizadas por RL, capaz de alcanzar un rendimiento de vanguardia tanto en tareas de manipulación de un solo brazo como en tareas bimanuales complejas. El trabajo destaca que la "intratabilidad" de las probabilidades marginales en los modelos de difusión puede evitarse alineando el objetivo de RL con la ruta de ejecución real del proceso de eliminación de ruido, desbloqueando así el potencial para el refinamiento de políticas más allá del aprendizaje por imitación (behavior cloning).