💻 computer science

DriftingVLA: Native One-Step Vision-Language-Action Generation via Per-Dimension Temporal Drifting

DriftingVLA es un modelo nativo de visión-lenguaje-acción de un solo paso que utiliza un objetivo de deriva de distribución con Deriva Temporal por Dimensión para generar bloques de acción completos en una sola pasada hacia adelante, logrando un rendimiento de vanguardia en tareas de referencia mientras ofrece una aceleración de 3.36 veces sobre los métodos convencionales basados en flujo de múltiples pasos.

Autores originales: Yuxuan Gao, Shiqi Zhang, Yedong Shen, Yifan Duan, Wenhao Yu, Xin Zhang, Siyuan Cao, Jiajun Deng, Yanyong Zhang

Publicado 2026-09-01

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yuxuan Gao, Shiqi Zhang, Yedong Shen, Yifan Duan, Wenhao Yu, Xin Zhang, Siyuan Cao, Jiajun Deng, Yanyong Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los robots que pueden ver, comprender el lenguaje y moverse con una fluidez similar a la humana han sido durante mucho tiempo el sueño de la inteligencia artificial. Durante años, los investigadores han construido sistemas que combinan una poderosa comprensión visual y lingüística con la capacidad de controlar brazos robóticos. Estos sistemas, conocidos como modelos de visión-lenguaje-acción, actan como el cerebro del robot, recibiendo lo que la cámara ve y las palabras que un humano pronuncia, para luego decidir cómo mover las articulaciones del robot para completar una tarea. Sin embargo, un cuello de botella significativo ha frenado a estas máquinas para lograr una verdadera capacidad de respuesta en tiempo real. Para generar una secuencia de movimientos fluida, estos modelos dependen tradicionalmente de un proceso complejo de múltiples pasos. Imagine intentar dibujar un círculo perfecto realizando pequeñas y vacilantes correcciones en cada uno de los puntos a lo largo de la línea; el robot tiene que calcular una trayectoria, dar un paso, revisar su trabajo y luego dar otro paso, repitiendo este ciclo muchas veces por cada movimiento que realiza. Si bien este método produce resultados de alta calidad, es lento, introduciendo un retraso que hace que el robot se sienta torpe e insensible en un mundo dinámico.

Un equipo de investigadores ha introducido ahora un nuevo enfoque que cambia fundamentalmente la forma en que estos robots planifican sus movimientos, permitiéndoles generar una secuencia completa de acciones en un solo instante. Su trabajo, centrado en un sistema que llaman DriftingVLA, reemplaza el lento proceso de corrección iterativa con un método que aprende a predecir todo el movimiento futuro a la vez. En lugar de calcular una trayectoria paso a paso durante la tarea real, el sistema aprende una conexión directa entre un punto de partida aleatorio y el movimiento final deseado durante su fase de entrenamiento. Este cambio permite al robot saltarse los cálculos repetitivos por completo durante su despliegue, pasando directamente a la acción correcta. En pruebas que involucran tareas de manipulación complejas, este nuevo método no solo igualó la precisión de los sistemas antiguos y más lentos, sino que también hizo que el robot fuera más de tres veces más rápido, reduciendo el tiempo que tarda en decidir un movimiento de más de doscientos milisegundos a menos de setenta.

El núcleo de este avance reside en cómo los investigadores enseñaron al robot a comprender la relación entre sus diferentes partes móviles. Un brazo robótico no solo se mueve en una sola línea; tiene múltiples articulaciones y grados de libertad que deben trabajar en conjunto, como moverse hacia adelante, rotar y abrir una pinza. Los intentos previos de acelerar estos sistemas a menudo trataban todo el movimiento como un gran bloque o lo dividían en momentos diminutos y desconectados en el tiempo. El nuevo enfoque, sin embargo, reconoció que cada dirección específica de movimiento —como el levantamiento vertical de una pinza o la rotación de una muñeca— tiene su propio ritmo y patrón estadístico único. Los investigadores desarrollaron una técnica llamada Per-Dimension Temporal Drifting (Desplazamiento Temporal por Dimensión), que trata el historial completo de cada dirección de movimiento individual como una unidad separada para ser aprendida. Esto permite al sistema comprender los matices específicos de cómo debe abrirse una pinza o cómo debe girar una muñeca, sin forzar estos diferentes movimientos a conformarse a una única regla matemática rígida.

Crucialmente, este método no sacrifica la capacidad del robot para coordinar sus extremidades. Aunque el sistema aprende los patrones de cada dirección de movimiento por separado, sigue generando todo el plan de acción como un todo unificado. El cerebro del robot, que comprende el lenguaje y la visión, permanece intacto y continúa guiando al experto en acción que produce los movimientos. Al entrenar al sistema para refinar sus predicciones a través de muchos escenarios de "qué pasaría si" simultáneamente, los investigadores se aseguraron de que la decisión de un solo paso sea tan precisa como el resultado de un cálculo lento de múltiples pasos. Esto significa que el robot aún puede realizar tareas delicadas, como verter líquido de un contenedor a otro o apilar bloques con dos brazos trabajando en sincronía, sin la vacilación que afectaba a los modelos anteriores.

Los investigadores probaron este nuevo sistema tanto en entornos simulados como en el mundo real para ver si la velocidad venía acompañada de una pérdida de fiabilidad. En una serie de simulaciones desafiantes que involucraban tareas como recoger objetos y reorganizarlos, el nuevo sistema alcanzó una tasa de éxito de casi el 98,3 por ciento, superando ligeramente a los mejores modelos existentes de múltiples pasos. Al trasladarse a un entorno del mundo real con brazos robóticos físicos, el sistema mantuvo su ventaja, teniendo éxito en el 77,67 por ciento de los ensayos a través de seis tareas diferentes, incluyendo desafíos de coordinación de un solo brazo y de dos brazos. Este rendimiento fue notablemente superior al de otros métodos de un solo paso que intentaban acelerar los sistemas antiguos simplemente acortando su proceso de cálculo, lo que a menudo resultaba en una caída significativa de la precisión. El nuevo método demostró que, al cambiar la forma en que el sistema aprende, en lugar de solo cómo calcula, es posible lograr tanto velocidad como precisión.

Más allá de las cifras brutas, el estudio destacó las ganancias de eficiencia que se obtienen al eliminar el bucle de cálculo repetitivo. En el mundo real, donde cada fracción de segundo cuenta, el nuevo sistema redujo el tiempo requerido para generar un bloque de movimiento de 227,61 milisegundos a 67,67 milisegundos. Esto representa una aceleración de más de tres veces, eliminando efectivamente el retraso que hace que los robots se sientan desconectados de su entorno. Si bien el proceso de entrenamiento requirió un poco más de potencia informática para manejar los múltiples escenarios de "qué pasaría si" durante la fase de aprendizaje, este costo es una inversión de una sola vez. Una vez entrenado, el robot opera con una eficiencia de un solo paso, ligera y que no demanda recursos adicionales. El trabajo demuestra que el futuro de la robótica receptiva puede no residir en construir computadoras más rápidas para ejecutar algoritmos más lentos, sino en rediseñar los algoritmos mismos para que sean inherentemente directos e inmediatos.

Resumen Técnico: DriftingVLA

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) convencionales, particularmente aquellos basados en el ajuste de flujo (flow matching) (p. ej., $\pi_0$ , $\pi_{0.5}$ ), sobresalen en la generación de fragmentos de acción (action chunks) expresivos y continuos. Sin embargo, dependen de la integración numérica iterativa en el tiempo de inferencia para recuperar las acciones a partir de un campo vectorial aprendido. Este proceso requiere múltiples evaluaciones secuenciales del experto de acción (por ejemplo, 10 Evaluaciones de Función de Red o NFEs), lo que introduce una latencia significativa que dificulta el control robótico en línea en tiempo real.

Aunque esfuerzos recientes han intentado acelerar estas políticas mediante la destilación (p. ej., SnapFlow) o adaptando las formulaciones de flujo para la predicción de un solo paso (p. ej., MeanFlowVLA), estos métodos siguen derivándose a menudo del proceso de transporte en el tiempo de inferencia. Existe la necesidad de un VLA nativo de un solo paso que genere un fragmento de acción completo en una sola pasada hacia adelante (forward pass) sin depender de refinamiento iterativo o de resolvedores numéricos durante el despliegue, manteniendo al mismo tiempo el alto rendimiento de control de las políticas de flujo de múltiples pasos.

Metodología

Los autores proponen DriftingVLA, un marco de trabajo que traslada la carga del refinamiento de la distribución de la integración en el tiempo de inferencia a la optimización en el tiempo de entrenamiento mediante el Desplazamiento de Distribución (Distribution Drifting).

1. Generación Nativa de un Solo Paso mediante Desplazamiento de Distribución

A diferencia de los modelos basados en flujo que aprenden un campo de velocidad $v_\theta$ para ser integrado a lo largo del tiempo, DriftingVLA aprende un mapeo directo $f_\theta$ desde el ruido Gaussiano hacia un fragmento de acción completo.

Objetivo de Entrenamiento: El modelo utiliza una formulación de Política Basada en Desplazamiento (DBP). Durante el entrenamiento, para un contexto dado $c_t$ , el modelo genera $G$ fragmentos de acción hermanos a partir de muestras latentes independientes. Se construye un "campo de desplazamiento" utilizando la atracción hacia las trayectorias demostradas y la repulsión de los hermanos generados.
Optimización: En lugar de aplicar el campo de desplazamiento de forma iterativa en la inferencia, las correcciones se absorben en los parámetros del generador mediante un objetivo de regresión con parada de gradiente (stop-gradient). Una vez entrenada, la política ejecuta una única pasada hacia adelante: $\hat{A}_t = f_\theta(Z_t, c_t)$ , donde $Z_t$ es una única muestra de ruido.
Adaptación de la Arquitectura: DriftingVLA conserva el esqueleto multimodal preentrenado (VLM) de $\pi_{0.5}$ , pero inicializa desde cero el experto de acción. El experto de acción se reentrena para mapear el ruido directamente a fragmentos de acción en lugar de predecir velocidades de flujo. El VLM y el experto de acción se post-entrenan conjuntamente, compartiendo el contexto multimodal entre las muestras hermanas para evitar cálculos redundantes.

2. Desplazamiento Temporal por Dimensión (PDTD)

Un desafío crítico al extender el desplazamiento de distribución a los VLA es definir la geometría del fragmento de acción $A \in \mathbb{R}^{H \times D}$ (donde $H$ es el horizonte temporal y $D$ es la dimensión de la acción).

Limitaciones de los Organismos Existentes:
- Desplazamiento por Fragmento (Chunk-wise Drifting): Aplana todo el fragmento, mezclando canales de acción heterogéneos (p. ej., traslación, rotación, pinza) en una única geometría. Esto causa interferencia entre canales donde la escala de una dimensión afecta la señal de desplazamiento de otras.
- Desplazamiento por Paso (Step-wise Drifting): Trata cada paso de tiempo de forma independiente, fragmentando la trayectoria temporal de los canales de acción individuales.
Solución PDTD: Los autores introducen el Desplazamiento Temporal por Dimensión (Per-Dimension Temporal Drifting), que trata la trayectoria temporal completa de cada dimensión de acción individual ( $A_{:,d} \in \mathbb{R}^H$ $A_{:, d} \in R^{H}$ ) como una unidad de desplazamiento separada.
- Geometría: Las estadísticas de desplazamiento (escalas de distancia, afinidades, fuerzas) se computan independientemente para cada dimensión de acción $d$ .
- Generación Conjunta: Crucialmente, PDTD factoriza solo la geometría de entrenamiento, no el generador mismo. El modelo VLA compartido sigue generando el fragmento completo de $H \times D$ de forma conjunta, preservando las dependencias entre dimensiones necesarias para un control coordinado.

Contribuciones Clave

VLA Nativo de un Solo Paso: La extensión de la generación basada en desplazamiento nativo a los VLA preentrenados basados en flujo. Esto se logra preservando el esqueleto multimodal preentrenado mientras se reaprende la interfaz de acción como un generador condicional directo, eliminando la necesidad de integración numérica o destilación de la trayectoria de flujo durante el despliegue.
Desplazamiento Temporal por Dimensión (PDTD): Una nueva organización para el desplazamiento de fragmentos de acción que respeta las distintas semánticas de control y características de distribución de las diferentes dimensiones de acción. PDTD preserva las trayectorias temporales completas por canal mientras separa las geometrías de canales heterogéneos, superando tanto a los enfoques por Fragmento como por Paso.
Evaluación Exhaustiva: Una evaluación extensa a través de entornos de simulación (LIBERO, RoboTwin 2.0) y seis tareas de manipulación de un y dos brazos en el mundo real, demostrando que la generación nativa de un solo paso puede igualar o exceder el rendimiento de las políticas de flujo iterativas mientras reduce significativamente la latencia.

Resultados Experimentales

Rendimiento en Simulación:
- LIBERO: DriftingVLA alcanzó una tasa de éxito general del 98.32%, superando a la política original de 10-NFE $\pi_{0.5}$ (97.10%) y a la línea base de un solo paso SnapFlow (97.48%).
- RoboTwin 2.0: DriftingVLA alcanzó el 81.09%, superando a 10-NFE $\pi_{0.5}$ por 1.51 puntos y a SnapFlow por 2.56 puntos. Notablemente, una truncación estándar de un solo paso de la política $\pi_{0.5}$ estándar cayó al 63.76%, resaltando la necesidad de un entrenamiento nativo.
Rendimiento en el Mundo Real:
- A través de seis tareas del mundo real (brazo único y doble brazo), DriftingVLA logró una tasa de éxito del 77.67%, superando a $\pi_{0.5}$ (74.22%) y a otras líneas base de un solo paso por márgenes significativos.
- PDTD superó consistentemente a las variantes de Fragmento (Chunk-wise) y de Paso (Step-wise) tanto en simulación como en entornos del mundo real.
Eficiencia:
- Latencia: La generación nativa de un solo paso redujo la latencia del fragmento de acción de 227.61 ms (10-NFE) a 67.67 ms, una aceleración de 3.36×.
- Sobrecarga de Entrenamiento: Aumentar el número de muestras hermanas ( $G$ ) de 2 a 8 incrementó las horas de GPU de entrenamiento solo en un 3.78% y la memoria pico en un 9.54%, debido al diseño de muestreo de contexto compartido.

Significancia

El artículo demuestra que el refinamiento iterativo de la acción puede eliminarse del bucle de despliegue sin sacrificar el rendimiento de control. Al trasladar el refinamiento de la distribución a la fase de entrenamiento mediante el desplazamiento de distribución y utilizando una geometría temporal por dimensión, DriftingVLA logra un despliegue nativo de un solo paso. Este enfoque resuelve el cuello de botella de latencia de los VLA basados en flujo mientras mantiene la capacidad de expresión y coordinación requerida para la manipulación robótica compleja, ofreciendo un camino viable hacia el control robótico de alto rendimiento en tiempo real.