TempoVLA: Learning Speed-Controllable Vision-Language-Action Policies

Resumen Técnico: TempoVLA

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) existentes para la manipulación robótica heredan una velocidad de ejecución única y fija de sus demostraciones de entrenamiento. Esta rigidez es una limitación significativa porque las tareas de manipulación en el mundo real alternan entre fases de tránsito de bajo riesgo (que requieren una ejecución rápida) y etapas de contacto de alto riesgo (que demandan un movimiento lento y preciso). Los esfuerzos actuales para alterar la velocidad de ejecución —como la compresión de modelos, el reuso de caché KV o el aprendizaje por refuerzo— suelen desplazar la política hacia una velocidad fija diferente en lugar de permitir un control explícito y bajo demanda. Además, estos métodos se centran casi exclusivamente en la aceleración, dejando la deceleración (esencial para la inserción de precisión y transferencias frágiles) prácticamente inexplorada. El desafío central es dotar a un único VLA de un control de velocidad bidireccional explícito sin tener que reentrenar su arquitectura base desde cero ni recolectar nuevos datos.

Metodología

Los autores proponen TempoVLA, un marco que permite a una política VLA única ejecutar tareas a velocidades variables controladas por una condición escalar explícita $s$. El enfoque consta de dos componentes acoplados: una estrategia de aumentación del lado de los datos y un mecanismo de condicionamiento del lado del modelo.

1. Aumentación de Trayectorias de Velocidad Variable (VSTA)

VSTA es una estrategia de aumentación de datos en línea que re-temporaliza cualquier demostración existente a una velocidad objetivo $s$ preservando la semántica del movimiento. Opera en tres pasos:

• Segmentación Consistente con el Movimiento: Las demostraciones se segmentan basándose en modos de movimiento (quieto, traslación, rotación, o traslación-y-rotación) y eventos de la pinza (gripper). Los límites se colocan en los cambios de modo o reversiones de dirección para asegurar la consistencia semántica.
• Transformación de Velocidad a Nivel de Fragmento (Chunk): Dentro de cada segmento, la velocidad objetivo $s$ se realiza mapeando $q$ fotogramas de origen a $p$ fotogramas de salida ($s = q/p$). El movimiento total $\Delta$ de un fragmento se acumula y luego se divide nuevamente en $p$ pasos de magnitud igual mediante interpolación lineal. Esto preserva el movimiento integrado del fragmento mientras altera la trayectoria dentro del mismo fragmento. Esta operación es válida para espacios de acción cerrados bajo la suma (por ejemplo, traslaciones cartesianas, velocidades articulares y vectores de ángulo-eje).
• Muestreo de Inicio de Fragmento en Línea: Para evitar descartar observaciones durante el proceso de re-temporalización, el desplazamiento inicial de los fragmentos se randomiza para cada muestra de entrenamiento. Esto asegura que, a lo largo del entrenamiento, cada fotograma de origen sirva eventualmente como un inicio de fragmento válido, contribuyendo a la señal de entrenamiento.

2. Mecanismo de Condicionamiento de Velocidad

La política $\pi_\theta(o_t, s)$ se entrena con el conjunto de datos aumentado con el escalar de velocidad $s$ introducido como una entrada de condicionamiento explícita. El artículo evalúa tres esquemas de inyección ligeros:

• Prefijo Textual: Anteponer una frase (por ejemplo, "Realiza la tarea a 1.5x de velocidad") a la instrucción de lenguaje.
• RMSNorm Modulada por Velocidad: Utilizar un pequeño MLP para embeber $s$ y sumarlo a la incrustación de tiempo (timestep embedding), el cual modula el RMSNorm de las capas del experto de acción.
• Soft Prompt con Anclajes de Velocidad: Insertar tokens de prompt suave aprendibles correspondientes a anclajes de velocidad discretos en la entrada del codificador.

Los experimentos indican que el control de velocidad puede inyectarse con un esfuerzo de ingeniería mínimo y es ampliamente independiente del mecanismo de condicionamiento específico, eligiéndose el prefijo textual como el predeterminado por su simplicidad y flexibilidad.

3. Control de Velocidad Dinámico con Programador VLM

Más allá de los comandos fijos, TempoVLA soporta la programación de velocidad dinámica automatizada cuando se empareja con un Modelo de Lenguaje-Visión (VLM) de alto nivel. El VLM observa la escena y despacha comandos de velocidad por fragmento, permitiendo al sistema acelerar durante fases de tránsito de bajo riesgo y decelerar durante las fases de contacto de alto riesgo sin intervención humana.

Resultados Clave

Simulación (Benchmark LIBERO)

• Factibilidad: VSTA genera con éxito demostraciones ejecutables a través de un rango de velocidades (0.5x a 2x) con un error de movimiento insignificante ($< 5 \times 10^{-8}$).
• Ganancias de Rendimiento: Entrenar con VSTA mejora la tasa de éxito de la base de 1x en comparación con una línea base de velocidad única. El rendimiento máximo ocurre a menudo a velocidades moderadas (1.25x o 1.5x), lo que sugiere que la compresión de VSTA del "relleno de ritmo" (rhythm padding) en los datos de teleoperación conduce a una ejecución más decisiva.
• Granularidad: Una granularidad de velocidad más fina en el entrenamiento (por ejemplo, un rango de 7 velocidades) produce un mejor rendimiento en todas las velocidades en comparación con rangos más gruesos.
• Límites: A velocidades extremas (por ejemplo, 4x), el rendimiento se degrada debido a la incapacidad del controlador de bajo nivel para seguir magnitudes de acción grandes dentro de un intervalo de control único, no debido a un fallo de la política.

Experimentos en el Mundo Real

• Configuración: Desplegado en un brazo Franka de 7-DoF con una pinza paralela a través de cinco tareas (pick-and-place y manipulación de objetos deformables).
• Tasa de Éxito: VSTA aumentó la tasa de éxito base de 1x del 80.0% (línea base) al 88.0%.
• Programación Dinámica: Al emparejarse con un programador GPT-4o, el sistema alcanzó una tasa de éxito promedio del 96%, superando la mejor configuración de velocidad fija. El programador identificó correctamente las fases (espacio libre vs. contacto) y ajustó las velocidades en consecuencia, aunque se mantuvo conservador, rara vez despachando la velocidad máxima de 1.5x.
• Velocidad Realizada: La velocidad de ejecución realizada siguió de cerca las velocidades comandadas (por ejemplo, 1.29x realizada para un comando de 1.25x), confirmando la traducción fiel de las predicciones de la política a la ejecución de hardware.

Significado y Reivindicaciones

El artículo afirma que TempoVLA proporciona una solución ligera y plug-and-play para el control bidireccional de velocidad en los VLA existentes. Sus principales contribuciones son:

1. Control Bidireccional: Permite tanto la aceleración como la deceleración desde una única política, abordando un vacío en trabajos previos que se centraban principalmente en la aceleración.
2. Eficiencia de Datos: Logra esto sin recolectar nuevos datos, utilizando VSTA para re-temporalizar las demostraciones existentes.
3. Aumentación Implícita: El proceso de re-temporalización de datos actúa como una aumentación efectiva que mejora el rendimiento base de 1x, forzando a la política a aprender características más finas de los objetos y las metas en lugar de memorizar mapeos fijos de observación-a-magnitud.
4. Programación Dinámica: Demuestra que la velocidad de ejecución puede servir como un nuevo canal de control para razonadores de alto nivel (VLMs), permitiendo una ejecución consciente de las fases donde el robot equilibra autónomamente la velocidad y la precisión.

Los autores enfatizan que, si bien la política en sí soporta un amplio rango de velocidades, el límite superior de la velocidad realizada está gobernado por el ancho de banda de seguimiento del controlador de bajo nivel, lo que sugiere que el trabajo futuro podría implicar el co-ajuste del controlador para explotar plenamente el envolvente de control de velocidad de la política.