Resumen Técnico: TBD-VLA (Modelo de Visión, Lenguaje y Acción de Difusión por Bloques Temporales)

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) buscan mapear observaciones visuales e instrucciones en lenguaje natural hacia acciones ejecutables por un robot. Un desafío central en este dominio es equilibrar la coherencia temporal con la eficiencia de la inferencia.

• Limitaciones Autoregresivas: Los modelos VLA actuales basados en tokens discretos generan acciones token por token. Si bien esto captura bien las dependencias temporales, la naturaleza secuencial resulta en una alta latencia de inferencia, lo que los hace inadecuados para el control robótico de alta frecuencia y bucle cerrado.
• Limitaciones de la Decodificación en Paralelo: Enfoques recientes intentan mejorar la velocidad mediante la decodificación paralela o cabezales de flow-matching. Sin embargo, estos métodos suelen carecer de mecanismos explícitos para modelar las dependencias temporales entre bloques de acción, lo que puede comprometer la coherencia de las trayectorias de largo horizonte.
• La Brecha: Existe la necesidad de un marco que unifique la eficiencia de la decodificación paralela con la estructura temporal inherente a las secuencias de acción, sin desacoplar el núcleo del Modelo de Visión-Lenguaje (VLM) del proceso de generación de acciones.

Metodología: TBD-VLA

Los autores proponen TBD-VLA, un marco VLA basado en tokens discretos que formula la generación de acciones como difusión discreta por bloques. Este enfoque particiona las secuencias de acción en bloques temporales, permitiendo la decodificación paralela dentro de los bloques mientras mantiene la generación autoregresiva a través de los mismos.

1. Arquitectura del Modelo y Tokenización

• Núcleo (Backbone): El modelo utiliza un núcleo VLM (específicamente Qwen3-VL 2B en los experimentos) aumentado con tokens especiales para enmascaramiento, marcadores de posición (placeholders) y acciones.
• Discretización: Las características de acción (propiocepción y salidas de control) se discretizan en contenedores (bins) y se tokenizan utilizando un vocabulario compartido. Un bloque de acción $A_t$ se representa como una secuencia de tokens.
• Estructura de Bloque Temporal: El horizonte de acción se divide en $K$ bloques de tamaño $m$. La probabilidad de la secuencia de acción se factoriza sobre estos bloques:
  $$p(a_{1:H_p} | o, g) = \prod_{k=0}^{K-1} p_\theta(a_{km+1:(k+1)m} | o, g, a_{1:km})$$

2. Pipeline de Entrenamiento

El proceso de entrenamiento adapta el objetivo de predicción del siguiente token del VLM al paradigma de difusión discreta a través de tres mecanismos clave:

• Desplazamiento de Token a Nivel Temporal: Para alinearse con la naturaleza autoregresiva del VLM, el modelo se entrena de tal manera que los tokens en el bloque de acción actual predicen el siguiente bloque de acción. Esto cierra la brecha entre la autodifusión reconstructiva y el modelado de secuencias causales.
• Difusión de Bloque Discreta:
  • Proceso de Avance (Forward Process): Los bloques de acción limpios son corrompidos mediante el enmascaramiento aleatorio de tokens.
  • Proceso de Reversa (Reverse Process): El modelo predice los tokens limpios para un bloque $k$ condicionado por un bloque "predictor desplazado" $z_k$. Para el primer bloque, $z_k$ es un ancla de máscaras; para los bloques subsiguientes, $z_k$ consiste en los bloques precedentes limpios.
  • Función de Pérdida: El objetivo es la entropía cruzada promedio sobre los tokens de acción enmascarados.
• Enmascaramiento de Atención de Doble Diseño (Doubled-Layout): Para manejar simultáneamente el paralelismo intra-bloque y la autoregresión inter-bloque, la entrada de entrenamiento concatena la secuencia limpia y la secuencia con ruido. Una máscara de atención personalizada permite que el modelo atienda a los bloques limpios previos y al bloque ruidoso actual en una sola pasada, acelerando significamente el entrenamiento.

3. Estrategia de Inferencia

• Decodificación por Bloques: Durante la inferencia, los bloques de acción se generan secuencialmente. Dentro de cada bloque, los tokens se refinan en paralelo a lo largo de $n_d$ pasos de difusión discreta.
• Decodificación según sea Necesario (Decode-as-Needed): En lugar de generar el horizonte completo, la política solo decodifica la cantidad de bloques requerida para el horizonte de ejecución actual ($K_{exec}$), reduciendo el total de pasos de eliminación de ruido (denoising).
• Caché de KV de Prefijo: Los estados de clave-valor (key-value) para las entradas visuales, los prompts y los bloques de acción generados previamente se almacenan en caché para evitar cálculos redundantes durante los pasos iterativos de eliminación de ruido.
• Muestreo de Expectativa: En lugar de seleccionar el token más probable individualmente (argmax), el modelo decodifica valores de acción escalares computando la expectativa sobre la distribución completa de tokens predichos, proporcionando una señal más fina.
• Fragmentación en Tiempo Real (Real-Time Chunking - RTC): Para mitigar la latencia en el control de bucle cerrado, TBD-VLA soporta la ejecución asíncrona. Congela la cola de las acciones generadas previamente (correspondiente a la ventana de latencia de inferencia) y las utiliza como contexto para el "in-painting" de los siguientes bloques de acción. Esto se alinea con el objetivo de entrenamiento de completar bloques de acción parcialmente comprometidos.

Contribuciones Clave

1. Marco TBD-VLA: Un nuevo marco VLA que combina la decodificación de acciones en paralelo con la autoregresión a nivel temporal mediante la difusión de bloques discretos.
2. Esquema de Entrenamiento: Un pipeline específico que incorpora el desplazamiento de tokens temporales y el enmascaramiento de atención de doble diseño para entrenar eficientemente la difusión por bloques en núcleos VLM.
3. Evaluación Exhaustiva: Experimentos extensos que demuestran una fuerte generalización y robustez a través de múltiples entornos de simulación (LIBERO, SimplerEnv) y tareas de manipulación en el mundo real.

Resultados Experimentales

Los autores evaluaron TBD-VLA contra modelos de vanguardia (ej. $\pi0.5$, GR00T-N1, OpenVLA-OFT) tanto en entornos de simulación como en entornos reales.

• Simulación (LIBERO): TBD-VLA alcanzó una tasa de éxito promedio del 97.6% en el benchmark LIBERO, superando a los métodos previos de vanguardia. Bajo retrasos de inferencia (latencia simulada), TBD-VLA con RTC mantuvo una tasa de éxito del 93.2%, superando significativamente a las bases sin RTC (que cayeron al 72.3%).
• Robustez (LIBERO-Plus): El modelo demostró una alta robustez frente a perturbaciones (disposición de objetos, ángulo de cámara, iluminación), logrando una tasa de éxito promedio del 83.0%, superando al segundo mejor método por un 15.1%.
• Transferencia al Mundo Real:
  • SimplerEnv: TBD-VLA logró un 66.8% de éxito en tareas de Widow-X y un 91.0% en tareas de Google Robot (coincidencia visual), superando a la mayoría de las bases.
  • Manipulación Física: En tareas de mesa en el mundo real (ej. "Todo en el contenedor", "Cargar tostadora"), TBD-VLA alcanzó una tasa de éxito promedio del 67.1% en escenarios de perturbación, comparado con el 50.0% de la base $\pi0.5$.
• Eficiencia: El modelo logró una latencia de inferencia de 0.086s (en una GPU NVIDIA RTX A40) con optimizaciones (caché de KV, compilación), lo cual es competitivo con otros modelos VLA rápidos mientras retiene la coherencia temporal.

Significado y Afirmaciones

El artículo afirma que TBD-VLA ofrece un camino escalable hacia modelos VLA discretos, rápidos y con conciencia temporal. Al unificar la autoregresión temporal y la decodificación paralela, el marco aborda el compromiso entre la velocidad de inferencia y la coherencia de la acción.

Los autores enfatizan que el modelado temporal explícito permite la ejecución asíncrona (vía RTC), lo cual es crítico para el control en tiempo real. Los resultados sugieren que la difusión por bloques es una dirección prometedora para mejorar la generalización y robustez de las políticas robóticas sin sacrificar la eficiencia requerida para el control de bucle cerrado.

El documento se mantiene modesto respecto a sus limitaciones, señalando que se centra en la adopción de la difusión por bloques dentro de VLA y deja como trabajo futuro la exploración de estrategias de entrenamiento alternativas (ej. co-entrenamiento con objetivos auxiliares) y interpretaciones más profundas de cómo las representaciones de los VLM se transforman en acciones ejecutables. También reconoce que, aunque es robusto, el modelo aún puede fallar bajo condiciones extremas fuera de la distribución (ej. cambios significativos en el ángulo de la cámara en tareas de transferencia de líquidos).