DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors

1. Planteamiento del Problema

Los sistemas de IA física (robots) operan en entornos dinámicos donde el mundo evoluciona continuamente. A diferencia de los chatbots o generadores de imágenes, los robots no pueden permitirse pausar la ejecución mientras la política está calculando.

• El Cuello de Botella: Los modelos modernos Visión-Lenguaje-Acción (VLA) suelen utilizar Agrupación de Acciones (Action Chunking) (generar una secuencia de acciones futuras de una sola vez) para mejorar la estabilidad. Sin embargo, la ejecución síncrona estándar impone una pausa obligatoria entre grupos mientras se genera el siguiente grupo.
• La Consecuencia: En tareas dinámicas (por ejemplo, rastrear objetos en movimiento), esta pausa entre grupos hace que el robot permanezca inactivo mientras el mundo se mueve, lo que lleva al fracaso.
• Solución Actual y Limitaciones: La Agrupación en Tiempo Real (RTC) intenta resolver esto tratando las transiciones entre grupos como un problema de reconstrucción (inpainting): congelar las acciones comprometidas del grupo anterior y generar el resto para garantizar suavidad.
  • Las implementaciones actuales de RTC dependen de políticas de Ajuste de Flujo (Flow-Matching).
  • Defectos Críticos de RTC con Ajuste de Flujo:
    1. Desajuste en el Pre-entrenamiento: Los modelos de ajuste de flujo se pre-entrenan con niveles de ruido consistentes, no con los patrones de ruido mixto requeridos para la reconstrucción (prefijo congelado + futuro ruidoso). Escalar el pre-entrenamiento no mejora el rendimiento asíncrono.
    2. Sobrecarga de Ajuste Fino: Lograr una buena reconstrucción requiere un ajuste fino dedicado con patrones de ruido y funciones de pérdida específicas, lo cual es computacionalmente costoso y arriesga degradar la calidad de generación base.
    3. Guía Heurística: RTC requiere horarios de guía externos y diseñados a mano (por ejemplo, $\Pi$GDM) para dirigir la generación hacia el prefijo congelado. Estos son inflexibles y requieren ajuste.
    4. Penalización de Latencia: El término de corrección externo en el ajuste de flujo aproximadamente duplica el costo de inferencia por paso, irónicamente aumentando la latencia que RTC pretende ocultar.

2. Metodología: DiscreteRTC

Los autores proponen DiscreteRTC, un marco que reemplaza la cabeza de acción de Ajuste de Flujo con una Política de Difusión Discreta. La idea central es que las políticas de difusión discreta son "ejecutores asíncronos naturales" porque su operación nativa es el desenmascaramiento iterativo, lo cual se alinea perfectamente con el requisito de reconstrucción.

Mecanismos Clave

1. Reconstrucción Nativa mediante Pre-entrenamiento:

   • Los modelos de difusión discreta se pre-entrenan para reconstruir secuencias de tokens enmascarados aleatoriamente.
   • En RTC, las acciones "congeladas" del grupo anterior se tratan como tokens desenmascarados, y las acciones futuras están enmascaradas.
   • El modelo simplemente realiza un pase hacia adelante para desenmascarar los tokens futuros. No se necesita corrección externa ni ajuste fino porque el modelo ya ha aprendido esta tarea exacta durante el pre-entrenamiento.

2. Guía Natural mediante Parada Temprana:

   • A diferencia de la difusión continua donde la salida solo es válida al final del proceso, la difusión discreta produce tokens semánticos válidos tan pronto como se desenmascaran.
   • El sistema puede salir anticipadamente de la inferencia una vez que se desenmascaran la cantidad necesaria de acciones (el horizonte de ejecución).
   • Los tokens parcialmente enmascarados restantes de la inferencia actual sirven como una señal de guía natural y adaptativa para el siguiente ciclo de inferencia, eliminando la necesidad de horarios de ponderación heurística.

3. Costo de Inferencia Reducido:

   • Dado que el modelo comienza desde un estado intermedio (parcialmente desenmascarado) y solo necesita desenmascarar los tokens futuros restantes, el número total de pasos de desenmascaramiento por inferencia se reduce significativamente en comparación con generar un grupo completo desde cero.
   • Esto conduce a una sobrecarga computacional menor en comparación con RTC de Ajuste de Flujo, que añade costos pesados de corrección.

3. Contribuciones Clave

• Insight Estructural: Se identificó que las Políticas de Difusión Discreta son estructuralmente superiores al Ajuste de Flujo para la ejecución asíncrona porque la reconstrucción es su operación nativa.
• Marco DiscreteRTC: Se propuso un método que logra la ejecución asíncrona con 0 líneas de código para la lógica de reconstrucción asíncrona (confiando únicamente en el pase hacia adelante de la política base).
• Eliminación de Sobrecarga: Se eliminó la necesidad de:
  • Ajuste fino específico para reconstrucción.
  • Horarios de guía heurística ($\Pi$GDM).
  • Cálculo de inferencia adicional para correcciones.
• Mejoras de Rendimiento: Se demostró que DiscreteRTC es más rápido (menor latencia) y más preciso (mayor tasa de éxito) que RTC de Ajuste de Flujo del estado del arte.

4. Resultados Experimentales

A. Puntos de Referencia Simulados (Kinetix)

• Configuración: Evaluado en tareas de física dinámica con variaciones en los retrasos de inferencia ($d$).
• Métricas: Tasa de Resolución y Rendimiento (Throughput).
• Resultados:
  • DiscreteRTC superó consistentemente a ContinuousRTC (Ajuste de Flujo) y otras líneas base (Naive, Decodificación Bidireccional) en todos los ajustes de retraso.
  • Eficiencia: DiscreteRTC requirió menos pasos iterativos por política en comparación con ContinuousRTC.
  • Ajuste Fino: DiscreteRTC logró tasas de éxito más altas que "Continuous RTC en tiempo de entrenamiento" (que requirió ajuste fino explícito), demostrando la eficacia del enfoque "sin ajuste fino".

B. Manipulación Dinámica en el Mundo Real

• Configuración: Robot UR5e con pinza Robotiq realizando Sujeción Dinámica (agarrar objetos en movimiento) y Colocación Dinámica (colocar en plataformas en movimiento).
• Líneas Base: Métodos Síncronos (Sync) y variantes de RTC que utilizan tanto Ajuste de Flujo como Difusión Discreta.
• Hallazgos Clave (Tabla 1):
  • Tasa de Éxito: Los métodos síncronos fallaron completamente (0%). DiscreteRTC logró 100% en Colocación Dinámica y 95% en Sujeción Dinámica, superando significativamente a ContinuousRTC (45% en Sujeción Dinámica).
  • Latencia de Inferencia:
    • ContinuousRTC aumentó el tiempo de inferencia en ~1.7x (de 151 ms a 256 ms) debido a las correcciones de $\Pi$GDM.
    • DiscreteRTC redujo el tiempo de inferencia en ~0.7x (de 303 ms a 206 ms) porque se necesitaban desenmascarar menos tokens.
  • Conclusión: DiscreteRTC es tanto más rápido como más preciso que RTC de Ajuste de Flujo en escenarios del mundo real.

5. Significado

• Cambio de Paradigma: El artículo desafía el dominio del Ajuste de Flujo en las cabezas de acción VLA para el control en tiempo real, sugiriendo la Difusión Discreta como una alternativa superior para tareas dinámicas.
• Despliegue Práctico: Ofrece una solución "plug-and-play" para robótica en tiempo real que no requiere ingeniería compleja (ninguna función de pérdida personalizada, ningún ajuste heurístico, ningún cómputo adicional).
• Escalabilidad: Al aprovechar el pre-entrenamiento directamente para la ejecución asíncrona, el método escala naturalmente con modelos y conjuntos de datos más grandes, a diferencia de RTC de Ajuste de Flujo, que alcanza un techo de rendimiento sin un ajuste fino costoso.
• Direcciones Futuras: Los autores destacan que se pueden lograr mayores avances desarrollando tokenizadores conscientes del tiempo y VLAs unificados de difusión discreta, pero el método actual ya establece un nuevo estado del arte para la ejecución asíncrona.

En resumen, DiscreteRTC demuestra que al alinear la arquitectura de la política (Difusión Discreta) con el requisito de ejecución (Reconstrucción Asíncrona), se puede lograr un rendimiento superior, menor latencia e implementación más sencilla en comparación con los enfoques actuales basados en Ajuste de Flujo.