Resumen Técnico: Jetson-PI

Planteamiento del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han demostrado un rendimiento notable en tareas corporales al aprovechar modelos de Visión-Lenguaje (VLM) preentrenados y realizar un ajuste fino con conjuntos de datos de demostración robótica. Sin embargo, el despliegue de estos modelos en dispositivos integrados de baja potencia (por ejemplo, NVIDIA Jetson Orin) enfrenta dos barreras críticas:

1. Alta Latencia de Inferencia: La complejidad computacional de los modelos VLA resulta en una latencia de inferencia sustancial (por ejemplo, 1.4s en Jetson Orin), lo que conduce a frecuencias de control bajas (0.7 Hz) y tiempos de reacción lentos.
2. Limitaciones de la Inferencia Asíncrona Existente: Si bien la inferencia asíncrona (paralelizar la ejecución de acciones con la siguiente inferencia) puede ocultar la latencia, introduce dos problemas específicos en dispositivos de borde (edge):
   • Desalineación Percepción-Ejecución: Para cuando un bloque de acción (action chunk) es predicho y ejecutado, el entorno ha evolucionado respecto a la imagen de entrada utilizada para la predicción. Esta desalineación empeora con tiempos de inferencia más largos, lo que provoca una caída en la precisión de la predicción.
   • Largo Tiempo de Reacción: La velocidad de reacción del robot permanece limitada por el tiempo de inferencia del VLA. Además, los métodos asíncronos existentes a menudo requieren bloques de acción extensos para mantener la estabilidad, lo que aumenta aún más el tiempo de reacción promedio ante cambios en el entorno.

El despliegue de modelos VLA en GPUs de alto rendimiento (por ejemplo, RTX 4090) no es una solución viable para la robótica móvil debido a graves problemas de consumo de energía (reduciendo la duración de la batería en 6.0×) y la necesidad de conectividad de red si se ejecutan como servidores.

Metodología: Jetson-PI

Los autores proponen Jetson-PI, un marco para el despliegue eficiente de VLA en dispositivos integrados mediante la Corrección Asíncrona Alineada con la Previsión (Foresight-Aligned Asynchronous Correction). El método aborda los desafíos identificados a través de tres componentes principales:

1. Corrección Asíncrona Alineada con la Previsión

Para resolver la desalineación percepción-ejecución, los autores introducen un módulo de Corrección Futura ligero.

• Mecanismo: En lugar de predecir únicamente imágenes futuras o estados del robot, este módulo predice la representación comprimida futura del VLM (estado latente) en el tiempo $t + \Delta$ (donde $\Delta$ es la latencia de inferencia), condicionado a las acciones comprometidas para su ejecución.
• Entrenamiento: Se utiliza un pipeline de entrenamiento de dos etapas. Primero, el experto de acción aprende a predecir acciones a partir de estados ocultos futuros. Segundo, el módulo de corrección se entrena para predecir estos estados futuros a partir del estado actual y las acciones comprometidas, emitiendo una estimación de confianza.
• Beneficio: Esto permite que el experto de acción prediga acciones basadas en el estado futuro del entorno en lugar de la observación obsoleta, alineando la predicción con el tiempo de ejecución. El módulo es extremadamente ligero (40 millones de parámetros, ~1% del tamaño total del VLA).

2. Optimización de Programación Basada en Confianza

Para reducir el tiempo de reacción, los autores proponen una estrategia de programación dinámica que equilibra las invocaciones del VLM y del Experto de Acción.

• Lógica: El Módulo de Corrección Futura actúa como un programador (scheduler). Si su confianza predicha es superior a un umbral $\theta$, el sistema se salta la pesada inferencia del VLM y confía únicamente en el Experto de Acción para generar los bloques de acción subsiguientes. Si la confianza cae (indicando alta incertidumbre o un cambio significativo en el entorno), se invoca al VLM para actualizar el caché KV y los estados ocultos.
• Racional: Esto evita el enfoque "naíf" de ejecutar el VLM y el Experto de Acción en paralelo, el cual los autores demuestran que es ineficiente en dispositivos de borde debido a la contención de ancho de banda (ambos componentes se vuelven limitados por el ancho de banda en hardware de borde, a diferencia de las GPUs de alto rendimiento donde el VLM está limitado por cómputo).

3. Aceleraciones a Nivel de Sistema

Los autores construyeron un marco de inferencia basado en llama.cpp adaptado a las características de VLA en plataformas de borde:

• Reutilización de CUDA Graphs: Dado que las longitudes de los tokens de VLA son deterministas (resolución de imagen fija e instrucciones cortas), el grafo CUDA se construye una vez y se reutiliza, eliminando la sobrecarga de construcción del grafo.
  um
• Almacenamiento Intermedio Residente en GPU: Los resultados intermedios entre componentes (ViT $\to$ LLM $\to$ Experto de Acción) se mantienen en la memoria de la GPU para evitar la latencia de comunicación CPU-GPU.
• Desenrollado de Flow Matching: Los pasos de eliminación de ruido iterativos del Experto de Acción se desenrollan en un único grafo de computación unificado, reduando el número de llamadas a kernels.

Contribuciones Clave

1. Identificación de Desafíos Específicos de Borde: El artículo destaca que la inferencia asíncrona estándar falla en dispositivos de borde debido a la contención de ancho de banda y a la naturaleza específica de la desalineación percepción-ejecución, la cual no puede resolverse prediciendo únicamente los estados del robot.
2. Corrección Alineada con la Previsión: Un módulo novedoso que predice futuros latentes del VLM condicionados a las acciones comprometidas, permitiendo que el experto de acción opere sobre representaciones ambientales futuras.
3. Programación Adaptativa: Un mecanismo impulsado por la confianza que ajusta dinámicamente la frecuencia de las invocaciones del VLM, reduciendo significativamente el tiempo de reacción sin sacrificar la precisión.
4. Motor de Inferencia Optimizado para el Borde: Un diseño de sistema que aprovecha la reutilización de grafos, la residencia de memoria y el desenrollado para maximizar el rendimiento en dispositivos limitados por el ancho de banda.

Resultados Experimentales

Los autores evaluaron Jetson-PI en el benchmark LIBERO (usando el modelo $\pi0.5$) y en robots del mundo real (PrimeBot X2-W).

• Frecuencia de Control: En NVIDIA Jetson Orin, Jetson-PI logra una mejora de 8.66× en la frecuencia de control en comparación con la inferencia PyTorch naive y una mejora de 5.41× en comparación con vla.cpp.
• Tasa de Éxito: En el benchmark LIBERO, Jetson-PI supera al método asíncrono de vanguardia VLASH por un 14.8% en la tasa de éxito promedio. Mantiene una alta precisión incluso cuando la latencia de inferencia ($\Delta$) aumenta, mientras que VLASH y RTC (Reinforced Trajectory Correction) se degradan significativamente.
• Rendimiento en el Mundo Real: En experimentos del mundo real que involucran tareas complejas como doblar ropa, Jetson-PI en un Jetson Orin logró un rendimiento comparable al de una configuración con RTX 4090, con una pérdida de precisión insignificante respecto a la línea base de alto rendimiento.
• Desglose de Latencia: Las optimizaciones del sistema (reutilización de grafos, buffering, desenrollado) redujeron el tiempo de reacción total de ~1.4s a ~0.16s en Jetson Orin.

Significancia y Reivindicaciones

El artículo afirma que Jetson-PI proporciona una solución práctica para el despliegue de modelos VLA a gran escala en robots móviles de baja potencia y funcionamiento por batería. Al abordar los cuellos de botella específicos de la computación de borde —a saber, la contención de ancho de banda y la brecha temporal entre la percepción y la ejecución—, el método permite un control robótico de alta frecuencia y respuesta, sin las penalizaciones de potencia de los clústeres de GPUs de alto rendimiento. Los autores enfatizan que, si bien las plataformas integradas están fundamentalmente limitadas en comparación con los clústeres de GPU, Jetson-PI ofrece un camino viable para expandir las aplicaciones de VLA desde las demostraciones de laboratorio hacia escenarios móviles del mundo real.