Resumen Técnico: Comprensión de los Métodos de Inferencia Asíncrona para Modelos Visión-Lenguaje-Acción

1. Declaración del Problema

Los modelos Visión-Lenguaje-Acción (VLA) han surgido como un paradigma para el control generalista de robots, mapeando observaciones visuales e instrucciones de lenguaje a acciones. Las políticas VLA modernas a menudo emplean agrupación de acciones (action chunking), prediciendo una secuencia de $H$ acciones futuras en una sola pasada hacia adelante para amortizar los costos de inferencia y reducir los errores acumulativos. Sin embargo, los modelos VLA grandes sufren de alta latencia de inferencia (de decenas a cientos de milisegundos).

En la ejecución síncrona, el robot se detiene durante la inferencia, limitando la frecuencia de control a la tasa de inferencia, lo cual es impráctico para tareas de reacción rápida. La ejecución asíncrona ingenua desacopla la inferencia de la ejecución, cambiando a nuevos grupos a medida que llegan. Sin embargo, esto introduce tres modos de fallo:

1. Discontinuidad en los límites del grupo: El nuevo grupo es incompatible con las acciones ya comprometidas en el robot.
2. Obsolescencia de la observación: El nuevo grupo se condiciona sobre una observación que tiene $d$ pasos de antigüedad (donde $d$ es el retraso de inferencia en pasos de control).
3. Degradación en bucle abierto: Las acciones comprometidas no pueden adaptarse a los cambios ambientales durante la vida útil del grupo.

Si bien se han propuesto cuatro métodos para mitigar estos problemas—IT-RTC, TT-RTC, VLASH y A2C2—se han desarrollado en bases de código incompatibles con políticas base y protocolos de evaluación diferentes, haciendo imposible la comparación directa.

2. Metodología

Los autores desarrollaron dos bases de código unificadas (bt-kinetix en JAX/Flax y bt-libero en PyTorch/LeRobot) para integrar los cuatro métodos bajo bibliotecas, conjuntos de datos y políticas base armonizadas. Evaluaron estos métodos en:

• Kinetix: Una suite de control continuo 2D con 10 entornos dinámicos, utilizando políticas MLP-Mixer ($H \in \{16, 30\}$).
• LIBERO: Una prueba de manipulación de 7 grados de libertad (DoF) utilizando SmolVLA ($H=50$).

La evaluación abarcó retrasos de inferencia ($d$) de hasta 20 pasos de control (simulando escenarios de implementación en el mundo real que van desde GPUs locales hasta inferencia en la nube a través de 4G).

Los Cuatro Métodos Comparados

1. IT-RTC (Corrección Residual en Tiempo de Inferencia mediante guía sin entrenamiento): Un enfoque sin entrenamiento que utiliza guía de ajuste de flujo. Trata las primeras $d$ acciones de un nuevo grupo como restricciones conocidas e "inpainta" (reconstruye) las acciones restantes $H-d$ durante el proceso de eliminación de ruido utilizando un término de guía de pseudoinversa. No requiere reentrenamiento pero incurre en una pasada hacia atrás (VJP) por paso de eliminación de ruido, triplicando los FLOPs por paso.
2. TT-RTC (Corrección Residual en Tiempo de Entrenamiento mediante simulación de retraso en tiempo de entrenamiento): Modifica el proceso de entrenamiento para condicionar la política en prefijos de acción. La política aprende a predecir solo las acciones del sufijo no obsoletas dado un prefijo comprometido. Utiliza una pérdida enmascarada y prefijos de verdad fundamental no ruidosos durante el entrenamiento. Introduce cero sobrecarga de inferencia y es un reemplazo directo para IT-RTC.
3. VLASH (Condicionamiento Consciente del Estado Visión-Lenguaje-Acción): Aborda la obsolescencia de la observación estimando el estado futuro del robot en el momento de la ejecución utilizando acciones anteriores conocidas. La política se condiciona sobre este estado "avanzado" en lugar de la observación obsoleta. Emplea una augmentación de entrenamiento con desplazamiento temporal.
4. A2C2 (Corrección de Acción Asíncrona mediante cabeza de corrección): Apunta a la degradación en bucle abierto. Entrena una cabeza de corrección ligera que se ejecuta en cada paso de control, emitiendo un ajuste residual ($\Delta a$) a las acciones obsoletas de la política base. La cabeza se condiciona sobre la última observación, las características de la política base y una característica de tiempo dentro del grupo. Es composible con otros métodos.

3. Contribuciones Clave

1. Bases de Código Unificadas: La creación de bt-kinetix y bt-libero, que integran los cuatro métodos con dependencias armonizadas, permitiendo la primera comparación sistemática.
2. Evaluación Sistemática: Una evaluación exhaustiva en dos pruebas distintas (Kinetix y LIBERO) con tamaños de grupo ($H$) y retrasos ($d$ hasta 20) variables, cubriendo regímenes relevantes para la implementación en el mundo real (por ejemplo, servidores periféricos, inferencia en la nube).
3. Perspectivas Prácticas: Análisis de las compensaciones entre costos de entrenamiento, sobrecarga de inferencia y generalización de retrasos fuera de distribución (OOD).

4. Resultados

Resultados en Kinetix (MLP-Mixer, $H=16, 30$)

• Rendimiento: A2C2 logró la tasa de resolución absoluta más alta en casi todos los retrasos, manteniendo una tasa de resolución >90% hasta $d=8$. TT-RTC fue el método basado en entrenamiento más robusto, mostrando estabilidad en diferentes elecciones de $d_{max}$ y generalizando bien a retrasos OOD.
• IT-RTC: Competitivo en retrasos bajos pero se degradó bruscamente bajo grupos largos ($H=30$) y altos retrasos ($d > 8$), sugiriendo que su aproximación lineal VJP falla a medida que crece la relación prefijo-sufijo.
• VLASH: Exhibió una compensación gobernada por el rango de retraso de ajuste fino $[0, d_{max}]$. Un $d_{max}$ más amplio mejoró la robustez en altos retrasos pero perjudicó la precisión en bajos retrasos.
• TT-RTC vs. VLASH: TT-RTC fue en gran medida insensible a la elección de $d_{max}$, mientras que VLASH requirió un ajuste cuidadoso de $d_{max}$ al retraso de implementación esperado.

Resultados en LIBERO (SmolVLA, $H=50$)

• Cambio en el Ranking: El ranking se invirtió en comparación con Kinetix en retrasos más altos. A2C2 se convirtió en el método más fuerte en altos retrasos ($d \ge 4$), manteniendo un margen de ~10 puntos sobre los demás.
• IT-RTC & TT-RTC: Ambos se degradaron sustancialmente a medida que aumentó la relación prefijo-sufijo (debido al tamaño de grupo más largo $H=50$). IT-RTC colapsó a un rendimiento cercano a la línea base más allá de $d=8$. TT-RTC, aunque estable en Kinetix, vio caídas significativas de precisión en LIBERO.
• VLASH: Las variantes con un $d_{max}$ más amplio ($8, 16$) permanecieron notablemente estables a través de los retrasos. Nota: Los autores enfatizan que los resultados de VLASH en LIBERO dependen de estados futuros de verdad fundamental (información privilegiada) debido a discrepancias en las dimensiones de estado/acción, sirviendo como un límite superior para variantes implementables.
• Latencia: TT-RTC igualó la latencia de reloj real de la línea base ingenua. IT-RTC incurrió en un aumento de latencia de ~16%. La cabeza residual de A2C2 añadió ~1.8% de latencia en ejecución en serie.

Análisis de Costos

• Sobrecarga de Inferencia: IT-RTC triplica los FLOPs del bucle secuencial de eliminación de ruido. A2C2 acumula sobrecarga proporcional al horizonte de ejecución $s$ (por ejemplo, 50 pasos en LIBERO), haciéndolo más costoso por grupo que IT-RTC en modelos grandes, aunque su cabeza residual es ligera de forma aislada.
• Costo de Entrenamiento: TT-RTC requiere un ajuste fino modesto (~25% del costo base en Kinetix). VLASH y A2C2 requieren un entrenamiento o reentrenamiento más extenso.
• Punto de Equilibrio: En LIBERO, el punto de equilibrio donde el costo único de entrenamiento de TT-RTC supera la sobrecarga de inferencia recurrente de IT-RTC es de aproximadamente 2.9 millones de episodios.

5. Significado y Afirmaciones

El artículo afirma que ningún método domina en todos los escenarios, y la elección óptima depende de las restricciones específicas de implementación (tamaño del grupo, retraso esperado, viabilidad de reentrenamiento):

• Si el reentrenamiento no es viable y el retraso es bajo: IT-RTC es una solución de reemplazo directa sensata.
• Si es posible el ajuste fino y los grupos son cortos: TT-RTC ofrece una solución casi gratuita con cero sobrecarga de inferencia y generalización OOD robusta.
• En configuraciones VLA de grupos largos (por ejemplo, SmolVLA): A2C2 es la opción más fiable para altos retrasos y se compone naturalmente con otros métodos.
• VLASH: Sigue siendo una opción sólida siempre que esté disponible un modelo de estado hacia adelante preciso y se conozca el rango de retraso de implementación en el momento del ajuste fino.

Los autores concluyen que su comparación sistemática aclara las compensaciones entre estos métodos, informando futuras estrategias de diseño e implementación de VLA. Señalan explícitamente limitaciones, incluida la dependencia de estados futuros de oráculo para VLASH en LIBERO y la asunción de retrasos enteros fijos, sugiriendo que las condiciones de latencia variable del mundo real podrían favorecer aún más los métodos conscientes del retraso como TT-RTC y A2C2.