Resumen Técnico: Legato – Aprendizaje de Continuación Nativa para Políticas de Flujo de Agrupamiento de Acciones

1. Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) se despliegan cada vez más en robótica del mundo real utilizando agrupamiento de acciones (action chunking), una estrategia donde el modelo predice una secuencia de vectores de acción futuros en un solo paso de inferencia. Aunque el agrupamiento amortiza los costos de inferencia y permite un control de alta frecuencia, introduce una desventaja fundamental: discontinuidades en los límites de los grupos.

Estas discontinuidades surgen de dos factores principales:

1. Retraso de Inferencia: El tiempo requerido para calcular el siguiente grupo crea un vacío entre la ejecución del grupo actual y la generación del siguiente.
2. Multimodalidad Intrínseca: Las políticas basadas en flujo a menudo exhiben distribuciones multimodales, lo que conduce a un "cambio multimodal espurio" donde la política cambia abruptamente su modo de acción previsto entre grupos.

Las soluciones existentes como Agrupamiento en Tiempo Real (RTC) intentan mitigar esto aplicando inpainting en tiempo de inferencia, restringiendo parcialmente los nuevos grupos para que se superpongan con las acciones anteriores. Sin embargo, RTC es un mecanismo externo aplicado solo en tiempo de inferencia. Dado que la política en sí no está entrenada para manejar esta continuación, sigue siendo propensa a la vacilación, cambios abruptos de dirección y trayectorias que no son intrínsecamente suaves. El artículo argumenta que una ejecución agrupada estable requiere que la continuación de grupos sea una propiedad nativa y aprendida de la política.

2. Metodología: Legato

Los autores proponen Legato, un marco de continuación en tiempo de entrenamiento para políticas VLA basadas en flujo con agrupamiento de acciones. Legato internaliza el mecanismo de continuación al remodelar la dinámica de flujo aprendida para garantizar la consistencia entre el entrenamiento y la inferencia bajo guía paso a paso.

Componentes Principales

Legato aborda dos requisitos críticos para una continuación efectiva:

1. Guía Paso a Paso: La guía debe aplicarse repetidamente en todos los pasos de eliminación de ruido, no solo en la inicialización.
2. Consistencia Entrenamiento-Inferencia: La dinámica aprendida durante el entrenamiento debe coincidir con la dinámica utilizada durante la inferencia.

A. Guía con Forma de Programación

Legato introduce una programación de guía $\omega \in [0, 1]^H$ sobre el horizonte del grupo de acciones $H$. Esta programación se define por tres parámetros:

• $d$: El retraso de inferencia (prefijo de guía completa).
• $s$: La longitud ejecutada por ciclo.
• $r$: La longitud de reducción gradual donde la fuerza de la guía disminuye.
  Estos satisfacen $r + s + d = H$.

En lugar de fijar rígidamente el prefijo (como en RTC en tiempo de entrenamiento), Legato utiliza una programación suave: ancla el comienzo del grupo a acciones conocidas (verdad fundamental durante el entrenamiento, prefijo del grupo anterior durante la inferencia) y reduce gradualmente la fuerza de la guía a cero. Esto se logra mediante una mezcla de acción-ruido:
$$\epsilon_{eff} = (1 - \omega) \odot \epsilon + \omega \odot A$$
donde $\epsilon$ es el ruido y $A$ es la acción de referencia.

B. Remodelación de la Dinámica de Flujo

La coincidencia de flujo estándar entrena un campo de velocidad $u_{FM}$ para transportar ruido a acciones. Sin embargo, aplicar guía paso a paso en tiempo de inferencia induce un sistema dinámico diferente. Para eliminar la discrepancia entre entrenamiento y prueba, Legato deriva la dinámica de tiempo continuo exacta inducida por la guía repetida paso a paso y remodela el campo de velocidad objetivo durante el entrenamiento.

La red se entrena para predecir una velocidad objetivo modificada $v_{target}$:
$$v_{target}(t, A, \epsilon, \omega) = (1 - \kappa \odot (1 - t)) \odot (A - \epsilon)$$
donde $\kappa = \omega / \Delta t$. Esto permite que la política admita nativamente la guía con forma de programación sin intervención externa en tiempo de inferencia.

C. Condicionamiento de Programación Aleatorizada

Para manejar las latencias de inferencia variables entre hardware y optimizaciones de tiempo de ejecución, Legato aleatoriza los parámetros de la programación ($d, r$) durante el entrenamiento. La política se condiciona explícitamente a la programación $\omega$ (añadida como una característica). Esto permite que un solo modelo se adapte a diferentes retrasos de inferencia y controle la compensación entre la suavidad de la trayectoria y la consistencia de la superposición en tiempo de inferencia sin reentrenamiento.

3. Contribuciones Clave

1. Marco Legato: Un marco de continuación en tiempo de entrenamiento que permite una guía paso a paso con forma de programación, manteniendo una estricta consistencia entre entrenamiento e inferencia mediante la remodelación de la dinámica de flujo.
2. Condicionamiento de Programación Aleatorizada: Un mecanismo para soportar retrasos de inferencia variables y proporcionar un control flexible sobre la suavidad de la trayectoria, permitiendo que el modelo se generalice a diferentes hardware y condiciones de latencia.
3. Validación Empírica: Experimentos extensos en el mundo real que demuestran que aprender la continuación como una propiedad nativa de la política supera a los métodos de corrección en tiempo de inferencia.

4. Resultados Experimentales

Los autores evaluaron Legato en cinco tareas de manipulación en el mundo real (apilar cuencos, verter, recoger y colocar, abrir cajones, doblar toallas) utilizando un robot de dos brazos.

Métricas de Rendimiento

• Tiempo de Finalización de la Tarea: Legato logró consistentemente tiempos de finalización más cortos (aproximadamente 10% de mejora) en comparación con RTC.
• Suavidad de la Trayectoria: Legato produjo trayectorias significativamente más suaves, evidenciado por valores más bajos de NSPARC (Longitud de Arco Espectral Negativa) y RMSE de Superposición.
• Cambio Multimodal Espurio: Legato redujo la vacilación y los cambios abruptos de dirección, lo que llevó a objetivos de agarre y selecciones de brazo más consistentes.

Análisis Comparativo

• vs. RTC: Legato superó a RTC en las cinco tareas en términos de velocidad y suavidad.
• vs. RTC en Tiempo de Entrenamiento: Legato superó una línea base que aplica restricciones de prefijo rígidas durante el entrenamiento. Los autores atribuyen esto a la remodelación de la dinámica de flujo de Legato, que se alinea mejor con el comportamiento efectivo de eliminación de ruido de la guía repetida.
• Generalización: El método demostró robustez en diferentes arquitecturas de respaldo VLA ($\pi_0$, $\pi_0.5$, Gr00t N1.6) y en diversos retrasos de inferencia.

5. Significado y Afirmaciones

El artículo afirma que Legato representa un cambio de tratar la continuidad del agrupamiento de acciones como una corrección externa en tiempo de inferencia a una propiedad nativa y aprendida de la política.

• Suavidad Intrínseca: Al remodelar la dinámica de flujo, Legato asegura que la política entienda intrínsecamente cómo transitar entre grupos, reduciendo el "temblor" y la vacilación asociados con el cambio multimodal.
• Eficiencia: La reducción en la vacilación y los cambios de dirección se traduce directamente en tiempos de finalización de tareas más rápidos en escenarios del mundo real.
• Adaptabilidad: El uso de condicionamiento de programación aleatorizada permite desplegar un solo modelo en diversos entornos de hardware con diferentes latencias de inferencia, un requisito crítico para el despliegue robótico práctico.

Los autores concluyen que, aunque las formulaciones actuales limitan los pasos de eliminación de ruido a la especificación en tiempo de entrenamiento, el método propuesto demuestra exitosamente que aprender la dinámica de continuación es superior a imponer restricciones rígidas, ofreciendo un camino robusto hacia un control robótico en el mundo real más suave y eficiente.