Resumen Técnico: EXPO-FT

Enunciado del Problema

La capacidad de aprender nuevas tareas de manera eficiente y fiable sigue siendo un desafío fundamental en robótica. Si bien los modelos Visión-Lenguaje-Acción (VLA) han demostrado una fuerte generalización en diversas tareas de manipulación mediante aprendizaje por imitación a gran escala, las políticas preentrenadas consistentemente no alcanzan la fiabilidad necesaria para su despliegue en el mundo real. Los fallos en entornos físicos son costosos, lo que hace necesaria una vía para cerrar la brecha entre el preentrenamiento generalista y un rendimiento fiable específico de la tarea.

Los enfoques existentes para entrenar políticas de robots en el mundo real mediante Aprendizaje por Refuerzo (RL) enfrentan una dicotomía:

1. Entrenamiento desde cero: Los métodos que entrenan políticas de RL sin ajustar finamente un VLA (o que entrenan modelos ligeros encima) a menudo logran un rendimiento asintótico fuerte, pero fallan en aprovechar los ricos priores semánticos y conductuales incrustados en los grandes VLAs preentrenados.
2. Ajuste fino de VLAs: Los métodos que ajustan finamente VLAs preentrenados heredan representaciones generalizables, pero a menudo no alcanzan tasas de éxito fiables, requieren cantidades prohibitivamente grandes de interacciones con el entorno, o ambas cosas.

Existe una brecha crítica para marcos que exploten simultáneamente el prior de un VLA preentrenado y logren la eficiencia de muestras y la fiabilidad necesarias para un despliegue práctico.

Metodología: EXPO-FT

Los autores presentan EXPO-FT, un sistema diseñado para el ajuste fino estable y eficiente en muestras de políticas VLA preentrenadas mediante RL. El sistema se basa en el algoritmo EXPO, un método propuesto recientemente para RL estable con políticas de flujo o difusión expresivas, y lo extiende para abordar desafíos específicos en robótica.

Arquitectura Central y Decisiones de Diseño

EXPO-FT integra tres componentes principales para lograr alta eficiencia en muestras y fiabilidad:

1. Política Base y Mecanismo de Edición (EXPO Extendido):

   • El sistema utiliza un VLA preentrenado (específicamente $\pi_{0.5}$) como política de flujo base ($\pi_{VLA}$).
   • En lugar de retropropagar gradientes a través del gran modelo VLA durante las actualizaciones de RL, EXPO-FT emplea una política de edición ligera ($\pi_{edit}$).
   • La política de edición predice una corrección $\hat{a}$ restringida a un rango pequeño $[-\beta, \beta]$, que se suma a la acción base $a$ para producir la acción editada $\tilde{a} = a + \hat{a}$.
   • Una función Q se entrena mediante Aprendizaje por Diferencia Temporal (TD) para seleccionar el candidato que maximiza el valor entre la acción base y la acción editada. Esto permite al sistema fundamentar las actualizaciones de TD en acciones cercanas a la óptima sin desestabilizar el VLA preentrenado.

2. Acciones Extendidas en el Tiempo (Bloques de Acción):

   • A diferencia de los algoritmos clásicos de RL diseñados para acciones gaussianas de un solo paso, los VLAs modernos operan sobre bloques de acción (secuencias de $H$ acciones futuras).
   • EXPO-FT adapta la política de edición y la función Q para operar nativamente sobre estos bloques ($a_{t:t+C}$). La política de edición predice ediciones para todo el bloque, preservando la abstracción temporal central en el diseño de VLA.

3. Intervenciones con Humano en el Bucle (HIL):

   • Para acelerar aún más el aprendizaje y proporcionar correcciones dirigidas donde la exploración autónoma es insuficiente, el sistema incorpora retroalimentación con humano en el bucle.
   • Durante el entrenamiento en línea, un operador humano puede intervenir mediante teleoperación (usando un SpaceMouse) para proporcionar correcciones de acción para pasos de tiempo específicos dentro de un bloque de acción.
   • Estas acciones correctivas sobrescriben las acciones de la política para los pasos de tiempo intervenidos, y las trayectorias resultantes se añaden al búfer de repetición. Este mecanismo proporciona señales de alta calidad para reducir la carga de exploración.

Procedimiento de Entrenamiento

El sistema emplea una arquitectura desacoplada Aprendiz-Actor para gestionar la latencia de la inferencia y el entrenamiento de grandes VLAs:

• Actor: Ejecuta trayectorias en el entorno del mundo real, recoge intervenciones humanas y envía tuplas estado-acción-recompensa $(s, a, r, s')$ al aprendiz.
• Aprendiz: Maneja el entrenamiento e inferencia del VLA y mantiene el búfer de repetición. Actualiza al agente (red Q y política de edición) por paso, por episodio o por lote grande.
• Inicialización: Antes del RL en línea, el VLA a menudo se inicializa con un pequeño conjunto de datos offline de demostraciones humanas mediante ajuste fino supervisado (Aprendizaje por Imitación) para alcanzar una tasa de éxito base (por ejemplo, ~40%).
• Recompensa: El sistema utiliza una señal de recompensa binaria dispersa que indica la finalización de la tarea, evitando la sobrecarga de ingeniería del modelado de recompensas densas.

Contribuciones Clave

1. Sistema para Ajuste Fino de RL Eficiente en Muestras: Un marco completo (EXPO-FT) que permite el ajuste fino fiable de modelos VLA preentrenados usando RL, logrando altas tasas de éxito con datos en línea mínimos.
2. Extensiones Arquitectónicas: La extensión del algoritmo EXPO para soportar bloques de acción extendidos en el tiempo y la integración de intervenciones con humano en el bucle específicamente para el ajuste fino de VLA.
3. Lanzamiento de Código de Código Abierto: La liberación de una base de código de código abierto para facilitar una adopción más amplia del ajuste fino de RL para modelos VLA en la comunidad robótica.

Resultados Experimentales

Los autores evaluaron EXPO-FT en ocho tareas desafiantes de manipulación en el mundo real que requieren combinaciones de alta precisión, acciones dinámicas y robustez ante estados iniciales variados. Las tareas incluyeron:

• Dinámicas/Ricas en Contacto: Volteo de Huevo (voltear un huevo frito con una espátula), Tiro de Billar (golpear una bola de billar).
• Precisión/Alineación: Inserción de Flor (insertar un tallo en una botella), Toma de Cubo (agarrar bajo aleatorización), Enrutamiento de Luces de Hilo (colgar bombillas y conectar la energía).
• Deformables/Ruidosas: Cucharada de Dulces (transferir dulces con una cuchara).

Métricas de Rendimiento:

• Tasa de Éxito: EXPO-FT logró una tasa de éxito perfecta (30/30) en todas las tareas evaluadas.
• Eficiencia en Muestras: El sistema alcanzó este rendimiento fiable dentro de un promedio de 19.1 minutos de datos de robot en línea.
• Comparación: EXPO-FT superó a:
  • HIL-SERL (RL desde cero con HIL): Logró solo 5.5/30 de éxito promedio, luchando con grandes distribuciones de estados iniciales.
  • DSRL (RL en espacio latente sobre VLAs): Logró 19/30 de promedio, limitado por restricciones de optimización dentro de la distribución prior.
  • HG-DAgger (Aprendizaje por imitación con correcciones): Logró 22.1/30 de promedio, luchando para recuperarse de errores acumulativos en tareas dinámicas.
  • Ajuste Fino Supervisado (SFT): Logró 20.5/30 de promedio.

Notablemente, en tareas que requieren acciones dinámicas (Volteo de Huevo, Tiro de Billar) o alta precisión, la brecha de rendimiento entre EXPO-FT y los métodos anteriores fue más pronunciada.

Significado y Afirmaciones

El artículo afirma que EXPO-FT demuestra que el ajuste fino de VLAs mediante RL puede ser tanto eficiente en muestras como fiable cuando se diseña con las decisiones arquitectónicas correctas. Al combinar los priores semánticos de un VLA preentrenado con un algoritmo de RL off-policy eficiente (EXPO) y correcciones con humano en el bucle, el sistema cierra la brecha entre el preentrenamiento generalista y la fiabilidad requerida para el despliegue en el mundo real.

Los autores posicionan este trabajo como un peldaño hacia una adopción más amplia del ajuste fino de modelos VLA generalistas con aprendizaje por refuerzo. Reconocen limitaciones, como el requisito actual de reinicios manuales del entorno y los desafíos computacionales de ejecutar entrenamiento de alta frecuencia en modelos de miles de millones de parámetros, identificándolos como direcciones para trabajo futuro. Sin embargo, la contribución central es la validación de que una pipeline unificada y eficiente en muestras puede transformar un VLA generalista en un especialista altamente fiable para tareas complejas de manipulación.