Resumen Técnico: SmoothRL

1. Declaración del Problema

El despliegue de políticas robóticas generalistas de vanguardia (por ejemplo, modelos de Visión-Lenguaje-Acción y Modelos de Mundo-Acción) en el mundo físico enfrenta un conflicto fundamental entre la fiabilidad y la ejecución suave en tiempo real.

• Fiabilidad: Lograr robustez para diversas tareas del mundo real (por ejemplo, cortar paquetes sellados) requiere un Aprendizaje por Refuerzo (RL) en línea con eficiencia de muestreo para adaptar los modelos preentrenados.
• Ejecución Suave: La creciente escala de los modelos fundacionales conduce a una alta latencia de inferencia. La ejecución sincrónica (esperar a la inferencia antes de actuar) introduce pausas en los límites de los fragmentos (chunks), degradando el rendimiento en tareas dinámicas.
• El Desajuste: Los sistemas modernos resuelven la latencia mediante el uso de inferencia asincrónica (traslapar la computación de la política con la ejecución de la acción) y el fragmentado de acciones (action chunking). Sin embargo, los métodos de RL en línea existentes típicamente asumen una ejecución sincrónica. Esto crea un desajuste distributivo: las políticas se optimizan bajo una dinámica (sincrónica) que difiere de la encontrada durante el despliegue (asincrónica). Específicamente, en la ejecución asincrónica, un fragmento de acción generado solo se ejecuta parcialmente antes de ser superado por un nuevo fragmento. Los estándares de actualización de gradiente de valor backpropagarían incorrectamente a través de acciones "descartadas" que nunca llegaron al entorno, contaminando la señal de aprendizaje.

2. Metodología: SmoothRL

SmoothRL es un marco de RL en línea diseñado para ajustar finamente políticas preentrenadas dentro de un bucle de inferencia asincrónica. Se adhiere a tres requisitos principales: aprendizaje en línea, ejecución asincrónica y optimización de gradiente de valor.

2.1. Bucle de Inferencia Asincrónica y Partición de Fragmentos

Para resolver el desajuste entre las acciones generadas y ejecutadas, SmoothRL modela explícitamente el proceso asincrónico durante el entrenamiento. Bajo un presupuesto de latencia fijo $n$ (donde el tiempo de inferencia está limitado), cada fragmento de acción generado de un horizonte $H$ se particiona en tres regiones distintas basadas en el índice de fotograma:

1. Región Comprometida $[0, n)$: Acciones ya emitidas por el ciclo de inferencia anterior. Estas son fijas y no pueden ser alteradas por la política actual.
2. Región de Ejecución $[n, 2n)$: Las nuevas acciones generadas que son realmente ejecutadas por el robot antes de que llegue el siguiente fragmento.
3. Región Descartada $[2n, H)$: Acciones generadas en el fragmento actual que son superadas por el siguiente ciclo de inferencia antes de que puedan ser ejecutadas.

2.2. Truncamiento de Gradiente y Paradigma de Gradiente de Valor

SmoothRL sigue el paradigma de gradiente de valor, donde la función de valor-acción $Q$ actualiza los parámetros de la política $\theta$ vía $\nabla_\theta J = \mathbb{E}[\nabla_a Q(s, a) \cdot \nabla_\theta \pi_\theta(s)]$. Para asegurar la corrección bajo asincronía:

• Truncamiento de Gradiente: El gradiente de valor $\nabla_a Q$ se computa únicamente con respecto a la Región de Ejecución ($a[n, 2n)$). Los gradientes no se propagan a través de las regiones Comprometida o Descartada. Esto asegura que las actualizaciones de la política dependan exclusivamente de las consecuencias de las acciones realmente ejecutadas.
• Condicionamiento del Crítico: El crítico retiene la Región Comprometida como entrada. Esto es necesario por dos razones:
  1. Bootstrap No Sesgado: El crítico debe estar condicionado en la secuencia de acciones completa que generó la recompensa del intervalo para asegurar que el bootstrap de salto de fragmento sea imparcial.
  2. Aumento de Estado: La región comprometida representa las acciones "en vuelo", proporcionando el aumento de estado necesario para modelar el proceso de decisión concurrente (donde el siguiente fragmento se genera mientras el actual se está ejecutando).

2.3. Bucle de Entrenamiento e Intervención Humana

• Asincronía Embebida: El bucle de inferencia asincrónica se ejecuta durante los despliegues de entrenamiento, no solo en el despliegue. Las trayectorias de repetición registran las acciones que el robot realmente ejecutó bajo el mismo cronograma, asegurando que la política nunca sea optimizada bajo dinámicas no vistas.
• Espacio de Acción Crudo: El marco opera en el espacio de acción crudo en lugar del espacio latente. Esto permite que las intervenciones humanas (teleoperación) se incorporen directamente como objetivos de regresión sin requerir la inversión latente.
• Modos de Intervención: Se admiten dos modos:
  • Intervención Absoluta: El fragmento teleoperado reemplaza completamente la salida de la política.
  • Intervención Residual: La entrada humana añade una corrección a la salida de la política.
    Ambos modos son tratados idénticamente en la etapa posterior: la acción emitida real se registra en la región comprometida y se utiliza como el objetivo de Clonación de Comportamiento (BC).

2.4. Instanciación

Los autores implementan SmoothRL utilizando una política base congelada (por ejemplo, $\pi_{0.5}$) y una red acoplada ligera y entrenable (Actor-Crítico).

• La política base genera un fragmento de acción de referencia y un token latente.
• La red acoplada predice una corrección residual acotada a la acción de referencia.
• La pérdida del Actor incluye un término de maximización de $Q$, un ancla de BC (que regulariza contra la acción de referencia) y un regularizador de suavidad que impone restricciones de velocidad, aceleración y jerk para asegurar la continuidad a través de los límites de los fragmentos.

3. Contribuciones Clave

1. Marco para RL en Línea Asincrónico: SmoothRL es el primer marco que integra el ajuste fino de RL en línea directamente en un bucle de inferencia asincrónica, resolviendo el desajuste de "Refuerzo en el Despliegue".
2. Partición de Roles de Fragmentos: La partición explícita de los fragmentos de acción en regiones Comprometida, de Ejecución y Descartada permite una gestión precisa de los gradientes.
3. Truncamiento de Gradiente: El método introduce un mecanismo para truncar los gradientes de valor a la Región de Ejecución, asegurando que las actualizaciones de la política sean impulsadas únicamente por las acciones ejecutadas, mientras el crítico permanece condicionado a la historia completa para un bootstrap sin sesgo.
4. Integración Humana Directa: Al operar en el espacio de acción crudo, el marco incorpora naturalmente las intervenciones humanas tanto como objetivos supervisados como transiciones etiquetadas por valor, facilitando un aprendizaje de robot real más seguro y eficiente.

4. Resultados Experimentales

El marco fue evaluado en el robot bimanual móvil Astribot S1 a través de tres tareas que requieren alta precisión y control dinámico:

• Lanzamiento Dinámico: Lanzar un objeto hacia un contenedor objetivo (requiere movimiento continuo y un tiempo de liberación preciso).
• Colocación de Tapa de Bolígrafo: Alinear un bolígrafo con una tapa y asegurarlo (requiere precisión de pose relativa a nivel milimétrico).
• Apertura de Caja: Cortar una costura de cinta con una cuchilla (requiere precisión de inserción submilimétrica).

Mejoras de Rendimiento:
Después de 250 episodios de despliegue en línea, SmoothRL superó significativamente a la política base congelada:

• Lanzamiento Dinámico: Mejoró de un 39% a un 94% de tasa de éxito.
• Colocación de Tapa de Bolígrafo: Mejoró del 8% al 83% de tasa de éxito.
• Apertura de Caja: Mejoró del 30% al 90% de tasa de éxito.

Análisis:

• La política base exhibió sesgos sistemáticos (por ejemplo, sesgo hacia la izquierda en la apertura de caja, errores de modulación de velocidad en el lanzamiento).
• SmoothRL corrigió eficazmente estos desplazamientos sistemáticos.
• En "Apertura de Caja", el rendimiento cayó inicialmente (al 20%) antes de recuperarse, lo que indica la exploración necesaria para descubrir correcciones efectivas.
• El marco redujo el jerk y la aceleración del movimiento en un 47% y 52% respectivamente en comparación con la política base, demostrando una mayor suavidad.

5. Significado y Limitaciones

Significado:
El artículo argumenta que, para el despliegue en el mundo real, el RL en línea debe realizarse bajo el mismo paradigma de ejecución asincrónica utilizado durante el despliegue. SmoothRL cierra la brecha entre los requisitos de alta latencia de los grandes modelos fundacionales y la necesidad de adaptación en tiempo real con eficiencia de muestreo. Demuestra que, al modelar explícitamente el cronograma asincrónico y truncar los gradientes a las acciones ejecutadas, se puede lograr un control dinámico de alta precisión en robots reales sin sacrificar los beneficios de los grandes modelos preentrenados.

Limitaciones (según los autores):

1. Restricción de Latencia de Inferencia: El marco depende de un presupuesto de latencia fijo. Si la latencia de inferencia fluctúa más allá de este presupuesto, la entrega de fragmentos programada falla, desestabilizando el bucle.
2. Expresividad Limitada por la Política Base: La capacidad del módulo de RL está limitada por las representaciones internas de la política base congelada y la naturaleza acotada de las correcciones residuales. Si la política base exhibe sesgos sistemáticos grandes fuera del vecindario local de la acción de referencia, la instanciación actual puede carecer de la expresividad para rectificarlos completamente.

Direcciones Futuras:
Los autores sugieren extender el marco a actualizaciones de política generativas completas (no solo residuales), investigar la interacción entre el aprendizaje de la política y la mezcla de acciones, y escalar la evaluación a distribuciones de tareas más amplias para comprender mejor los límites de los mecanismos de corrección local.