Object-Centric Residual RL for Zero-Shot Sim-to-Real VLA Enhancement

Resumen Técnico: RL Residual Centrado en Objetos para la Mejora de VLA Sim-to-Real Zero-Shot

Declaración del Problema

Los modelos de Visión-Lenguaje-Acción (VLA) han demostrado una amplia generalización en tareas de manipulación mediante el preentrenamiento a gran escala y el aprendizaje por imitación. Sin embargo, las políticas derivadas del aprendizaje por imitación son inherentemente frágiles en interacciones físicas precisas; los pequeños errores de ejecución se acumulan con el tiempo, lo que conduce a fallos en estados no vistos. Si bien el Aprendizaje por Refuerzo (RL) ofrece un mecanismo de recuperación mediante la interacción en línea, la aplicación directa de RL a los VLA modernos es un desafío debido a arquitecturas que dependen de la difusión o el flow matching, las cuales no son fácilmente diferenciables mediante gradientes de política estándar.

El RL residual, que entrena una política correctiva ligera sobre un VLA base congelado, presenta una solución natural. No obstante, los enfoques existentes enfrentan un dilema fundamental de "sim-to-real":

1. Los métodos de estado privilegiado requieren destilar un profesor basado en estados hacia un estudiante basado en imágenes para el despliegue, lo que incurre en una pérdida de rendimiento.
2. Los métodos basados en imágenes sufren de grandes brechas de dominio visual, lo que impide la transferencia zero-shot de los residuales entrenados en simulación.
3. El RL en el mundo real elimina la brecha de transferencia, pero es costoso, inseguro y requiere una infraestructura compleja.

El desafío central abordado es: ¿Puede una política de aprendizaje por refuerzo entrenada puramente en simulación mejorar la robustez de los VLA en el mundo real de forma zero-shot, sin destilación ni RL en el mundo real?

Metodología

Los autores proponen un marco de RL Residual Centrado en Objetos que refina las acciones de los VLA utilizando las poses de los objetos, permitiendo un espacio de observación compacto que se transfiere consistentemente entre la simulación y la realidad. El marco opera en tres etapas:

1. VLA Pareado Sim/Real vía Replay de Teleoperación
Para alinear las distribuciones de acción entre dominios, los autores replican las mismas demostraciones de teleoperación utilizadas para entrenar el VLA del mundo real ($\pi^{real}_{VLA}$) dentro de un entorno de simulación. Esto entrena un homólogo de simulación ($\pi^{sim}_{VLA}$) junto al real. Dado que ambos están supervisados por trayectorias de acción idénticas, aprenden distribuciones de acción alineadas a pesar de tener entradas visuales diferentes. Esto permite que el residual se entrene junto a $\pi^{sim}_{VLA}$ en simulación y se transfiera a $\pi^{real}_{VLA}$ de forma zero-shot en el despliegue. Crucialmente, debido a que el residual no observa imágenes, el entorno de simulación no necesita ser visualmente realista, reduciendo la carga de ingeniería.

2. Entrenamiento de RL Residual Centrado en Objetos
La política residual ($\pi^{sim}_{res}$) se entrena enteramente en simulación usando TD3. La clave de la innovación reside en el espacio de observación $s_t$, que evita tanto los estados privilegiados como las imágenes en bruto:
$$s_t = [s^{obj}_t, s^{prop}_t, a^{base}_t]$$

• $s^{obj}_t$: Poses de 6 grados de libertad (posición y orientación) de los objetos relevantes para la tarea, estimadas mediante estimadores comerciales (FoundationPose + SAM2).
• $s^{prop}_t$: Estado propioceptivo (pose del efector final, estado de la pinza).
• $a^{base}_t$: El bloque de acción (action chunk) actual del VLA base.

Para garantizar la robustez contra el ruido de estimación de pose y fallos en el mundo real, el entrenamiento emplea dos estrategias de aumentación:

• Inyección de Ruido de Pose: Se añaden perturbaciones aleatorias a la posición y orientación (multiplicación de cuaterniones) para imitar las imprecisiones del estimador.
• Pose Dropout: Con una cierta probabilidad, el vector de pose del objeto se pone a cero, forzando a la política a aprender una estrategia de respaldo basada únicamente en la propiocepción y la acción base.

3. Despliegue Zero-Shot
En el despliegue, tanto el VLA real como el residual entrenado en simulación permanecen congelados. El sistema consulta al VLA real para la acción base y al residual para una corrección basada en las poses de los objetos observadas. Si la confianza del estimador de pose cae por debajo de un umbral, el sistema activa el respaldo de "dropout" aprendido durante el entrenamiento. La acción combinada se calcula como $a_t = a^{base}_t \oplus \pi^{sim}_{res}(s_t)$, donde $\oplus$ denota la composición por componente (suma para posición/pinza, multiplicación de cuaterniones para rotación).

4. Automejora del VLA
Las ejecuciones exitosas generadas por la política corregida por el residual en el robot real pueden agregarse a través de diversas tareas para reentrenar el VLA base mediante ajuste fino supervisado (SFT). Esto crea un bucle de automejora que genera datos de entrenamiento de mayor calidad sin necesidad de teleoperación adicional.

Contribuciones Clave

• Marco Sim-to-Real Zero-Shot: Un nuevo marco de RL residual que logra la transferencia zero-shot sin destilación ni RL en el mundo real, utilizando un espacio de observación invariante al dominio (poses de objetos + propiocepción).
• Automejora Automática: Un mecanismo para agregar ejecuciones exitosas del robot real desde la política corregida por el residual para reentrenar un único VLA multitarea, mejorando la política base sin nuevas demostraciones humanas.
• Validación Empírica: Demostración de una mejora consistente en cinco tareas de manipulación en un robot real Franka Research 3 (FR3), elevando la tasa de éxito promedio del 42% al 76%.

Resultados Experimentales

El método fue evaluado en cinco tareas de manipulación de mesa (Levantar Cubo, Tomar y Colocar, Apilar Cubo, Cerrar Cajón, Levantar Vaso) utilizando un robot FR3 real y una simulación de MuJoCo.

• Ganancias de Rendimiento: El residual entrenado en simulación mejoró la tasa de éxito promedio en el robot real del 42% (VLA Base) al 76% (Base + Residual). En simulación, la tasa de éxito promedio mejoró del 38% al 86%.
• Estudios de Ablación:
  • Robustez: Tanto la inyección de ruido de pose como el pose dropout fueron esenciales; eliminar cualquiera de ellos degradó el rendimiento, siendo el pose dropout crítico para la resiliencia ante fallos de detección.
  • Espacio de Observación: Las observaciones centradas en objetos superaron significativamente a las líneas base basadas en imágenes (que fallaron debido a las brechas de dominio visual) y a los enfoques basados en destilación (que sufrieron pérdida de rendimiento durante la destilación).
• Análisis de Intervención: El residual intervino consistentemente cuando el VLA base estaba desalineado con el objetivo, dirigiendo las acciones hacia la meta. Esta corrección selectiva resultó en una finalización de tareas entre un 9 y un 22% más rápida.
• Generalización: Se demostró que el marco es compatible con diferentes arquitecturas VLA (probado con $\pi_{0.5}$), confirmando que la interfaz de observación no es específica de una sola arquitectura.
• Automejora: El reentrenamiento del VLA base con las ejecuciones corregidas por el residual produjo tasas de éxito más altas y duraciones de episodio más cortas en comparación con el reentrenamiento sobre las ejecuciones base originales.

Significancia y Reivindicaciones

El artículo sostiene que, al desplazar el espacio de observación de la política residual de imágenes o estados privilegiados a poses centradas en objetos, es posible cerrar la brecha sim-to-real sin una compleja adaptación de dominio o destilación. Este enfoque aprovecha la generalización de los VLA mientras añade la precisión del RL mediante un módulo ligero y transferible zero-shot.

Los autores posicionan esto como un camino práctico hacia la mejora escalable y autónoma de los robots. Al desacoplar el mecanismo de corrección del entrenamiento de la política base y utilizar una representación de estado recuperable, el método permite el despliegue en el mundo real de políticas de RL entrenadas en simulación. Además, la capacidad de usar estas ejecuciones corregidas para reentrenar el VLA base sugiere una vía para el refinamiento continuo y automatizado del sistema sin el costo prohibitivo de la teleoperación humana continua.

Limitaciones señaladas por los autores:

• Dependencia del seguimiento de la pose de 6 grados de libertad en tiempo real, que puede fallar bajo oclusión total o desorden intenso.
• Requerimiento de especificación manual de los objetos relevantes para la tarea.
• La observación basada en poses cierra la brecha visual, pero no la brecha de dinámica (ej. fricción, cumplimiento), lo que puede afectar a tareas con contacto rico.
• Como arquitectura residual, no puede recuperarse de estados que estén muy fuera de la distribución de entrenamiento del VLA base.
• Tareas de precisión sub-milimétrica pueden exceder la precisión actual de la estimación de pose.