Resumen Técnico: Dirección de Flujo Residual (RFS) para la Manipulación Diestra

Planteamiento del Problema

El aprendizaje por imitación, particularmente utilizando modelos generativos expresivos como la difusión y el ajuste de flujo (flow matching), ha demostrado ser efectivo para impulsar políticas en la manipulación diestra de alta dimensionalidad. Sin embargo, las políticas preentrenadas únicamente con demostraciones humanas suelen exhibir una generalización limitada ante escenarios no vistos y requieren un ajuste fino para lograr un rendimiento robusto de nivel de producción.

Los métodos de adaptación existentes enfrentan un compromiso:

• Ajuste Fino Supervisado (Supervised Fine-Tuning): Requiere datos de expertos de alta calidad y curados, lo cual es costoso de recolectar.
• Aprendizaje por Refuerzo (RL) con Modelos Generativos: Si bien el RL ofrece un marco principista para la mejora del comportamiento mediante la optimización de recompensas, los métodos estándar de ajuste fino por RL suelen depender de verosimilitudes de forma cerrada o trucos de reparametrización. Estos son incompatibles con arquitecturas generativas complejas (modelos de difusión/flujo). Además, las técnicas existentes de modulación de políticas luchan por equilibrar la exploración global con la precisión local:
  • El RL Residual permite correcciones de acción locales pero falla en inducir cambios de comportamiento globales necesarios.
  • La Dirección de Difusión (modulación de entrada) permite la modulación global, pero ofrece un control limitado en estados fuera de la distribución.

El desafío central es adaptar las políticas de flujo preentrenadas a nuevas tareas y dinámicas del mundo real, preservando al mismo tiempo los beneficios de la exploración global del preentrenamiento y permitiendo la corrección rápida de errores de ejecución locales.

Metodología: Dirección de Flujo Residual (RFS)

Los autores proponen la Dirección de Flujo Residual (RFS), un marco de aprendizaje por refuerzo eficiente en datos que unifica la modulación de entrada y de salida para adaptar políticas de ajuste de flujo preentrenadas.

Modulación Unificada de la Política

RFS visualiza la adaptación de la política como la modulación de una política base preentrenada $\pi_{base}$ (representada por un campo de velocidad de ajuste de flujo $v_\theta$) sin actualizar sus parámetros subyacentes. Optimiza conjuntamente dos componentes:

1. Dirección de Ruido Latente (Modulación de Entrada): Una política $\pi_H$ aprende a producir un vector de ruido latente inicial $a_0$ condicionado al estado $s$. Esto dirige el comportamiento global del modelo generativo, permitiendo que la política cambie de modos y explore más allá de la variedad (manifold) de las demostraciones.
2. Corrección de Acción Residual (Modulación de Salida): Una política $\pi_r$ aprende una acción residual $a_r$ que se suma a la salida de la política base. Esto permite refinamientos locales precisos para corregir errores de ejecución o manejar requisitos fuera de la variedad.

La acción final se calcula como:
$$a = a_{base} + a_r$$
donde $a_{base}$ se genera integrando la dinámica de flujo desde el ruido latente dirigido $a_0$.

Pipeline de Implementación

El marco se instancia a través de un pipeline de simulación a realidad:

1. Preentrenamiento en Simulación: Se entrena una política base de ajuste de flujo sobre un pequeño conjunto de demostraciones teleoperadas mediante VR.
2. RL Online en Simulación: La política RFS ($\pi_{RF S}$) se ajusta mediante PPO online para optimizar el éxito del agarre y la estabilidad. Se utiliza información de estado privilegiada (ej. poses de objetos) aquí para generar demostraciones de alta calidad.
3. Destilación: La política mejorada por RFS se destila en una política visuomotora condicionada a nubes de puntos, eliminando la necesidad de información de estado privilegiada para el despliegue.
4. Ajuste Fino Offline en el Mundo Real: Para cerrar la brecha de simulación a realidad, la política destilada se adapta utilizando un pequeño conjunto de datos de transiciones corregidas por humanos.
   • Recolección de Datos: La política base ejecuta ejecuciones; los humanos intervienen con acciones correctivas ($a_{human}$).
   • Definición del Residual: El residual se define como $a_r = a_{human} - a_{base}$.
   • Entrenamiento: La política RFS se entrena utilizando RL Offline (específicamente TD3+BC). El crítico está condicionado a la acción final ejecutada ($a = a_{base} + a_r$) en lugar de los componentes descompuestos, lo cual los autores encontraron crítico para la estabilidad. El actor maximiza el valor del crítico mientras aplica un regularizador de clonación de comportamiento sobre las acciones residuales.

Contribuciones Clave

1. Marco RFS: Introducción de la Dirección de Flujo Residual, un marco unificado que optimiza conjuntamente el ruido latente (para adaptación global) y las acciones residuales (para refinamiento local) para adaptar políticas de ajuste de flujo preentrenadas.
2. Preentrenamiento en Simulación Efectivo: Demostración de que RFS permite un preentrenamiento robusto en simulación a partir de demostraciones humanas, capturando con éxito comportamientos complejos de coordinación de múltiples dedos.
3. Adaptación en el Mundo Real Eficiente en Datos: Validación de que RFS soporta el ajuste fino en el mundo real mediante RL offline, superando a las líneas base de aprendizaje por imitación con arranque (bootstrapped) y a los métodos estándar de solo residual o solo dirección.
4. Ablaciones Exhaustivas: Experimentos extensos que identifican la necesidad de ambos componentes de modulación, de entrada y de salida, para un alto rendimiento tanto en entornos de simulación como en entornos reales.

Resultados Experimentales

Rendimiento en Simulación

RFS fue evaluado en seis tareas de manipulación diestra: Agarre (Grasping), Recoger y Colocar (Pick & Place), Empaquetado (Packing), Empujar para Agarrar (Push-to-Grasp), Apilamiento (Stacking) y Vertido (Pouring).

• Líneas Base: RFS se comparó contra el ajuste fino de RL para difusión/flujo (DPPO, ReinFlow), RL de Offline-a-Online (IQL, AWAC, Flow Q-Learning) y RL con Demostraciones (RLPD, IBRL).
• Ablaciones: Se comparó contra solo RL Residual (Policy Decorator, ResiP) y solo Dirección de Difusión (DSRL).
• Resultado: RFS alcanzó las tasas de éxito más altas en todas las tareas, con una tasa de éxito promedio de 0.87.
  • Notablemente, RFS superó significativamente a la política base y a todas las líneas base en tareas de largo horizonte (Empaquetado) y alta precisión (Apilamiento, Vertido) donde otros métodos colapsaron o tuvieron dificultades.
  • Por ejemplo, en Apilamiento, RFS logró un éxito de 0.95, comparado con 0.15 para la política base y 0.135 para DSRL.

Rendimiento en el Mundo Real

Los experimentos se realizaron con un brazo Franka y una mano LEAP, transfiriendo políticas entrenadas en simulación a tareas reales de agarre y recoger y colocar con objetos vistos y no vistos.

• Configuración: El ajuste fino se realizó utilizando solo 50 demostraciones corregidas por humanos (RL offline).
• Líneas Base: Transferencia zero-shot, ajuste fino de Clonación de Comportamiento (BC) y Co-entrenamiento.
• Resultado:
  • Objetos Vistos: RFS logró un 90.0% de éxito en Recoger y Colocar y un 80.0% en Agarre, superando al Co-entrenamiento (60.0% / 83.3%) y al BC (40.0% / 73.3%).
  • Objetos No Vistos: RFS demostró una generalización superior, logrando un 74.0% de éxito en Agarre y un 48.0% en Recoger y Colocar, significativamente más alto que la línea base zero-shot (43.3% / 30.0%) y otras variantes de RL offline.
• Diseño del Crítico: Los autores encontraron que condicionar el crítico a la acción final ejecutada ($a_{base} + a_r$) era esencial; condicionar en los componentes descompuestos falló en producir resultados consistentes.

Significación y Reivindicaciones

El artículo afirma que RFS proporciona una solución principista al "cuello de botella de la adaptación" en el aprendizaje por imitación generativa. Al desacoplar la exploración global (vía ruido latente) del refinamiento local (vía residuales), RFS permite que las políticas:

1. Preserven el Preentrenamiento: Mantengan la estructura expresiva y las capacidades multimodales de la política de ajuste de flujo preentrenada.
2. Se Adapten Eficientemente: Logren un rendimiento robusto con un mínimo de interacción de datos en el mundo real (ajuste fino offline).
3. Generalicen: Transfieran con éxito de simulación a la realidad, manejando objetos novedosos y condiciones dinámicas que causan que las políticas zero-shot fallen.

Los autores concluyen que, si bien RFS es altamente efectivo, las limitaciones actuales incluyen la dependencia de observaciones de nubes de puntos (careciendo de razonamiento semántico de alto nivel) y una restricción al ajuste fino offline, lo que limita la capacidad de respuesta ante condiciones que cambian dinámicamente durante el despliegue.