Resumen Técnico: ReGuide

Planteamiento del Problema

Las políticas de difusión mediante clonación de comportamiento, aunque expresivas para modelar distribuciones de acciones multimodales, siguen siendo vulnerables al desplazamiento de covariables (covariate shift). Pequeñas desviaciones de los estados demostrados pueden causar que la política consulte observaciones fuera de su distribución de entrenamiento, lo que conduce a errores acumulativos y fallos en la tarea. Esto es particularmente agudo en tareas de manipulación de largo horizonte.

Las soluciones existentes enfrentan compromisos significativos:

• Expansión de la Distribución de Entrenamiento: Métodos como DAgger requieren acceso continuo a un experto para realizar correcciones, mientras que el aumento de datos depende de supuestos sobre la estructura de la tarea o la dinámica local.
• Guía en Tiempo de Prueba: Métodos recientes (por ejemplo, DynaGuide, Latent Policy Barrier) dirigen una política congelada durante la inferencia utilizando gradientes de un modelo de dinámica aprendido. Sin embargo, estos enfoques descartan las trayectorias corregidas después de la ejecución, fallando en aprovechar los datos recuperados para la mejora de la política.

Metodología: ReGuide

ReGuide es un marco de auto-mejora que transforma la guía en tiempo de prueba en un mecanismo para generar datos de recuperación on-policy reutilizables. Opera a través de un bucle iterativo de rollout–recolección–entrenamiento, que consta de tres componentes principales:

1. Construcción de Objetivos Sensibles a Fases

Para abordar la ambigüedad de los objetivos globales en tareas de largo horizonte, ReGuide descompone las demostraciones en macro-fases ordenadas temporalmente.

• Aumento de Características: Los estados latentes se aumentan con diferencias temporales (visuales y propioceptivas) para desambiguar estados visualmente similares que pertenecen a diferentes etapas de la tarea.
• Clustering: Las características se agrupan mediante PCA y se ordenan por paso de tiempo para formar macro-fases.
• Conjuntos de Objetivos: Para cada fase $j$, se construye un conjunto de centroides representativos $P_j$. Esto preserva la multimodalidad dentro de las fases mientras proporciona objetivos de guía locales y precisos en lugar de un único manifold global.

2. Guía Condicionada por Fase (PCG)

ReGuide emplea un modelo de dinámica aprendido para guiar el proceso de eliminación de ruido de la difusión, pero con restricciones específicas para asegurar la calidad de los datos:

• Guía de Acción Limpia: A diferencia de la guía estándar que diferencia a través de las iteraciones de ruido, ReGuide adapta la Difusión Guiada de Preservación de Manifold (MPGD). Aplica el gradiente de guía a través de la acción limpia estimada ($\hat{A}^0_t$), coincidiendo con la distribución sobre la cual se entrenó el modelo de dinámica.
• Puerta de Dos Umbrales: La guía se aplica solo en el régimen de "desviado-pero-recuperable".
  • Un umbral inferior evita la intervención innecesaria cuando el rollout ya está cerca del manifold del experto.
  • Un umbral superior evita la dependencia de gradientes de dinámica de extrapolación cuando el rollout está demasiado lejos de la distribución de entrenamiento.
  • Estos umbrales son específicos de cada fase, adaptándose a la geometría local de cada etapa de la tarea.
• Cambio de Fase: El sistema rastrea el índice de la fase actual, avanzando solo cuando el estado latente predicho está consistentemente más cerca de los objetivos de la siguiente fase.

3. Aprendizaje de Auto-Mejora Iterativo

Los rollouts guiados exitosos se filtran y se absorben nuevamente en el conjunto de entrenamiento para actualizar la política. El marco soporta dos mecanismos de actualización complementarios:

• ReGuide-FT (Ajuste Fino): Realiza un ajuste fino del checkpoint actual sobre una mezcla del conjunto de datos original y los nuevos rollouts guiados. Esto es computacionalmente eficiente y preserva la competencia existente.
• ReGuide-FS (Desde Cero): Reentrena una nueva política desde cero sobre el conjunto de datos aumentado. Esto elimina la dependencia del checkpoint inicial, lo cual es beneficioso cuando la política base es una inicialización pobre.
• Composición: Estos pueden apilarse (por ejemplo, ReGuide-FS seguido de ReGuide-FT) para combinar las fortalezas de ambos enfoques.

Contribuciones Clave

1. Mecanismo de Generación de Datos: ReGuide replantea la guía en tiempo de prueba no solo como una herramienta de corrección, sino como un generador de datos de recuperación on-policy de alta calidad que captura dónde se desvía la política y cómo recuperarse.
2. Guía Condicionada por Fase (PCG): Una estrategia de guía novedosa que localiza los objetivos a las fases de la tarea y controla la guía a regímenes fiables, evitando el colapso de los modos de comportamiento válidos.
3. Diferenciación de Acción Limpia: Adaptar la guía para diferenciar a través de acciones limpias estimadas en lugar de iteraciones ruidosas, asegurando la compatibilidad con modelos de dinámica entrenados con datos limpios.
4. Bucle Iterativo: Un marco que mejora la política de forma iterativa sin requerir demostraciones expertas adicionales, limitado únicamente por el techo de rendimiento de los datos auto-generados.

Resultados Experimentales

Evaluado en cuatro tareas de manipulación de Robomimic (Can, Square, Transport, Tool Hang) bajo regímenes de bajos datos:

• Ganancias de Rendimiento: ReGuide mejora las tasas de éxito de la política base en 1.3–7.7×.
  • Tool Hang experimentó la mejora más dramática (7.7× con ReGuide-FT iterado), partiendo de una tasa de éxito base del 3%.
  • Can, Square y Transport vieron mejoras consistentes (1.3–1.5×) con una sola iteración, y mayores ganancias con composición o iteración.
• Comparación con LPB: En configuraciones de solo tiempo de prueba (sin ajuste fino), PCG supera al baseline de Latent Policy Barrier (LPB) en todas las tareas evaluadas.
• Perspectivas de Ablación:
  • Guiado vs. No Guiado: Las ganancias se atribuyen a la calidad de los datos de recuperación guiados, no simplemente al volumen de rollouts adicionales.
  • Umbralización: La puerta de dos umbrales es crítica; eliminar el umbral superior reduce significamente el rendimiento.
  • Multimodalidad: Un número intermedio de objetivos de fase ($M \approx 50$) es óptimo; demasi pocos colapsan los modos, mientras que demasiados diluyen la señal.
  • Iteración: Una segunda iteración de ReGuide-FT supera consistentemente a la primera, demostrando la viabilidad del bucle de auto-mejora.

Significancia y Reivindicaciones

El artículo afirma que ReGuide ofrece una solución práctica al problema del desplazamiento de covariables en el aprendizaje por imitación al convertir el "desperdicio" de las trayectorias fallidas o corregidas en valiosos datos de entrenamiento. Al tratar los rollouts guiados como datos on-policy reutilizables, ReGuide permite que las políticas se auto-mejoren iterativamente sin el alto costo de la intervención experta continua.

Los autores enfatizan que el marco es modesto en su alcance: depende de un modelo de dinámica fijo a través de las iteraciones (para eficiencia) y utiliza filtrado de éxito a nivel de trayectoria. Reconocen que, si bien el método funciona bien en simulación, se necesita trabajo futuro para abordar la validación en robots reales, el descubrimiento de fases adaptativo y la calibración de incertidumbre para el modelo de dinámica. La contribución central es la demostración de que los datos de recuperación guiados son más valiosos que los rollouts no guiados, permitiendo un bucle cerrado de mejora de la política impulsado únicamente por sus propias experiencias corregidas.