Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

Resumen Técnico: Adaptación de la Ganancia de Recompensa para el Aprendizaje de Locomoción con Restricciones

Planteamiento del Problema
Las técnicas existentes de aprendizaje de locomoción robótica, particularmente aquellas basadas en el Aprendizaje por Refuerzo (RL), enfrentan dos desafíos críticos. Primero, dependen fuertemente de la selección fuera de línea (offline) de las ganancias de ponderación de la recompensa, un proceso que consume mucho tiempo, requiere una extensa sintonización de hiperparámetros y a menudo produce resultados subóptimos si los valores se seleccionan incorrectamente. Segundo, los enfoques tradicionales de RL son propensos a violaciones de restricciones (por ejemplo, caídas o exceder límites físicos) durante el proceso de entrenamiento debido a la exploración aleatoria. Aunque existen técnicas de RL con Restricciones (CRL) para imponer seguridad, muchas aún sufren violaciones de restricciones durante el aprendizaje o requieren formulaciones matemáticas complejas (por ejemplo, Funciones de Barrera de Control) y optimización iterativa (por ejemplo, métodos primal-dual) que retrasan el ajuste de las ganancias de penalización. En consecuencia, lograr violaciones de restricciones cercanas a cero mientras se maximiza el rendimiento en robots físicos del mundo real sigue siendo un desafío sin resolver.

Metodología: ROGER
Los autores proponen Reward-Oriented Gains via Embodied Regulation (ROGER), un método que adapta las ganancias de ponderación de la recompensa en línea basándose en las penalizaciones recibidas durante la interacción encarnada (embodied interaction), eliminando la necesidad de una extensa sintonización fuera de línea.

• Mecanismo Central: ROGER equilibra dinámicamente la relación entre las recompensas positivas (objetivos de la tarea primaria) y las recompensas negativas (penalizaciones por restricciones).
  • Cuando el robot se encuentra en estados seguros (lejos de los umbrales de restricción), la relación favorece la recompensa primaria para priorizar el rendimiento.
  • A medida que el robot se acerca a los umbrales de restricción, la relación cambia automáticamente para aumentar las ganancias de penalización y reducir las ganancias primarias, desincentivando eficazmente las acciones inseguras.
• Formulación Matemática: El método utiliza una configuración de múltiples canales de recompensa donde las recompensas y las penalizaciones se almacenan de forma independiente. En cada paso de tiempo $t$, las ganancias de ponderación se calculan como:
  • $\lambda_{0t} = 1 - \Delta_t$ (Ganancia de recompensa primaria)
  • $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ (Ganancia de penalización para la restricción $i$)
  • Aquí, $\Delta_t$ es una sumatoria recortada de las penalizaciones de restricción estimadas en relación con sus umbrales ($\tau$), asegurando que la suma de las ganancias sea igual a 1. La razón de contribución $r_{\lambda_{it}}$ distribuye los pesos de penalización basándose en la severidad de las violaciones de restricciones específicas.
• Hiperparámetros: El enfoque se basa en hiperparámetros intuitivos, específicamente los umbrales de restricción ($\tau$) derivados de los límites físicos del sistema (por ejemplo, la orientación máxima del hardware), en lugar de coeficientes de penalización complejos que requieren búsqueda de cuadrícula (grid search).
• Integración: ROGER está diseñado como un mecanismo complementario (add-on) para los marcos de aprendizaje existentes (por ejemplo, AGOL para cuadrúpedos, PPO para robots hopper), adaptando la estructura de recompensa en tiempo real sin alterar el algoritmo de actualización de la política subyacente.

Contribuciones Clave

1. Satisfacción de Restricciones: ROGER asegura violaciones de restricciones cercanas a cero durante todo el proceso de aprendizaje al ajustar dinámicamente las ganancias antes de que ocurran las violaciones, en lugar de reaccionar después de los hechos.
2. Sintonización Simplificada: El método elimina la necesidad de una extensa sintonización de ganancias fuera de línea mediante el uso de umbrales físicos intuitivos, reduciendo significativamente el tiempo y el riesgo asociados con la selección de hiperparámetros.
3. Optimización del Rendimiento: Al priorizar el rendimiento solo cuando es seguro, ROGER logra recompensas primarias más altas en comparación con la ponderación fija y otras técnicas de ponderación adaptativa.

Resultados Experimentales
Los autores evaluaron ROGER en un robot cuadrúpedo Unitree B1 de 60 kg (tanto en simulación como en el mundo real) y en un hopper de MuJoCo.

• Locomoción de Cuadrúpedo (Simulación y Mundo Real):
  • Violaciones de Restricción: En simulación, ROGER logró violaciones cercanas a cero (1 violación en 5 de 50,000 pasos de tiempo), superando a métodos adaptativos de vanguardia como CRPO (0 violaciones en 25,000 pasos de tiempo pero con menor rendimiento) y métodos de ponderación fija. En ensayos en el mundo real, el robot físico completó 300 episodios de aprendizaje (aprox. 1 hora) sin caerse, manteniendo los ángulos de roll y pitch por debajo del umbral de 10°.
  • Rendimiento: ROGER alcanzó una velocidad de avance final de 0.6 m/s, que es un 50% superior a las técnicas de vanguardia equivalentes (penalización de ganancia fija y CRPO) e iguala el rendimiento del entrenamiento con solo recompensas primarias, pero con seguridad garantizada.
  • Adaptabilidad: El robot aprendió con éxito a desplazarse en terrenos desafiantes (superficies resbaladizas, grava suelta, escalones aleatorios) y bajo cargas dinámicas sin sensores exteroceptivos, demostando que las políticas de control factibles emergieron a través de la exploración mientras se satisfacían las restricciones.
• Locomoción de Hopper (MuJoCo):
  • ROGER fue probado en un hopper de una sola pierna donde se violaron las suposiciones de optimalidad de penalización cero y dinámica suave.
  • Métricas: ROGER logró una mejora del 20% en la distancia de salto sobre la función de recompensa por defecto, una reducción del 57% en el uso de torque y una reducción del 59% en la desviación de la orientación.
  • Robustez: Incluso bajo restricciones más estrictas (umbrales reducidos a la mitad), ROGER mantuvo el salto hacia adelante sin retroceder, demostrando su capacidad para adaptarse a dinámicas de sistema sensibles.

Significancia y Reclamaciones
El artículo afirma que ROGER contribuye al campo del aprendizaje de locomoción robótica continua en el mundo real que satisface restricciones. Al aprovechar la interacción encarnada para regular dinámicamente las ganancias de recompensa, el método simplifica el proceso de sintonización de la ganancia de ponderación de la recompensa. Esta reducción en la complejidad de la sintonización facilita potencialmente el desarrollo de robots físicos que pueden aprender de manera segura y efectiva en el mundo real, abordando la brecha crítica donde las técnicas actuales o bien fallan en garantizar la seguridad durante el entrenamiento o requieren una cantidad prohibitiva de sintonización manual. Los autores enfatizan que, si bien ROGER asegura que se satisfaga el valor esperado de las restricciones, no garantiza la ausencia de caídas en todos los escenarios (particularmente con dinámicas sensibles), pero mejora significamente el rendimiento y la seguridad en comparación con las líneas base existentes.