Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications

Resumen Técnico: Aprendizaje de Locomoción Cuadrúpeda con Conciencia de la Marcha mediante Especificaciones de Lógica Temporal

Planteamiento del Problema
El aprendizaje por refuerzo (RL) para la locomoción cuadrúpeda depende actualmente en gran medida de funciones de recompensa de Markov fijas y diseñadas manualmente. Aunque son efectivas para aprender marchas dominantes únicas (por ejemplo, el trote), estos enfoques sufren de dos limitaciones principales:

1. Falta de Interpretabilidad: Las políticas aprendidas suelen ser "cajas negras" donde la conexión entre los términos de recompensa y fallos de comportamiento específicos es opaca.
2. Control de Marcha Limitado: Las funciones de recompensa estáticas tienen dificultades para inducir regímenes de marcha distintos (caminata-trote, trote, salto/bound) o transiciones suaves entre ellos basados en la velocidad. A menudo no logran imponer explícitamente la estructura temporal de los patrones de contacto requeridos para diferentes velocidades, lo que conduce a un entrenamiento inestable o a un seguimiento deficiente de los comandos a altas velocidades.

Los autores abordan el desafío de aprender una política única que pueda adaptar su estructura de marcha a través de múltiples regímenes de velocidad manteniendo la seguridad, la estabilidad y un seguimiento preciso de la velocidad.

Metodología
El marco propuesto reemplaza las recompensas heurísticas por especificaciones de Lógica Temporal de Señales (STL) para codificar los comportamientos deseados. La metodología central involucra:

1. Selección de Marcha Dependiente del Modo:
   El sistema define tres modos de locomoción basados en la velocidad de avance comandada ($v_{cmd}$), utilizando el número de Froude para determinar los umbrales de transición:

   • Caminata-Trote (W): $0 \le v_{cmd} \le 0.7$ m/s.
   • Trote (T): $0.7 < v_{cmd} \le 1.7$ m/s.
   • Salto/Bound (B): $v_{cmd} > 1.7$ m/s.
     Se aplica histéresis para evitar el parpadeo (chattering) de modo cerca de los límites de transición.

2. Minería de Especificaciones STL Basada en Datos:
   En lugar de ajustar manualmente los parámetros lógicos, los autores utilizan un enfoque basado en datos:

   • Trayectorias de Expertos: Recopilan 50 ejecuciones (rollouts) de expertos por régimen (caminata-trote, trote, salto) a partir de modelos especializados.
   • Plantillas de STL Paramétricas (PSTL): Definen plantillas paramétricas para la seguridad (límites de torque, límites de roll/pitch, altura del CoM), el seguimiento de velocidad y la estructura de la marcha (patrones de contacto, factores de deber, sincronización de fase).
   • Calibración de Parámetros: Los umbrales para los predicados de STL se ajustan a los datos de los expertos utilizando cuantiles empíricos (por ejemplo, el percentil 99 para las magnitudes de error) para asegurar que las especificaciones sean satisfechas por comportamientos exitosos sin penalizar excesivamente el ruido transitorio.

3. Modelado de Recompensa mediante Robustez:
   Las especificaciones STL se convierten en una señal de recompensa densa y continua utilizando semántica de robustez cuantitativa.

   • Predicados: Se definen predicados específicos para cada modo (por ejemplo, error de fase diagonal para el trote, ocupación de la fase aérea para el salto, supresión de patrones diagonales para el salto).
   • Agregación: Los valores de robustez ($\rho$) para la seguridad, el seguimiento y las restricciones de patrón se agregan utilizando una función soft-min que preserva el signo y se normalizan mediante $\tanh(\rho)$ para mapearlos al intervalo $[-1, 1]$.
   • Recompensa Final: La recompensa escalar es una suma ponderada de los términos de robustez normalizados menos una penalización de eficiencia energética (esfuerzo de torque).

4. Pipeline de Entrenamiento:
   El enfoque se implementa en el robot cuadrúpedo Barkour vb de Google dentro del simulador MuJoCo XLA (MJX).

   • Algoritmo: Se utiliza la Optimización de Política Próxima (PPO).
   • Optimización: Se emplean la paralelización en GPUs y la aleatorización de dominio para mejorar la velocidad de entrenamiento y la robustez de la política.
   • Currículo: El entrenamiento comienza con rangos de velocidad más bajos y se expande gradualmente para incluir el régimen de "salto".

Contribuciones Clave

1. Recompensas de Marcha Conscientes del Modo Basadas en Lógica: Un marco donde diferentes velocidades comandadas activan distintas especificaciones STL, permitiendo que una sola política aprenda múltiples estructuras de marcha.
2. Aprendizaje de Parámetros Basado en Datos: Un pipeline que ajusta plantillas de marcha paramétricas directamente desde trayectorias de expertos, produciendo especificaciones interpretables alineadas con estadísticas de marcha reales en lugar de conjeturas heurísticas.
3. Política Unificada de Multimarcha: Una política única que rastrea con éxito los comandos de velocidad a través de los regímenes de caminata, trote y salto, logrando errores de seguimiento de comando menores en comparación con las bases heurísticas.
4. Diagnósticos Interpretables: El uso de señales de robustez de STL permite la atribución de fallos. Si una ejecución falla, se pueden identificar los predicados violados (por ejemplo, soporte insuficiente, límites de actuadores), proporcionando una herramienta práctica para la depuración.

Resultados Experimentales
Los autores evaluaron la política modelada con STL frente a dos líneas base (heurística-mejor y heurística-por defecto) utilizando recompensas diseñadas manualmente en el robot Barkour.

• Métricas: Costo de Transporte (CoT), tasa de supervivencia y tasa de éxito (definida como la velocidad de avance promedio dentro de un $\pm 15\%$ del comando).
• Desempeño: La política basada en STL demostró un seguimiento de velocidad más ajustado y un entrenamiento más estable.
• Robustez a Alta Velocidad: Crucialmente, la política STL mantuvo tasas de supervivencia y éxito perfectas en todo el rango de velocidad probado, incluyendo comandos de alta velocidad ($1.9 - 2.1$ m/s), donde las bases heurísticas comenzaron a degradar su desempeño.

Significancia y Reivindicaciones
El artículo afirma que su marco ofrece una alternativa estructurada y analizable tanto a los métodos de representación latente de caja negra como al modelado de recompensas puramente heurístico. Al codificar los objetivos de locomoción como especificaciones lógicas, el enfoque:

• Proporciona un control explícito sobre los comportamientos de marcha y las secuencias de contacto.
• Mejora la interpretabilidad al vincular los fallos de la política con violaciones lógicas específicas.
• Resuelve el desafío de ingeniería de aprender una política unificada que se adapte su estructura de marcha a través de los regímenes de velocidad sin requerir controladores separados o mecanismos de conmutación jerárquicos complejos.

El trabajo demuestra que las especificaciones formales pueden integrarse eficazmente en los pipelines de aprendizaje por refuerzo profundo para mejorar tanto el rendimiento como la capacidad de depuración de las políticas de locomoción con patas.