Resumen Técnico: Shield-Loco

Declaración del Problema

Las políticas de aprendizaje por refuerzo (RL) han demostrado éxito al permitir la locomoción de patas dinámica mediante el mapeo de ubicaciones de contacto deseadas a comandos de articulaciones de bajo nivel. Sin embargo, estas políticas carecen de mecanismos activos para prevenir violaciones de seguridad al encontrar restricciones ambientales (por ejemplo, obstáculos) que no estaban presentes durante el entrenamiento. Si bien el aprendizaje seguro offline a gran escala es impracticable para cubrir todos los casos extremos, los marcos de seguridad existentes enfrentan limitaciones significativas:

• Modelos de orden reducido: Los métodos como las Funciones de Barrera de Control (CBF) a menudo dependen de modelos simplificados que no pueden razonar sobre comportos de cuerpo completo, lo que conduce a fallos bajo una dinámica de contacto no modelada.
• Recuperación conservadora: Los enfoques de Blindaje de Modelo Predictivo (MPS) y de alcanzabilidad de Hamilton-Jacobi (HJ) a menudo recurren a controladores de recuperación conservadores que sacrifican el rendimiento de la tarea o requieren certificados diseñados manualmente que fallan en escenarios complejos.
• Escalabilidad: La alcanzabilidad HJ escala exponencialmente con la dimensión del estado, haciendo que los modelos de cuerpo completo de locomoción sea intratables.

El desafío central es intervenir en la política para garantizar la seguridad sin degradar el rendimiento de la tarea ni requerir un reentrenamiento completo de la política de RL.

Metodología

Los autores proponen Shield-Loco, un filtro de seguridad predictivo que opera post-hoc sobre las ubicaciones de contacto enviadas a una política de RL condicionada al contacto. La idea clave es que las ubicaciones de contacto de los pies sirven como una abstracción cinemática suficiente para imponer la evitación de colisiones de cuerpo completo, manteniéndose tratable para la optimización en línea.

Descripción general del marco de trabajo

En cada paso de control, el filtro recibe una secuencia nominal de ubicaciones de contacto de un planificador de alto nivel. Realiza un despliegue hacia adelante (forward rollout) utilizando un simulador de física completa (MuJoCo) y la política de RL congelada para predecir estados futuros.

1. Predicción: Si no se predice una violación de seguridad dentro del horizonte de retroceso, el contacto nominal se pasa a la política.
2. Intervención: Si se predice una violación, un optimizador basado en muestreo busca una secuencia de contacto alternativa que maximice el retorno de horizonte finito mientras satisface las restricciones de seguridad.
3. Ejecución: La primera ubicación de contacto optimizada se envía a la política de RL, la cual genera torques de articulación. El proceso se repite de forma asíncrona, permitiendo que la política de bajo nivel se ejecute a alta frecuencia (50 Hz) incluso si el optimizador corre a una frecuencia menor (3 Hz).

Formulación de la Optimización

El filtro resuelve el siguiente problema de optimización cuando se requiere intervención:
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
Sujeto a restricciones de seguridad $g(s_t, p_t) \leq 0$, donde $a_t = \pi(s_t, p_t)$ y $s_{t+1} = f(s_t, a_t)$.

• Recompensa ($r$): Codifica el rendimiento de la tarea (por ejemplo, seguimiento de contactos deseados, eficiencia energética).
• Función de Valor ($V$): Una función de valor aprendida realiza el bootstrapping de retornos de largo horizonte, entrenada offline mediante aprendizaje de diferencia temporal sobre trayectorias recolectadas por el optimizador.
• Restricciones de Seguridad ($g$):
  • Penalización de contacto del pie: Penalizaciones suaves basadas en la función de distancia con signo (SDF) entre los pies y los obstáculos.
  • Colisión de cuerpo completo: Se aplica una penalización grande si cualquier eslabón del robot hace contacto con un obstáculo, detectado mediante los datos de contacto de MuJoCo.

Componentes Algorítmicos para la Tratabilidad

Para hacer que la optimización sea factible en un paisaje de contacto discontinuo, los autores introducen tres componentes clave:

1. Proyección Geométrica: Las ubicaciones de contacto muestreadas se proyectan sobre el conjunto libre de colisiones mediante un Programa Cuadrático (QP) antes de la evaluación del despliegue. Esto asegura que los candidatos satisfagan restricciones duras localmente, aunque el despliegue completo sigue siendo evaluado para la seguridad.
2. Actualizaciones con Aumento de Momento: Derivada del Descenso de Gradiente Natural Proximal Acelerado, esta regla de actualización acelera la convergencia mediante la extrapolación en la dirección de la mejora, reduciendo el número de iteraciones requeridas.
3. Intercambio de Réplicas (Tempering de Paraleo): Para escapar de mínimos locales poco profundos, se mantienen múltiples réplicas del optimizador con diferentes temperaturas inversas ($\lambda$). Las réplicas adyacentes intercambian secuencias de contacto basadas en el criterio de Metropolis-Hastings, permitiendo que las réplicas de alta temperatura exploren ampliamente mientras que las de baja temperatura explotan soluciones prometedoras.

Principales Contribuciones

1. Filtro de Seguridad Predictivo sobre Ubicaciones de Contacto: Un método que opera directamente sobre las ubicaciones de contacto de entrada a las políticas de RL, permitiendo la evitación de colisiones de cuerpo completo sin modificar la política subyacente.
2. Optimización Basada en Muestreo Tratable: Un esquema de optimización novedoso que incorpora proyección geométrica, actualizaciones con aumento de momento e intercambio de réplicas para manejar el paisaje de costo no suave y discontinuo de la locomoción con patas.
3. Validación en Simulación y el Mundo Real: Evaluación exhaustiva en un cuadrúpedo Unitree Go2 en entornos densos y desordenados, demostrando reducciones sustanciales en las violaciones de seguridad con una desviación mínima del paso nominal.

Resultados

El método fue evaluado en un cuadrúpedo Unitree Go2 tanto en simulación MuJoCo como en experimentos de hardware en el mundo real.

• Compromiso entre Seguridad y Rendimiento: Comparado con las líneas base (CBF y la alcanzabilidad HJ usando aproximaciones de uniciclo), Shield-Loco logró costos de seguimiento significativamente más bajos y menos violaciones de seguridad reales. Los modelos de orden reducido tuvieron dificultades en entornos densos y desordenados, mientras que Shield-Loco mantuvo un fuerte compromiso entre seguridad y seguimiento.
• Variantes del Optimizador: Entre los optimizadores probados (MPPI, CEM y Replica Exchange MPPI), la variante de Intercambio de Réplicas logró el costo de seguimiento más bajo (0.0086) manteniendo bajas tasas de violación, aunque incurrió en un mayor tiempo de optimización.
• Estudios de Ablación:
  • Momento: Los coeficientes de momento no nulos ($\beta$) mejoraron consistentemente los costos de seguimiento, siendo $\beta=0.1$ el que arrojó el rendimiento óptimo.
  • Horizonte e Iteraciones: Un presupuesto computacional moderado ($N=3$ iteraciones, $H \in [4, 6]$) proporcionó el mejor equilibrio entre seguridad y reactividad.
  • Proyección: Aplicar la proyección geométrica tanto durante el muestreo del despliegue como en el plan optimizado final fue crítico para minimizar las violaciones.
• Despliegue en el Mundo Real: El sistema navegó con éxito por entornos desordenados con obstáculos (teléfonos, paquetes, cables) y obstáculos estáticos grandes. El diseño asíncrono permitió que el robot se mantuviera estable incluso cuando el optimizador tardaba más que el ciclo de planificación (por ejemplo, 400 ms para $H=8$), ya que la política de bajo nivel continuaba rastreando los últimos objetivos de contacto seguros conocidos.

Significancia y Limitaciones

El artículo posiciona a Shield-Loco como una intervención de seguridad mínimamente invasiva que cierra la brecha entre la expresividad de los modelos de física completa y la tratabilidad requerida para el filtrado de seguridad en línea. Al operar sobre las ubicaciones de contacto en lugar de los torques de las articulaciones, evita la "maldición de la dimensionalidad" mientras retiene la capacidad de razonar sobre colisiones de cuerpo completo.

Limitaciones y Trabajo Futuro:

• Garantías Teóricas: El método carece de garantías teóricas formales de optimalidad o seguridad. El plan filtrado puede desviarse del conjunto seguro real si el optimizador converge a un óptimo local.
• Proyección Heurística: La proyección geométrica es una heurística y puede no preservar estrictamente las propiedades de convergencia del optimizador.
• Limitaciones de la Política: Las violaciones reales en los experimentos fueron causadas en ocasiones por la generación de configuraciones de fase de balanceo intermedias inseguras por parte de la política de RL, incluso cuando los objetivos de contacto eran seguros.
• Alcance: La validación está actualmente limitada a cuadrúpedos en terrenos llanos. Extender esto a la locomoción en múltiples terrenos, humanoides o escenarios que requieran torsión activa del torso sigue siendo un trabajo futuro.
• Percepción: El marco actual asume una geometría de obstáculos conocida; integrar tuberías de percepción en línea para un despliegue totalmente autónomo en entornos no vistos se identifica como una dirección futura necesaria.