Neuromorphic Reinforcement Learning for Quadruped Locomotion Control on Uneven Terrain

Resumen Técnico: Aprendizaje por Refuerzo Neuromórfico para el Control de Locomoción de Cuadrúpedos en Terrenos Irregulares

Planteamiento del Problema
Si bien el Aprendizaje por Refuerzo (RL) ha permitido una locomoción cuadrúpeda robusta en terrenos complejos, los controladores actuales enfrentan limitaciones significativas en cuanto a la adaptación en el robot y la eficiencia energética. La mayoría de las políticas de vanguardia se entrenan fuera de línea (offline) mediante retropropagación (BP) en simulaciones masivas en paralelo y se despliegan como políticas fijas. Este enfoque tiene dificultades para adaptarse a variaciones del mundo real, tales como cambios en el terreno, desplazamientos de carga y desgaste de los actuadores. Además, el costo computacional de la inferencia de alta dimensión y la propagación de gradientes frecuentes en plataformas CPU/GPU crea una carga energética sustancial, particularmente para robots de pequeña escala que operan bajo fuentes de energía limitadas. Existe una necesidad crítica de algoritmos de aprendizaje que sean compatibles con sustratos de hardware neuromórficos de bajo consumo y que puedan realizar una adaptación local y consciente de la energía sin retropropagación global.

Metodología
Los autores proponen un marco que integra la Propagación de Equilibrio (EP) con la Optimización de Política Próxima (PPO) para entrenar un controlador de cuadrúpedo bioinspirado. El sistema reemplaza las redes convencionales entrenadas por retropropagación con el aprendizaje local basado en EP, donde el aprendizaje es impulsado por estados neuronales locales y la dinámica de relajación de la red en lugar del transporte global de gradientes.

La arquitectura de control es un sistema de dos ramas CPG–RES (Generador de Patrones Centrales – Residual):

1. Rama CPG: Genera trayectorias de pies rítmicas y estructuradas (fase, amplitud, frecuencia) para manejar la generación de marcha básica.
2. Rama RES: Proporciona ajustes posturales residuales para corregir los objetivos de las articulaciones durante la traversía de terrenos irregulares.

Para adaptar PPO a EP, los autores abordan varios desafíos técnicos:

• Objetivo compatible con EP: Derivan una señal de perturbación de salida (output-nudging) que mapea el objetivo de la política PPO sobre la dinámica de equilibrio de EP. En lugar de minimizar una pérdida, la red es impulsada a maximizar el objetivo subrogado de PPO aplicando el gradiente negativo del objetivo a las neuronas de la capa de salida.
• Mecanismos de Estabilización: Para prevenir el colapso de la política y actualizaciones inestables durante el proceso de relajación, los autores introducen un mecanismo de recorte de ratio de doble lado (modificando el rango de recorte estándar de PPO) y una regla de escalado de gradiente ajustada usando $1/\sigma_i$ en lugar de $1/\sigma_i^2$.
• Preprocesamiento: Se aplica una transformada de coseno discreta inversa (iDCT) a los vectores de observación para acelerar la convergencia al equilibrio y reducir la latencia de inferencia.
• Paradigma de Entrenamiento: El sistema emplea un proceso de entrenamiento de dos etapas. La Etapa 1 entrena la política CPG en terreno plano. La Etapa 2 congela la política CPG y entrena la política RES en terreno irregular aleatorizado. Ambas etapas utilizan el marco EP-PPO.

Contribuciones Clave

1. Marco PPO basado en EP: El artículo presenta la primera demostración de un marco PPO basado en EP para el control continuo de locomoción sin retropropagación. Formula actualizaciones de EP tanto para el aprendizaje de la política como para la regresión de valor, estableciendo una vía para la implementación neuromórfica de control robótico de alta dimensión.
2. Gradiente de Política compatible con EP: Los autores derivan una señal de perturbación de la capa de salida específica y un objetivo de recorte de ratio de doble lado que estabiliza las actualizaciones de la política durante la relajación de EP, permitiendo el entrenamiento de políticas estocásticas de control continuo sin retropropagación directa a través de la red.
3. Integración de Controlador Bioinspirado: El trabajo integra redes EP en un controlador CPG–RES, conectando la organización de la locomoción biológica (dinámicas de oscilador) con el aprendizaje neuromórfico local para la traversía de terrenos irregulares.

Resultados
El controlador propuesto fue evaluado en un cuadrúpedo Unitree A1 de 12 DoF simulado en MuJoCo sobre terreno irregular aleatorizado y se comparó contra una línea base de PPO entrenada mediante retropropagación.

• Paridad de Rendimiento: El controlador basado en EP logró un rendimiento comparable al de la línea base de BP en términos de tasa de éxito, seguimiento de velocidad de avance, consumo de potencia del actuador y estabilidad del cuerpo (velocidad angular de roll/pitch).
• Estabilidad de Entrenamiento: El método EP logró una convergencia de política estable en ambas etapas de entrenamiento sin colapso de la política, y la red de valor minimizó la pérdida de manera constante.
• Eficiencia: Un hallazgo significativo es la mejora en la eficiencia de memoria. El algoritmo EP consumió aproximadamente 4.3 veces menos memoria de GPU (3110 MB frente a 13486 MB) que la retropropagación a través del tiempo (BPTT) para la misma tarea, atribuido a la eliminación de los requisitos de almacenamiento de gradientes globales.

Significado y Reivindicaciones
El artículo afirma que el aprendizaje local basado en equilibrio puede soportar la locomoción corporal de alta dimensión y contacto rico, yendo más allá de los benchmarks simples de control neuromórfico. La principal significancia radica en proporcionar una base algorítmica para la adaptación y el ajuste fino en el robot con bajo consumo de energía. Al alinear las reglas de aprendizaje con las dinámicas del hardware in-memory y neuromórfico, el marco ofrece una solución potencial a las restricciones energéticas de la autonomía de larga duración.

Los autores mantienen la modestia respecto al estado actual del trabajo, señalando que:

• El método hereda las limitaciones de eficiencia de muestra de PPO, las cuales son desafiantes para robots reales.
• La implementación actual todavía depende de la computación digital para la relajación e infraestructura; es un paso algorítmico hacia el aprendizaje consciente de la energía más que una realización de hardware completa.
• Se requiere trabajo futuro para abordar la seguridad, la eficiencia de muestra y el desarrollo de diseños neuromórficos a nivel de sistema que integren la dinámica de EP con la infraestructura de RL circundante.