Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion

Resumen Técnico: RL de Mezcla de Expertos para Locomoción de Piernas con Tolerancia a Fallos

Planteamiento del Problema
Los robots con patas son cada vez más vitales para la exploración planetaria y las operaciones remotas debido a su capacidad para atravesar terrenos no estructurados. Sin embargo, el despliegue de larga duración en estos entornos expone al hardware a la degradación y a fallos en los actuadores, lo que puede comprometer severamente la movilidad. Aunque el Aprendizaje por Refuerzo (RL) ha demostrado robustez en la locomoción de piernas, las políticas monolíticas convencionales luchan por representar eficientemente las diversas estrategias de control requeridas para diferentes condiciones de fallo. Una red única que intenta codificar la percepción del terreno, la locomoción estándar y múltiples comportamientos distintos de recuperación de fallos suele sufrir de interferencia representacional y una reducción en la eficiencia del aprendizaje, particularmente a medida que aumenta la complejidad de la tarea.

Metodología
Los autores proponen una arquitectura de control modular consciente de los fallos que aprovecha explícitamente la información de diagnóstico de fallos para activar expertos de control especializados. A diferencia de los enfoques estándar de Mezcla de Expertos (MoE) que dependen de una red de enrutamiento aprendida para inferir el modo de operación, este marco utiliza información de fallo explícita para seleccionar el experto apropiado.

El pipeline de control consta de tres componentes principales:

1. Política de Mezcla de Expertos Consciente de Fallos: La red de la política utiliza un codificador compartido para procesar observaciones propioceptivas (velocidades lineales/angulares de la base, proyección de la gravedad, posiciones/velocidades de las articulaciones) y mapas de altura visuales del terreno. En lugar de un mecanismo de enrutamiento aprendido, el sistema emplea un mecanismo de selección one-hot basado en la condición de fallo diagnosticada $k$. Esto activa un experto específico $\pi_k$ adaptado a ese modo de fallo mientras mantiene los otros expertos inactivos. Este diseño reduce el costo de inferencia activa ($C_{active} = C_{enc} + C_k$) en comparación con el enrutamiento denso ($C_{dense} = C_{enc} + \sum C_k$).
2. Estimación de Estado: Para manejar la ruptura de las suposiciones basadas en modelos durante fallos severos (por ejemplo, arrastre del cuerpo), el marco emplea un estimador de estado basado en aprendizaje. Esta red neuronal predice la velocidad lineal de la base directamente a partir de observaciones sensoriales (incluyendo la aceleración de la IMU) sin depender de un modelado de contacto explícito, acomodando los cambios dinámicos inducidos por fallos de actuadores.
3. Detección de Fallos: Una red neuronal dedicada ($f_{fault}$) es entrenada como un problema de aprendizaje supervisado para identificar la condición de fallo de actuador actual a partir de una ventana temporal de la historia propioceptiva. Este módulo proporciona la distribución categórica de los estados de fallo utilizada para activar el experto correspondiente.

El sistema fue entrenado utilizando Optimización de Política de Proximidad (PPO) dentro del framework IsaacLab en un robot Unitree Go2. La función de recompensa incluye objetivos orientados a la tarea (seguimiento de velocidad, altura/orientación de la base) y términos de regularización (energía de la articulación, suavidad). Crucialmente, términos de recompensa específicos se activan o desactivan dinámicamente según el número de piernas fallidas ($n_f$) para adaptar el objetivo de aprendizaje a la severidad del fallo.

Contribuciones Clave

• Política MoE Consciente de Fallos: La propuesta de un marco de RL modular donde los expertos especializados están condicionados explícitamente por los fallos de actuadores diagnosticados, eliminando la necesidad de una función de enrutamiento aprendida y permitiendo la computación condicional.
• Eficiencia bajo Restricciones: Una evaluación que demuestra que las políticas modulares mantienen un rendimiento de locomoción competitivo incluso con una capacidad de red significativamente reducida (variantes Small), superando a las bases monolíticas de tamaño comparable.
• Reproducibilidad: La liberación del código asociado para proporcionar una base reproducible para la comunidad.

Resultidos
Los experimentos se realizaron en simulación y en un robot físico Unitree Go2 a través de cuatro escenarios: Sin Fallo (No Fail), Fallo Delantero Izquierdo (LF Fail), Fallo Trasero Izquierdo (LH Fail), y Fallo simultáneo Trasero Izquierdo + Trasero Derecho (LH+RH Fail).

• Comparación de Rendimiento: La arquitectura MoE propuesta superó consistentemente a las bases de PPO monolíticas en todos los escenarios de fallo. Mientras que el rendimiento fue comparable en condiciones nominales, la ventaja del enfoque MoE se hizo progresivamente más evidente a medida que aumentaba la severidad del fallo. En el escenario más severo (LH+RH Fail), donde la locomoción requiere comportamientos de arrastre distintos al trote estándar, la política MoE logró recompensas acumuladas sustancialmente mayores.
• Sensibilidad de la Capacidad de la Red: Cuando la capacidad de la red se redujo (de arquitecturas Large a Small), la base monolítica sufrió una degradación significativa del rendimiento. En contraste, la arquitectura MoE mantuvo un rendimiento robusto, logrando su variante "Small" resultados comparables a la base monolítica "Large". Esto sugiere que la especialización estructurada permite un aprendizaje efectivo incluso con menos parámetros activos.
• Validación en el Mundo Real: El marco se desplegó con éxito en un robot físico, demostrando una trayectoria exitosa a través de terreno rocoso en condiciones nominales, locomoción de tres patas (LH Fail) y locomoción de arrastre de dos patas (LH+RH Fail).

Significancia y Limitaciones
El artículo sostiene que la especialización explícita condicionada al fallo ofrece una alternativa superior a simplemente aumentar el tamaño del modelo para la locomoción tolerante a fallos. La arquitectura es particularmente significativa para plataformas robóticas con restricciones de cómputo, como las utilizadas en la exploración espacial, donde los recursos a bordo son limitados. Al desacoplar los comportamientos específicos de cada fallo en expertos dedicados, el sistema logra una alta robustez sin la sobrecarga computacional de una red monolítica masiva.

Los autores reconocen modestamente una limitación respecto a la eficiencia de muestreo. Debido a que las redes de los expertos no comparten todos los parámetros, las estimaciones del gradiente de la política son más ruidosas, ya que cada experto se actualiza solo con trayectorias de su condición de fallo específica. Si bien los experimentos actuales (usando ~4,096 agentes por condición de fallo) fueron suficientes, escalar a un mayor número de condiciones de fallo podría requerir entornos de simulación adicionales o estrategias de compartición de parámetros más sofisticadas.