Quadruped Parkour Learning: Sparsely Gated Mixture of Experts with Visual Input

Resumen Técnico: Aprendizaje de Parkour en Cuadrúpedos con Mezcla de Expertos Esparsamente Puerta y Entrada Visual

1. Problema

La locomoción de robots con patas en terrenos complejos, específicamente el "parkour" robótico (saltar, escalar y navegar obstáculos grandes y discontinuos), representa un desafío significativo. Aunque los enfoques actuales basados en Aprendizaje por Refuerzo (RL) han demostrado capacidades impresionantes, la mayoría de las arquitecturas de control (el "actor") utilizan Perceptrones Multicapa (MLP) secuenciales con capas densamente activadas.

Estas arquitecturas densas presentan limitaciones:

• Escalabilidad: Aumentar el rendimiento requiere aumentar linealmente el número de parámetros activos, lo que incrementa el costo computacional.
• Eficiencia: No aprovechan la computación condicional, activando todos los parámetros en cada paso de inferencia, incluso cuando no son necesarios para la tarea específica.
• Integración Visual: Muchos trabajos previos no integran eficazmente la percepción visual (cámaras de profundidad) en arquitecturas escalables para parkour.

El objetivo de este trabajo es investigar si las arquitecturas de Mezcla de Expertos (MoE) esparsamente puerta, populares en Grandes Modelos de Lenguaje (LLM), pueden ofrecer una mejor compensación entre rendimiento y eficiencia computacional en el contexto del parkour robótico basado en visión.

2. Metodología

Los autores proponen un marco de aprendizaje que integra una arquitectura MoE en un agente de RL para un robot cuadrúpedo (Unitree Go2).

• Arquitectura del Agente (MoE):

  • Se utiliza un actor con tres capas secuenciales, donde la capa intermedia es una capa MoE esparsamente puerta.
  • La arquitectura consta de 16 expertos ($n=16$), de los cuales se activan dinámicamente solo los 4 mejores ($k=4$) en cada paso de inferencia mediante un mecanismo de puerta (gating).
  • Se emplea una función de pérdida de "balanceo de carga" (load balancing loss) para evitar que el modelo se concentre en un subconjunto limitado de expertos, fomentando la especialización y la diversidad.
  • Las capas de entrada y salida son lineales con activación ELU.

• Entrenamiento en Dos Fases (Two-Phase Training):

  • Fase 1 (Simulación con Información Privilegiada): El agente se entrena en el simulador Isaac Gym utilizando información privilegiada (posición del centro de masa, coeficientes de fricción, fuerzas de los motores, etc.) y mapas de elevación (scandots). Se utiliza el algoritmo PPO (Proximal Policy Optimization).
  • Fase 2 (Simulación a Real - Sim2Real): El agente estudiantil se entrena para imitar al agente maestro (Fase 1) pero sin información privilegiada.
    • La entrada de percepción cambia de mapas de elevación a imágenes de profundidad procesadas mediante una Unidad Recurrente Gated (GRU).
    • Se estiman las variables físicas y la velocidad lineal a partir de la historia de la propiocepción.
    • Se inyecta ruido en las observaciones (velocidad angular, posiciones de las articulaciones, contacto de pies) y se aplican artefactos a las imágenes de profundidad para simular el ruido del mundo real y cerrar la brecha Sim2Real.

• Procesamiento de Visión:

  • Se utiliza una cámara Intel Realsense D435f.
  • El pipeline de profundidad incluye recorte, detección de contornos, recorte de imagen, adición de artefactos simulados, desenfoque gaussiano y normalización para robustecer la entrada contra variaciones de iluminación y ruido.

3. Contribuciones Clave

1. Nueva Arquitectura MoE para Parkour: Se presenta el primer marco que aplica una arquitectura MoE esparsamente puerta al control de parkour basado en visión, demostrando la viabilidad de la computación condicional en robótica de locomoción.
2. Integración Robusta de Visión: Incorporación de una tubería de procesamiento de imágenes de profundidad (depth image pipeline) dentro del bucle de control, permitiendo la navegación en terrenos no estructurados sin mapas previos.
3. Despliegue en Mundo Real: Validación exitosa en un robot Unitree Go2 en condiciones reales, incluyendo obstáculos de gran altura (80% de la altura del robot) y entornos exteriores con iluminación variable (parque de patinaje).
4. Análisis de Especialización de Expertos: Demostración de que los expertos dentro de la red desarrollan especializaciones cíclicas (relacionadas con el ciclo de la marcha) y especializaciones basadas en la profundidad, lo que sugiere una división funcional eficiente del trabajo.

4. Resultados

Los experimentos se realizaron en un robot Unitree Go2 real enfrentando una caja de 32 cm (80% de su altura).

• Rendimiento Comparativo:

  • La política MoE logró un 100% de éxito (10/10 intentos) en cruzar el obstáculo.
  • Una política MLP secuencial "Grande" (con el mismo número de parámetros activos en inferencia que el MoE) solo logró un 50% de éxito (5/10 intentos).
  • Para igualar el rendimiento del MoE, el MLP secuencial necesitó escalar su tamaño total para igualar el número total de parámetros del MoE (política "Extra-Large"), logrando un 90% de éxito pero con movimientos más desordenados ("scrambling") y tiempos de recuperación más largos.

• Eficiencia Computacional:

  • Aunque el modelo MoE tiene más parámetros totales, solo activa una fracción en cada paso.
  • La política MLP "Extra-Large" (con rendimiento comparable) fue un 14.3% más lenta en tiempo de inferencia que el MoE en pruebas por lotes, demostrando la ventaja de la esparsidad.

• Análisis de Abalación:

  • Se demostró que tanto el ruido en las observaciones como la adaptación en línea regularizada (ROA) son críticos para el éxito en el mundo real. Sin ruido, el modelo falla al no generalizar; sin ROA, la estimación de parámetros físicos es insuficiente.

5. Significado e Impacto

Este trabajo es significativo porque:

• Redefine la Escalabilidad en Robótica: Demuestra que las técnicas de arquitecturas de LLM (como MoE) pueden transferirse exitosamente a la robótica de locomoción, permitiendo escalar el rendimiento sin penalizar el tiempo de inferencia en tiempo real.
• Eficiencia vs. Rendimiento: Ofrece una solución donde se obtiene un rendimiento superior (doble tasa de éxito en comparación con MLPs de tamaño activo equivalente) manteniendo una eficiencia computacional alta.
• Robustez en Entornos Reales: La combinación de MoE con un pipeline de visión robusto y adaptación en línea permite a los robots navegar terrenos desafiantes y dinámicos fuera de laboratorio, un paso crucial hacia aplicaciones prácticas en rescate o exploración.
• Comprensión del Aprendizaje: El análisis de los pesos de los expertos revela que la red aprende a especializarse en diferentes fases del ciclo de locomoción y en diferentes tipos de información sensorial (profundidad vs. propiocepción), validando la hipótesis de que la esparsidad fomenta una representación más rica y modular de la tarea.

En conclusión, el artículo establece que las arquitecturas MoE esparsamente puerta son una vía prometedora para el futuro de los controladores de robots ágiles, ofreciendo un equilibrio superior entre capacidad de generalización, rendimiento en tareas complejas y eficiencia computacional.