Resumen Técnico: HuMam – Control de Movimiento Humanoide mediante Aprendizaje por Refuerzo Profundo de Extremo a Extremo con Mamba

1. Planteamiento del Problema

La locomoción humanoide presenta desafíos únicos en comparación con los sistemas cuadrúpedos o con ruedas, principalmente debido a centros de gravedad más altos, dinámicas acopladas entre la parte superior e inferior del cuerpo y estrictos requisitos de seguridad. Si bien el aprendizaje por refuerzo (RL) de extremo a extremo ofrece un mapeo percepción-acción compacto, su despliegue práctico suele sufrir de inestabilidad en el entrenamiento, fusión de características ineficiente y altos costos de actuación.

Los enfoques existentes enfrentan limitaciones específicas:

• Las arquitecturas de alimentación directa (feedforward) a menudo no aprovechan adecuadamente los datos de observación estructurados, como la fase de la marcha y los objetivos de paso orientados.
• Los modelos de secuencia pesados (por ejemplo, Transformers o RNN profundas) imponen compromisos desfavorables entre cómputo y memoria, lo que dificulta el despliegue en tiempo real a bordo.
• La dinámica de entrenamiento presenta frecuentemente inestabilidad, alta varianza entre semillas e uso ineficiente de muestras, lo que conduce a políticas que son inestables o energéticamente ineficientes.

El artículo aborda la necesidad de un controlador que sea tanto previsor (coordinando la colocación de los pies y el equilibrio) como consciente de los recursos (operando dentro de los límites de cómputo y actuación a bordo) sin depender de la acumulación explícita de historial temporal.

2. Metodología: El Marco de Trabajo HuMam

Los autores proponen HuMam, un marco de RL de extremo a extremo centrado en el estado, diseñado para la marcha humanoide. La innovación central radica en la adopción de un codificador Mamba de una sola capa como un esqueleto de fusión ligero.

2.1. Espacio de Observación

El agente recibe un conjunto rico de observaciones en cada paso de tiempo, dividido en dos categorías:

• Estados centrados en el robot: Posiciones y velocidades de las articulaciones para 12 articulaciones de las piernas actuadas, orientación del centro (roll, pitch) y velocidad angular (roll, pitch, yaw). El yaw global se excluye ya que los pasos se definen en relación con el marco de referencia de la raíz.
• Guía externa: Dos objetivos de paso orientados ($T_1, T_2$) definidos por posición 3D y orientación (heading), además de un reloj de fase continuo que codifica el ciclo de la marcha ($\sin, \cos$) para evitar discontinuidades asociadas con la codificación de fase escalar.

2.2. Arquitectura: Codificador Mamba de una Sola Capa

A diferencia de los diseños recurrentes o basados en atención que acumulan historial temporal, HuMam depende únicamente del estado actual, pero utiliza la dinámica de espacio de estados selectivo de Mamba para capturar dependencias estructuradas entre las modalidades de entrada.

• Tokenización: Los estados del robot y externos se concatenan y se proyectan en embeddings específicos de la modalidad.
• Codificación de Espacio de Estados: Una sola capa de Mamba aplica dinámica de espacio de estados con compuertas (gated) a estos tokens. Esta formulación proporciona una visión convolucional con kernels de decaimiento exponencial, permitiendo una mezcla de características eficiente sin recurrencia temporal explícita.
• Salida: La representación codificada se agrega en un vector de características compacto compartido por las cabezas de política y de valor.

2.3. Jerarquía de Control y Espacio de Acción

• Espacio de Acción: La política de alto nivel (que funciona a 40 Hz) genera los objetivos de posición de articulación deseados para las 12 articulaciones de las piernas actuadas.
• Ejecución de Bajo Nivel: Un controlador Proporcional-Derivativo (PD) de baja ganancia (que funciona a 1000 Hz) convierte estos objetivos de posición en torques de articulación ejecutables. Esta estructura jerárquica asegura una ejecución de torque suave y mantiene el problema de aprendizaje bien condicionado.

2.4. Modelado de Recompensas (Reward Shaping)

El marco emplea una función de recompensa concisa de seis términos optimizada mediante Optimización de Política Próxima (PPO) para equilibrar la estabilidad, la precisión y la eficiencia energética:

1. Fuerza del Pie ($R_{force}$): Penaliza fuerzas excesivas de reacción contra el suelo.
2. Velocidad del Pie ($R_{vel}$): Fomenta movimientos suaves de la pierna oscilante.
3. Precisión del Paso ($R_{step}$): Recompensa la colocación precisa del pie respecto a los objetivos.
4. Orientación ($R_{orient}$): Alinea la orientación de la raíz con la dirección deseada.
5. Altura del Cuerpo ($R_{height}$): Mantiene una altura nominal del torso.
6. Estabilidad de la Parte Superior del Cuerpo ($R_{upper}$): Minimiza el balanceo de la parte superior del cuerpo.

3. Contribuciones Clave

El artículo describe cuatro contribuciones principales:

1. Primer Controlador de RL Humanoide con Respaldo de Mamba: Introduce Mamba como un esqueleto de fusión ligero para la locomoción humanoide de extremo a extremo, demostrando que una sola capa es suficiente para un alto rendimiento en un entorno centrado en el estado.
2. Efectividad del Esqueleto (Backbone): Muestra que el codificador Mamba produce un aprendizaje más rápido, una mejor eficiencia de muestras y una reducción de la variabilidad entre semillas en comparación con una línea base de alimentación directa entrenada de la misma manera.
3. Modelado de Recompensas Consciente de la Energía: Propone una recompensa de seis términos que regula conjuntamente las fuerzas de contacto, las velocidades de oscilación, la precisión del paso y la estabilidad del cuerpo, promoviendo implícitamente la eficiencia energética.
4. Validación Empírica Extensa: Valida el marco en el humanoide JVRC-1 a través de diversas tareas (marcha hacia adelante, hacia atrás, curva, lateral y de pie) en el entorno mc-mujoco.

4. Resultados Experimentales

Los experimentos se realizaron en el humanoide JVRC-1 (1.72 m, 62 kg) utilizando mc-mujoco. HuMam se comparó contra una sólida línea base de alimentación directa bajo configuraciones de entrenamiento idénticas.

4.1. Eficiencia de Aprendizaje y Estabilidad

• Eficiencia de Muestras: HuMam requirió 15.8M de muestras para alcanzar un retorno de 240, frente a las 18.2M de la línea base (una mejora del 13.2%). En un umbral superior (retorno 260), la mejora fue del 42.5% (20.2M vs. 35.0M de muestras).
• Estabilidad: HuMam redujo la desviación de la curva de aprendizaje entre semillas en un 35.4% y la varianza en la etapa final del entrenamiento en un 61.0%, lo que indica una convergencia más confiable.
• Rendimiento: El rendimiento máximo aumentó un 5.8% (269.85 a 285.50), y el retorno medio durante el último 10% del entrenamiento mejoró un 5.5%.

4.2. Perfiles de Recompensa y Torque

• Componentes de Recompensa: HuMam logró una recompensa promedio por paso más alta (0.737 vs. 0.728), con mejoras notables en la regulación de la fuerza del pie y la suavidad de la velocidad.
• Reducción de Torque: El marco redujo las magnitudes promedio de torque de las articulaciones en un 9.6% y los picos de torque en un 9.1%. Articulaciones específicas, como el pitch de la cadera izquierda y el pitch del tobillo derecho, vieron reducciones significativas (hasta un 40% en el torque promedio para el tobillo).

4.3. Eficiencia Energética

HuMam demostró una economía de energía superior en tareas dinámicas:

• Estar de Pie: Redujo el consumo de potencia promedio de 57.48 W a 35.08 W (una disminución del 39%).
• Marcha hacia Adelante: Redujo el costo energético de 673 J/m a 421 J/m.
• Marcha Lateral: Redujo el costo energético de 1395 J/m a 963 J/m.
• Potencia por Masa: Consistentemente menor W/kg en todas las tareas, con una reducción promedio de 1.92 W/kg (línea base) a 1.38 W/kg (HuMam).

5. Significado y Reivindicaciones

Los autores afirman que HuMam representa el primer controlador de RL humanoide de extremo a extremo que adopta Mamba como esqueleto de fusión. El artículo argumenta que esta arquitectura proporciona ganancias tangibles en tres áreas críticas:

1. Eficiencia: Lograr un mayor rendimiento con menos muestras de entrenamiento y una menor carga computacional debido a la complejidad casi lineal del codificador Mamba de una sola capa.
2. Estabilidad: Reducir la varianza del entrenamiento y producir marchas más suaves y robustas en diversos escenarios de locomoción.
3. Economía de Control: Generar políticas que requieren menos torque y energía, lo que las hace más adecuadas para el despliegue en hardware con presupuestos de potencia limitados.

El trabajo concluye que el esqueleto Mamba es un codificador efectivo para el aprendizaje de políticas compactas centradas en el estado, permitiendo la síntesis de comportamientos de marcha humana natural y estable sin depender de historiales temporales explícitos o modelos de secuencia pesados. El trabajo futuro se dirige hacia el despliegue en hardware, la transferencia de simulación a realidad (sim-to-real) e la integración de la percepción a bordo.