Resumen Técnico: LooperMuscle

Planteamiento del Problema

El seguimiento de cuerpo completo (WBT, por sus siglas en inglés) de humanoides requiere políticas que reproduzcan fielmente movimientos humanos diversos y de alta dimensionalidad en todas las articulaciones. Aunque los algoritmos de aprendizaje por refuerzo (RL) fuera de la política (off-policy) como FastSAC han reducido drásticamente el tiempo de entrenamiento (por ejemplo, a 15 minutos) en comparación con los métodos dentro de la política (on-policy) como PPO (6 horas), sufren de una significativa "brecha de velocidad-rendimiento". En tareas de WBT, FastSAC suele ofrecer una calidad de seguimiento notablemente inferior a la de PPO.

Los autores identifican tres limitaciones estructurales interrelacionadas que causan esta brecha:

1. Limitaciones de la Política Monolítica: Las políticas de red única luchan por manejar la dinámica heterogénea entre las partes del cuerpo (por ejemplo, el equilibrio de la estabilidad de la parte inferior frente a la expresividad de la parte superior), forzando compromisos subóptimos.
2. Limitaciones del Valor Escalar: Las funciones de valor escalares estándar proporcionan solo una estimación de calidad agregada, lo que dificulta la asignación de crédito a las partes individuales del cuerpo en espacios de alta dimensión.
3. Limitaciones del Replay Uniforme: El replay de experiencia estándar trata todas las transiciones por igual, lo que provoca que los componentes dominantes de la política monopolicen las señales de gradiente mientras los componentes con bajo rendimiento se estancan.

Metodología: LooperMuscle

LooperMuscle es un marco de actor-crítico de expertos compuestos diseñado para cerrar la brecha de velocidad-rendimiento mediante la integración de tres mecanismos estrechamente acoplados en un bucle de entrenamiento cerrado.

1. Actor Multi-Experto con Compuerta Anti-Colapso

En lugar de una red monolítica, la política se descompone en $K$ redes expertas (Unidades Musculares).

• Arquitectura: Una red de reclutamiento calcula los pesos de compuerta $w_{k,g}$ para grupos de articulaciones semánticos (por ejemplo, parte superior frente a parte inferior del cuerpo).
• Fusión: La acción final es una suma ponderada de las salidas de los expertos, modulada por factores de escala por articulación aprendibles ($S_{k,j}$) y coeficientes de alineación de salida ($c_k$). Esto permite un reclutamiento grueso a nivel de grupo y una modulación fina por articulación.
• Anti-Colapso: Un regularizador de equilibrio de carga basado en la divergencia KL evita el "colapso de compuerta" (donde un solo experto domina), asegurando que los expertos más débiles permanezcan activos y especializados durante todo el entrenamiento.

2. Crítico Distribucional Consciente del Experto

Para abordar el problema de la asignación de crédito, la estructura del crítico se hace isomórfica a la estructura de expertos del actor.

• Cabezales por Experto: En lugar de un único cabezal escalar, el crítico mantiene cabezales de Función de Valor Distribucional (DVF) para cada experto, modelando distribuciones de retorno en lugar de estimaciones puntuales.
• Agregación: Estas distribuciones por experto se agregan utilizando los mismos pesos de compuerta usados por el actor. Esto asegura que la estructura de valor sea un espejo de la estructura de acción, permitiendo una asignación de crédito más fina a expertos específicos.
• Estabilidad: El diseño conserva la estabilidad de doble crítico de Soft Actor-Critic (SAC) mientras aprovecha los beneficios del RL distribucional (por ejemplo, reducción de sesgo en movimientos de alta dinámica).

3. Replay con Enrutamiento de Cuotas y Programación Diferida

Para evitar que los expertos dominantes abrumen los datos de entrenamiento, el buffer de replay emplea una estrategia de muestreo enrutada por contribución.

• Etiquetado de Contribución: Las transiciones se etiquetan con un vector de contribución de experto basado en la magnitud de la contribución de acción de cada experto.
  el mini-batch se construye para garantizar que cada experto reciba exposición de entrenamiento proporcional a su cuota asignada, evitando el bucle de retroalimentación donde los expertos fuertes mejoran mientras los débiles se estancan.
• Programación Diferida: Las muestras difíciles (aquellas con altos errores de seguimiento) se enrutan a "cubetas diferidas". Estas se liberan dinámicamente según el progreso del entrenamiento ($\rho$), asegurando una convergencia temprana estable mientras se eleva progresivamente el techo de rendimiento a medida que el entrenamiento avanza.

Integración de Bucle Cerrado

Estos tres componentes forman un bucle cerrado: las contribuciones de los expertos guían el enrutamiento de datos; los datos enrutados dan forma al aprendizaje de valor; y los gradientes de valor refinan la especialización de los expertos. Esta retroalimentación mutua distingue a LooperMuscle de la simple acumulación de módulos independientes.

Resultados Clave

El método fue evaluado en un humanoide Unitree G1 de 29 DoF utilizando 40 secuencias de movimiento LAFAN1 en seis categorías (Caminar, Correr, Saltar, Danzar, Luchar, Caerse y Levantarse).

• Relación Velocidad–Calidad:
  • PPO: Logra la mayor calidad de seguimiento (Recompensa Normalizada: 1.0) pero requiere ~6 horas de entrenamiento.
  • FastSAC-MLP: Entrena en ~15 minutos pero logra una calidad significativamente menor (Recompensa Normalizada: 0.648; Error Corporal: 0.153 m).
  • LooperMuscle: Entrena en ~45 minutos, logrando una Recompensa Normalizada de 0.723 y reduciendo el error de seguimiento corporal en un 34.0% en comparación con FastSAC-MLP (0.101 m frente a 0.153 m). Recupera una fracción sustancial de la brecha con PPO siendo ~8 veces más rápido que este.
• Generalización: Las mejoras fueron consistentes en todas las categorías de movimiento, observándose las mayores ganancias (hasta un 40.6% de reducción de error) en tareas de alta dificultad y ricas en contacto como "Caerse y Levantarse".
• Ablación: Eliminar cualquier componente individual (Actor MoE, Replay de Cuotas, Programación Diferida o Crítico Consciente del Experto) resultó en una degradación del rendimiento, confirmando la necesidad del diseño integrado. La eliminación del Actor MoE causó la mayor caída (+51.5% de error), resaltando la descomposición de expertos como la fuente principal de ganancia representacional.
• Despliegue en el Mundo Real: La política se desplegó con éxito en un Unitree G1 físico utilizando el stack de tiempo de ejecución Holosoma. A pesar de tener que reentrenar desde cero debido a diferencias en la interfaz de observación (eliminando estados privilegiados del simulador), el robot ejecutó secuencias de Kungfu de cuerpo completo estables y expresivas.

Significado y Reivindicaciones

El artículo afirma que LooperMuscle aborda con éxito la persistente brecha de velocidad-rendimiento en el seguimiento de cuerpo completo de humanoides. Al introducir un marco de mezcla de expertos estructurado junto con la estimación de valor consciente del experto y la asignación de datos enrutada por contribución, el método restaura la calidad de seguimiento a niveles cercanos a PPO manteniendo los tiempos de entrenamiento rápidos característicos de los métodos fuera de la política.

Los autores enfatizan que este enfoque ofrece eficiencia práctica para la iteración rápida de políticas en el desarrollo de sim-to-real. El trabajo demuestra que descomponer la política en expertos especializados, en lugar de depender de redes monolíticas, es un principio de diseño ampliamente beneficioso para el control de humanoides de alta dimensión, efectivo tanto para paradigmas dentro de la política (PPO) como fuera de la política (FastSAC). El despliegue exitoso en el mundo real valida la aplicabilidad práctica de las políticas aprendidas.