Resumo Técnico: LooperMuscle

Definição do Problema

O rastreamento de corpo inteiro (WBT) de humanoides exige políticas que reproduzam fielmente movimentos humanos diversos e de alta dimensão em todas as articulações. Embora algoritmos de aprendizado por reforço (RL) off-policy como o FastSAC tenham reduzido drasticamente o tempo de treinamento (ex: para 15 minutos) em comparação com métodos on-policy como o PPO (6 horas), eles sofrem de um significativo "gap de velocidade–desempenho". Em tarefas de WBT, o FastSAC frequentemente apresenta uma qualidade de rastreamento notavelmente inferior ao PPO.

Os autores identificam três limitações estruturais inter-relacionadas que causam esse gap:

1. Limitações de Política Monolítica: Políticas de rede única lutam para lidar com dinâmicas heterogêneas entre as partes do corpo (ex: equilíbrio da estabilidade da parte inferior vs. expressividade da parte superior), forçando compromissos subótimos.
2. Limitações de Valor Escalar: Funções de valor escalares padrão fornecem apenas uma estimativa de qualidade agregada, tornando difícil a atribuição de crédito a partes individuais do corpo em espaços de alta dimensão.
3. Limitações de Replay Uniforme: O replay de experiência padrão trata todas as transições igualmente, fazendo com que componentes dominantes da política monopolizem os sinais de gradiente enquanto componentes com desempenho inferior estagnam.

Metodologia: LooperMuscle

O LooperMuscle é um framework de ator-crítico composto por especialistas, projetado para fechar o gap de velocidade–desempenho através da integração de três mecanismos estreitamente acoplados em um loop de treinamento fechado.

1. Ator de Múltiplos Especialistas com Gating Anti-Colapso

Em vez de uma rede monolítica, a política é decomposta em $K$ redes especialistas (Unidades Musculares).

• Arquitetura: Uma rede de recrutamento calcula pesos de gating $w_{k,g}$ para grupos semânticos de articulações (ex: parte superior vs. parte inferior do corpo).
• Fusão: A ação final é uma soma ponderada das saídas dos especialistas, modulada por fatores de escala por articulação aprendíveis ($S_{k,j}$) e coeficientes de alinhamento de saída ($c_k$). Isso permite o recrutamento grosseiro em nível de grupo e a modulação fina por articulação.
• Anti-Colapso: Um regularizador de balanceamento de carga baseado em divergência KL evita o "colapso de gate" (onde um único especialista domina), garantindo que especialistas mais fracos permaneçam ativos e especializados durante todo o treinamento.

2. Crítico Distribucional Consciente do Especialista

Para abordar o problema de atribuição de crédito, a estrutura do crítico é tornada isomórfica à estrutura de especialistas do ator.

• Cabeças por Especialista: Em vez de uma única cabeça escalar, o crítico mantém cabeças de Função de Valor Distribucional (DVF) para cada especialista, modelando distribuições de retorno em vez de estimativas pontuais.
• Agregação: Essas distribuições por especialista são agregadas usando os mesmos pesos de gating usados pelo ator. Isso garante que a estrutura de valor espelhe a estrutura de ação, permitindo uma atribuição de crédito mais refinada para especialistas específicos.
• Estabilidade: O design retém a estabilidade de duplo crítico do Soft Actor-Critic (SAC) enquanto aproveita os benefícios do RL distribucional (ex: redução de viés em movimentos de alta dinâmica).

3. Replay com Roteamento de Cota e Agendamento Diferido

Para evitar que especialistas dominantes sobrecarreguem os dados de treinamento, o buffer de replay emprega uma estratégia de amostragem roteada por contribuição.

• Etiquetagem de Contribuição: As transições são etiquetadas com um vetor de contribuição de especialista baseado na magnitude da contribuição de ação de cada especialista.
• Amostragem de Cota: Mini-lotes são construídos para garantir que cada especialista receba exposição de treinamento proporcional à sua cota atribuída, evitando o feedback loop onde especialistas fortes melhoram enquanto os fracos estagnam.
• Agendamento Diferido: Amostras difíceis (aquelas com altos erros de rastreamento) são roteadas para "baldes diferidos". Estes são liberados dinamicamente com base no progresso do treinamento ($\rho$), garantindo uma convergência inicial estável enquanto elevam progressivamente o teto de desempenho conforme o treinamento avança.

Integração de Loop Fechado

Estes três componentes formam um loop fechado: as contribuições dos especialistas guiam o roteamento de dados; os dados roteados moldam o aprendizado de valor; e os gradientes de valor refinam a especialização dos especialistas. Este reforço mútuo distingue o LooperMuscle de uma simples pilha de módulos independentes.

Principais Resultados

O método foi avaliado em um humanoide Unitree G1 de 29 DoF usando 40 sequências de movimento LAFAN1 em seis categorias (Caminhar, Correr, Saltar, Dançar, Lutar, Cair&Levantar).

• Troca de Velocidade–Qualidade:
  • PPO: Alcança a maior qualidade de rastreamento (Recompensa Normalizada: 1.0), mas requer ~6 horas de treinamento.
  • FastSAC-MLP: Treina em ~15 minutos, mas alcança uma qualidade significativamente menor (Recompensa Normalizada: 0.648; Erro Corporal: 0.153m).
  • LooperMuscle: Treina em ~45 minutos, alcançando uma Recompensa Normalizada de 0.723 e reduzindo o erro de rastreamento corporal em 34.0% em comparação ao FastSAC-MLP (0.101m vs. 0.153m). Ele recupera uma fração substancial do gap para o PPO sendo ~8x mais rápido que o PPO.
• Generalização: As melhorias foram consistentes em todas as categorias de movimento, com os maiores ganhos (até 40.6% de redução de erro) observados em tarefas de alta dificuldade e ricas em contato, como "Cair & Levantar".
• Ablação: A remoção de qualquer componente individual (Ator MoE, Replay de Cota, Agendamento Diferido ou Crítico Consciente do Especialista) resultou em degradação de desempenho, confirmando a necessidade do design integrado. A remoção do Ator MoE causou a maior queda (+51.5% de erro), destacando a decomposição de especialistas como a principal fonte de ganho representacional.
• Implantação no Mundo Real: A política foi implantada com sucesso em um Unitree G1 físico usando a stack de runtime Holosoma. Apesar do retreinamento do zero devido a diferenças na interface de observação (removendo estados privilegiados do simulador), o robô executou sequências de Kungfu estáveis e expressivas de corpo inteiro.

Significância e Alegações

O artigo afirma que o LooperMuscle aborda com sucesso o persistente gap de velocidade–desempenho no rastreamento de corpo inteiro de humanoides. Ao introduzir um framework de mistura de especialistas estruturado, acoplado à estimativa de valor consciente do especialista e à alocação de dados roteada por contribuição, o método restaura a qualidade de rastreamento para níveis próximos ao PPO, mantendo os tempos de treinamento rápidos característicos dos métodos off-policy.

Os autores enfatizam que esta abordagem oferece eficiência prática para a iteração rápida de políticas no desenvolvimento de sim-to-real. O trabalho demonstra que decompor a política em especialistas especializados, em vez de depender de redes monolíticas, é um princípio de design amplamente benéfico para o controle de humanoides de alta dimensão, eficaz em ambos os paradigmas (on-policy e off-policy). A implantação bem-sucedida no mundo real valida a aplicabilidade prática das políticas aprendidas.