Spherical Latent Motion Prior for Physics-Based Simulated Humanoid Control

1. O Problema

O controle de humanoides simulados baseados em física é um desafio significativo devido à dinâmica instável e à sensibilidade ao design de recompensas. Para simplificar o aprendizado de políticas, métodos recentes utilizam priors de movimento (restrições que forçam ações a estarem em variedades de movimento coordenadas e fisicamente plausíveis). No entanto, as abordagens existentes enfrentam dois problemas principais:

• Autoencoders Variacionais (VAE): Comprimem trajetórias de movimento em códigos latentes, mas o "gargalo" de informação frequentemente descarta detalhes motores importantes. Além disso, a amostragem aleatória no espaço latente (distribuição Gaussiana) pode gerar comportamentos inválidos, quedas ou movimentos não plausíveis, especialmente nas regiões de baixa densidade do espaço.
• Priors de Movimento Adversariais (AMP): Utilizam um discriminador para guiar a política em direção à distribuição de dados reais. Embora eficazes, eles sofrem de colapso de modo, onde a política converge para um conjunto pequeno de comportamentos repetitivos, falhando em capturar a diversidade necessária para tarefas complexas e dinâmicas.

O objetivo é criar um espaço latente que preserve detalhes finos do movimento, permita amostragem aleatória estável e semântica, e suporte uma ampla variedade de habilidades (repertório de movimento).

2. Metodologia: SLMP (Spherical Latent Motion Prior)

Os autores propõem o SLMP, um método de duas etapas que constrói um espaço de ação latente estruturado em uma esfera unitária.

Etapa 1: Treinamento de Controlador de Rastreamento

• Um controlador especialista ($\pi_{track}$) é treinado via Aprendizado por Reforço (PPO) para rastrear com alta fidelidade um conjunto de dados de captura de movimento (mocap) de combate humano.
• Este controlador mapeia o estado do humanoide e um objetivo de referência para ângulos-alvo das juntas.

Etapa 2: Destilação para Espaço Latente Esférico

O controlador especialista é "destilado" em uma política latente ($\pi_\phi$) que opera em um espaço latente esférico ($z_t \in \mathbb{R}^d, \|z_t\|_2 = 1$). O treinamento utiliza três componentes de perda para moldar a variedade latente:

1. Perda de Destilação de Imitação ($L_{distill}$): Garante que a ação gerada pelo prior condicional ao código latente codificado do objetivo ($z_1$) corresponda à ação do especialista.
2. Perda do Discriminador ($L_{disc}$): Um discriminador distingue entre ações do especialista (positivas) e ações geradas por códigos latentes aleatórios (negativas). Isso fornece um sinal de "distribuição interna".
3. Perda de Consistência Semântica Local Guiada pelo Discriminador ($L_{DLSC}$): Esta é a contribuição central.
   • Utiliza uma pesagem geométrica baseada na distância esférica entre o código latente do objetivo e o código aleatório para promover suavidade local.
   • Utiliza uma pesagem semântica baseada na saída do discriminador para aumentar o peso de amostras fora da distribuição, impondo restrições mais fortes.
   • Objetivo: Criar uma estrutura onde vizinhos na esfera correspondam a ações semanticamente consistentes e fisicamente válidas, evitando regiões de baixa densidade que levariam a quedas.

Aplicação em Tarefas de Alto Nível

O SLMP atua como um prior de baixo nível. Em tarefas como combate entre dois agentes, uma política de alto nível opera no espaço latente compacto, escolhendo códigos $z_t$, enquanto o SLMP executa a física completa. O treinamento ocorre via self-play com recompensas esparsas e baseadas em regras (apenas acertos e quedas), sem necessidade de recompensas densas de modelagem de movimento.

3. Contribuições Principais

1. Novo Dataset de Combate: Coleta e liberação de um dataset de 2 horas de captura de movimento humano de combate (golpes, esquivas, transições e trabalho de pés), realizado por um praticante experiente de kickboxing, com variações de velocidade e altura.
2. Framework SLMP: Proposta de um framework de destilação de duas etapas que constrói um espaço latente esférico estruturado, superando as limitações de VAEs (perda de informação) e AMPs (colapso de modo).
3. Validação Experimental: Demonstração de que o SLMP permite combate físico plausível e diversificado usando apenas recompensas simples, e que o método generaliza para diferentes morfologias de robôs humanoides.

4. Resultados Experimentais

Os experimentos foram realizados em um simulador de física (Isaac Gym) e comparados com baselines como PULSE (VAE) e ASE (AMP).

• Desempenho de Rastreamento: O SLMP alcançou taxas de sucesso de rastreamento de 99.5% e erro de posição (MPJPE) de 31.7, superando o PULSE (99.2% / 41.1 MPJPE) e aproximando-se do controlador especialista (99.0% / 31.2 MPJPE), indicando menor perda de informação.
• Estabilidade de Amostragem Aleatória: Ao amostrar códigos latentes uniformemente na esfera:
  • O SLMP manteve uma taxa de sobrevivência de 99.8% em 10 segundos.
  • O PULSE caiu drasticamente para 10.2%, e o VQ-VAE para 12.4%, devido à falta de estrutura semântica em suas distribuições latentes.
• Visualização da Variedade Latente: A visualização mostrou que o SLMP cria regiões semânticas coerentes. Em estados de guarda neutra, a esfera se divide em múltiplas regiões (diversidade de ações); em estados aéreos (chutes), a esfera colapsa para poucas regiões (restrição física natural), garantindo que a amostragem aleatória nunca produza movimentos fisicamente impossíveis.
• Tarefa de Combate: Com recompensas esparsas (apenas acerto/queda), o SLMP permitiu que agentes desenvolvessem comportamentos de combate humanos, diversificados e táticos. Abordagens anteriores com recompensas densas tendiam a estratégias degeneradas (ficar perto sem atacar) ou padrões repetitivos.

5. Significado e Conclusão

O trabalho demonstra que a estruturação do espaço latente em uma esfera, combinada com uma consistência semântica guiada por discriminador, resolve o dilema entre diversidade e validade no controle de humanoides.

• Redução de Engenharia de Recompensas: O SLMP permite que políticas de alto nível aprendam tarefas complexas (como combate) com recompensas extremamente simples, pois o prior de movimento já garante a plausibilidade física e a coordenação.
• Generalização: O método foi validado em diferentes morfologias de robôs, sugerindo aplicabilidade prática além de avatares simulados.
• Futuro: Abre caminho para o uso de priores de movimento estruturados em tarefas que exigem interação rica com o ambiente e validação em robôs físicos reais.

Em resumo, o SLMP oferece uma solução robusta para gerar movimentos humanos realistas e estáveis em simulações físicas, superando as limitações fundamentais das técnicas de aprendizado de máquina atuais para controle de humanoides.