ADP: Adversarial Dynamics Priors for Physically Grounded Humanoid Locomotion

Resumo Técnico: Priores de Dinâmica Adversária para Locomoção Humanoide Fisicamente Fundamentada

Definição do Problema
O controle de locomoção humanoide permanece significativamente mais desafiador do que o controle quadrupedal devido aos altos graus de liberdade, à dinâmica de base flutuante subatuada e à necessidade de manter o equilíbrio através de contatos intermitentes. Embora o aprendizado por reforço tenha tido sucesso na geração de movimentos naturais usando conjuntos de dados de movimento, as abordagens existentes enfrentam limitações na resiliência a perturbações.

• Rastreamento Explícito: Métodos como o DeepMimic dependem do rastreamento de poses de referência e fases. Embora sejam eficazes para a geração de movimento natural, carecem de flexibilidade quando perturbações externas afastam o robô da trajetória de referência.
• Priores Cinemáticos: O Adversarial Motion Priors (AMP) melhora a flexibilidade ao corresponder distribuições de estilo de movimento cinemático (poses articulares, velocidades, estados de extremidades) em vez de rastreamento explícito. No entanto, o AMP não regulariza diretamente características de nível de dinâmica (ex: movimento do Centro de Massa, momento centróide, forças de contato e estados de contato) necessárias para uma recuperação de equilíbrio eficaz após um empurrão. Consequentemente, o AMP pode recuperar uma postura visível, mas deixar a dinâmica rotacional subamortecida ou falhar em modular corretamente as forças de contato.

Metodologia: Priores de Dinâmica Adversária (ADP)
Os autores propõem o ADP, um framework que substitui as características de estilo de movimento cinemático por características de dinâmica selecionadas como alvo para a regularização adversária. O método opera sem o rastreamento explícito de poses ou fases de referência.

1. Construção do Conjunto de Dados de Referência ($D_{dyn}$):

   • Em vez de usar dados completos de captura de movimento, os autores geram um conjunto de dados de referência usando Otimização de Trajetória (TO) baseada em Dinâmica de Corpo Rígido Único (SRBD).
   • O problema de TO minimiza o desvio das velocidades comandadas enquanto penaliza o momento angular centróide excessivo e as forças de contato, sujeito à consistência SRBD, ativação de contato e restrições de cone de fricção.
   • Este processo produz trajetórias de locomoção fisicamente fundamentadas (caminhada, corrida, curvas, passos laterais) que satisfazem a dinâmica de nível SRBD. A partir delas, quantidades dinâmicas (movimento do CoM, momento centróide, forças de contato, indicadores de contato) são extraídas para formar a distribuição de referência.

2. Representação de Características de Dinâmica:

   • O ADP define um vetor de características de dinâmica no nível do passo de tempo $z_t$ contendo: velocidade do CoM no referencial de direção (heading-frame), momento angular centróide, taxa de momento angular planar, forças de contato do pé normalizadas e indicadores binários de contato.
   • Para lidar com comandos variáveis, a entrada do discriminador é condicionada ao comando de velocidade e ao erro de rastreamento instantâneo, alinhando a distribuição de referência com a tarefa atual.
   • Crucialmente, o método utiliza uma janela temporal ($\Xi_t$) dessas características em vez de passos de tempo únicos. Isso permite que o discriminador capture padrões temporais essenciais para a recuperação, como alternância de contato, modulação de força e recuperação de momento.

3. Treinamento Adversário:

   • Um discriminador é treinado para distinguir entre janelas amostradas do conjunto de dados de referência derivado de SRBD ($D_{dyn}$) e janelas geradas pelo rollout da política ($\Xi^\pi_t$).
   • A política é otimizada usando Proximal Policy Optimization (PPO) com uma recompensa total composta por:
     • $r^G_t$: Recompensa de tarefa (locomoção).
     • $r^D_t$: Recompensa de prior de dinâmica adversária, derivada da saída do discriminador. Esta recompensa incentiva as características de dinâmica induzidas pela política a permanecerem próximas da distribuição de referência.
     • $r^R_t$: Termos de regularização.
   • A política aprende a recuperar-se de perturbações mantendo suas características de dinâmica dentro do suporte da distribuição de referência, sem ser forçada a rastrear poses articulares específicas.

Principais Contribuições

1. Priores de Dinâmica Adversária (ADP): A introdução de um método que utiliza características de dinâmica (CoM, momento, forças de contato) para regularização adversária em vez de características cinemáticas, eliminando a necessidade de rastreamento de pose ou fase de referência.
2. Representação de Dinâmica Sensível a Perturbações: Uma formulação de características dinâmicas temporais que expõe transientes pós-empurrão (em momento e forças de contato) de forma mais direta e rápida do que as características cinemáticas de nível articular.
3. Avaliação de Recuperação de Perturbação: Validação abrangente em simulação e hardware demonstrando que o ADP melhora a recuperação de perturbação do humanoide comparado ao RL Vanilla, AMP e baselines de correspondência direta de características de dinâmica.

Resultos Experimentais
Os autores avaliaram o ADP em um robô humanoide de 29 DoF (Unitree G1) em simulação e forneceram demonstrações qualitativas de hardware. A avaliação comparou o ADP contra o RL Vanilla, AMP e um baseline de "Recompensa de Dinâmica" (que usa correspondência de características ponto a ponto sem um discriminador adversário).

• Recuperação de Perturbação: Sob impulsos de velocidade externos (até 4,5 m/s), o ADP alcançou um limiar de impulso de 80%-sucesso ($J_{80}$) de 115,5 N·s, uma melhoria de 16,7% sobre o baseline mais forte (AMP, 99,0 N·s).
• Métricas de Recuperação: Comparado ao AMP, o ADP reduziu o tempo de recuperação médio de direção em 47,9% (de 4,76s para 2,48s) e o erro de rastreamento de velocidade em 35,4% (de 1,30 m/s para 0,84 m/s).
• Sensibilidade da Representação: A análise mostrou que a representação de dinâmica proposta detectou transientes induzidos por perturbação 20 ms após o impacto (atingindo 6,0x o desvio do baseline), enquanto a representação cinemática levou 160 ms (atingindo 4,3x o desvio).
• Estudos de Ablação:
  • A remoção do momento angular centróide reduziu a taxa de sucesso para 45,3%.
  • A remoção dos indicadores de contato (estado de contato binário) causou a degradação mais significativa, reduzindo a taxa de sucesso para 30,5% e aumentando o tempo de recuperação para 8,82s, destacando o papel crítico do tempo de contato no alinhamento.
  • Um comprimento de janela temporal de $K=8$ foi considerado ideal, equilibrando a necessidade de contexto temporal (alternância de contato) com a estabilidade do treinamento.

Significância e Alegações
O artigo afirma que o ADP aborda com sucesso a limitação dos priores cinemáticos na recuperação de perturbações ao regular a política no nível da dinâmica. Ao alavancar trajetórias derivadas de SRBD como uma distribuição de referência para características de dinâmica, o método incentiva a política a aprender comportamentos de recuperação que são fisicamente fundamentados (consistentes com restrições de momento e contato) sem a rigidez do rastreamento de movimento explícito.

Os autores observam que, embora o ADP melhore a robustez, ele não impõe explicitamente a naturalidade do movimento ao nível articular. Eles sugerem que trabalhos futuros poderiam combinar priores de dinâmica e cinemática para alcançar tanto robustez quanto naturalidade. Adicionalmente, o artigo reconhece que a comparação com o AMP utilizou o mesmo recurso de referência derivado de TO para garantir a justiça, em vez de um baseline de AMP baseado em captura de movimento de alta qualidade, deixando a caracterização do hiato entre os priores baseados em TO e baseados em mocap para investigações futuras.