Dynamic Policy Learning for Legged Robot with Simplified Model Pretraining and Model-Homotopy-Inspired Transfer

Resumo Técnico: Aprendizado de Política Dinâmica para Robô de Pernas com Pré-treinamento de Modelo Simplificado e Transferência Inspirada em Homotopia de Modelo

Definição do Problema
Gerar movimentos altamente dinâmicos para robôs de pernas permanece um desafio significativo devido à complexa interação entre o momento do corpo, a inércia das pernas e as forças de contato. Embora o Aprendizado por Reforço (RL) tenha mostrado promessa, treinar políticas para comportamentos complexos muitas vezes exige uma extensa engenharia de recompensa ou demonstrações de especialistas de alta qualidade, ambos sendo intensivos em recursos. Por outroverso, abordagens que utilizam modelos de ordem reduzida (por exemplo, modelos de Corpo Rígido Único ou SRB) oferecem treinamento mais rápido e design de recompensa mais simples, mas sofrem de um "gap de modelo" ao transferir políticas para a dinâmica de corpo completo. A transferência direta frequentemente leva à instabilidade, convergência subótima ou uma falha completa em replicar os comportamentos aprendidos no mundo real devido a discrepâncias na dinâmica, particularmente no que diz respeito à inércia das pernas e interações de contato.

Metodologia
Os autores propõem um framework de aprendizado baseado em continuação que faz a ponte entre modelos simplificados e a dinâmica de corpo completo através de duas etapas principais:

1. Pré-treinamento de Modelo Simplificado (Pré-treinamento SRB):
   A política é primeiro pré-treinada em um ambiente idealizado usando um modelo de Corpo Rígido Único (SRB). Neste modelo, o robô é aproximado como um corpo rígido flutuante com pernas sem massa e contatos de ponto ideais. As entradas de controle são Forças de Reação ao Solo (GRFs) durante a fase de apoio e alvos residuais de pé durante a fase de balanço. Esta etapa permite que a política aprenda eficientemente padrões de movimento fundamentais (como o controle do momento do corpo) sem o fardo computacional e a instabilidade da dinâmica de corpo completo. O ambiente utiliza planos de contato predefinidos e trajetórias de balanço nominais (por exemplo, curvas de Bezier) para estruturar o aprendizado de tarefas específicas como marchas, mortais (flips) e manobras assistidas por parede.

2. Transferência Inspirada em Homotopia de Modelo (MHIT):
   Para transferir a política pré-treinada SRB para o ambiente de corpo completo, os autores introduzem um caminho de continuação paramétrico. Em vez de um salto direto, eles definem um parâmetro de transição contínua $\lambda \in (0, 1]$.

• Transição Paramétrica: O sistema redistribui gradualmente a massa e a inércia entre o tronco e as pernas. Com $\lambda \approx 0$, as pernas têm massa negligenciável (modelo SRB); conforme $\lambda$ aumenta para 1, as pernas adquirem sua massa e inércia totais, enquanto a massa do tronco é ajustada para manter a massa total constante.
• Estratégia de Continuação: A política é treinada ao longo deste caminho, começando de $\lambda = 0.01$ e aumentando incrementalmente para $\lambda = 1.0$ ao longo de 900 iterações. Isso permite que a política se adapte a dinâmicas cada vez mais complexas enquanto permanece em regiões de alta probabilidade de sucesso.
• Conversão de Ação: Durante a transferência, as saídas de GRF da política SRB são convertidas em torques de junta usando transpostas de Jacobiana durante a fase de apoio, enquanto o controle PD no espaço da tarefa rastreia os alvos dos pés durante a fase de balanço.
• Estimativa de Estado: Como informações privilegiadas (velocidade linear real e estados de contato) estão disponíveis na simulação, mas não na realidade, uma rede de estimativa concorrente (MLP) é treinada para inferir esses estados a partir do histórico proprioceptivo, permitendo o deployment sim-to-real.

Principais Contribuições

• Framework Baseado em Continuação: O artigo apresenta um framework inovador que integra o pré-treinamento de modelo simplificado com uma estratégia de transferência inspirada em homotopia de modelo para gerar e refinar eficientemente movimentos dinâmicos complexos.
• Caminho de Transição Principiado: Os autores introduzem um caminho de transição paramétrico específico que interpola suavemente as propriedades inerciais entre os modelos SRB e de corpo completo. Esta abordagem mostra melhorar a velocidade de convergência e a estabilidade de aprendizado em comparação com a transferência direta ou baselines de aprendizado por imitação.
• Validação em Tarefas Complexas e Hardware Real: O método é validado em um conjunto diversificado de tarefas dinâmicas desafiadoras, incluindo mortais para trás (backflips), mortais laterais (sideflips), giros de guinada (yaw spins) e manobras assistidas por parede (saltos e curvas). As políticas aprendidas são implementadas com sucesso em um robô quadrupedal Unitree Go1 real.

Resultos

• Desempenho de Simulação: Em estudos comparativos contra Transferência Direta (DT), Transferência por Imitação (IT) e RL Vanilla, o método proposto MHIT demonstrou a convergência mais rápida e os resultados de aprendizado mais consistentes. Por exemplo, na tarefa de mortal para trás assistido por parede, o MHIT convergiu duas vezes mais rápido que o IT e alcançou um retorno normalizado 19,0% maior. Também exibiu estabilidade superior, com uma variação significativamente menor de desempenho entre diferentes sementes aleatórias em comparação ao DT.
• Robustez: As políticas MHIT mostraram maior robustez a perturbações de força e torque externas em comparação com as políticas IT, atribuído à preservação de comportamentos reativos aprendidos durante o pré-treinamento e à capacidade de explorar um espaço de estados mais amplo sem as restrições de terminação precoce usadas no aprendizado por imitação.
• Implementação no Mundo Real: No robô Unitree Go1, a política MHIT executou com sucesso um mortal para trás, uma tarefa onde a política SRB direta falhou devido ao momento angular insuficiente causado pela inércia das pernas não modelada. A política transferida alcançou uma taxa de sucesso de 90% em 10 tentativas consecutivas e demonstrou precisão de rastreamento de velocidade superior (menor RMSE) em comparação com a política SRB não refinada.

Significância
O artigo afirma que sua principal significância reside em fornecer um processo de refinamento eficaz e estável para fazer a ponte entre o gap de modelo entre a dinâmica simplificada e a de corpo completo sem depender de demonstrações de especialistas caras. Ao alavancar uma estratégia de continuação, o framework permite a descoberta de comportamentos ótimos que superam as limitações da orientação simplificada inicial. O sucesso do deployment em hardware real demonstra a aplicabilidade prática desta abordagem para gerar comportamentos de locomoção de pernas complexos e dinâmicos que são difíceis de alcançar apenas com RL end-to-end padrão ou métodos de rastreamento hierárquico. Os autores observam que, embora a abordagem atual dependa de sequências de contato predefinidas, o framework oferece um ponto de partida evolutivo promissor para trabalhos futuros visando automatizar cronogramas de contato e adaptar-se a diversas morfologias de robôs.