Chasing Autonomy: Dynamic Retargeting and Control Guided RL for Performant and Controllable Humanoid Running

1. O Problema

A locomoção dinâmica em robôs humanoides, especificamente a corrida em alta velocidade, é um desafio significativo. Embora o Aprendizado por Reforço (RL) tenha demonstrado sucesso na geração de comportamentos ágeis que imitam movimentos humanos, as abordagens atuais enfrentam duas limitações principais:

• Restrição a Reprodução Única: Muitos controladores baseados em RL são limitados à reprodução de um único clipe de movimento humano, dificultando a adaptação para locomoção autônoma de longa duração.
• Falta de Controle e Rastreamento de Velocidade: É difícil garantir que o robô siga comandos de velocidade precisos (para integração em pilhas de autonomia) quando o controlador é treinado apenas para "imitar" um movimento sem considerar a dinâmica do sistema ou a estabilidade teórica.
• Gap de Embodiment: Dados humanos brutos não são diretamente viáveis para robôs devido a diferenças dinâmicas, ruído e falta de periodicidade estrita necessária para esteios estáveis.

2. Metodologia

Os autores propõem um pipeline integrado que combina otimização dinâmica, retargeting (reaplicação) de dados e RL guiado por controle.

A. Geração de Referências via Otimização Dinâmica

Em vez de usar dados humanos brutos ou otimização puramente cinemática, o método utiliza:

• Otimização de Multi-Shooting: Um problema de otimização com restrições rígidas (hard constraints) é formulado sobre um modelo de sistema híbrido (fases de apoio único e voo).
• Retargeting Dinâmico: Os dados de um único passo humano (extraídos do conjunto de dados LAFAN) são retargetados para a cinemática do robô, mas otimizados para satisfazer as equações dinâmicas do robô.
• Periodicidade e Bibliotecas: Otimiza-se um único passo, impondo que o estado final seja um espelho do estado inicial (para garantir periodicidade). Isso permite gerar uma biblioteca de referências com diferentes velocidades (de 1,2 m/s a 3,6 m/s) a partir de um único segmento de dados humano, garantindo viabilidade dinâmica.

B. Estrutura de Recompensa e Treinamento RL

O controlador é treinado usando PPO (Proximal Policy Optimization) no IsaacLab. A inovação central está na estrutura de recompensa:

• RL Guiado por Controle (CLF-RL): Em vez de apenas penalizar o erro de rastreamento (estilo "mimic"), os autores incorporam uma Função de Lyapunov de Controle (CLF) na recompensa.
  • A recompensa incentiva o sistema a satisfazer a condição de decrescimento de Lyapunov ($\dot{V} + \lambda V < 0$), garantindo estabilidade teórica em relação à referência.
  • Isso contrasta com recompensas "mimic" tradicionais que tratam cada junta e posição separadamente sem garantia de estabilidade global.
• Condicionamento por Objetivo (Goal Conditioning): Para permitir o controle de velocidade e direção, o RL recebe comandos de velocidade desejada como entrada. A recompensa penaliza o desvio entre a velocidade real do robô e a velocidade comandada, permitindo que o robô desvie da referência original se necessário para obedecer ao comando.

C. Arquitetura de Autonomia

O controlador de baixo nível (RL) é integrado em uma pilha de autonomia de camadas:

• Recebe comandos de velocidade de um planejador de alto nível.
• Integra-se com percepção (LiDAR) e planejamento de caminho (MPC com Funções de Barreira de Controle - CBF) para evitar obstáculos em tempo real enquanto corre.

3. Principais Contribuições

1. Geração de Bibliotecas de Referência Otimizadas: Demonstração de que a otimização dinâmica com restrições sobre dados humanos gera trajetórias de referência com erro de rastreamento significativamente menor do que o retargeting puramente cinemático ou otimização sem dados humanos.
2. Análise de Estrutura de Recompensa: Evidência empírica de que recompensas baseadas em CLF (estabilidade) superam as recompensas de "imitação" (mimic) tanto no rastreamento de referência quanto no rastreamento de velocidade comandada.
3. Integração em Pilha de Autonomia: A primeira demonstração de um controlador de corrida dinâmica em robô humanoide que opera em um ambiente de autonomia completo, incluindo navegação ao ar livre e desvio de obstáculos, mantendo velocidades altas.

4. Resultados

• Simulação (Ablação):
  • O uso de dados humanos otimizados dinamicamente reduziu o erro de rastreamento em comparação com dados cinematicamente retargetados.
  • O uso de recompensas CLF-RL resultou em erros de rastreamento de velocidade menores do que recompensas do tipo "mimic".
  • A combinação de biblioteca de referências dinâmicas + CLF-RL + Condicionamento por Objetivo foi a configuração de melhor desempenho.
• Hardware (Unitree G1):
  • Velocidade: O robô alcançou velocidades de corrida de até 3,3 m/s em esteiras e ambientes externos.
  • Endurance: O robô percorreu mais de 250 metros consecutivos em ambientes externos reais.
  • Controle: Sucesso no rastreamento de comandos de velocidade, inclinação (yaw) e posição lateral.
  • Autonomia: O robô demonstrou desvio de obstáculos em tempo real enquanto corria, utilizando um controlador MPC com CBF acoplado ao policy de RL.

5. Significado

Este trabalho é significativo porque preenche a lacuna entre a locomoção dinâmica "brincalhona" (apenas reprodução de movimentos) e a locomoção autônoma robusta.

• Viabilidade Prática: Demonstra que é possível ter um robô humanoide correndo rápido e de forma estável em ambientes do mundo real, não apenas em simulação.
• Teoria Aplicada: Valida a utilidade de incorporar conceitos de controle clássico (CLFs) dentro de redes neurais de RL para garantir estabilidade e robustez.
• Escalabilidade: O método de gerar uma biblioteca de referências a partir de um único segmento de dados humano oferece um caminho escalável para criar comportamentos complexos sem a necessidade de coletar dados massivos para cada velocidade ou cenário.

Em resumo, o artigo estabelece um novo padrão para o controle de humanoides dinâmicos, provando que a combinação de otimização física rigorosa com RL guiado por estabilidade é a chave para a autonomia locomotiva performática.