💻 computer science

Learning Terrain-Adaptive Humanoid Locomotion on Granular Terrain

Este artigo apresenta um modelo de contato granular fundamentado na física baseado na teoria da força resistiva 3D e um framework de aprendizado por reforço adaptável ao terreno que possibilita a locomoção ágil de humanoides em diversos terrenos granulares do mundo real, marcando a primeira demonstração bem-sucedida de tais capacidades no campo.

Autores originais: Junnosuke Kamohara, Feiyang Wu, Andy Ningan Zong, Daniel I. Goldman, Yashwanth Nakka, Seth Hutchinson, Ye Zhao

Publicado 2026-09-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junnosuke Kamohara, Feiyang Wu, Andy Ningan Zong, Daniel I. Goldman, Yashwanth Nakka, Seth Hutchinson, Ye Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os robôs há muito tempo dominam a arte de caminhar em solo sólido, navegando por calçadas de concreto e pisos de madeira com a precisão de um humano. Mas, ao pisar em uma praia, um caminho de cascalho ou um campo de solo solto, as regras mudam inteiramente. Diferente do pavimento duro, que oferece uma resistência firme e imutável, o solo solto, como areia ou terra, comporta-se de forma imprevisível. Pode agir como uma rocha sólida sob um passo rápido, ou fluir como um líquido espesso se o pé afundar demais. Essa natureza instável torna incrivelmente difícil para um robô saber quanta força aplicar ou como manter o equilíbrio sem afundar ou escorregar. Durante anos, engenheiros lutaram para ensinar máquinas a caminhar nessas superfícies instáveis, muitas vezes dependendo de modelos simplificados que falham quando o chão cede.

Uma equipe de pesquisadores desenvolveu agora uma nova maneira de ensinar robôs humanoides a caminhar em terrenos granulares e soltos. A abordagem deles combina uma compreensão mais precisa de como os pés interagem com a areia e o cascalho com um método de aprendizado que permite ao robô sentir a rigidez do solo em tempo real. Ao treinar o robô em um ambiente virtual altamente realista que mimetiza a física de afundar e deslizar, e depois testá-lo em praias reais e pilhas de cascalho, a equipe demonstrou que seu robô poderia caminhar, correr e até saltar em solo macio onde modelos anteriores teriam falhado. Este trabalho representa um passo significativo para dar aos robôs a capacidade de operar nos ambientes desordenados e não estruturados do mundo real.

O cerne desta conquista reside na forma como os pesquisadores modelaram a interação entre o pé do robô e o solo. Métodos tradicionais frequentemente tratam o solo como uma superfície dura que simplesmente interrompe o pé, ou utilizam estimativas grosseiras para calcular o quanto o pé irá afundar. O novo sistema, porém, utiliza um modelo baseado em física que calcula a resistência que o solo oferece conforme o pé pressiona para dentro dele. Este modelo leva em conta como o ângulo do pé, a velocidade do movimento e a profundidade da penetração alteram a força que o solo exerce de volta. Em vez de apenas supor, o sistema computa essas forças com base nas propriedades físicas do material, seja areia seca, areia de praia úmida ou rochas de basalto. Isso permite que o robô experimente as mesmas forças de afundamento e deslizamento na simulação que sentiria na realidade.

Para fazer isso funcionar na prática, os pesquisadores empregaram um processo de aprendizado de dois estágios. Primeiro, eles treinaram um robô "professor" na simulação que tinha acesso a informações perfeitas sobre o solo, como sua rigidez exata e composição. Esse professor aprendeu a caminhar de forma eficiente em várias superfícies. Em seguida, eles treinaram um robô "aluno" que podia ver apenas o que seus próprios sensores podiam detectar, como o movimento de suas articulações e as forças atuando em seu corpo. O aluno aprendeu a inferir a natureza do solo apenas através desses sinais internos, efetivamente adivinhando as propriedades do terreno apenas sentindo como ele se movia. Uma vez treinado, o robô aluno podia adaptar seu estilo de caminhada sobre a hora, levantando os pés mais alto quando o solo estava macio para evitar arrastá-los, ou ajustando sua passada quando a superfície estava irregular.

Os resultados desta abordagem foram testados tanto em simulações de computador de alta fidelidade quanto em experimentos de hardware no mundo real. Nas simulações, o robô foi colocado em diferentes tipos de terreno granular, incluindo basalto, areia seca e sementes de papoula, que serviram como um material fino e solto. O robô treinado com o novo modelo de física navegou com sucesso por essas superfícies, mantendo o equilíbrio e seguindo comandos de caminhada a velocidades de até 2,5 metros por segundo. Em contraste, robôs treinados com modelos antigos e simplificados tiveram dificuldades significativas, frequentemente caindo ou falhando em avançar nas superfícies mais macias. O novo sistema não apenas caminhou, mas também conseguiu correr e saltar, tarefas que exigem precisão de tempo e aplicação de força que são quase impossíveis de alcançar sem uma compreensão profunda do comportamento do solo.

Quando a equipe implantou o robô treinado em um Unitree G1 humanoide no mundo real, os resultados se mantiveram. Eles testaram o robô em um campo de basalto, uma quadra de vôlei de areia seca e uma praia. No basalto duro, o robô caminhou suavemente. Na areia seca, ele manteve o equilíbrio mesmo em velocidades mais altas, enquanto modelos antigos perderiam o equilíbrio. Talvez o mais impressionante seja que o robô demonstrou a capacidade de sentir quando o solo estava mudando. Enquanto caminhava de uma superfície mais dura para um trecho de areia mais macia, ele ajustou automaticamente sua marcha, levantando os pés mais alto para evitar que fossem arrastados pelo material solto. Essa adaptação aconteceu sem qualquer instrução pré-programada sobre a localização específica; o robô simplesmente reagiu à mudança de resistência que sentiu através de suas pernas.

Os pesquisadores também observaram que os movimentos do robô tornaram-se mais eficientes e suaves em solo macio. Ao estimar a rigidez do terreno, o robô aprendeu a aplicar força suficiente para avançar sem levantar excesso de areia ou fazer com que suas articulações trabalhassem demais. Este comportamento complacente, onde o robô absorve a perturbação do terreno irregular em vez de lutar contra ela, sugere uma maneira de caminhar mais natural e energeticamente eficiente. O estudo confirma que, para que os robôs operem verdadeiramente no mundo selvagem, eles devem ser capazes de compreender e se adaptar à natureza complexa e mutável do solo sob eles, indo além das suposições rígidas do passado.

Resumo Técnico: Aprendizado de Locomoção Humanoide Adaptável ao Terreno em Terrenos Granulares

Definição do Problema
A locomoção humanoide em terrenos granulares deformáveis (ex: areia, cascalho, solo solto) permanece um desafio significativo devido às dinâmicas complexas e não lineares de interação pé-terreno, que são difíceis de modelar. Diferente do solo rígido, os meios granulares exibem um comportamento multifásico, agindo como sólidos ou fluidos dependendo das condições de carga, o que gera grandes forças de contato e causa afundamento e deslizamento severos. As abordagens existentes geralmente se dividem em duas categorias com distinções limitantes:

Métodos baseados em modelos: Frequentemente dependem da Teoria de Força Resistiva (RFT) simplificada ou de terradinâmica incorporada na otimização de trajetória. Embora fundamentados fisicamente, esses métodos são tipicamente validados em robôs de pequena escala em ambientes controlados e têm dificuldade com as perturbações estocásticas de ambientes externos.
Métodos baseados em aprendizado: Abordagens de aprendizado por reforço (RL) frequentemente utilizam randomização de domínio sobre modelos de contato rígido, falhando em capturar explicitamente a física granular. Alternativamente, trabalhos recentes que incorporam modelos granulares dependem de heurísticas ad-hoc, unindo modelos de força normal separados com heurísticas de fricção tangencial (ex: fricção de Coulomb), que carecem de uma fundamentação física consistente.

Metodologia
Os autores propõem um framework fundamentado na física que integra um modelo de contato de Teoria de Força Resistiva tridimensional (3D RFT) em um pipeline de treinamento de RL, acoplado a uma arquitetura professor-aluno adaptável ao terreno.

Modelo de Contato 3D RFT: A inovação central é um solver de contato baseado em 3D RFT, que calcula forças resistivas em elementos de superfície infinitesimales do pé do robô. O modelo calcula a força por área por profundidade ( $\alpha$ ) como uma função do ângulo de velocidade do corpo, orientação e profundidade de penetração. Ao contrário de trabalhos anteriores que usam modelos normais simplificados com componentes tangenciais heurísticos, este modelo deriva forças de arrasto normal e tangencial de uma única formulação 3D validada experimentalmente. Isso permite que a simulação capture penetração e arrasto lateral realistas sem escolhas de design ad-hoc. O modelo é implementado usando NVIDIA Warp para permitir simulação de alta frequência (centenas de milhares de quadros por segundo) adequada para treinamento de RL.
RL Professor-Aluno Adaptável ao Terreno: Para lidar com a variabilidade dos materiais granulares do mundo real, os autores empregam um framework de RL professor-aluno:
- Política Professor (Teacher Policy): Treinada com acesso a informações privilegiadas, incluindo as propriedades de material do terreno (especificamente o coeficiente de escala dependente do meio). Um Autoencoder Variacional (VAE) é usado para codificar essa informação privilegiada do terreno em uma representação latente compacta. O professor aprende a adaptar sua marcha (clareza do pé oscilante, frequência) com base nessa verdade fundamental.
- Política Aluno (Student Policy): Uma política implantável treinada via clonagem de comportamento e correspondência de representação. O aluno recebe apenas o histórico proprioceptivo (posições das juntas, velocidades, dados de IMU) e deve inferir a variável latente do terreno para condicionar suas ações. O codificador do aluno é treinado para imitar a saída latente do professor, efetivamente aprendendo a estimar a rigidez do terreno apenas através da propriocepção.
Pipeline de Treinamento: O sistema é treinado no IsaacLab usando Otimização de Política de Proximidade (PPO). Um currículo é empregado onde o robô primeiro aprende em terreno duro antes de transitar para superfícies granulares macias. A randomização de domínio é aplicada às propriedades do material (densidade, coeficientes de fricção) para garantir robustez.

Principais Contribuições

Integração de 3D RFT: O artigo introduz um modelo de contato baseado em 3D RFT no pipeline de simulação, substituindo modelos tangenciais heurísticos por uma formulação fisicamente consistente que captura dinâmicas de intrusão realistas.
Política Adaptável ao Terreno: Os autores desenvolvem um controlador de locomoção que se adapta à variação de rigidez do terreno ao aprender a inferir propriedades do terreno a partir do histórico proprioceptivo, permitindo a modulação da clareza do pé oscilante e da frequência da marcha.
Demonstração de Multigaita Ágil: O trabalho demonstra locomoção humanoide ágil, incluindo caminhada, corrida, caminhada circular e salto, através de diversos terrenos granulares tanto em simulação quanto em hardware do mundo real.

Resultos

Validação de Simulação:
- Precisão do Modelo de Contato: Comparações contra simulações de alta fidelidade do Método de Ponto Material (MPM) mostram que o modelo 3D RFT produz distâncias de deslocamento horizontal e perfis de afundamento mais próximos da verdade fundamental, superando modelos rígidos, RFT heurística e modelos de cone granular travado.
- Desempenho da Política: Políticas treinadas com o modelo 3D RFT alcançaram taxas de sucesso significativamente maiores e erros de rastreamento menores do que aquelas treinadas com modelos rígidos ou heurísticos, particularmente em cenários desafiadores como areia profunda e terreno irregular.
- Movimento Dinâmico: O método permitiu com sucesso o salto em terreno granular simulado, uma capacidade onde políticas treinadas com contato rígido falharam devido à incapacidade de compensar o deslizamento do solo.
Experimentos de Hardware:
- A política foi implantada em um robô humanoide Unitree G1 sobre basalto, areia seca e areia de praia.
- Robustez: As políticas treinadas com 3D RFT mantiveram locomoção estável em velocidades de até 2,5 m/s na areia, enquanto as políticas de contato rígido falharam em velocidades acima de 1,5 m/s.
- Adaptação: A política professor-aluno demonstrou rastreamento de velocidade superior em comparação com as bases. A análise dos torques do tornozelo revelou que o método proposto alcançou um controle de tornozelo complacente, minimizando a perturbação do terreno e movimentos de "pisoteio".
- Transição de Terreno: Durante transições de terreno rígido para macio, a política conseguiu aumentar a clareza do pé oscilante para evitar o arrasto do pé, um comportamento que a base PPO (sem estimativa de terreno) falhou em executar, resultando em perda de equilíbrio.

Significância e Alegações
O artigo afirma apresentar a primeira demonstração de locomoção humanoide ágil em terreno granular do mundo real. Os autores enfatizam que sua abordagem supera as limitações de métodos anteriores ao fornecer um modelo de contato que é fundamentado na física sem recorrer a heurísticas. Ao transferir com sucesso uma política treinada com um modelo de contato 3D RFT para ambientes do mundo real, o trabalho valida que a modelagem explícita das dinâmicas de contato granular é crítica para uma locomoção ágil com pernas. Além disso, a identificação de terreno e a adaptação zero-shot via política aluno demonstram que robôs podem aprender a inferir propriedades complexas do terreno a partir da propriocepção, permitindo a operação confiável em ambientes não estruturados e deformáveis.

Mais como este