Resumo Técnico: GaitSpan

Declaração do Problema

As abordagens atuais para a locomoção humanoide frequentemente tratam o caminhar, o trote e a corrida como competências distintas. Para alcançar diversos tipos de marcha, os métodos existentes dependem tipicamente da prescrição de cronogramas de marcha, da imitação de clipes de movimento humano, do treinamento de políticas especialistas separadas para diferentes velocidades ou da destilação desses especialistas em uma única política. Embora essas estratégias possam produzir comportamentos impressionantes, elas sofrem de flexibilidade limitada em comandos de velocidade contínuos, terrenos e morfologias. Além disso, elas frequentemente falham em demonstrar como uma única política aprendida pode expandir naturalmente de uma habilidade básica de caminhada para regimes de locomoção mais rápidos sem reaprender do zero ou depender de demonstrações humanas externas. O desafio central é desenvolver um princípio de aprendizado onde uma habilidade adquirida (caminhar) sirva não meramente como um ponto final, mas como uma "semente" para uma família de comportamentos relacionados.

Metodologia: Estrutura GaitSpan

Os autores propõem o GaitSpan, uma estrutura projetada para expandir uma política de caminhada pré-treinada e congelada para regimes de locomoção mais rápidos (trote e corrida) através de três componentes integrados. O sistema trata a política de caminhada como uma estrutura motora reutilizável para equilíbrio, suporte e coordenação, que é então regenerada em novos ritmos e estendida para passadas mais longas.

1. Geração de Ritmo (GaitWave)

Em vez de treinar especialistas separados ou usar trocas de marcha rígidas, o GaitSpan modula a política de caminhada semente congelada usando múltiplos relógios internos.

• Ondas de Ação Canônicas com Escala de Fase: A política semente é consultada em diferentes escalas de fase (resoluções temporais) para gerar uma família de "ondas de ação". Estas não são templates externos, mas estruturas autogeradas derivadas da própria política de caminhada do robô.
• Memória Hierárquica de Multiresolução: Um banco de memória aprendível combina essas ondas de ação usando coeficientes condicionados ao comando. Esta hierarquia (por exemplo, 2, 4 e 8 bins) permite que o sistema capture divisões amplas de marcha em resoluções baixas e transições de grão fino em resolrações mais altas, garantindo mudanças de marcha suaves e contínuas conforme os comandos de velocidade aumentam, sem trocas abruptas.

2. Modelagem de Passada (H-SLIP)

A expansão rítmica por si só não garante marchas dinâmicas fisicamente significativas. Para abordar isso, o GaitSpan introduz o H-SLIP, um objetivo de perna virtual hierárquico inspirado no modelo de Pêndulo Invertido com Mola (SLIP).

• Pernas Virtuais Hierárquicas: O sistema define pernas virtuais em três níveis: raiz-ao-pé (global), raiz-ao-joelho (superior) e joelho-ao-pé (inferior).
• Recompensas de Eventos Dinâmicos: A função de recompensa molda quatro eventos dinâmicos principais: compressão, rebote, toque no solo (touchdown) e voo. Ela incentiva a política a absorver e liberar energia através da hierarquia de pernas virtuais e a executar transições de contato controladas. Isso guia os movimentos expandidos em direção aos regimes de trote e corrida, mantendo a coerência física.

3. Adaptação Residual

Um ramo de política residual captura detalhes de movimento não contabilizados pela geração de ritmo ou modelagem de passada. Este ramo aprende correções dependentes do estado para lidar com dinâmicas específicas e interações ambientais, resultando em uma política abrangente que combina a estabilidade da semente com a flexibilidade de novos regimes.

Objetivo de Treinamento

A recompensa total combina tarefas de locomoção padrão, a recompensa de modelagem dinâmica H-SLIP e a Regularização Auto-Ancorada (SA). Os termos SA (ancoragem da semente, compacidade residual, autossimilaridade consciente de fase e consistência temporal) garantem que a política preserve a estrutura estável da semente de caminhada em baixas velocidades e só se desvie quando necessário para velocidades mais altas, evitando a sobreposição de habilidades fundamentais.

Principais Contribuições

1. Paradigma de Crescimento de Habilidade: O GaitSpan é a primeira estrutura a demonstrar uma política humanoide condicionada a comandos que abrange regimes de caminhada, trote e corrida como uma família contínua, tratando o caminhar como um prior semente generativo em vez de um ponto final estático.
2. Mecanismo GaitWave: Introduz um método para expandir ritmos de locomoção através da composição hierárquica de ondas de ação derivadas de uma política semente congelada, evitando a necessidade de especialistas de marcha separados ou rótulos explícitos de marcha.
3. Integração H-SLIP: Incorpora um objetivo SLIP hierárquico e fisicamente fundamentado para moldar eventos de passada dinâmica (compressão, rebote, voo) sem depender de templates de trajetória rígidos.
4. Generalização Zero-Shot: A política resultante transfere-se entre diferentes morfologias humanoides (testadas no Unitree G1, Booster T1 e Booster K1) e é implantada zero-shot em terrenos não vistos sim-para-sim e no mundo real (incluindo areia e terreno irregular), apesar de ter sido treinada apenas em terrenos planos e levemente irregulares.

Resultados Experimentais

Os autores avaliaram o GaitSpan em cinco configurações humanoides (variando DoF e morfologia) e o compararam com várias linhas de base:

• Política Semente: A política de caminhada congelada avaliada em extensas faixas de velocidade.
• Multi-Especialistas de Energia: Um conjunto de políticas de marcha modeladas energeticamente e treinadas separadamente para diferentes velocidades.
• Demonstração Humana: Uma política treinada usando priors de movimento humano (AMP).
• Do Zero & Fine-Tuning: Variantes sem a expansão estruturada da semente.

Principais Descobertas:

• Rastreamento de Comando: O GaitSpan mantém um baixo erro de rastreamento em uma faixa de velocidade contínua (até ~2,2 m/s) enquanto desenvolve um tempo de voo substancial em altas velocidades. Em contraste, a linha de base de multi-especialistas mostrou degradação no rastreamento e falhou em produzir o voo apropriado ao comando, enquanto a linha de base de demonstração humana incorreu em custos energéticos mais altos e exibiu menor diferenciação de marcha dependente da velocidade.
• Marchas Emergentes: O sistema transita com sucesso de uma caminhada estável para comportamentos de trote e similares à corrida. Gráficos de contato de pé revelam transições suaves de suporte alternado para padrões densos de contato-voo conforme a velocidade aumenta.
• Eficiência: O GaitSpan consome menos energia do que as linhas de base de demonstração humana em regimes de baixa-média velocidade e alcança desempenho competitivo em altas velocidades.
• Estudos de Ablação: Remover o GaitWave ou o H-SLIP individualmente resultou ou em uma má emergência de voo em alta velocidade ou em rastreamento instável. A estrutura completa mostrou-se necessária para equilibrar o rastreamento de comando com a emergência de marcha dinâmica. Além disso, a expansão estruturada (GaitSpan) superou o fine-tuning direto e o treinamento do zero, que ou sobrepuseram comportamentos de caminhada estáveis ou falharam em aprender marchas coerentes de alta velocidade.

Significância e Alegações

O artigo postula que as habilidades existentes não devem permanecer como pontos finais, mas podem servir como priors sementes para famílias de comportamento. Ao expandir uma política de caminhada através da geração de ritmo e da modelagem de passada guiada fisicamente, o GaitSpan oferece uma rota mais eficiente e escalável para a aquisição de habilidades humanoides em comparação com métodos que dependem de imitação, destilação de multi-especialistas ou treinamento do zero.

Os autores alegam que esta abordagem demonstra uma realização concreta de crescimento de habilidade, onde um humanoide aprende a correr não descartando sua capacidade de caminhar, mas reutilizando a estrutura motora da caminhada e adaptando-a a novos ritmos e dinâmicas. Isso aponta para um futuro onde robôs humanoides podem adquirir capacidades de locomoção complexas e contínuas através da expansão estruturada de habilidades fundamentais, em vez da montagem de especialistas distintos e específicos para tarefas. O trabalho sugere que a imitação humana-semelhante não é estritamente necessária para aprender marchas dinâmicas e energeticamente eficientes e adaptáveis ao comando, pois a própria estrutura motora do robô pode ser a principal fonte de crescimento.