Resumo Técnico: Kine2Go

Declaração do Problema

O rápido avanço da robótica, particularmente com hardware acessível como o quadrupede Unitree Go2, despertou o interesse no uso de técnicas de aprendizado de máquina (ML), como Aprendizado por Reforço (RL) e clonagem comportamental, para o controle de locomoção. No entanto, um gargalo significativo existe: obter dados de demonstração de alta qualidade é difícil. Embora os métodos de ML frequentemente exijam trajetórias cinemáticas e as correspondentes ações ao nível do motor para treinar políticas robustas, a geração desses dados normalmente demanda pipelines complexos e tempo considerável.

Além disso, embora existam conjuntos de dados de captura de movimento (MoCap) em larga escala para humanoides (ex: Human3.6M, AMASS) e algumas espécies animais, há uma falta de recursos comparáveis e de código aberto para robôs quadrupedais. Os conjuntos de dados de quadrupedes existentes frequentemente carecem dos rollouts de estado-ação específicos necessários para o aprendizado de controle de baixo nível. Além disso, o controle baseado em RL muitas vezes tem dificuldade em produzir marchas suaves, naturais e simétricas sem um detalhado ajuste de recompensa (reward shaping), o que é propenso ao reward hacking e exige tentativa e erro tediosos. As abordagens atuais de imitação de movimento frequentemente dependem de políticas únicas para movimentos únicos, limitando a capacidade de criar políticas fundamentais e generalistas capazes de diversas marchas.

Metodologia

Os autores apresentam o Kine2Go, um conjunto de dados e um pipeline projetados para preencher a lacuna entre dados de movimento brutos e políticas de RL acionáveis para o robô Unitree Go2. A metodologia consiste em três estáções primárias implementadas dentro do motor de física Genesis, um simulador de alto desempenho acelerado por GPU:

1. Retargeting Cinemático:

   • O pipeline ingere dados de captura de movimento de diversas morfologias de origem (cães, cavalos e outros robôs).
   • Um processo de retargeting modular mapeia esses movimentos de origem para a estrutura cinemática específica de 12 DoF do Unitree Go2.
   • Um resolvedor de Cinemática Inversa (IK) resolve as configurações de junta quadro a quadro, tratando as posições retargetadas dos pés como objetivos de espaço de tarefa para garantir que os movimentos permaneçam dentro do espaço de trabalho alcançável do robô.
   • O resultado é uma trajetória de referência contínua e compatível com o robô, contendo informações de pose, mas sem dados de ação.

2. Imitação de Movimento por Aprendizado por Reforço:

   • Para cada trajetória de referência retargetada, uma política de controle dedicada é treinada usando um Processo de Decisão de Markov (MDP) condicionado a objetivos.
   • O objetivo é minimizar o erro de rastreamento entre o estado do robô simulado e o movimento de referência.
   • Espaço de Observação: Inclui estados proprioceptivos (posições/velocidades das juntas, orientação da base) e estados de referência futuros amostrados em $t+1, t+2, t+10$ e $t+30$.
   • Função de Recompensa: Uma soma ponderada de termos que penalizam desvios na posição da raiz, velocidades lineares/angulares, configurações de junta e posições do efetuador final.
   • Treinamento: O algoritmo Proximal Policy Optimization (PPO) é usado dentro do motor Genesis, aproveitando o paralelismo massivo (8.192 ambientes) para treinar cada política por aproximadamente 2 bilhões de passos ao longo de 10.000 iterações.

3. Coleta e Filtragem de Trajetórias:

   • Uma vez que as políticas convergem, rollouts estocásticos são executados para gerar o conjunto de dados final.
   • Cada rollout é inicializado com orientações de direção randomizadas para maximizar a diversidade do espaço de estados.
   • Os dados registrados incluem configurações de junta, cinemática da base (orientação de quaternion, velocidade angular), ações de controle (comandos de motor normalizados) e estados globais.
   • Controle de Qualidade: As trajetórias são renderizadas em vídeos de alta resolução e inspecionadas manualmente para filtrar comportamentos instáveis (colisões, quedas, divergência de rastreamento). Os primeiros 0,5 segundos de cada trajetória são cortados para remover quadros de "aquecimento" onde a política se sincroniza com a referência.

Principais Contribuições

• Dataset Kine2Go: Um conjunto de dados abrangente composto por 800 trajetórias de movimento diversas para o robô Unitree Go2. Os dados são derivados de 40 políticas de RL distintas, cada uma otimizada para um movimento de referência único.
• Diversidade de Morfologias de Origem: O conjunto de dados integra dados de quatro fontes distintas:
  • AI4Animation: Dados de captura de movimento de cães (andar, correr, virar).
  • VHDC: Dados de captura de movimento de cavalos (trote, andar).
  • Solo8: Dados de um robô quadrupedal de morfologia diferente (8-DoF), fornecendo movimentos desafiadores como rastejar e pular.
  • AI4Animation Interactive Demo: Simulações de lobos controladas pelo usuário gerando caminhos complexos (elipses, loops, quadrados).
• Rollouts Estado-Ação: Diferente dos conjuntos de dados puramente cinemáticos, o Kine2Go fornece as ações ao nível do motor correspondentes para reproduzir os movimentos, tornando-o diretamente aplicável à clonagem comportamental e controle offline.
• Pipeline Escalável: Os autores liberam um pipeline construído sobre o motor Genesis que permite aos pesquisadores estender facilmente o conjunto de dados com novas fontes ou adaptar a abordagem para outras morfologias de quadrupedes. O pipeline é otimizado para GPUs de nível de consumidor, democratizando a geração de dados robóticos.

Resultados

O conjunto de dados resultante cobre um amplo espectro de movimentos de locomoção, incluindo andar, correr, trotar, virar, girar e seguir caminhos complexos (círculos, quadrados, elipses).

• Escala: 800 trajetórias geradas a partir de 40 políticas, com cada política produzindo 20 trajetórias independentes caracterizadas por cabeças iniciais randomizadas.
• Cobertura: O conjunto de dados inclui movimentos com durações variando de 5 a 20 segundos, capturando pelo menos um ciclo completo de cada marcha.
• Estrutura de Dados: Cada quadro contém posições/velocidades de junta, orientação/velocidade da base e comandos de motor normalizados.
• Limitações: Os autores observam que movimentos que envolvem saltos (onde todas as pernas deixam o chão) foram excluídos devido à baixa qualidade de imitação. Movimentos de sentar também foram excluídos devido à incompatibilidade morfológica (cotovelos abaixo do nível do solo) exigindo correção manual quadro a quadro. Todos os dados são coletados em terreno plano, e dados de sensores de pressão nos pés não são simulados.

Significância e Alegações

O artigo posiciona o Kine2Go como um recurso fundamental para a comunidade de robótica quadrupedal, de forma análoga a como o AMASS ou MoCapAct servem à pesquisa de humanoides.

• Redução de Barreiras: Ao fornecer uma solução "pronta para uso" de dados cinemáticos e de ação de alta fidelidade, o conjunto de dados reduz a barreira de entrada para pesquisas avançadas de movimento, removendo a necessidade de os pesquisadores construírem pipelines complexos de coleta de dados.
• Habilitação de Modelos Fundacionais: O uso principal pretendido é treinar e regularizar modelos fundamentais de comportamento. Os autores argumentam que, enquanto a clonagem comportamental simples pode ser avaliada via Erro Quadrático Médio (MSE), modelos fundamentais requerem conjuntos de dados diversos para aprender características gerais de movimento, em vez de apenas imitar trajetórias específicas. O Kine2Go visa apoiar o desenvolvimento de políticas que possam alternar entre marchas baseadas em comandos, indo além de políticas de movimento único.
• Simulação para a Realidade: O conjunto de dados é projetado para facilitar o treinamento de modelos em simulação que podem ser regularizados com o Kine2Go e eventualmente implantados no mundo real para avaliar a robustez.
• Democratização: O uso do motor Genesis e a eficiência do pipeline em hardware de nível de consumidor visam democratizar a geração de dados robóticos, permitindo que grupos de pesquisa menores experimentem com diversas marchas e morfologias sem acesso a clusters de supercomputação.

Os autores afirmam modestamente que, embora o conjunto de dados aborde uma lacuna crítica na pesquisa de quadrupedes, a avaliação de modelos fundamentais complexos permanece uma área de estudo aberta, e trabalhos futuros focarão em expandir o conjunto de dados para incluir manobras acrobáticas e navegação em terrenos irregulares.