OmniTrack: General Motion Tracking via Physics-Consistent Reference

Resumo Técnico: OmniTrack

1. Problema e Motivação

O aprendizado de controle geral para robôs humanoides a partir de dados de movimento humano é fundamental para permitir comportamentos diversos e naturais. No entanto, existem desafios críticos que limitam a eficácia das abordagens atuais:

• Gap de Embodiment (Corpo): Diferenças morfológicas e dinâmicas entre humanos e robôs, somadas a ruídos nos dados de captura de movimento (MoCap), geram artefatos fisicamente inviáveis nas referências de movimento. Exemplos incluem "flutuação" (o pé não toca o chão corretamente), penetração no solo e escorregamento dos pés.
• Conflito de Aprendizado: Durante o treinamento, a política do robô enfrenta um conflito intrínseco: tentar seguir fielmente uma referência imprecisa (que pode exigir forças impossíveis) versus manter a estabilidade física do robô.
• Limitações Atuais: Métodos existentes frequentemente falham em generalizar para movimentos dinâmicos complexos ou interações ricas em contato, pois tentam compensar implicitamente por essas inconsistências físicas durante a execução, levando a falhas dinâmicas e instabilidade em tarefas de longo prazo.

2. Metodologia: O Framework OmniTrack

O OmniTrack propõe uma solução de duas etapas que desacopla explicitamente a viabilidade física do rastreio de movimento geral. A ideia central é garantir que as referências de movimento sejam fisicamente consistentes antes de treinar a política de controle final.

• Etapa I: Geração de Movimento Físico (Motion Generation)

  • Objetivo: Converter movimentos humanos brutos (com artefatos) em trajetórias fisicamente plausíveis que respeitam estritamente a dinâmica do robô.
  • Processo: Treina-se uma política "generalista" em simulação com acesso a informações privilegiadas (posição global, velocidade, estados de contato, etc.), que não estão disponíveis no robô real.
  • Mecanismo: A política realiza "rollouts" (simulações) no ambiente físico para reconstruir as referências, eliminando flutuações e penetrações.
  • Resultado: Gera um conjunto de dados de referência de alta qualidade, livre de ruídos dinâmicos, servindo como um benchmark padronizado. Não há aleatorização de domínio nesta etapa para maximizar a fidelidade da reconstrução.

• Etapa II: Rastreio de Movimento Geral (General Motion Tracking)

  • Objetivo: Treinar uma única política de controle geral para rastrear as trajetórias geradas na Etapa I.
  • Condições: A política opera sob observabilidade parcial (apenas sensores a bordo, sem informações privilegiadas), simulando as condições reais de implantação.
  • Vantagem: Como as referências já são dinamicamente consistentes, a política não precisa gastar capacidade de aprendizado para corrigir erros físicos. Ela foca puramente no rastreamento e na transferência Sim-to-Real.
  • Treinamento: Utiliza-se ruído de observação e aleatorização de domínio extensiva (atrito, inércia, empurrões externos) para garantir robustez.

3. Principais Contribuições

1. Framework de Duas Etapas: Uma arquitetura que separa a garantia de viabilidade física do aprendizado de controle, permitindo que uma única política execute horas de movimentos diversos e complexos.
2. Dataset de Movimento Robótico de Alta Qualidade: A construção de um conjunto de dados de referência livre de artefatos dinâmicos, servindo como um benchmark padronizado para controle geral de humanoides.
3. Transferência Zero-Shot Sim-to-Real Robusta: Demonstração de sucesso na transferência direta para o robô humanoide Unitree G1, sem necessidade de ajuste fino (fine-tuning) no mundo real, cobrindo todo o repertório de movimentos do dataset LAFAN1.

4. Resultados Experimentais

Os experimentos foram conduzidos nos datasets LAFAN1 e AMASS, e validados no robô real Unitree G1.

• Qualidade dos Dados Gerados: A Etapa I eliminou 100% dos artefatos de penetração e flutuação presentes nos dados brutos, melhorando a suavidade do movimento, com um aumento moderado no erro de posição das juntas (MPJPE) devido às correções físicas necessárias.
• Desempenho em Simulação:
  • O OmniTrack superou consistentemente os baselines (como Dagger, OmniH2O, ExBody2, BeyondMimic) em todas as métricas.
  • Taxa de Sucesso: Alcançou 96,13% em movimentos vistos e 84,81% em movimentos altamente dinâmicos e difíceis (onde os baselines caíram drasticamente, muitas vezes abaixo de 60%).
  • Erro de Rastreio (MPJPE): Obteve o menor erro de rastreamento (34,83 mm) em testes gerais.
• Desempenho no Mundo Real (Unitree G1):
  • Estabilidade de Longo Prazo: O robô executou rastreamento contínuo e estável por mais de uma hora, incluindo movimentos acrobáticos complexos como cambalhotas (flips) e cambalhotas laterais (cartwheels).
  • Teleoperação Online: Suportou teleoperação em tempo real via sistemas de captura de movimento e headsets VR, lidando com ruído, latência e comandos imprevisíveis do usuário, mantendo a estabilidade e o estilo humano.
  • Robustez Ambiental: O robô manteve o rastreamento estável em terrenos irregulares, solo macio e sob ventos fortes e impactos externos.

5. Significância e Impacto

O OmniTrack representa um avanço significativo no controle de humanoides ao resolver o dilema fundamental entre fidelidade de rastreamento e estabilidade física.

• Mudança de Paradigma: Ao invés de tentar ensinar o robô a "adivinhar" ou compensar referências ruins durante a execução, o método corrige a referência a priori. Isso simplifica o problema de aprendizado para o controlador.
• Escalabilidade: A abordagem permite o treinamento em grandes datasets diversos sem a degradação de desempenho observada em métodos anteriores quando a complexidade dos dados aumenta.
• Aplicabilidade Prática: A capacidade de realizar teleoperação dinâmica e estável em tempo real abre caminho para aplicações práticas em interação humano-robô, onde a robustez a comandos imperfeitos é essencial.

Em resumo, o OmniTrack demonstra que garantir a consistência física das referências antes do aprendizado da política é crucial para alcançar um controle geral, estável e escalável em robôs humanoides.