PhyGile: Physics-Prefix Guided Motion Generation for Agile General Humanoid Motion Tracking

Resumo Técnico: PhyGile

1. O Problema

O controle de robôs humanoides está passando de tarefas de locomoção específicas para a geração de movimentos gerais e ágeis. No entanto, existe uma desconexão fundamental entre a geração de movimento baseada em texto e a execução física real:

• Viés Biomecânico Humano: A maioria dos modelos de geração de movimento (Text-to-Motion) é treinada em dados capturados de humanos (ex: SMPL). Quando esses movimentos são "reencaminhados" (retargeted) para robôs, eles frequentemente satisfazem restrições geométricas, mas violam restrições físicas críticas (limites de torque, consistência de contato, equilíbrio dinâmico). Isso resulta em movimentos que parecem plausíveis visualmente, mas são instáveis ou impossíveis de executar no hardware real.
• Desequilíbrio de Dados: Conjuntos de dados de movimento exibem distribuições de cauda longa. Movimentos simples (caminhar) são abundantes, enquanto movimentos ágeis e complexos (pular, girar, quebrar-dança) são raros. Políticas de rastreamento (tracking) treinadas nesses dados tendem a falhar em habilidades de alta dificuldade devido à falta de exposição durante o treinamento.
• Desacoplamento Geração-Rastreamento: Abordagens existentes tratam a geração de trajetórias e o rastreamento como módulos desacoplados. Se a trajetória gerada excede a capacidade de controle do robô, a execução falha, sem um mecanismo para reconciliar a intenção semântica com a viabilidade física.

2. Metodologia

O PhyGile é um framework unificado que fecha o ciclo entre a geração de movimento nativa do robô e o Rastreamento de Movimento Geral (GMT - General Motion Tracking), utilizando prefixos guiados por física. O sistema possui três componentes principais:

A. Geração de Movimento Nativa do Robô (Diffusion Model)

• Espaço de Representação: O modelo gera trajetórias diretamente no espaço esquelético do robô (262 dimensões), evitando o retargeting de humanos para robôs.
• Arquitetura: Utiliza um modelo de difusão condicional baseado em Transformer Decoder.
• TP-MoE (Token-level Parameter-mixing Mixture-of-Experts): Para garantir alinhamento fino entre tokens de texto e segmentos de movimento, o modelo incorpora uma camada MoE que mistura parâmetros no nível do token. Isso permite que dicas semânticas localizadas no tempo correspondam a segmentos de movimento específicos.
• Oversampling (ASFO): Para lidar com a distribuição de cauda longa, o sistema usa um mecanismo de oversampling baseado em frequência de tags semânticas extraídas por LLM, garantindo que movimentos raros recebam treinamento suficiente.

B. Rastreamento de Movimento Geral (GMT) com Currículo MoE

• Estratégia de Currículo: O controlador GMT é treinado em duas etapas para lidar com a dificuldade variável dos movimentos:
  1. Fase I (Currículo com Roteamento Viésado para Difíceis): Os dados são estratificados em 10 níveis de dificuldade (baseados em carga de controle neuro-cognitivo). O treinamento começa com movimentos fáceis e libera progressivamente níveis mais difíceis. Um mecanismo de roteamento "hard-biased" força a especialização de experts (MLPs) em níveis de dificuldade específicos.
  2. Fase II (Ajuste Fino Global Soft-MoE): Remove-se as máscaras de currículo e treina-se em grandes volumes de dados não rotulados para melhorar a generalização, mantendo a agilidade adquirida.
• Auto-Purificação (Freeze-and-drop): Movimentos que consistentemente falham no rastreamento são temporariamente congelados ou descartados para evitar que dados "corrompidos" degradem a política.

C. Ajuste Fino Guiado por Prefixo de Física (Physics-Prefix Guided Fine-tuning)

• O Elo Perdido: Esta é a inovação central. Durante a inferência, segmentos de movimento que foram validados como fisicamente executáveis pelo simulador do GMT são injetados como prefixos no processo de difusão.
• Mecanismo: O gerador de difusão gera o restante do movimento condicionado a esse prefixo físico. Isso ancora o estado inicial da denoisação em regiões viáveis do manifold de movimento do robô.
• Refinamento em Loop Fechado: O sistema executa um ciclo de "gerar-simular-selecionar". Se um movimento gerado falha na simulação (ex: penetração, perda de equilíbrio), ele é rejeitado. O controlador GMT é então ajustado (fine-tuned) com os movimentos gerados e validados, estreitando o acoplamento entre geração e execução.

3. Principais Contribuições

1. Framework PhyGile: Uma abordagem unificada que acopla a geração de movimento baseada em difusão (nativa do robô) com o rastreamento ágil, usando prefixos de física como interface para garantir viabilidade dinâmica.
2. Arquitetura de Geração e Controle:
   • Um modelo de difusão 262D com TP-MoE para condicionamento de texto de alta granularidade.
   • Uma estratégia de treinamento MoE baseada em currículo para o controlador GMT, permitindo a especialização em movimentos de alta dificuldade e cauda longa.
3. Alinhamento Geração-Execução: A introdução do ajuste fino guiado por prefixo de física, que alinha a distribuição gerada com políticas de rastreamento executáveis, eliminando a discrepância entre intenção semântica e realidade física.

4. Resultados

Os resultados foram validados através de extensos experimentos offline e em robôs reais (Unitree G1, 29 DOF):

• Qualidade de Geração: O PhyGile superou os métodos state-of-the-art (como TextOp e modelos de reencaminhamento) em métricas de fidelidade de distribuição (FID) e alinhamento semântico (R@3), mantendo baixos índices de violações físicas (penetração, flutuação, patinação).
• Rastreamento e Estabilidade: Na tarefa de rastreamento geral, o PhyGile alcançou a taxa de sucesso mais alta (94,01%) e os menores erros de posição e ângulo em comparação com baselines como GMT e TextOp.
• Execução Real: O sistema demonstrou a capacidade de executar movimentos ágeis e altamente dinâmicos em hardware real, como:
  • Agachamento em um joelho aquecendo as mãos no fogo.
  • Manobras de breakdance com giros.
  • Parada de mão (cartwheel) com rotação lateral.
  • Movimentos que falhavam consistentemente em pipelines anteriores.

5. Significado e Impacto

O PhyGile representa um avanço significativo no controle de humanoides ao resolver o compromisso (trade-off) entre semântica e física.

• Viabilidade Real: Permite que robôs humanoides executem movimentos complexos e ágeis diretamente a partir de comandos de linguagem natural, sem a necessidade de reencaminhamento manual ou falhas frequentes de equilíbrio.
• Escalabilidade: A abordagem de fine-tuning leve e o uso de prefixos de física permitem que o sistema escale para habilidades de corpo inteiro complexas que anteriormente eram consideradas inalcançáveis para controle baseado em texto.
• Paradigma Unificado: Estabelece um novo padrão onde a geração e o controle não são módulos separados, mas um pipeline coeso guiado pela física, abrindo caminho para humanoides mais versáteis e expressivos no mundo real.