MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery

Resumo Técnico do MOTIONGRPO

Declaração do Problema
Recuperar movimento humano 3D de corpo inteiro a partir de sinais de Dispositivos de Cabeça (HMD), como os do Project Aria, permanece um desafio crítico para aplicações de VR/AR. Diferentemente da captura em terceira pessoa, configurações egocêntricas sofrem com oclusão severa, onde o corpo do usuário é amplamente não observado. Métodos existentes baseados em difusão abordam isso aprendendo priores de movimento condicionados a trajetórias da cabeça. No entanto, esses métodos frequentemente dependem de correspondência de distribuição global, levando a erros de reconstrução local de articulações, desalinhamento espacial e artefatos visuais, como deslizamento dos pés, tremores de movimento e penetração no solo. Além disso, aplicar Aprendizado por Reforço (RL) diretamente à recuperação de movimento baseada em difusão enfrenta um gargalo específico: o problema da "baixa diversidade intra-grupo". Como a recuperação de movimento é fortemente restringida por sinais determinísticos da cabeça, as amostras de saída dentro de um grupo exibem variância mínima. Essa falta de diversidade faz com que o desvio padrão nos cálculos de vantagem da Otimização de Política Relativa em Grupo (GRPO) se aproxime de zero, resultando em gradientes que desaparecem e treinamento instável.

Metodologia
Os autores propõem o MOTIONGRPO, um framework que aproveita o pós-treinamento por RL para injetar orientação de alta granularidade no processo de amostragem de difusão. A metodologia estrutura-se em torno de três componentes principais:

1. Formulação MDP e GRPO: O processo de amostragem de difusão é modelado como um Processo de Decisão de Markov (MDP). A política é otimizada usando Otimização de Política Relativa em Grupo (GRPO), que estima linhas de base de valor diretamente a partir de pontuações por grupo, sem exigir uma rede de valor separada. A política $\pi_\theta$ corresponde à distribuição de transição reversa do modelo de difusão.
2. Mecanismo de Recompensa Híbrida: Para orientar a otimização, um sistema de recompensa híbrido é projetado:
   • Recompensa Visual Global: Um modelo perceptivo condicionado à trajetória avalia a plausibilidade visual. Este modelo é treinado via aprendizado contrastivo online, sintetizando ativamente amostras negativas difíceis (movimentos gerados pareados com trajetórias da cabeça) para distinguir movimentos naturais de artefatos como deslizamento dos pés e tremores.
   • Recompensa Local de Articulações: Sub-recompensas explícitas impõem precisão nas posições, rotações e velocidades das articulações. Estas incluem recompensas de pose computadas com e sem alinhamento de transformação de similaridade por quadro, discrepâncias de rotação local e diferenças de velocidade.
3. Estratégia de Injeção de Ruído: Para abordar o gargalo da baixa diversidade intra-grupo, os autores introduzem uma estratégia de injeção de ruído. Ruído de Perlin suavizado temporalmente é adicionado ao componente de translação das condições de entrada da trajetória da cabeça. Isso simula entradas pseudo fora de distribuição, forçando a política de difusão a enfrentar estados ligeiramente deslocados. Isso aumenta a incerteza do modelo e a diversidade de saída dentro do grupo amostrado, garantindo um desvio padrão não trivial para o cálculo de vantagem do GRPO e estabilizando o processo de aprendizado.

Principais Contribuições

• Framework MOTIONGRPO: A introdução de um framework de pós-treinamento baseado em RL para recuperação de movimento egocêntrico que otimiza uma recompensa híbrida combinando um modelo perceptivo aprendido para plausibilidade global e objetivos explícitos para alinhamento preciso de articulações.
• Identificação e Mitigação da Baixa Diversidade: A identificação da "baixa diversidade intra-grupo" como um gargalo fundamental para aplicar GRPO a tarefas de recuperação de movimento determinística. Os autores propõem uma estratégia de injeção de ruído suavizada temporalmente para aumentar a diversidade de saída e prevenir gradientes que desaparecem.
• Desempenho de Ponta: Extensos experimentos demonstrando que o framework alcança desempenho superior tanto em precisão de articulações quanto em fidelidade visual em comparação com baselines existentes.

Resultados Experimentais
O método foi avaliado nos benchmarks AMASS e RICH, com validação qualitativa adicional no conjunto de dados Aria Digital Twins (ADT).

• Desempenho Quantitativo: O MOTIONGRPO alcançou resultados de ponta, superando significativamente baselines competitivas como o EgoAllo. No conjunto de dados AMASS, reduziu o Erro de Posição Média por Articulação (MPJPE) de 124,985 mm para 114,207 mm e o MPJPE Alinhado por Procrustes (PA-MPJPE) de 103,958 mm para 95,512 mm. Melhorias semelhantes foram observadas no conjunto de dados RICH.
• Qualidade Visual: O framework mitigou efetivamente artefatos de alta frequência. Métricas para Tremores, Deslizamento dos Pés e Penetração no Solo mostraram melhorias consistentes sobre as baselines, confirmando a eficácia do mecanismo de recompensa híbrida.
• Estudos de Ablação:
  • GRPO comum com recompensas de articulações melhorou a precisão local, mas exigiu a recompensa visual para abordar a plausibilidade física global.
  • A estratégia de injeção de ruído de Perlin foi crítica; sem ela, a diversidade do grupo colapsou e os ganhos de desempenho foram limitados.
  • O uso de amostras negativas difíceis sintetizadas melhorou significativamente a capacidade do modelo perceptivo de discriminar entre movimentos naturais e defeituosos em comparação com a simples injeção de ruído em dados reais.
• Eficiência: Como estratégia de pós-treinamento, o MOTIONGRPO impõe sobrecarga computacional negligenciável durante a inferência, mantendo velocidades de inferência e uso de VRAM comparáveis aos modelos de difusão de baseline.

Significado
O artigo afirma que o MOTIONGRPO representa um avanço significativo ao preencher a lacuna entre modelos de difusão generativos e as restrições geométricas precisas exigidas para recuperação de movimento. Ao adaptar o GRPO com uma estratégia inovadora de injeção de ruído, o framework supera as limitações da correspondência de distribuição padrão e o problema de gradiente que desaparece inerente a tarefas de recuperação determinística. O resultado é um sistema capaz de recuperar movimento de corpo inteiro de alta fidelidade com plausibilidade visual superior e precisão de articulações, oferecendo uma solução robusta para recuperação de movimento egocêntrico em aplicações de VR/AR.