Ground Reaction Inertial Poser: Physics-based Human Motion Capture from Sparse IMUs and Insole Pressure Sensors

Título: Ground Reaction Inertial Poser (GRIP): Captura de Movimento Humano Baseada em Física a partir de IMUs Esparsas e Sensores de Pressão em Palmilhas

1. O Problema

A captura precisa de movimento humano em ambientes práticos é crucial para robótica, biomecânica e realidade virtual. No entanto, existem limitações significativas nas abordagens atuais:

• Sistemas Ópticos (MoCap): Alta precisão, mas exigem ambientes controlados com múltiplas câmeras, inviáveis para uso diário.
• Visão Computacional (Monocular): Sofrem com oclusões, campo de visão limitado e dificuldade em estimar a posição absoluta da câmera e do corpo.
• IMUs (Unidades de Medição Inercial) Esparsas: Métodos que usam poucos IMUs (ex: 3-6 sensores) são portáteis, mas sofrem de deriva temporal (drift) devido à integração de velocidades, resultando em artefatos fisicamente implausíveis como "deslizamento dos pés" (foot sliding), penetração no chão ou flutuação.
• Sensores de Pressão (Palmilhas): Sensores de pressão em palmilhas fornecem dados valiosos sobre forças de reação do solo (GRF), mas métodos que usam apenas eles ou IMUs nos pés têm dificuldade em reconstruir o movimento do tronco e membros superiores, além de ainda sofrerem de deriva em movimentos complexos.

O desafio central é reconstruir um movimento corporal completo, fisicamente plausível e sem deriva, utilizando apenas um número mínimo de sensores vestíveis (4 dispositivos) em cenários do mundo real.

2. Metodologia (GRIP)

O GRIP propõe uma abordagem híbrida que combina aprendizado de máquina com simulação física. O sistema utiliza apenas quatro dispositivos vestíveis: dois relógios inteligentes (IMUs nos pulsos) e duas palmilhas inteligentes (IMU + sensores de pressão nos pés).

A arquitetura é dividida em dois módulos principais e uma representação intermediária:

A. KinematicsNet (Rede de Cinemática)

• Função: Estima o estado cinemático do movimento (posições das articulações, ângulos e velocidades) diretamente a partir dos dados dos sensores (IMUs e pressão).
• Entrada: Aceleração, orientação (IMUs) e dados de força vertical, centro de pressão (CoP) e contato (palmilhas).
• Saída: Posições das articulações "folha" (pulsos, pés, cabeça), posições completas do corpo, ângulos das articulações e velocidades.
• Treinamento: Supervisionado, minimizando o erro quadrático médio (MSE) em relação aos dados de referência (MoCap).

B. State Difference (Diferença de Estado)

• Para evitar a acumulação de erro de deriva ao integrar posições globais, o GRIP não usa posições globais integradas diretamente no controlador.
• Em vez disso, calcula a Diferença de Estado: a discrepância entre o estado cinemático estimado pelo KinematicsNet e o estado atual do humanoide simulado. Isso inclui diferenças de rotação, velocidade angular, velocidade linear e posições relativas das articulações.

C. DynamicsNet (Rede de Dinâmica)

• Função: Controla um "gêmeo digital" (humanoide) dentro de um simulador de física (Isaac Gym) usando aprendizado por reforço (PPO - Proximal Policy Optimization).
• Mecanismo: O DynamicsNet recebe como observação os dados dos sensores, a State Difference, o estado do próprio humanoide e o mapa de altura do ambiente.
• Controle: A rede gera torques nas articulações para fazer o humanoide imitar o movimento estimado, respeitando automaticamente as leis da física (gravidade, atrito, forças de reação do solo).
• Mecanismo de Recuperação de Queda: Se o humanoide cair (detectado por altura da raiz e probabilidade de um discriminador), o sistema usa um History Buffer para redefinir o estado do humanoide com base nas previsões cinemáticas passadas, permitindo a continuação suave do movimento sem forças auxiliares externas.

3. Contribuições Principais

1. Framework GRIP: Um método inovador que alcança estimativa de movimento corporal completo e fisicamente plausível usando apenas 4 sensores vestíveis (2 IMUs nos pulsos + 2 palmilhas com IMU/pressão).
2. Arquitetura de Duas Etapas: Integração de KinematicsNet (estimativa cinemática) e DynamicsNet (controle baseado em física), utilizando a State Difference para corrigir erros e garantir consistência física.
3. Dataset PRISM: Criação e lançamento público de um novo dataset multimodal de grande escala (Pressure and Inertial Sensing for Human Motion and Interaction).
   • Contém 1.275 sequências de 10 segundos (3,5 horas de dados).
   • Inclui IMUs, sensores de pressão em palmilhas, dados de MoCap óptico, nuvens de pontos do ambiente e modelos de objetos.
   • Cobre atividades diversas: locomoção, esportes rápidos, movimentos lentos (Tai Chi) e interações com objetos (subir degraus, sentar).

4. Resultados Experimentais

O GRIP foi avaliado em três conjuntos de dados (PRISM, UnderPressure, PSU-TMM100) e comparado com métodos de estado da arte (como PIP, GlobalPose, MobilePoser, FoRM).

• Precisão Global (MPJPE): O GRIP obteve o menor erro de posição das articulações em todos os datasets, superando métodos que usam apenas IMUs ou fusão IMU-pressão sem simulação física.
• Consistência Física:
  • Deslizamento de Pés (Foot Sliding): O GRIP reduziu significativamente o deslizamento em comparação com métodos puramente cinemáticos.
  • Penetração no Chão: O método evitou a penetração dos pés no solo ou objetos, algo comum em métodos que não usam restrições físicas rígidas.
  • Forças de Reação do Solo (vGRF): O GRIP demonstrou alta precisão na estimativa de forças de reação, especialmente em movimentos lentos e controlados, onde outros métodos falhavam em detectar eventos de contato finos.
• Robustez: O sistema manteve a estabilidade mesmo em movimentos dinâmicos e interações com objetos, graças ao controle baseado em física que impõe restrições naturais de equilíbrio.

5. Significado e Impacto

O trabalho do GRIP representa um avanço significativo na captura de movimento vestível:

• Viabilidade Prática: Reduz a complexidade de hardware (de 17+ sensores para apenas 4) mantendo alta precisão, tornando a tecnologia mais acessível para uso diário.
• Física como Regularizador: Demonstra que a integração de simulação física via aprendizado por reforço é superior a métodos de otimização post-hoc para eliminar artefatos não físicos e garantir interações realistas com o ambiente.
• Novo Padrão de Dados: O dataset PRISM preenche uma lacuna crítica na comunidade, fornecendo dados sincronizados de IMUs, pressão e interação com o ambiente, essenciais para treinar e avaliar futuros modelos de captura de movimento fisicamente consistentes.

Em resumo, o GRIP estabelece um novo estado da arte para a captura de movimento humano em cenários do mundo real, combinando a portabilidade de sensores esparsos com a robustez da simulação física.