Human Pose Estimation in Trampoline Gymnastics: Improving Performance Using a New Synthetic Dataset

Título: Estimativa de Pose Humana em Ginástica de Trampolim: Melhorando o Desempenho Utilizando um Novo Conjunto de Dados Sintéticos

1. O Problema

A estimativa de pose humana (HPE - Human Pose Estimation) em ginástica de trampolim representa um dos cenários mais desafiadores para os modelos de visão computacional atuais. As principais dificuldades incluem:

• Poses Extremas: Ângulos articulares atípicos, posições de "tuck" (encolhido), "pike" (pontiagudo) e "straight" (estendido).
• Oclusão e Rotação: Auto-oclução frequente do corpo e mudanças rápidas na orientação espacial.
• Desfoque de Movimento: Devido à alta velocidade das acrobacias.
• Viés de Dados: Os modelos state-of-the-art (SOTA), como o ViTPose, são treinados predominantemente em conjuntos de dados de atividades cotidianas (postura ereta), falhando drasticamente nestes cenários extremos.
• Dificuldade de Captura Real: Sistemas de captura de movimento baseados em marcadores (MoCap) sofrem com a perda de marcadores e oclusão durante saltos altos e rápidos, tornando a reconstrução direta de movimentos consistentes difícil.

2. Metodologia

Os autores propõem um pipeline completo que vai da captura de dados brutos à geração de dados sintéticos e ao ajuste fino (fine-tuning) de modelos.

A. Ajuste de Modelo Paramétrico (SMPL) a Dados Ruídos

• Entrada: Gravações de captura de movimento (MoCap) de atletas de trampolim, que contêm dados incompletos ou divergentes devido à perda de marcadores.
• Processo: Desenvolvimento de um método robusto para ajustar o modelo paramétrico de corpo humano SMPL a esses dados ruidosos.
  • Filtragem: Remoção automática de trajetórias de marcadores inválidas, não móveis ou com dinâmica vertical inconsistente com o padrão de salto.
  • Correspondência: Ajuste grosseiro "marcador-para-vértice" para estabelecer a correspondência entre os marcadores físicos e o modelo SMPL.
  • Otimização: Uso de uma sequência de otimização (LBFGS e Adam) com regularização de mistura gaussiana e suavização temporal para garantir poses realistas e suaves, ignorando marcadores perdidos.
• Resultado: O conjunto de dados TramPoseFit, contendo sequências de movimento SMPL suaves e realistas derivadas de 10 rotinas de trampolim executadas por atletas de elite.

B. Geração de Dados Sintéticos (STP)

• Utilizando o TramPoseFit, os autores geraram o conjunto de dados SynTramPose (STP).
• Pipeline de Renderização (Blender):
  • Configuração de 8 câmeras (simulando setups reais) com diferentes pontos de vista.
  • Uso de fundos HDRI variados para simular desafios de iluminação e contraste.
  • Aplicação de texturas de pele e roupas (submalhas do SMPL) aleatórias para aumentar a diversidade.
• Anotação: Geração automática de anotações 2D e 3D precisas, incluindo visibilidade das juntas (visível, ocluída ou não visível), seguindo o formato COCO.
• Volume: 2.520 imagens sintéticas multiview.

C. Ajuste Fino do Modelo (Fine-Tuning)

• Modelo Base: ViTPose (Small e Base), pré-treinado no COCO.
• Estratégia de Treinamento: O modelo foi ajustado finamente utilizando uma combinação do conjunto sintético STP e um conjunto de dados real de esportes extremos (Leeds Sports Pose - LSP) para mitigar o domain gap (diferença entre dados sintéticos e reais).
• Validação: Testado em dados reais multiview de trampolim (MRT) com anotações manuais.

3. Principais Contribuições

1. Método de Ajuste Robusto: Uma nova técnica para ajustar modelos SMPL a dados de captura de movimento ruidosos e complexos, específicos para acrobacias de trampolim.
2. Novo Conjunto de Dados de Movimento: O TramPoseFit, uma coleção de sequências SMPL com poses extremas de trampolim, sub-representadas em bases como AMASS.
3. Ferramenta de Geração de Dados Sintéticos: Uma ferramenta open-source end-to-end para gerar dados sintéticos de HPE a partir de movimentos reais capturados.
4. Modelo SOTA para Cenários Extremos: Um modelo ViTPose ajustado finamente que alcança desempenho state-of-the-art em dados reais de ginástica de trampolim, tanto em 2D quanto em reconstrução 3D.

4. Resultados

Os resultados foram avaliados em 2D (Precisão Média - AP) e 3D (Erro Médio de Posição das Juntas - MPJPE) no conjunto de dados real MRT.

• Desempenho 2D:

  • O modelo ajustado com LSP + STP alcançou uma AP de 73.1 (ViTPose-Small) e 75.6 (ViTPose-Base) no teste MRT.
  • Isso supera significativamente o modelo base (sem ajuste, AP ~55.8) e o modelo RePoGen (AP ~71.7), demonstrando que a combinação de dados sintéticos específicos e reais é crucial.
  • O desempenho é comparável ao do ViTPose no COCO, mas em dados muito mais desafiadores.

• Desempenho 3D (Triangulação):

  • Redução de Erro: Houve uma redução de 12,5 mm no MPJPE, representando uma melhoria de 19,6% em relação ao modelo pré-treinado.
  • Robustez com Poucas Câmeras: O modelo ajustado consegue atingir maior precisão usando apenas 3 câmeras (MPJPE = 54,7 mm) do que o modelo base usando 8 câmeras (MPJPE = 56,3 mm).
  • Completude: O modelo ajustado aumenta a porcentagem de juntas que podem ser trianguladas com sucesso (ex: de 31% para 51% com 3 câmeras), indicando que ele detecta mais pontos-chave consistentes entre as vistas.

5. Significado e Conclusão

Este trabalho demonstra que a lacuna de desempenho entre poses cotidianas e acrobacias extremas pode ser superada através de uma abordagem híbrida:

1. Validação da Abordagem Sintética: Dados sintéticos gerados a partir de captura de movimento real (mesmo que ruidosa) são altamente eficazes para treinar modelos de HPE em cenários onde dados reais anotados são escassos ou difíceis de obter.
2. Aplicabilidade Prática: A melhoria na estimativa 2D traduz-se diretamente em reconstruções 3D mais confiáveis, permitindo análises quantitativas de desempenho esportivo, captura de movimento sem marcadores e pontuação automática em ginástica.
3. Eficiência: O processo de ajuste fino é rápido (menos de uma hora em GPU consumer) e não requer grandes quantidades de dados reais anotados manualmente, oferecendo uma solução viável para outros esportes extremos.

Em suma, o artigo oferece um pipeline robusto para lidar com a complexidade da ginástica de trampolim, estabelecendo um novo padrão para a estimativa de pose em movimentos humanos dinâmicos e não convencionais.