Joint angle based learning to refine kinematic human pose estimation

Resumo Técnico: Aprendizado Baseado em Ângulos Articulares para Refinar a Estimativa de Pose Humana Cinemática

Definição do Problema
A Estimativa de Pose Humana (HPE) sem marcadores é crítica para aplicações em análise esportiva, saúde e interação humano-computador. No entanto, os modelos existentes baseados em aprendizado profundo enfrentam dois desafios primários ao analisar poses humanas cinemáticas:

1. Reconhecimento Incorreto de Pontos-Chave (Keypoints): Poses complexas, oclusões e fundos distrativos levam à identificação errônea de pontos-chave (outliers), o que interrompe severamente as análises cinemáticas subsequentes, como cálculos de velocidade, aceleração e dinâmica inversa.
2. Jitters Espaciotemporais: A localização inconsistente de pontos-chave em quadros consecutivos resulta em trajetórias flutuantes. Este problema é exacerbado pela dependência de conjuntos de dados de imagem única (ex: COCO-WholeBody), onde as anotações manuais frequentemente carecem de consistência temporal. Embora existam conjuntos de dados de vídeo, eles sofrem com inconsistências de anotação, particularmente em movimentos de alta amplitude ou mudanças rápidas, levando os modelos a priorizar a precisão da distância euclidiana em detrimento da continuidade da trajetória.

Métodos de refinamento atuais, como o estado da arte SmoothNet, frequentemente lutam contra cenários esportivos complexos, resultando em deriva de posição ou suavização insuficiente de outliers.

Metodologia
Os autores propõem um novo framework de Refinamento Baseado em Ângulos Articulares (JAR - Joint Angle-based Refinement) projetado para gerar dados de treinamento de alta qualidade e refinar saídas de HPE de imagem única através de um processo de três estágios:

1. Descrição de Pose Baseada em Ângulos Articulares:

   • Em vez de depender apenas de coordenadas absolutas, o método converte 13 coordenadas de pontos-chave (extraídas via um modelo de HPE de imagem única como HRNet ou ViTPose++) em 12 ângulos articulares.
   • Um ponto de base estável (o "nariz") é suavizado usando um filtro Savitzky-Golay.
   • Os comprimentos dos membros são otimizados usando um algoritmo de região de confiança baseado em duas restrições biomecânicas: consistência proporcional entre os membros e variação inter-quadro negligenciável devido ao encurtamento de perspectiva (foreshortening). Esta abordagem torna a descrição robusta a mudanças de perspectiva e distância de tiro.

2. Geração de "Verdade de Campo" (Ground Truth) Baseada em Séries de Fourier:

   • Reconhecendo que os movimentos articulares frequentemente exibem características periódicas, os autores aproximam as variações temporais dos ângulos articulares usando uma série de Fourier de 8ª ordem.
   • Os parâmetros para a série são estimados a partir de conjuntos de dados abertos para simular diversas diferenças interindividuais.
   • Um conjunto de dados sintético de treinamento é construído deslizando uma janela sobre esses ciclos gerados. Para simular o ruído do mundo real, ruído branco Gaussiano (pequenos jitters) e outliers de grande amplitude (simulando erros de reconhecimento) são injetados nas sequências de "verdade de campo". Isso cria um conjunto de dados de alta qualidade com consistência espaciotemporal que é difícil de obter via anotação manual.

3. Rede de Refinamento BiGRU-Attention:

   • Uma rede de Unidade Recorrente de Porta Bidirecional (BiGRU) com um mecanismo de atenção é projetada como um módulo de pós-processamento.
   • Esta rede recebe as sequências de ângulos articulares ruidosas como entrada e produz sequências de ângulos suavizadas e refinadas.
   • Os ângulos refinados, combinados com o ponto de base estabilizado e os comprimentos de membros otimizados, são usados para reconstruir as coordenadas finais dos pontos-chave.
   • Uma abordagem de janela deslizante com média ponderada é empregada durante a inferência para garantir a suavização contínua ao longo de toda a sequência de vídeo.

Principais Contribuições

• Representação de Pose Robusta: A proposta de um modelo baseado em ângulos articulares que resiste a interferências de perspectiva e distância, melhorando significamente a precisão e a robustez do reconhecimento corporal em comparação com métodos baseados em coordenadas.
• Conjunto de Dados Sintético de Alta Qualidade: Um método inovador para gerar dados de treinamento usando séries de Fourier de alta ordem para aproximar padrões de movimento fisiológico articular, fornecendo uma "verdade de campo" confiável para o treinamento da rede sem depender de anotações manuais inconsistentes.
• Arquitetura de Refinamento Superior: O design de uma rede BiGRU-Attention que elimina efetivamente outliers e jitters, superando frameworks de refinamento existentes em cenários esportivos desafiadores.
• Capacidade de Retificação de Conjuntos de Dados: Demonstração de que o método pode ser aplicado para retificar conjuntos de dados de vídeo existentes (ex: PoseTrack), corrigindo inconsistências inter-quadro causadas por erros de anotação manual.

Resultos Experimentais
O método JAR foi avaliado contra o estado da arte SmoothNet em várias atividades atléticas, incluindo sprint, salto triplo parado, patinação artística e breaking (breakdance).

• Correção de Outliers: Em um caso de sprint, o JAR alcançou uma taxa de correção de outliers de 100% comparado aos 45,45% do SmoothNet. No salto triplo parado, o JAR corrigiu 95,61% dos erros versus 53,51% do SmoothNet. A taxa de correção geral do JAR foi de 97,77%, quase o dobro da do SmoothNet.
• Suavidade da Trajetória: Em cenários complexos como patinação artística (giros voando) e breaking (paradas de mão), o JAR produziu trajetórias significativamente mais suaves e curvas de velocidade mais fisiologicamente consistentes. O SmoothNet exibiu deriva de coordenadas perceptível e flutuações de alta frequência, particularmente nos componentes do eixo Y.
• Seleção de Modelo: Entre dez arquiteturas de sequência-para-sequência testadas (incluindo TCN, LSTM, Mamba1/2 e suas variantes de atenção), o modelo BiGRU-Attention demonstrou o melhor equilíbrio entre precisão (menor Erro Quadrático Médio) e eficiência computacional.

Significância e Alegações
O artigo alega que as limitações do refinamento atual de HPE devem-se amplamente à falta de conjuntos de dados de treinamento de alta qualidade e temporalmente consistentes. Ao alavancar as restrições fisiológicas do movimento humano (ângulos articulares e comprimentos de membros) e a aproximação por série de Fourier, o método JAR proposto:

• Permite que modelos de aprendizado profundo aprendam padrões espaciotemporais robustos, corrigindo efetivamente articulações reconhecidas incorretamente e suavizando trajetórias.
• Demonstra generalização superior em casos esportivos desafiadores onde os modelos atuais falham.
• Oferece uma ferramenta prática para retificar conjuntos de dados de vídeo existentes, reduzendo os efeitos adversos de anotações manuais imprecisas e melhorando a confiabilidade da tecnologia de HPE para análise de movimento.

Os autores concluem que sua abordagem fornece uma base confiável para análise cinemática, permitindo uma quantificação mais precisa do desempenho atlético e da avaliação biomecânica.