Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models

Resumo Técnico: Integração de Representações Baseadas em Esqueleto para Classificação Robusta de Posturas de Yoga Usando Modelos de Aprendizado Profundo

Declaração do Problema
Embora a classificação automatizada de posturas de yoga ofereça o potencial de democratizar o acesso ao treinamento de yoga e fornecer feedback personalizado, o desenvolvimento de sistemas robustos continua sendo um desafio. As abordagens existentes frequentemente dependem de entradas de imagens brutas ou modelos de extração de pose única, enfrentando limitações como dados ruidosos, imagens de baixa resolução, desequilíbrio de classes e inadequada diversidade em conjuntos de dados de referência. Além disso, as variações sutis nas posturas de yoga — que são frequentemente definidas por diferenças sutis nos ângulos dos membros e no alinhamento corporal — exigem metodologias sofisticadas para capturar detalhes intrincados com precisão. Há uma falta de benchmarking sistemático comparando representações baseadas em esqueleto contra entradas de imagens brutas especificamente para o reconhecimento de posturas de yoga.

Metodologia
O estudo introduz um fluxo de trabalho estruturado envolvendo curadoria de dados, geração de representação de pose e classificação por aprendizado profundo:

1. Criação de Conjunto de Dados (Yoga-16): Os autores curaram um novo conjunto de dados, "Yoga-16", compreendendo 16 posturas de yoga distintas. Este conjunto de dados foi construído filtrando e mesclando imagens do conjunto de dados Yoga-82 e do Yoga Poses Dataset. O processo de curadoria abordou problemas comuns, como múltiplos indivíduos por imagem, baixa qualidade, sujeitos não humanos e visualizações com muito recuo (zoomed-out). O conjunto de dados final garante uma distribuição de classes equilibrada (aproximadamente 80 imagens por classe) e inclui diversos padrões de movimento (em pé, deitado, sentado) e níveis de complexidade.
2. Modalidades de Entrada: O estudo avaliou sistematicamente três modalidades de entrada:
   • Imagens Diretas: Imagens brutas de entrada.
   • Esqueletos de Pose MediaPipe: Imagens de esqueleto geradas usando o modelo MediaPipe Pose (BlazePose), que detecta 33 pontos-chave (keypoints).
   • Esqueletos de Pose YOLOv8: Imagens de esqueleto geradas pelo modelo YOLOv8-Pose.
3. Arquiteturas de Aprendizado Profundo: Três arquiteturas de Redes Neurais Convolucionais (CNN) foram empregadas e treinadas do zero no conjunto de dados Yoga-16 para aprender representações específicas da tarefa:
   • VGG16: Utilizando filtros convolucionais pequenos e sequenciais.
   • ResNet50: Aproveitando blocos residuais para treinar redes mais profundas.
   • Xception: Construída sobre convoluções separáveis em profundidade para um aprendizado de características eficiente.
4. Treinamento e Avaliação: Os modelos foram treinados com o otimizador Adam e perda de entropia cruzada categórica. O estudo utilizou validação cruzada de 5 dobras (5-fold cross-validation) para avaliar a generalização e empregou Grad-CAM para análise de interpretabilidade, visando visualizar as características que impulsionam as decisões de classificação.

Principais Contribuições

1. Conjunto de Dados Yoga-16: Introdução de um conjunto de dados de referência padronizado e equilibrado de 16 posturas de yoga, projetado para abordar as limitações dos conjuntos de dados existentes, como desequilíbrio de classes e baixa resolução.
2. Comparação Sistemática de Modalidades: Uma avaliação abrangente comparando entradas de imagens diretas contra duas distintas representações baseadas em esqueleto (MediaPipe e YOLOv8-Pose).
3. Benchmarking Arquitetural: Avaliação de VGG16, ResNet50 e Xception através das diferentes modalidades de entrada para determinar configurações ideais para a classificação de posturas de yoga.
4. Análise de Interpretabilidade: Aplicação de Grad-CAM para fornecer insights sobre a tomada de decisão do modelo, destacando especificamente como os modelos atendem a características esqueléticas como alinhamentos de membros e ângulos articulares.
5. Validação de Generalização: Demonstração da robustez do modelo através de validação cruzada e teste em um conjunto de dados customizado derivado de vídeos reais do YouTube para simular diversas condições ambientais.

Resultados Experimentais
Os experimentos demonstraram que as representações baseadas em esqueleto superaram consistentemente as entradas de imagens brutas em todas as arquiteturas testadas.

• Melhor Desempenho: O modelo VGG16 combinado com entradas de esqueleto MediaPipe Pose alcançou a maior precisão de 96,09%, com uma precisão (precision) de 96,27% e um F1-score de 96,10%.
• Comparação de Modalidades: Os esqueletos MediaPipe geralmente produziram resultados superiores em comparação aos esqueletos YOLOv8-Pose. Por exemplo, o VGG16 alcançou 96,09% com MediaPipe versus 91,41% com YOLOv8-Pose. Os autores atribuem isso à maior estabilidade e consistência anatômica da detecção de marcos (landmarks) do MediaPipe, particularmente para posturas simétricas e orientações finas de membros.
• Comparação de Arquitetura: Entre os três modelos, o VGG16 superou consistentemente o ResNet50 e o Xception em todos os tipos de entrada. O ResNet50 apresentou o desempenho mais baixo (66,41% em imagens diretas, 88,28% em esqueletos MediaPipe), enquanto o Xception mostrou um desempenho intermediário.
• Generalização: Quando testado em um conjunto de dados customizado simulando cenários do mundo real (20 imagens por classe do YouTube), o modelo VGG16-MediaPipe manteve um forte desempenho com uma acurácia de 93,75%, demonstrando sua capacidade de generalizar além do ambiente controlado de treinamento.
• Análise de Erro: As classificações incorretas ocorreram principalmente entre posturas com características esqueléticas sobrepostas (ex: Dolphin Plank vs. Wide Angle Seated Forward Bend), indicando que ambiguidades sutis nos ângulos articulares ainda são um desafio.

Significância e Alegações
O artigo afirma que a integração de representações baseadas em esqueleto, especificamente usando MediaPipe Pose, aumenta significativamente a precisão e a eficiência da classificação de posturas de yoga ao isolar características específicas da pose e remover o ruído de fundo. O estudo estabelece que o VGG16 é uma arquitetura altamente confiável para esta tarefa quando pareada com entradas esqueléticas, alcançando desempenho de estado da arte no proposto benchmark Yoga-16.

Os autores enfatizam que sua abordagem aborda de forma abrangente os principais desafios na área — conjuntos de dados de baixa resolução, desequilíbrio de classes e características de classes sobrepostas — combinando um conjunto de dados curado com uma avaliação de dupla estratégia de representações esqueléticas e não esqueléticas. Este trabalho sugere que essas descobertas fornecem uma base para o desenvolvimento de aplicações de fitness digital robustas e em tempo real que podem oferecer feedback preciso e personalizado sem a dependência de praticantes especialistas. O estudo conclui que, embora os modelos atuais apresentem alta precisão, melhorias futuras exigem conjuntos de dados maiores e mais diversos, além de arquiteturas refinadas para distinguir melhor posturas com estruturas esqueléticas sutis ou sobrepostas.