Integrating Skeleton Based Representations for Robust Yoga Pose Classification Using Deep Learning Models

Resumen Técnico: Integración de Representaciones Basadas en Esqueletos para la Clasificación Robusta de Posturas de Yoga mediante Modelos de Aprendizaje Profundo

Planteamiento del Problema
Si bien la clasificación automatizada de posturas de yoga ofrece el potencial de democratizar el acceso al entrenamiento de yoga y proporcionar retroalimentación personalizada, el desarrollo de sistemas robustos sigue siendo un desafío. Los enfoques existentes suelen depender de entradas de imágenes puras o modelos de extracción de una sola pose, enfrentando limitaciones como datos ruidosos, imágenes de baja resolución, desequilibrio de clases e insuficiencia de diversidad en los conjuntos de datos de referencia. Además, las variaciones matizadas en las posturas de yoga —que a menudo se definen por diferencias sutiles en los ángulos de las extremidades y la alineación corporal— requieren metodologías sofisticadas para capturar detalles intrincados con precisión. Existe una falta de comparación sistemática de referencia que compare las representaciones basadas en esqueletos frente a las entradas de imágenes puras, específicamente para el reconocimiento de posturas de yoga.

Metodología
El estudio introduce un flujo de trabajo estructurado que involucra la curación de conjuntos de datos, la generación de representación de la pose y la clasificación mediante aprendizaje profundo:

1. Creación del Conjunto de Datos (Yoga-16): Los autores curaron un nuevo conjunto de datos, "Yoga-16", que comprende 16 posturas de yoga distintas. Este conjunto de datos fue construido filtrando y fusionando imágenes del conjunto de datos Yoga-82 y del conjunto de datos Yoga Poses. El proceso de curación abordó problemas comunes como la presencia de múltiples sujetos por imagen, baja calidad, sujetos no humanos y vistas alejadas (zoom-out). El conjunto de datos final asegura una distribución de clases equilibrada (aproximadamente 80 imágenes por clase) e incluye patrones de movimiento y niveles de complejidad diversos (de pie, reclinado, sentado).
2. Modalidades de Entrada: El estudio evaluó sistemáticamente tres modalidades de entrada:
   • Imágenes Directas: Imágenes de entrada puras.
   • Esqueletos de MediaPipe Pose: Imágenes de esqueletos generadas mediante el modelo MediaPipe Pose (BlazePose), que detecta 33 puntos clave (keypoints).
   • Esqueletos de YOLOv8 Pose: Imágenes de esqueletos generadas mediante el modelo YOLOv8-Pose.
3. Arquitecturas de Aprendizaje Profundo: Se emplearon tres arquitecturas de Redes Neuronales Convolucionales (CNN) y se entrenaron desde cero en el conjunto de datos Yoga-16 para aprender representaciones específicas de la tarea:
   • VGG16: Utilizando filtros convolucionales pequeños secuenciales.
   • ResNet50: Aprovechando bloques residuales para entrenar redes más profundas.
   • Xception: Construido sobre convoluciones separables en profundidad para un aprendizaje de características eficiente.
4. Entrenamiento y Evaluación: Los modelos fueron entrenados con el optimizador Adam y pérdida de entropía cruzada categórica. El estudio utilizó validación cruzada de 5 pliegues (5-fold cross-validation) para evaluar la generalización y empleó Grad-CAM para el análisis de interpretabilidad, con el fin de visualizar las características que impulsan las decisiones de clasificación.

Contribuciones Clave

1. Conjunto de Datos Yoga-16: Introducción de un conjunto de datos de referencia estandarizado y equilibrado de 16 posturas de yoga, diseñado para abordar las limitaciones de los conjuntos de datos existentes, tales como el desequilibrio de clases y la baja resolución.
2. Comparación Sistemática de Modalidades: Una evaluación exhaustiva que compara las entradas de imágenes directas contra dos representaciones distintas basadas en esqueletos (MediaPipe y YOLOv8-Pose).
3. Benchmarking Arquitectónico: Evaluación de VGG16, ResNet50 y Xception a través de las diferentes modalidades de entrada para determinar las configuraciones óptimas para la clasificación de posturas de yoga.
4. Análisis de Interpretabilidad: Aplicación de Grad-CAM para proporcionar información sobre la toma de decisiones del modelo, resaltando específicamente cómo los modelos atienden a las características esqueléticas como las alineaciones de las extremidades y los ángulos de las articulaciones.
5. Validación de la Generalización: Demostración de la robustez del modelo mediante validación cruzada y pruebas en un conjunto de datos personalizado derivado de videos reales de YouTube para simular diversas condiciones ambientales.

Resultados Experimentales
Los experimentos demostraron que las representaciones basadas en esqueletos superaron consistentemente a las entradas de imágenes puras en todas las arquitecturas probadas.

• Mejor Desempeño: El modelo VGG16 combinado con las entradas de esqueleto de MediaPipe Pose alcanzó la precisión más alta de 96.09%, con una precisión (precision) de 96.27% y una puntuación F1 de 96.10%.
• Comparación de Modalidades: Los esqueletos de MediaPipe generalmente arrojaron resultados superiores en comparación con los esqueletos de YOLOv8-Pose. Por ejemplo, VGG16 logró un 96.09% con MediaPipe frente a un 91.41% con YOLOv8-Pose. Los autores atribuyen esto a la mayor estabilidad y consistencia anatómica de MediaPipe en la detección de puntos de referencia, particularmente para posturas simétricas y orientaciones finas de las extremidades.
• Comparación de Arquitecturas: Entre los tres modelos, VGG16 superó consistentemente a ResNet50 y Xception en todos los tipos de entrada. ResNet50 alcanzó el desempeño más bajo (66.41% en imágenes directas, 88.28% en esqueletos de MediaPipe), mientras que Xception mostró un desempeño intermedio.
• Generalización: Al ser probado en un conjunto de datos personalizado que simula escenarios del mundo real (20 imágenes por clase de YouTube), el modelo VGG16-MediaPipe mantuvo un sólido desempeño con una precisión del 93.75%, demostrando su capacidad de generalización más allá del entorno controlado de entrenamiento.
• Análisis de Errores: Las clasificaciones erróneas ocurrieron principalmente entre posturas con características esqueléticas superpuestas (por ejemplo, Dolphin Plank vs. Wide Angle Seated Forward Bend), lo que indica que las ambigüedades sutiles en los ángulos de las articulaciones siguen siendo un desafío.

Significancia y Reivindicaciones
El artículo afirma que la integración de representaciones basadas en esqueletos, específicamente utilizando MediaPipe Pose, mejora significativamente la precisión y la eficiencia de la clasificación automatizada de posturas de yoga al aislar las características específicas de la postura y eliminar el ruido de fondo. El estudio establece que VGG16 es una arquitectura altamente confiable para esta tarea cuando se combina con entradas esqueléticas, logrando un rendimiento de vanguardia en la propuesta de referencia Yoga-16.

Los autores enfatizan que su enfoque aborda integralmente los desafíos clave en el campo —conjuntos de datos de baja resolución, desequilibrio de clases y características de clases superpuestas— al combinar un conjunto de datos curado con una evaluación de doble estrategia de representaciones esqueléticas y no esqueléticas. El trabajo sugiere que estos hallazgos proporcionan una base para el desarrollo de aplicaciones de fitness digital robustas y en tiempo real que puedan ofrecer retroalimentación precisa y personalizada sin depender de practicantes expertos. El estudio concluye que, si bien los modelos actuales muestran una alta precisión, las mejoras futuras requieren conjuntos de datos más grandes y diversos, así como arquitecturas refinadas para distinguir mejor las posturas con estructuras esqueléticas sutiles o superpuestas.