Joint angle based learning to refine kinematic human pose estimation

Resumen Técnico: Aprendizaje Basado en Ángulos Articulares para Refinar la Estimación de la Pose Humana Cinemática

Planteamiento del Problema
La Estimación de la Pose Humana (HPE, por sus siglas en inglés) sin marcadores es crítica para aplicaciones en análisis deportivo, atención médica e interacción humano-computadora. Sin embargo, los modelos actuales basados en aprendizaje profundo enfrentan dos desafíos primarios al analizar poses humanas cinemáticas:

1. Reconocimiento Incorrecto de Keypoints: Las poses complejas, las oclusiones y los fondos distractores conducen a una identificación errónea de los puntos clave (outliers/valores atípicos), lo que interrumpe severamente los análisis cinemáticos posteriores, tales como los cálculos de velocidad, aceleración e dinámica inversa.
2. Jitter Espaciotemporal: La localización inconsistente de los keypoints en fotogramas consecutivos resulta en trayectorias fluctuantes. Este problema se ve exacerbado por la dependencia de conjuntos de datos de imagen única (por ejemplo, COCO-WholeBody), donde las anotaciones manuales suelen carecer de consistencia temporal. Si bien existen conjuntos de datos de video, estos sufren de inconsistencias de anotación, particularmente en movimientos de gran amplitud o cambios rápidos, lo que lleva a los modelos a priorizar la precisión de la distancia euclidiana sobre la continuidad de la trayectoria.

Los métodos de refinamiento actuales, como el estado del arte SmoothNet, a menudo tienen dificultades en escenarios deportivos complejos, lo que resulta en deriva de posición o un suavizado insuficiente de los valores atípicos.

Metodología
Los autores proponen un nuevo marco de Refinamiento Basado en Ángulos Articulares (JAR) diseñado para generar datos de entrenamiento de alta calidad y refinar los resultados de HPE de imagen única a través de un proceso de tres etapas:

1. Descripción de la Pose Basada en Ángulos Articulares:

   • En lugar de depender únicamente de coordenadas absolutas, el método convierte 13 coordenadas de keypoints (extraídas mediante un modelo de HPE de imagen única como HRNet o ViTPose++) en 12 ángulos articulares.
   • Un punto base estable (la "nariz") se suaviza utilizando un filtro Savitzky-Golay.
   • Las longitudes de las extremidades se optimizan mediante un algoritmo de región de confianza basado en dos restricciones biomecánicas: la consistencia proporcional entre extremidades y la variación inter-fotograma insignificante debido al acortamiento (foreshortening). Este enfoque hace que la descripción sea robusta ante cambios de perspectiva y distancia de disparo.

2. Generación de "Verdad de Terreno" (Ground Truth) basada en Series de Fourier:

   • Reconociendo que los movimientos articulares suelen exhibir características periódicas, los autores aproximan las variaciones temporales de los ángulos articulares mediante una serie de Fourier de octavo orden.
   • Los parámetros de la serie se estiman a partir de conjuntos de datos abiertos para simular diversas diferencias interindividuales.
   • Se construye un conjunto de datos sintético de entrenamiento deslizando una ventana sobre estos ciclos generados. Para simular el ruido del mundo real, se inyectan ruido blanco gaussiano (pequeños jitters) y valores atípicos de gran amplitud (que simulan errores de reconocimiento) en las secuencias de "verdad de terreno". Esto crea un conjunto de datos de alta calidad con consistencia espaciotemporal que es difícil de obtener mediante anotación manual.

3. Red de Refinamiento BiGRU-Attention:

   • Se diseña una red de Unidad Recurrente de Puerta Bidireccional (BiGRU) con un mecanismo de atención como módulo de post-procesamiento.
   • Esta red toma las secuencias de ángulos articulares ruidosas como entrada y devuelve secuencias de ángulos suavizadas y refinadas.
   • Los ángulos refinados, combinados con el punto base estabilizado y las longitudes de extremidades optimizadas, se utilizan para reconstruir las coordenadas finales de los keypoints.
   • Se emplea un enfoque de ventana deslizante con promedio ponderado durante la inferencia para asegurar un suavizado continuo a lo largo de toda la secuencia de video.

Contribuciones Clave

• Representación de Pose Robusta: La propuesta de un modelo basado en ángulos articulares que resiste las interferencias de perspectiva y distancia, mejorando significativamente la precisión y robustez del reconocimiento corporal en comparación con los métodos basados en coordenadas.
• Conjunto de Datos Sintético de Alta Calidad: Un método novedoso para generar datos de entrenamiento utilizando series de Fourier de alto orden para aproximar patrones de movimiento articular fisiológico, proporcionando una "verdad de terreno" confiable para el entrenamiento de la red sin depender de anotaciones manuales inconsistentes.
• Arquitectura de Refinamiento Superior: El diseño de una red BiGRU-Attention que elimina eficazmente los valores atípicos y los jitters, superando a los marcos de refinamiento existentes en escenarios deportivos desafiantes.
• Capacidad de Rectificación de Datasets: Demostración de que el método puede aplicarse para rectificar conjuntos de datos de video existentes (por ejemplo, PoseTrack), corrigiendo las inconsistencias inter-fotograma causadas por errores de anotación manual.

Resultados Experimentales
El método JAR fue evaluado contra el estado del arte SmoothNet a través de diversas actividades atléticas, incluyendo sprint, triple salto con carrera, patinaje artístico y breaking (breakdance).

• Corrección de Outliers: En un caso de sprint, JAR logró una tasa de corrección de valores atípicos del 100% en comparación con el 45.45% de SmoothNet. En un triple salto con carrera, JAR corrigió el 95.61% de los errores frente al 53.51% de SmoothNet. La tasa de corrección general de JAR fue del 97.77%, casi el doble que la de SmoothNet.
• Suavidad de la Trayectoria: En escenarios complejos como el patinaje artístico (giros voladores) y el breaking (paradas de manos), JAR produjo trayectorias significativamente más suaves y curvas de velocidad más fisiológicamente consistentes. SmoothNet exhibió una deriva de coordenadas notable y fluctuaciones de alta frecuencia, particularmente en los componentes del eje Y.
• Selección de Modelo: Entre diez arquitecturas de secuencia a secuencia probadas (incluyendo TCN, LSTM, Mamba1/2 y sus variantes de atención), el modelo BiGRU-Attention demostró el mejor equilibrio entre precisión (menor Error Cuadrático Medio) y eficiencia computacional.

Significancia y Reclamaciones
El artículo sostiene que las limitaciones del refinamiento actual de HPE se deben en gran medida a la falta de conjuntos de datos de entrenamiento de alta calidad y temporalmente consistentes. Al aprovechar las restricciones fisiológicas del movimiento humano (ángulos articulares y longitudes de extremidades) y la aproximación de la serie de Fourier, el método JAR propuesto:

• Permite que los modelos de aprendizaje profundo aprendan patrones espaciotemporales robustos, corrigiendo eficazmente los joints mal reconocidos y suavizando las trayectorias.
• Demuestra una generalización superior en casos deportivos desafiantes donde los modelos actuales fallan.
• Ofrece una herramienta práctica para rectificar conjuntos de datos de video existentes, reduciendo así los efectos adversos de las anotaciones manuales inexactas y mejorando la fiabilidad de la tecnología de HPE para el análisis de movimiento.

Los autores concluyen que su enfoque proporciona una base confiable para el análisis cinemático, permitiendo una cuantificación más precisa del rendimiento atlético y la evaluación biomecánica.