DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

Planteamiento del Problema
El seguimiento del movimiento humano escalable y preciso es esencial para modernizar el diagnóstico de patologías de la marcha, optimizar el rendimiento deportivo y avanzar en la investigación del movimiento. Aunque los sistemas tradicionales de captura de movimiento basados en marcadores proporcionan una alta precisión, están restringidos a los laboratorios de investigación debido a su dependencia de infraestructura dedicada, personal especializado y calibración laboriosa. Las alternativas sin marcadores ofrecen una vía hacia la escalabilidad, pero actualmente enfrentan un compromiso entre la precisión y la flexibilidad. Los métodos de visión única son accesibles, pero sufren de ambigüedad de profundidad y oclusión, lo que limita su utilidad clínica. Los sistemas actuales sin marcadores de múltiples vistas, ya sea que no logran mejorar la precisión con la adición de cámaras (por ejemplo, OpenCap) o requieren matrices de cámaras densas y software propietario que dificultan su despliegue en entornos con recursos limitados (por ejemplo, Theia3D). Además, muchas herramientas actuales carecen de generalizabilidad para individuos con limitaciones de movilidad, ya que a menudo están entrenadas con datos de poblaciones sanas.

Metodología
Los autores presentan DeepGaitLab, un marco de trabajo de código abierto diseñado para ofrecer cinemática 3D precisa a través de configuraciones de cámara flexibles (de dos a diez cámaras) sin requerir la calibración espacial entre cámaras. El sistema opera mediante un flujo de trabajo de tres etapas:

1. Detección de puntos de referencia densos en 2D: A diferencia de los enfoques estándar de visión computacional que detectan centros de articulaciones dispersos, DeepGaitLab estima una alta densidad de puntos de referencia superficiales (57 puntos anatómicos). Esto se logra mediante una red basada en Transformers. Para superar la escasez de datos multi-vista etiquetados, el modelo se entrena con datos sintéticos a gran escala derivados del conjunto de datos BEDLAM. Este conjunto de datos utiliza 271 cuerpos humanos reales (del conjunto de datos AMASS) realizando 9.3 horas de movimiento, renderizados con texturas fotorealistas y vestimenta diversa en un motor de juego. La red emplea una estrategia de aprendizaje por transferencia, inicializando el codificador con pesos de un detector de puntos clave dispersos pre-entrenado (ViTPose) entrenado en imágenes del mundo real, para luego realizar un ajuste fino (fine-tuning) con los datos sintéticos para asegurar la generalización.
2. Triangulación 3D y Calibración: El sistema soporta dos flujos de trabajo: uno utilizando videos sincronizados con calibración física mediante tablero de ajedrez, y un modo de calibración automatizada. Este último trata al sujeto como un objeto de calibración dinámico, utilizando los puntos de referencia anatómicos densos detectados a través de las vistas para estimar los extrínsecos de la cámara mediante ajuste de haces (bundle adjustment), eliminando la necesidad de objetivos de calibración físicos.
3. Simulación Biomecánica: Los marcadores virtuales triangulados en 3D se procesan utilizando OpenSim. El sistema escala un modelo musculoesquelético genérico a la antropometría del sujeto y calcula la cinemática inversa y la dinámica inversa (momentos articulares).

Una característica clave es el ajuste fino específico del entorno. El marco puede generar datos de entrenamiento sintéticos adaptados a la geometría de las cámaras y al fondo de un laboratorio específico, permitiendo que el modelo se ajuste para un sitio determinado sin necesidad de nuevas anotaciones manuales.

Contribuciones Clave

• Entrenamiento impulsado por datos sintéticos: Al aprovechar datos sintéticos a gran escala, DeepGaitLab evita la anotación laboriosa de conjuntos de datos multi-vista reales, logrando al mismo tiempo una alta precisión y generalizabilidad.
• Representación de puntos de referencia densos: El cambio de centros de articulaciones dispersos a puntos de referencia superficiales densos proporciona restricciones geométricas que resuelven las orientaciones de los segmentos con mayor precisión, abordando la ambigüedad inherente a los enfoques de puntos clave dispersos.
• Operación Flexible y Libre de Calibración: El marco funciona eficazmente con tan solo dos cámaras e incluye una función de calibración automatizada que elimina la barrera de la calibración manual que consume mucho tiempo.
• Robustez ante la Patología: El sistema mantiene una precisión constante a través de diversas poblaciones, incluyendo aquellas con limitaciones de movilidad, donde otras herramientas suelen degradarse.

Resultados
Los autores evaluaron DeepGaitLab en 80 individuos a través de cuatro grupos: adultos sanos, personas en recuperación de reconstrucción del ligamento cruzado anterior (ACLR), supervivientes de accidentes cerebrovasculares y personas con deterioro cognitivo leve (MCI).

• Precisión vs. Estado del Arte: En adultos sanos, DeepGaitLab superó consistentemente a OpenCap y Theia3D. En una configuración de dos cámaras, mostró una diferencia de raíz cuadrática media (RMSD) significativamente menor respecto a las referencias basadas en marcadores que OpenCap (4.2° vs. 5.9°).
• Escalabilidad con el Número de Cámaras: A diferencia de OpenCap, cuya precisión se estancó al aumentar de dos a diez cámaras, DeepGaitLab demostró una mejora de precisión monotónica a medida que aumentaba la densidad de cámaras.
• Generalización a la Patología: DeepGaitLab mantuvo un rendimiento constante en pacientes con ACLR, mostrando sin diferencias significativas de precisión entre los grupos sano y afectado. En contraste, OpenCap y Theia3D mostraron errores significativamente mayores en el grupo de ACLR. DeepGaitLab detectó con éxito asimetrías interinsulares clínicamente relevantes en la flexión/extensión de la cadera y la aducción/abducción que otras herramientas pasaron por alto.
• Métricas Espaciotemporales: En pacientes con MCI y accidentes cerebrovasculares, DeepGaitLab logró una concordancia en la asimetría de la longitud del paso comparable a la de Theia3D (que utilizó ocho cámaras) utilizando solo dos cámaras.
• Dinámica Inversa: DeepGaitLab produjo un RMSD relativo menor en la estimación de momentos articulares en comparación con OpenCap en configuraciones de dos cámaras, particularmente durante movimientos no sagitales.
• Validación de Características: La función de calibración automatizada logró un rendimiento comparable a la calibración manual con tablero de ajedrez. El ajuste fino específico del entorno proporcionó mejoras marginales pero estadísticamente significativas en tareas de marcha sobre el terreno, particularmente para la cinemática de la rodilla y el tobillo.

Significancia
El artículo posiciona a DeepGaitLab como una plataforma práctica y escalable que cierra la breancia entre la biomecánica de grado de investigación y el despliegue clínico. Al demostrar que se puede lograr un análisis de movimiento de calidad de investigación con cámaras RGB de consumo y supervisión sintética, el marco democratiza el acceso al análisis cuantitativo de la marcha. Los autores sugieren que, si bien los sistemas basados en marcadores han sido durante mucho tiempo el "estándar de oro", la capacidad de los métodos basados en visión para acercarse o potencialmente superar estos límites (una vez que se adopten nuevas referencias de mayor fidelidad, como la radiografía biplana) podría redefinir las métricas de evaluación clínica. DeepGítLab ofrece una alternativa transparente y de código abierto a los sistemas propietarios, permitiendo una adopción más amplia en clínicas y laboratorios sin los compromisos de precisión, escalabilidad o flexibilidad que han limitado a las herramientas anteriores.