CalTennis: Large Multi-View Tennis Video Dataset and Benchmark of Monocular-to-3D Pose Estimation

Resumen Técnico: CalTennis: Gran Conjunto de Datos de Vídeo de Tenis Multi-Vista y Benchmark de Estimación de Pose de Monocular a 3D

Planteamiento del Problema
La estimación precisa de la pose humana en 3D a partir de vídeo monocular es crítica para aplicaciones que van desde la atención médica y el análisis deportivo hasta la robótica y el análisis forense. Sin embargo, los métodos actuales de vanguardia (SOTA) se evalúan principalmente en benchmarks que dependen de sistemas costosos de captura de movimiento (MOCAP) o sensores corporales (p. ej., IMUs), los cuales son impracticables para un despliegue "en condiciones reales" (in-the-wild). Los benchmarks existentes en entornos reales carecen de la escala, la diversidad de poses y la consistencia multi-vista necesarias para evaluar rigurosamente la estimación de profundidad, el contacto con el suelo y la estabilidad de la forma corporal. Los modelos actuales generalizan mal ante el movimiento atlético de alta velocidad y destreza, lo que conduce a conclusiones biomecánicas poco fiables. Existe la necesidad de un benchmark a gran escala y sin etiquetas que exponga los modos de fallo invisibles para las métricas estándar, específicamente en lo que respecta a la profundidad de escala métrica, el contacto con el suelo y la consistencia de la forma corporal.

Metodología
Los autores presentan CalTennis, un conjunto de datos y un marco de evaluación a gran escala diseñado para evaluar la estimación de pose de monocular a 3D sin una verdad de terreno privilegiada (p. ej., MOCAP).

• Recolección de Datos: El conjunto de datos comprende más de 11 millones de fotogramas (51 horas) de práctica de tenis y partidos de juego que involucran a 40 jugadores (desde niveles universitarios hasta recreativos). Los vídeos fueron capturados utilizando de 2 a 6 iPhones de consumo sincronizados (60Hz, 1080p) montados en trípodes ligeros alrededor de canchas de tenis estándar. La configuración utiliza la geometría estandarizada de las canchas de tenis para la calibración automática de las cámaras.
• Calibración y Sincronización: Para permitir la evaluación multi-vista, los autores desarrollaron un flujo de trabajo para elevar las estimaciones de pose monoculares (basadas en SMPL-X) a un sistema de coordenadas globales compartido.
  • Calibración Espacial: Los intrínsecos de la cámara se extraen de los metadatos; los extrínsecos se recuperan minimizando el error de reproyección contra las intersecciones de las líneas de la cancha conocidas.
  • Sincronización Temporal: Dado que los dispositivos de consumo carecen de marcas de tiempo sincronizadas, se optimiza un desfase global ($\Delta t$) mediante búsqueda de cuadrícula para minimizar el desacuerdo de pose entre vistas.
  • Fusión: Se utiliza una Estimación de Máxima Verosimilitud (MLE) para fusionar las predicciones multi-vista, teniendo en cuenta la covarianza alargada de los errores de profundidad en la reconstrucción monocular.
• Marco de Evaluación: La innovación central es un protocolo de evaluación sin etiquetas donde la consistencia multi-vista sirve como un límite inferior del error. Si una reconstrucción es correcta, debe coincidir en todas las vistas. El desacuerdo entre vistas indica un error del modelo.
• Nuevas Métricas: Más allá de las métricas estándar (MPJPE, PA-MPJPE), el artículo introduce:
  • Footwork (Trabajo de pies): Mide el acuerdo entre vistas en las velocidades y alturas de las articulaciones de los pies para detectar el "deslizamiento de pies" (foot skating o pies flotantes).
  • Estabilidad: Mide la consistencia del centro de masa relativo al polígono convexo del pie apoyado en el suelo a través de las vistas.
  • Consistencia de la Forma Corporal: Evalúa la varianza en los parámetros de forma de SMPL-X ($\beta$) entre las vistas y los modelos.

Contribuciones Clave

1. Dataset CalTennis: El primer conjunto de datos de vídeo multi-vista a gran escala de movimiento atlético no guionizado en entornos naturales. Es 10 veces más grande que los benchmarks previos en entornos reales y 3 veces más grande que el mayor dataset de MOCAP (Human3.6M), con una variabilidad de profundidad significativamente mayor (13.4–16.7m vs. 4.5–5.8m) y cobertura de poses.
2. Metodología de Evaluación sin Etiquetas: Un marco que utiliza el desacuerdo multi-vista como una señal de error directa, eliminando la necesidad de costosas anotaciones de verdad de terreno.
3. Benchmarking Exhaustivo: Una evaluación extensa de cinco estimadores de pose 3D monoculares SOTA (PromptHMR, WHAM, GVHMR, TRAM, GENMO) sobre movimiento atlético del mundo real.
4. Protocolo de Recolección de Datos: Una receta simple e económica utilizando teléfonos de consumo y trípodes, diseñada para ser replicable por otros equipos para ampliar la diversidad.

Resultados
El benchmarking de los modelos SOTA en CalTennis revela brechas de rendimiento significativas en comparación con los benchmarks anteriores:

• Inestabilidad de Profundidad y Traslación: Aunque la recuperación de los ángulos articulares suele ser precisa (error de aprox. 11cm), las estimaciones de profundidad de escala métrica son altamente inestables. Los errores de traslación oscilan entre 0.9m y 3.6m, causando "deriva de pose" (pose drifting) y oscilaciones irreales en la posición del cuerpo.
• Contacto de Pies Inconsistente: Los modelos luchan por detectar consistentemente el contacto pie-suelo. WHAM muestra la mejor consistencia de velocidad de pie (0.72 m/s) pero una pobre precisión de traslación, mientras que otros exhiben un "deslizamiento de pies" significativo.
• Inconsistencia de la Forma Corporal: Los modelos producen formas corporales (altura, longitud de extremidades) inconsistentes a través de diferentes vistas. PromptHMR logra la mayor consistencia de forma, probablemente debido al condicionamiento en cajas delimitadoras 2D, pero las discrepancias persisten.
• Compromisos de los Modelos (Trade-offs): Ningún modelo domina todas las métricas. PromptHMR lidera en consistencia de traslación y pose pero es el más lento; WHAM destaca en el contacto del pie pero falla en la trayectoria global; GENMO es el más consistente internamente en forma y estabilidad.
• Modos de Fallo: El análisis muestra que los patrones de fallo son mayoritariamente específicos del modelo en lugar de determinados por la escena. La profundidad y la distancia de la cámara son los predictores más fuertes de fallo para los modelos basados en geometría (GVHMR, GENMO), mientras que otros modelos fallan de forma estocástica.

Significación
El artículo afirma que CalTennis expone limitaciones críticas en la estimación de pose monocular que están ocultas por los benchmarks existentes. Los hallazgos sugieren que, si bien los modelos son suficientes para tareas que dependen de la configuración relativa del cuerpo (p. ej., reconocimiento de actividad, análisis técnico grueso), siguen siendo poco fiables para aplicaciones que requieren precisión métrica absoluta, como la biomecánica clínica, la estimación de fuerzas o la medición forense de la zancada.

La importancia de este trabajo radica en su cambio de la "precisión en datos controlados" a la "consistencia en el mundo real". Al proporcionar un método escalable y de bajo costo para generar datos multi-vista y un marco de evaluación sin etiquetas, los autores pretenden guiar al campo hacia una precisión de grado de aplicación. El conjunto de datos y el protocolo se liberan para permitir a la comunidad construir la próxima generación de benchmarks en entornos reales a través de deportes, la clínica y otros dominios de actividad cotidiana. Los autores señalan modestamente que, aunque el desacuerdo multi-vista proporciona un límite inferior del error, complementa en lugar de reemplazar la validación absoluta de MOCAP, y que el protocolo de "fácil recolección" requiere una verificación adicional mediante la replicación por parte de otros equipos.