💻 ciencias de la computación

MonoClub: Pose-Guided Joint Localisation of Golf Clubhead and Shaft in Monocular Swing Video

Este artículo presenta MonoClub, un marco guiado por la pose que localiza de manera fiable las cabezas y los mangos de los palos de golf en vídeos monoculares mediante la integración de prioris de escala corporal, pistas geométricas y de apariencia, y consistencia temporal para superar desafíos como el desenfoque de movimiento y la oclusión.

Autores originales: Zheng Zhang, Zhixin Zhou, Wen Jung Li, Rui Luo

Publicado 2026-10-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Zheng Zhang, Zhixin Zhou, Wen Jung Li, Rui Luo

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Observar un swing de golf en una cámara de video estándar es una tarea engañosamente difícil para una computadora. Para el ojo humano, el movimiento es un arco fluido de potencia, pero para una máquina, es un desenfoque caótico de líneas delgadas y objetos pequeños y rápidos. El propio palo de golf presenta un rompecabezas único: el eje es un palo largo y esbelto que a menudo desaparece en el fondo o se desenfoca en una estela de movimiento, mientras que la cabeza pesada del palo en el extremo es una forma pequeña y oscura que puede confundirse fácilmente con sombras u otros objetos. En el pasado, analizar estos swings requería sensores costosos usados por el jugador o entornos de estudio controlados con cámaras especiales. El objetivo de la investigación reciente en visión artificial ha sido lograr el mismo nivel de conocimiento utilizando únicamente una cámara de video ordinaria, pero el ruido visual de un swing en el mundo real ha hecho de esto un desafío obstinado.

Un equipo de investigadores ha desarrollado ahora un nuevo sistema que resuelve este problema tratando el cuerpo del golfista y el palo de golf como una unidad única y conectada, en lugar de dos cosas separadas para ser encontradas. En lugar de intentar localizar el palo de forma aislada, su método primero observa la postura del jugador para comprender dónde es probable que las manos estén sujetando el palo. Esto crea un punto de partida, o un ancla, que guía la búsqueda. El sistema luego genera muchos posibles supuestos sobre dónde podría estar el palo, probando cada uno contra la evidencia visual en el fotograma del video. Comprueba si una línea propuesta para el eje realmente parece un eje de palo, si la cabeza del palo coincide con la forma de un palo real y si toda la configuración tiene sentido físico dada la posición de las manos del golfista. Si la evidencia es fuerte y consistente, el sistema acepta la observación; si la imagen está demasiado desenfocada o el palo está oculto, el sistema admite honestamente que no puede ver el palo, en lugar de adivinar y proporcionar una respuesta incorrecta.

Los investigadores probaron este enfoque en una colección de videos de golf reales tomados desde varios ángulos y bajo diferentes condiciones de iluminación. Descubrieron que, al vincular la posición del palo con el cuerpo del golfista, el sistema podía localizar la cabeza del palo con una precisión notable, fallando el centro real por un promedio de solo 9.1 píxeles en un fotograma de video estándar. En más del 93 por ciento de los casos en los que el palo era visible, el sistema ubicaba la cabeza del palo dentro de 10 píxeles de su ubicación real. También demostró ser altamente efectivo para medir el ángulo del eje del palo, estimando la dirección con un error de solo 3.6 grados. Quizás lo más importante es que el sistema aprendió a reconocer cuándo estaba fallando. En situaciones donde el palo estaba fuertemente desenfocado o bloqueado por el propio cuerpo del jugador, el sistema logró una puntuación F1 de visibilidad del 80.0%, lo que indica un fuerte equilibrio entre identificar correctamente los fotogramas visibles y evitar detecciones falsas, en lugar de simplemente retener el juicio a una tasa fija.

Este trabajo representa un paso significativo hacia adelante porque se aleja de intentar forzar a una computadora a ver un objeto delgado en el vacío. En su lugar, utiliza el contexto del cuerpo humano para hacer que la búsqueda del palo sea mucho más confiable. El sistema no necesita comprender la profundidad tridimensional del swing o reconstruir la física del vuelo de la bola; simplemente necesita describir con precisión la forma y la posición bidimensional del palo tal como aparece en la pantalla. Al combinar las pistas visuales de la forma del palo con las restricciones lógicas del agarre del golfista, los investigadores crearon una herramienta que es tanto precisa como honesta sobre sus limitaciones. El resultado es un método que puede ejecutarse con la rapidez suficiente para ser utilizado en aplicaciones en tiempo real, ofreciendo una forma robusta de analizar los swings de golf a partir de videos ordinarios sin la necesidad de equipos o sensores especializados.

Resumen Técnico: MonoClub

Planteamiento del Problema

La observación fiable de un palo de golf en un vídeo monocular ordinario es inherentemente difícil debido a las características físicas del objeto: el eje es una estructura larga y delgada propensa al desenfoque de movimiento y a la autooclusión, mientras que la cabeza del palo es pequeña y a menudo está desenfocada. Los enfoques tradicionales que dependen de la detección de objetos independiente o de la regresión de puntos clave son frágiles; una línea visualmente prominente puede pertenecer al fondo, y un punto final plausible puede emparejarse con un eje incorrecto. Además, los conjuntos de datos y métodos existentes a menudo carecen de anotaciones geométricas densas o tratan al palo como un objeto aislado en lugar de una configuración acoplada al cuerpo del jugador. El desafío central abordado por este trabajo es cómo acoplar la evidencia de la cabeza y el eje dentro de un único vídeo de swing de golf no restringido para producir una configuración bidimensional coherente.

Metodología

El artículo propone MonoClub, un marco de localización conjunta guiado por la pose que estima una configuración 2D coherente (anclaje del agarre, línea central del eje y ubicación de la cabeza del palo) a partir de un único fotograma de vídeo. El sistema opera mediante un flujo de trabajo de "proponer y clasificar" en lugar de una única predicción de extremo a extremo.

1. Anclaje de Agarre Condicionado por la Pose

El sistema primero estima la pose corporal del jugador y las ubicaciones de las manos (usando YOLOv8-Pose y opcionalmente MediaPipe). Esto proporciona un anclaje de agarre suave ( $g_t$ ) y un factor de escala corporal ( $b_t$ ). Este anclaje no es una reconstrucción 3D fija, sino un prior 2D que restringe dónde es probable que el eje se origine, evitando que líneas arbitrarias del fondo sean aceptadas como el origen del palo.

2. Generación de Candidatos

Se generan múltiples configuraciones candidatas de palos. Estas hipótesis consisten en una ubicación de agarre, un segmento de la línea central del eje y un punto final de la cabeza del palo. Los candidatos se proponen mediante:

Estados previos de fotogramas anteriores.
Claves geométricas clásicas (segmentos de línea LSD, transformadas de Hough, componentes conectados oscuros).
Rayos radiales emitidos desde los píxeles de la mano.
Propuestas de cabeza de palo aprendidas.

3. Puntuación de Evidencia Conjunta

En lugar de seleccionar la mejor detección local, el sistema puntúa las hipótesis competidoras utilizando una función unificada ( $S_{t,k}$ ) que integra:

Evidencia de la Franja del Eje: Un TinyUNet condicionado por la pose predice un mapa de probabilidad para el eje a lo largo de la línea candidata. Se utiliza una pérdida "soft-clDice" durante el entrenamiento para asegurar la continuidad topológica del eje delgado.
Evidencia del Punto Final de la Cabeza: Un TinyUNet separado predice la máscara de la cabeza del palo cerca del extremo distal del eje candidato.
Compatibilidad Geométrica: Los términos penalizan candidatos que son físicamente implausibles en relación con la escala del cuerpo o el anclaje del agarre (por ejemplo, ejes desprendidos).
Consistencia Temporal: Un término opcional (vía búsqueda de haz/beam-search mediante programación dinámica) desincentiva cambios de estado abruptos y sin apoyo entre fotogramas, estabilizando las predicciones durante movimientos rápidos.

4. Compuerta de Fiabilidad y Abstención

Un componente crítico es la compuerta de fiabilidad ( $q_t$ ). El sistema no fuerza una predicción cuando la evidencia visual es ambigua. Calcula una puntuación de fiabilidad basada en residuales geométricos, inconsistencia temporal y desacuerdo entre candidatos.

Aceptado: Alta puntuación de candidato y alta fiabilidad.
Solo Observación: Se muestran los candidatos brutos, pero no se realizan conclusiones derivadas.
Abstención: El sistema informa explícitamente que no hay medición para fotogramas con desenfoque de movimiento, autooclusión o palos fuera de cuadro. Esto permite la evaluación de la "visibilidad" en lugar de descartar silenciosamente los fotogramas difíciles.

Contribuciones Clave

Formulación Conjunta Anclada al Agarre: El artículo trata la cabeza del palo, el eje y la visibilidad como una única configuración estimada conjuntamente, en lugar de salidas independientes. Esto permite comprobaciones de consistencia entre la región del agarre, la línea del eje y el punto final.
Flujo de Trabajo de Inferencia Guiado por Candidatos: El método integra el contexto de la pose, la segmentación de la franja del eje aprendida y la compatibilidad geométrica dentro de una función de puntuación unificada. Las claves clásicas se utilizan solo para la generación de propuestas, mientras que el aprendizaje profundo proporciona la evidencia principal para la clasificación.
Protocolo de Evaluación Disjunto de la Fuente del Vídeo: La evaluación se realiza en un conjunto de datos dividido a nivel de vídeo (no aparecen fotogramas adyacentes del mismo vídeo en diferentes divisiones). Esto evita la fuga temporal y proporciona una evaluación realista de la generalización. El protocolo reporta recall de propuestas, calidad de segmentación, localización de extremo a extremo y puntuaciones F1 de visibilidad con intervalos de confianza del 95%.

Resultados Experimentales

El marco fue evaluado en un conjunto de datos personalizado de 60 vídeos de swings de golf monoculares (20 para prueba, 40 para entrenamiento/validación) y el conjunto de datos público GolfClub.

Localización de Extremo a Extremo: MonoClub logró un Error Medio de la Cabeza (MHE) de 9.1 píxeles y un PCK@10 de 93.5%, superando a las líneas base de vanguardia como CADDIE (MHE 11.2 px) y RacketVision.
Geometría del Eje: El método logró un error de ángulo del eje de 3.6° y una distancia de punto final a la línea central de 6.7 píxeles.
Segmentación: El módulo de segmentación de la cabeza del palo logró un coeficiente Dice de 0.84 e IoU de 0.73.
Recall de Candidatos: El paso de generación de propuestas logró un recall alto (96.2% en K=5), asegurando que la verdadera cabeza del palo rara vez se pierda antes de la etapa de puntuación.
Eficiencia: El modelo utiliza 12.4 millones de parámetros y funciona a 52 FPS en una RTX 4090, lo que lo hace adecuado para aplicaciones en tiempo real.
Estudios de Ablación: Eliminar el condicionamiento por pose aumentó el MHE en un 68%, y eliminar el acoplamiento conjunto degradó significativamente la estimación del ángulo del eje, confirmando la necesidad del enfoque acoplado.

Significado y Reivindicaciones

El artículo afirma proporcionar una base reproducible para la observación robusta en dos dimensiones de un palo de golf. Su importancia radica en:

Robustez ante la Ambigüedad: Al acoplar el eje y la cabeza con la pose corporal y emplear una compuerta de fiabilidad, el sistema maneja mejor el desenfoque de movimiento, la autooclusión y el desorden del fondo que los detectores independientes.
Gestión Explícita de la Incertidumbre: La capacidad de abstenerse de realizar predicciones cuando la confianza es baja (en lugar de producir datos ruidosos) es una característica clave para aplicaciones posteriores como el entrenamiento o la visualización.
Utilidad para Aplicaciones Posteriores: Aunque la contribución principal es la observación 2D, el marco soporta tareas posteriores como la visualización del swing (por ejemplo, superposición de referencias profesionales).

Limitaciones y Alcance:
Los autores declaran explícitamente que este es un método bidimensional. No pretende realizar la reconstrucción de profundidad monocular, el análisis biomecánico 3D o la reproyección de swings profesionales. Estas se identifican como aplicaciones posteriores. El método depende de una estimación precisa de la pose corporal 2D y asume un modelo de palo rígido; podría tener dificultades con ejes severamente doblados o agarres no estándar. La evaluación se limita estrictamente a métricas 2D, y las superposiciones de referencia profesional mostradas son visualizaciones cualitativas, no reconstrucciones 3D validadas.