💻 ciência da computação

MonoClub: Pose-Guided Joint Localisation of Golf Clubhead and Shaft in Monocular Swing Video

Este artigo apresenta o MonoClub, um framework guiado por pose que localiza de forma confiável as cabeças e os cabos de tacos de golfe em vídeos monoculares ao integrar priors de escala corporal, pistas geométricas e de aparência, e consistência temporal para superar desafios como desfoque de movimento e oclusão.

Autores originais: Zheng Zhang, Zhixin Zhou, Wen Jung Li, Rui Luo

Publicado 2026-10-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zheng Zhang, Zhixin Zhou, Wen Jung Li, Rui Luo

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Assistir a um movimento de golfe em uma câmera de vídeo padrão é uma tarefa deceptivamente difícil para um computador. Para o olho humano, o movimento é um arco fluido de potência, mas para uma máquina, é um borrão caótico de linhas finas e objetos pequenos e rápidos. O próprio taco de golfe apresenta um quebra-cabeça único: a haste é um bastão longo e esguio que frequentemente desaparece no fundo ou se torna um borrão de movimento, enquanto a cabeça pesada do taco na extremidade é uma forma pequena e escura que pode ser facilmente confundida com sombras ou outros objetos. No passado, analisar esses movimentos exigia sensores caros usados pelo jogador ou ambientes de estúdio controlados com câmeras especiais. O objetivo da pesquisa recente em visão computacional tem sido alcançar o mesmo nível de percepção usando apenas uma única câmera de vídeo comum, mas o ruído visual de um movimento real de golfe tornou isso um desafio persistente.

Uma equipe de pesquisadores desenvolveu agora um novo sistema que resolve este problema ao tratar o corpo do golfista e o taco de golfe como uma unidade única e conectada, em vez de duas coisas separadas a serem encontradas. Em vez de tentar localizar o taco isoladamente, o método deles primeiro observa a postura do jogador para entender onde as mãos provavelmente estarão segurando o taco. Isso cria um ponto de partida, ou uma âncora, que guia a busca. O sistema então gera muitos palpites possíveis de onde o taco poderia estar, testando cada um deles contra a evidência visual no quadro do vídeo. Ele verifica se uma linha proposta para a haste realmente parece uma haste de taco, se a cabeça do taco corresponde à forma de um taco real e se toda a configuração faz sentido físico dada a posição das mãos do golfista. Se a evidência for forte e consistente, o sistema aceita a observação; se a imagem estiver muito borrada ou o taco estiver escondido, o sistema admite honestamente que não consegue ver o taco, em vez de dar um palpite e fornecer uma resposta errada.

Os pesquisadores testaram essa abordagem em uma coleção de vídeos reais de golfe filmados de vários ângulos e sob diferentes condições de iluminação. Eles descobriram que, ao vincular a posição do taco ao corpo do golfista, o sistema conseguia localizar a cabeça do taco com uma precisão notável, errando o centro real por uma média de apenas 9,1 pixels em um quadro de vídeo padrão. Em mais de 93 por cento dos casos em que o taco estava visível, o sistema posicionou a cabeça do taco dentro de 10 pixels de sua localização real. Também se mostrou altamente eficaz na medição do ângulo da haste do taco, estimando a direção com um erro de apenas 3,6 graus. Talvez o mais importante seja que o sistema aprendeu a reconhecer quando estava falhando. Em situações onde o taco estava fortemente borrado ou bloqueado pelo próprio corpo do jogador, o sistema alcançou um F1-score de visibilidade de 80,0%, indicando um forte equilíbrio entre identificar corretamente quadros visíveis e evitar falsas detecções, em vez de simplesmente reter o julgamento a uma taxa fixa.

Este trabalho representa um passo significativo à frente porque se afasta de tentar forçar um computador a enxergar um objeto fino no vácuo. Em vez disso, utiliza o contexto do corpo humano para tornar a busca pelo taco muito mais confiável. O sistema não precisa compreender a profundidade tridimensional do movimento ou reconstruir a física do voo da bola; ele simplesmente precisa descrever com precisão a forma e a posição bidimensionais do taco conforme ele aparece na tela. Ao combinar as pistas visuais da forma do taco com as restrições lógicas da pegada do golfista, os pesquisadores criaram uma ferramenta que é ao mesmo tempo precisa e honesta sobre suas limitações. O resultado é um método que pode rodar rápido o suficiente para ser usado em aplicações de tempo real, oferecendo uma maneira robusta de analisar movimentos de golfe a partir de vídeos comuns, sem a necessidade de equipamentos ou sensores especializados.

Resumo Técnico: MonoClub

Definição do Problema

A observação confiável de um taco de golfe em vídeo monocular comum é inerentemente difícil devido às características físicas do objeto: a haste é uma estrutura longa e fina, propensa ao desfoque de movimento (motion blur) e à auto-oclusão, enquanto a cabeça do taco é pequena e frequentemente borrada. Abordagens tradicionais que dependem de detecção de objetos independente ou regressão de pontos-chave são frágeis; uma linha visualmente saliente pode pertencer ao plano de fundo, e um ponto final plausível pode ser pareado com uma haste incorreta. Além disso, conjuntos de dados e métodos existentes frequentemente carecem de anotações geométricas densas ou tratam o taco como um objeto isolado, em vez de uma configuração acoplada ao corpo do jogador. O desafio central abordado por este trabalho é como acoplar evidências da cabeça e da haste dentro de um único vídeo de swing de golfe não restringido para produzir uma configuração bidimensional coerente.

Metodologia

O artigo propõe o MonoClub, um framework de localização conjunta guiado por pose que estima uma configuração 2D coerente (âncora da empunhadura, linha central da haste e localização da cabeça do taco) a partir de um único quadro de vídeo. O sistema opera em um fluxo de trabalho de "propor-e-classificar" (propose-and-rank), em vez de uma única predição de ponta a ponta.

1. Âncora de Empunhadura Condicionada pela Pose

O sistema primeiro estima a pose corporal do jogador e as localizações das mãos (usando YOLOv8-Pose e, opcionalmente, MediaPipe). Isso fornece uma âncora de empunhadura suave ( $g_t$ ) e um fator de escala corporal ( $b_t$ ). Esta âncora não é uma reconstrução 3D fixa, mas um prior 2D que restringe onde a haste provavelmente se origina, evitando que linhas arbitrárias do plano de fundo sejam aceitas como a origem do taco.

2. Geração de Candidatos

Múltiplas configurações candidatas de taco são geradas. Essas hipóteses consistem em uma localização de empunhadura, um segmento de linha central da haste e um ponto final da cabeça do taco. Os candidatos são propostos usando:

Estados anteriores de quadros precedentes.
Pistas geométricas clássicas (segmentos de linha LSD, transformadas de Hough, componentes conectados escuros).
Raios radiais emitidos a partir de pixels das mãos.
Propostas de cabeça de taco aprendidas.

3. Pontuação de Evidência Conjunta

Em vez de selecionar a melhor detecção local, o sistema pontua hipóteses concorrentes usando uma função unificada ( $S_{t,k}$ ) que integra:

Evidência de Faixa da Haste: Um TinyUNet condicionado pela pose prevê um mapa de probabilidade para a haste ao longo da linha candidata. Uma perda "soft-clDice" é usada durante o treinamento para garantir a continuidade topológica da haste fina.
Evidência do Ponto Final da Cabeça do Taco: Um TinyUNet separado prevê a máscara da cabeça do taco próximo ao ponto distal da haste candidata.
Compatibilidade Geométrica: Termos penalizam candidatos que são fisicamente implausíveis em relação à escala do corpo ou à âncora de empunhadura (ex: hastes desconectadas).
Consistência Temporal: Um termo opcional (via programação dinâmica de busca em feixe/beam-search) desencoraja mudanças abruptas e não suportadas de estado entre quadros, estabilizando as predições durante movimentos rápidos.

4. Portão de Confiabilidade e Abstenção

Um componente crítico é o portão de confiabilidade ( $q_t$ ). O sistema não força uma predição quando a evidência visual é ambígua. Ele calcula uma pontuação de confiabilidade baseada em resíduos geométricos, inconsistência temporal e discordância entre candidatos.

Aceito: Alta pontuação de candidato e alta confiabilidade.
Apenas Observação: Candidatos brutos são exibidos, mas nenhuma conclusão derivada é feita.
Abster-se: O sistema relata explicitamente a ausência de medição para quadros com desfoque de movimento, auto-oclusão ou tacos fora de quadro. Isso permite a avaliação da "visibilidade" em vez de descartar silenciosamente quadros difíceis.

Principais Contribuições

Formulação Conjunta Ancorada na Empunhadura: O artigo trata a cabeça do taco, a haste e a visibilidade como uma única configuração estimada conjuntamente, em vez de saídas independentes. Isso permite verificações de consistência entre a região da empunhadura, a linha da haste e o ponto final.
Fluxo de Trabalho de Inferência Guiado por Candidatos: O método integra contexto de pose, segmentação de faixa de haste aprendida e compatibilidade geométrica dentro de uma função de pontuação unificada. Pistas clássicas são usadas apenas para geração de propostas, enquanto o aprendizado profundo fornece a evidência primária para o ranking.
Protocolo de Avaliação Disjunto de Vídeo de Origem: A avaliação é realizada em um conjunto de dados dividido ao nível de vídeo (nenhum quadro adjacente do mesmo vídeo aparece em divisões diferentes). Isso evita vazamento temporal e fornece uma avaliação realista de generalização. O protocolo reporta recall de proposta, qualidade de segmentação, localização de ponta a ponta e escores F1 de visibilidade com intervalos de confiança de 95%.

Resultados Experimentais

O framework foi avaliado em um conjunto de dados customizado de 60 vídeos de swing de golfe monocular (20 para teste, 40 para treinamento/validação) e no conjunto de dados público GolfClub.

Localização de Ponta a Ponta: O MonoClub alcançou um Erro Médio de Cabeça (MHE) de 9,1 pixels e um PCK@10 de 93,5%, superando baselines de estado da arte como CADDIE (MHE 11,2 px) e RacketVision.
Geometria da Haste: O método alcançou um erro de ângulo de haste de 3,6° e uma distância do ponto final até a linha central de 6,7 pixels.
Segmentação: O módulo de segmentação da cabeça do taco alcançou um coeficiente Dice de 0,84 e IoU de 0,73.
Recall de Candidatos: A etapa de geração de propostas alcançou um alto recall (96,2% em K=5), garantindo que a verdadeira cabeça do taco raramente seja perdida antes da etapa de pontuação.
Eficiência: O modelo utiliza 12,4 milhões de parâmetros e roda a 52 FPS em uma RTX 4090, tornando-o adequado para aplicações em tempo real.
Estudos de Ablação: Remover a condicionamento de pose aumentou o MHE em 68%, e remover o acoplamento conjunto degradou significativamente a estimativa do ângulo da haste, confirmando a necessidade da abordagem acoplada.

Significância e Alegações

O artigo afirma fornecer uma base reprodutível para a observação robusta bidimensional de tacos de golfe. Sua significância reside em:

Robustez à Ambiguidade: Ao acoplar a haste e a cabeça do taco com a pose corporal e empregar um portão de confiabilidade, o sistema lida com desfoque de movimento, auto-oclusão e ruído de fundo melhor do que detectores independentes.
Tratamento Explícito de Incerteza: A capacidade de abster-se de fazer predições quando a confiança é baixa (em vez de gerar dados ruidosos) é uma característica fundamental para aplicações downstream, como treinamento ou visualização.
Utilidade Downstream: Embora a contribuição primária seja a observação 2D, o framework suporta tarefas subsequentes, como visualização de swing (ex: sobreposição de referências profissionais).

Limitações e Escopo:
Os autores declaram explicitamente que este é um método bidimensional. Não se alega realizar reconstrução de profundidade monocular, análise biomecânica 3D ou reprojeção de swing profissional. Estas são identificadas como aplicações downstream. O método depende de uma estimativa de pose corporal 2D precisa e assume um modelo de taco rígido; pode ter dificuldades com hastes severamente curvadas ou empunhaduras não padronizadas. A avaliação é estritamente limitada a métricas 2D, e as sobreposições de referência profissional mostradas são visualizações qualitativas, não reconstruções 3D validadas.