💻 컴퓨터 과학

MonoClub: Pose-Guided Joint Localisation of Golf Clubhead and Shaft in Monocular Swing Video

이 논문은 신체 규모의 사전 정보, 기하학적 및 외관 단서, 그리고 시간적 일관성을 통합함으로써 모션 블러와 폐쇄와 같은 문제를 극복하여 단안 비디오에서 골프 클럽 헤드와 샤프트를 안정적으로 국지화하는 포즈 가이드 프레임워크인 MonoClub을 소개한다.

원저자: Zheng Zhang, Zhixin Zhou, Wen Jung Li, Rui Luo

게시일 2026-10-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zheng Zhang, Zhixin Zhou, Wen Jung Li, Rui Luo

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

표준 비디오 카메라로 골프 스윙을 관찰하는 것은 컴퓨터에게 기만적일 정도로 어려운 작업입니다. 인간의 눈에는 그 움직임이 힘이 실린 유려한 호(arc)로 보이지만, 기계에게 그것은 가늘고 빠른 물체들이 뒤섞인 혼란스러운 잔상입니다. 골프 클럽 자체도 독특한 난제를 제시합니다. 샤프트는 길고 가느다란 막대 형태라 배경 속으로 사라지거나 움직임에 의한 잔상으로 흐릿해지는 경우가 많으며, 끝에 달린 무거운 클럽 헤드는 그림자나 다른 물체와 쉽게 혼동될 수 있는 작고 어두운 형체입니다. 과거에는 이러한 스윙을 분석하기 위해 선수가 착용하는 값비싼 센서나 특수 카메라가 갖춰진 통제된 스튜디오 환경이 필요했습니다. 최근 컴퓨터 비전 연구의 목표는 단 하나의 일반적인 비디오 카메라만을 사용하여 동일한 수준의 통찰력을 얻는 것이었으나, 실제 상황에서의 스윙이 만들어내는 시각적 노이즈는 이를 완고한 과제로 만들었습니다.

한 연구팀은 골퍼의 신체와 골프 클럽을 별개의 개체로 찾아내는 대신, 하나의 연결된 단위로 취급함으로써 이 문제를 해결하는 새로운 시스템을 개발했습니다. 클럽을 고립시켜 찾으려고 노력하는 대신, 이들의 방법은 먼저 선수의 자세를 살펴 클럽을 잡고 있을 가능성이 높은 손의 위치를 파악합니다. 이는 탐색을 안내하는 시작점, 즉 닻(anchor) 역할을 합니다. 그런 다음 시스템은 클럽이 있을 법한 위치에 대해 수많은 가능한 추측을 생성하고, 각 추측을 비디오 프레임 내의 시각적 증거와 대조하여 검증합니다. 제안된 샤프트의 선이 실제로 클럽 샤프트처럼 보이는지, 클럽 헤드가 실제 클럽의 형상과 일치하는지, 그리고 전체적인 구성이 골퍼의 손 위치를 고려했을 때 물리적으로 타당한지를 확인합니다. 만약 증거가 강력하고 일관적이라면 시스템은 해당 관측을 수용하며, 이미지가 너무 흐릿하거나 클럽이 가려져 있다면 잘못된 답을 내놓으며 추측하는 대신 정직하게 클럽을 볼 수 없음을 인정합니다.

연구진은 다양한 각도와 조명 조건에서 촬영된 실제 골프 영상 모음으로 이 접근 방식을 테스트했습니다. 그들은 클럽의 위치를 골퍼의 신체와 연결함으로써, 시스템이 놀라운 정밀도로 클럽 헤드를 찾아낼 수 있음을 발견했습니다. 표준 비디오 프레임에서 실제 중심점을 평균 불과 9.1 픽셀 차이로 놓쳤습니다. 클럽이 보이는 경우 중 93% 이상의 사례에서 시스템은 클럽 헤드를 실제 위치로부터 10 픽셀 이내에 배치했습니다. 또한 클럽 샤프트의 각도를 측정하는 데에도 매우 효과적이었으며, 방향 추정 오차는 단 3.6도에 불과했습니다. 아마도 가장 중요한 점은, 시스템이 자신이 실패하고 있다는 것을 인식하는 법을 배웠다는 것입니다. 클럽이 심하게 흐릿하거나 선수의 몸에 의해 가려진 상황에서 시스템은 80.0%의 가시성 F1 점수(visibility F1 score)를 달 achievement했는데, 이는 단순히 고정된 비율로 판단을 유보하는 것이 아니라, 가시적인 프레임을 올바르게 식별하는 것과 잘못된 탐지를 피하는 것 사이의 강력한 균형을 보여줍니다.

이 연구는 컴퓨터에게 진공 상태에서 가느다란 물체를 보라고 강요하는 방식에서 벗어났다는 점에서 중요한 진전을 의미합니다. 대신, 인간 신체의 맥락을 활용하여 클럽에 대한 탐색을 훨씬 더 신뢰할 수 있게 만들었습니다. 이 시스템은 스윙의 3차원적 깊이를 이해하거나 공의 비행 물리학을 재구성할 필요가 없습니다. 그저 화면에 나타나는 클럽의 2차원적 형태와 위치를 정확하게 묘사하기만 하면 됩니다. 클럽 형상의 시각적 단서와 골퍼의 그립이라는 논리적 제약을 결합함으로써, 연구진은 정확하면서도 자신의 한계에 대해 정직한 도구를 만들어냈습니다. 그 결과, 이 방식은 실시간 애플리케이션에 사용될 수 있을 만큼 빠르게 실행될 수 있으며, 전문 장비나 센서 없이도 일반 비디오를 통해 골프 스윙을 분석할 수 있는 견고한 방법을 제공합니다.

기술 요약: MonoClub

문제 정의

일반적인 단안 비디오에서 골프 클럽을 안정적으로 관찰하는 것은 객체의 물리적 특성으로 인해 본질적으로 어렵다. 샤프트는 모션 블러(motion blur)와 자기 가림(self-occlusion) 현상이 발생하기 쉬운 길고 가는 구조이며, 클럽헤드는 작고 흐릿하게 보일 때가 많다. 독립적인 객체 탐지나 키포인트 회귀에 의존하는 기존 방식은 취약하다. 시각적으로 두드러지는 선이 배경의 일부일 수 있으며, 그럴듯한 끝점이 잘못된 샤프트와 결합될 수도 있기 때문이다. 또한, 기존 데이터셋과 방법론들은 조밀한 기하학적 주석(annotation)이 부족하거나, 클럽을 플레이어의 신체와 결합된 하나의 구성 요소가 아닌 고립된 객체로 취급하는 경우가 많다. 본 연구가 다루는 핵심 과제는, 제약이 없는 단일 골프 스윙 비디오 내에서 클럽헤드와 샤프트의 증거를 어떻게 결합하여 일관된 2차원 구성을 생성할 것인가 하는 점이다.

방법론

본 논문은 단일 비디오 프레임으로부터 일관된 2D 클럽 구성(그립 앵커, 샤프트 중심선, 클럽헤드 위치)을 추정하는 포즈 가이드형 공동 국소화(pose-guided joint localisation) 프레임워크인 MonoClub을 제안한다. 이 시스템은 단일 엔드 투 엔드(end-to-end) 예측 대신 "제안 및 순위 지정(propose-and-rank)" 워크플로우를 기반으로 작동한다.

1. 포즈 조건부 그립 앵커 (Pose-Conditioned Grip Anchor)

시스템은 먼저 플레이어의 신체 포즈와 손 위치를 추정한다(YOLOv8-Pose 및 선택적으로 MediaPipe 사용). 이는 소프트 그립 앵커( $g_t$ )와 신체 스케일 인자( $b_t$ )를 제공한다. 이 앵커는 고정된 3D 재구성이 아니라, 샤프트가 시작될 가능성이 높은 위치를 제한하는 2D 사전 정보(prior)로서, 임의의 배경 선이 클럽의 기점으로 받아들여지는 것을 방지한다.

2. 후보 생성 (Candidate Generation)

다수의 후보 클럽 구성이 생성된다. 이러한 가설들은 그립 위치, 샤프트 중심선 세그먼트, 그리고 클럽헤드 엔드포인트로 구성된다. 후보는 다음을 통해 제안된다:

이전 프레임으로부터의 이전 상태(prior states).
고전적인 기하학적 단서(LSD 선 세그먼트, 허프 변환(Hough transforms), 어두운 연결 성분(dark connected components)).
손 픽셀로부터 방출되는 방사형 광선(radial rays).
학습된 클럽헤드 제안.

3. 공동 증거 점수 산정 (Joint Evidence Scoring)

최적의 로컬 탐지를 선택하는 대신, 시스템은 다음을 통합하는 통합 함수( $S_{t,k}$ )를 사용하여 경쟁하는 가설들의 점수를 매긴다:

샤프트 스트립 증거(Shaft-Strip Evidence): 포즈 조건부 TinyUNet이 후보 선을 따라 샤프트의 확률 맵을 예측한다. 훈련 중에는 얇은 샤프트의 위상적 연속성을 보장하기 위해 "soft-clDice" 손실 함수를 사용한다.
클럽헤드 엔드포인트 증거(Clubhead Endpoint Evidence): 별도의 TinyUNet이 후보 샤프트의 원위부(distal) 끝 근처에서 클럽헤드 마스크를 예측한다.
기하학적 호환성(Geometric Compatibility): 신체 스케일이나 그립 앵커와 비교하여 물리적으로 불가능한 후보(예: 분리된 샤프트)에 페널티를 부여하는 항을 포함한다.
시간적 일관성(Temporal Consistency): 선택적 항(빔 서치 동적 계획법을 통한)은 프레임 간의 급격하고 근거 없는 상태 변화를 억제하여 빠른 움직임 중에도 예측을 안정화한다.

4. 신뢰도 게이팅 및 기권 (Reliability Gating and Abstention)

핵심 구성 요소는 신뢰도 게이트( $q_t$ )이다. 시스템은 시각적 증거가 모호할 때 예측을 강요하지 않는다. 시스템은 기하학적 잔차(residual), 시간적 불일치, 후보 간의 불일치를 기반으로 신뢰도 점수를 계산한다.

수용(Accepted): 높은 후보 점수와 높은 신뢰도를 가짐.
관측 전용(Observation-Only): 가공되지 않은 후보는 보여주되, 도출된 결론은 내리지 않음.
기권(Abstain): 모션 블러, 자기 가림 또는 프레임 밖의 클럽이 있는 프레임에 대해 시스템은 명시적으로 측정이 없음을 보고한다. 이는 어려운 프레임을 단순히 버리는 것이 아니라 "가시성(visibility)"을 평가할 수 있게 한다.

주요 기여

그립 앵커 기반 공동 정식화(Grip-Anchored Joint Formulation): 본 논문은 클럽헤드, 샤프트, 가시성을 독립적인 출력이 아닌 하나의 공동으로 추정되는 구성 요소로 취급한다. 이를 통해 그립 영역, 샤프트 라인, 엔드포인트 간의 일관성 검사가 가능하다.
후보 가이드형 추론 워크플로우: 이 방법은 포즈 컨텍스트, 학습된 샤프트 스트립 세그멘테이션, 기하학적 호환성을 통합된 점수 함수 내에 통합한다. 고전적인 단서는 제안 생성에만 사용되며, 딥러닝은 순위 지정의 주요 증거를 제공한다.
소스 비디오 분리 평가 프로토콜: 평가는 비디오 레벨에서 분할된 데이터셋(동일 비디오의 인접 프레임이 서로 다른 분할에 나타나지 않음)에서 수행된다. 이는 시간적 누수(temporal leakage)를 방지하고 일반화 성능에 대한 현실적인 평가를 제공한다. 프로토콜은 제안 재현율(proposal recall), 세그멘테이션 품질, 엔드 투 엔드 국소화, 가시성 F1 점수를 95% 신뢰 구간과 함께 보고한다.

실험 결과

프레임워크는 60개의 단안 골프 스윙 비디오(테스트용 20개, 훈련/검증용 40개)로 구성된 커스텀 데이터셋과 공개된 GolfClub 데이터셋을 통해 평가되었다.

엔드 투 엔드 국소화: MonoClub은 평균 헤드 오차(MHE) 9.1 픽셀과 PCK@10 **93.5%**를 달성하여, CADDIE(MHE 11.2 px) 및 RacketVision과 같은 최첨단 베이스라인을 능가했다.
샤프트 기하학: 이 방법은 샤프트 각도 오차 **3.6°**와 엔드포인트-중심선 간 거리 6.7 픽셀을 달성했다.
세그멘테이션: 클럽헤드 세그멘테이션 모듈은 Dice 계수 0.84와 IoU 0.73을 달성했다.
후보 재현율: 제안 생성 단계는 K=5에서 **96.2%**의 높은 재현율을 달성하여, 점수 지정 단계 이전에 실제 클럽헤드를 놓치는 경우가 거의 없음을 보장했다.
효율성: 모델은 1,240만 개의 파라미터를 사용하며 RTX 4090에서 52 FPS로 실행되어 실시간 애플리케이션에 적합하다.
절제 연구(Ablation Studies): 포즈 조건부 제거 시 MHE가 68% 증가하였고, 공동 결합을 제거했을 때 샤프트 각도 추정이 크게 저하되어, 결합된 접근 방식의 필요성을 확인했다.

의의 및 주장

본 논문은 강건한 2차원 골프 클럽 관찰을 위한 재현 가능한 기초를 제공한다고 주장한다. 그 의의는 다음과 같다:

모호성에 대한 강건성: 신체 포즈와 결합하여 샤프트와 클럽헤드를 결합하고 신뢰도 게이트를 사용함으로써, 독립적인 탐지기보다 모션 블러, 자기 가림, 배경 혼란을 더 잘 처리한다.
명시적 불확실성 처리: 신뢰도가 낮을 때(노이즈 데이터를 출력하는 대신) 예측을 기권할 수 있는 능력은 코칭이나 시각화와 같은 다운스트림 애플리케이션에 핵심적인 기능이다.
다운스트림 유용성: 주요 기여는 2D 관찰이지만, 이 프레임워크는 전문적인 레퍼런스 오버레이와 같은 스윙 시각화 작업을 지원한다.

한계 및 범위:
저자들은 이것이 2차원 방법임을 명시적으로 밝힌다. 본 연구는 단안 깊이 재구성, 3D 생체 역학 분석 또는 전문적인 스윙 재투영을 수행한다고 주장하지 않는다. 이는 다운스트림 애플리케이션으로 식별된다. 이 방법은 정확한 2D 신체 포즈 추정에 의존하며 강체(rigid) 클럽 모델을 가정하므로, 심하게 휘어진 샤프트나 비표준 그립의 경우 어려움을 겪을 수 있다. 평가는 엄격히 2D 지표로 제한되며, 제시된 전문 레퍼런스 오버레이는 정성적인 시각화일 뿐 검증된 3D 재구성이 아니다.