Velocity and stroke rate reconstruction of canoe sprint team boats based on panned and zoomed video recordings

이 논문은 YOLOv8, U-net 기반 보정, 광학 흐름 추적 및 포즈 추정 기술을 활용하여 GPS 센서 없이도 팬 및 줌 영상으로부터 카누 스프린트 팀 보트의 속도와 스트로크 주기를 고정밀도로 자동 재구성하는 프레임워크를 제안하고, 엘리트 대회 데이터에서 GPS 측정값과 높은 상관관계를 입증했습니다.

핵심

이 논문은 카누 스프린트 경기를 분석하는 아주 똑똑한 '디지털 코치'를 개발한 연구입니다.

기존에는 선수들의 속도와 노를 젓는 속도를 정확히 알기 위해 배에 GPS 장치를 달아야 했습니다. 하지만 대회에서는 모든 선수에게 장치를 달기 어렵거나, 규정에 걸리는 경우도 많죠. 그래서 연구진은 **"단순한 카메라 영상만으로도 GPS 만큼 정확한 데이터를 뽑아낼 수 있다"**는 놀라운 방법을 개발했습니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 카메라가 '지도'를 그리는 법 (기하학적 보정)

카누 경기는 물 위를 빠르게 지나가는데, 카메라는 육지에서 옆으로 따라가며 찍습니다 (팬닝). 이때 화면은 왜곡되어 보이기 때문에, "저 배가 지금 100m 지점에 있나, 105m 지점에 있나?"를 눈으로 재는 건 거의 불가능합니다.

• 비유: 마치 거대한 퍼즐을 맞추는 것과 같습니다.
  • 연구진은 경기장에 미리 설치된 **부표 (부표들)**를 퍼즐의 '기준점'으로 삼습니다.
  • AI 가 이 부표들을 찾아내고, "아, 이 부표는 100m 지점이구나"라고 인식하면, 카메라가 찍은 왜곡된 화면을 수학적으로 펴서 실제 지도처럼 만들게 됩니다.
  • 이렇게 하면 화면 속 배의 위치가 실제 거리 (미터) 로 정확히 변환됩니다.

2. 여러 명이 탄 배를 구별하는 '눈썰미' (팀 보트 분석)

이전 연구는 혼자 타는 배 (K1) 만 분석할 수 있었습니다. 하지만 2 명, 4 명이 타는 배 (K2, K4) 는 선수들이 서로 겹치거나 가려져서 "누가 어디에 있나?"를 파악하기 매우 어렵습니다.

• 비유: 비행기 승무원을 상상해 보세요.
  • 혼자 타는 배는 조종사 한 명만 보이면 되지만, 4 명이 타는 배는 조종석부터 뒷좌석까지 4 명이 줄지어 앉아 있습니다.
  • 연구진은 U-Net 이라는 AI를 훈련시켜, 선수들의 몸 위치를 보고 배의 뾰족한 앞부분 (선미) 이 정확히 어디인지를 스스로 찾아내게 했습니다.
  • 마치 "선수들이 앉아 있는 위치를 보고, 배의 코가 이만큼 더 앞으로 나가 있겠구나"라고 **상상력 (오프셋 보정)**을 발휘하는 것입니다.

3. 선수들이 사라져도 따라가는 '마법의 끈' (추적 기술)

카메라가 흔들리거나 다른 배가 가리면, AI 가 선수들을 잠시 잃어버릴 수 있습니다. 이때까지의 방법은 "그때까지 봤던 위치로 선형적으로 이어주자"였는데, 이는 부정확했습니다.

• 비유: 실로 꿰어진 구슬을 생각하세요.
  • 연구진은 **광학 흐름 (Optical Flow)**이라는 기술을 썼습니다. 이는 "이전 프레임에서 선수의 손이 이렇게 움직였으니, 다음 프레임에서는 저렇게 움직였을 것이다"라고 움직임의 흐름을 계산하는 것입니다.
  • 만약 한 선수의 몸이 가려져서 안 보인다면, AI 는 "아, 저 선수의 손이 저렇게 움직였으니, 가려진 부분에도 저 사람이 있을 거야"라고 흐름을 따라가며 위치를 추정합니다. 덕분에 선수들이 잠시 가려져도 배의 속도가 끊기지 않고 정확히 계산됩니다.

4. 노를 젓는 속도를 읽는 '두 가지 눈' (스트로크 레이트)

배의 속도뿐만 아니라, "선수가 몇 초에 한 번씩 노를 젓는가?"도 중요합니다. 연구진은 이를 두 가지 방법으로 측정했습니다.

• 방법 A (고급 눈 - ViTPose): 선수의 어깨와 손목 관절을 찾아내어, 팔이 얼마나 움직이는지 정밀하게 측정합니다. (정확도는 매우 높지만, 계산이 무겁습니다.)
• 방법 B (간단한 눈 - Bounding Box): 선수의 몸통을 감싸는 네모 박스의 밝기 변화를 봅니다. 노를 젓을 때 물이 튀거나 몸이 움직이면 박스 안의 밝기가 변하는데, 이를 통해 리듬을 잡습니다. (빠르지만 정확도는 조금 떨어집니다.)

---

🏆 결론: 이 연구가 가져온 변화

이 기술을 실험해 보니, 실제 GPS 데이터와 비교했을 때 속도와 노 젓기 속도가 거의 95% 이상 일치했습니다.

• 기존: "배에 센서를 달아야 정확한 데이터를 얻을 수 있다."
• 이제: "단순히 경기장을 찍은 방송 영상이나 코치用手机 영상만 있으면, AI 가 자동으로 선수들의 전술, 속도, 리듬을 분석해 줍니다."

이제 코치들은 비싼 장비 없이도, 단순한 카메라 영상만으로도 선수들이 경기 중 어떻게 달렸는지, 어디에서 속도를 높였는지, 노를 얼마나 빠르게 젓고 있었는지 정밀한 분석 리포트를 받을 수 있게 된 것입니다. 마치 마법 같은 디지털 코치가 생겼다고 할 수 있죠!

기술 요약

1. 문제 정의 (Problem)

카누 스프린트 경기에서 최상의 성과를 내기 위해서는 속도 프로파일과 스트로크 빈도 (Stroke Rate) 프로파일을 기반으로 한 정교한 페이스 전략이 필수적입니다.

• 기존 방식의 한계: 현재 데이터 수집의 황금 표준 (Gold Standard) 은 GPS 와 관성 센서 (Gyro) 이지만, 고강도 경기에서는 모든 참가자에게 장비를 부착하는 것이 물리적으로 어렵거나 규제로 인해 금지되는 경우가 많습니다.
• 비디오 분석의 난제: 기존에 개발된 자동화 비디오 분석 기법들은 주로 1 인용 보트 (K1, C1) 에 국한되어 있었습니다. 2 인 (K2, C2) 또는 4 인 (K4) 팀 보트의 경우, 여러 선수의 중첩 (Occlusion) 과 카메라의 팬 (Pan) 및 줌 (Zoom) 동작으로 인한 시점 왜곡으로 인해 선수의 위치를 정확히 추적하고 보트의 정점을 (Tip) 식별하는 것이 매우 어렵습니다. 또한, 기존 연구는 속도 분석만 가능하고 스트로크 빈도 추출 기능은 부재했습니다.

2. 방법론 (Methodology)

이 논문은 기존 1 인용 보트 분석 프레임워크를 확장하여 모든 팀 보트 (K2, C2, K4) 와 거리 (200m, 500m) 를 지원하는 자동화 시스템을 제안합니다.

2.1. 시야각 보정 및 보트 위치 추정 (Homography & Tip Calibration)

• YOLOv8 활용: 경기장 부표 (Buoy) 와 선수들을 YOLOv8 모델로 탐지합니다.
• 호모그래피 (Homography) 추정: 알려진 부표 그리드 구조를 활용하여 이미지 좌표를 실제 경기장 좌표계로 변환하는 호모그래피 행렬을 추정합니다.
• 자동 보트 팁 보정 (U-Net 기반):
  • 기존 방식은 선수 위치에서 보트 끝까지의 거리를 고정된 상수 (Empirical Offset) 로 가정했으나, 이는 팀 보트에서 선수별 좌석 위치에 따라 오차를 유발합니다.
  • 해결책: U-Net 모델을 학습시켜 이미지 패치 내에서 보트의 정점 (Tip) 을 직접 탐지하게 합니다. 이를 통해 선수별 위치에서 보트 끝까지의 동적 오프셋 (Dynamic Offset) 을 자동으로 보정합니다.

2.2. 다인승 보트 추적 및 결손 보간 (Robust Multi-Athlete Tracking)

• 광학 흐름 (Optical Flow) 기반 추적: 선수 탐지가 실패하거나 가려지는 경우, Lucas-Kanade 광학 흐름을 활용하여 이전 프레임의 선수 순서를 유지하고 위치를 추정합니다.
• 보간 전략:
  • 선형 보간 (Linear Interpolation): 단순한 보간 방식.
  • 광학 흐름 기반 보간: 결손된 프레임에서 광학 흐름 벡터를 사용하여 선수의 위치를 예측합니다. 특히 비인과적 (Non-causal) 흐름 정보 (과거와 미래 프레임 모두 활용) 를 사용할 때 정확도가 가장 높게 나타났습니다.

2.3. 스트로크 빈도 추출 (Stroke Rate Estimation)

비디오만으로 스트로크 빈도를 추출하기 위해 두 가지 방법을 비교 분석했습니다.

1. ViTPose 기반: COCO 데이터셋으로 학습된 ViTPose 모델을 사용하여 선수의 어깨와 손목 관절 좌표를 추정하고, 두 관절 간의 유클리드 거리를 운동 신호로 변환합니다.
2. Bounding Box 기반: 선수의 경계 상자 (Bounding Box) 내 특정 영역의 밝기 변화를 운동 신호로 활용합니다.

• 추출된 신호를 Savitzky-Golay 필터링 및 피크 검출을 통해 스트로크 빈도 (bpm) 로 변환합니다.

3. 주요 기여 (Key Contributions)

1. 범용성 확장: 1 인용 보트 (K1/C1) 에서 팀 보트 (K2, C2, K4) 까지 모든 카누 스프린트 종목과 거리 (200m~500m) 를 지원하는 최초의 자동화 프레임워크를 제시했습니다.
2. 학습 기반 보트 팁 보정: 고정된 상수 오프셋 대신 U-Net 을 활용한 학습 기반 보정 방식을 도입하여, 다양한 보트 유형과 촬영 조건에서 보트 위치 추정의 정확도를 획기적으로 향상시켰습니다.
3. 강건한 추적 알고리즘: 다수 선수의 중첩 및 탐지 실패를 극복하기 위한 광학 흐름 기반의 순서 유지 및 위치 보간 기법을 개발했습니다.
4. 스트로크 빈도 자동 추출: 센서 없이 비디오만으로 고해상도 스트로크 빈도 프로파일을 추출하는 두 가지 방법론을 제안하고 성능을 검증했습니다.

4. 실험 결과 (Results)

GPS 및 자이로스코프 데이터를 기준 (Ground Truth) 으로 한 평가 결과는 다음과 같습니다.

• 속도 추정 정확도:
  • 모든 보트 유형에서 RRMSE (상대 평균 제곱근 오차) 는 0.020 ± 0.011 수준을 보였습니다.
  • 상관 계수 (Spearman ρ) 는 0.956으로 매우 높은 일치도를 나타냈습니다.
  • 특히 비인과적 광학 흐름 보간을 사용할 때 RMSE 가 0.097 m/s 로 가장 낮았습니다.
• 스트로크 빈도 추정 정확도:
  • ViTPose 기반 방법: RMSE 2.352 bpm, RRMSE 0.022, 상관 계수 0.932.
  • Bounding Box 기반 방법: RMSE 7.846 bpm, RRMSE 0.069, 상관 계수 0.686.
  • ViTPose 기반 방법이 Bounding Box 방법보다 오차가 1/3 수준으로 낮고 상관관계가 훨씬 뛰어났습니다.
• U-Net 성능: 보트 팁 탐지 정확도 (Accuracy @ 5px) 가 **90.8%**에 달했습니다.

5. 의의 및 결론 (Significance)

이 연구는 카누 스프린트 코칭 및 분석 분야에서 다음과 같은 중요한 의의를 가집니다.

• 비접촉식 고해상도 분석: 보트에 센서를 부착할 필요 없이, 방송용 또는 코치용 표준 카메라 영상만으로 GPS 수준의 정밀한 속도 및 스트로크 데이터를 제공합니다.
• 실용적 피드백: 팀 보트 (K2, C2, K4) 의 복잡한 상황에서도 정확한 전술적 분석 (페이스 전략, 선수별 동기화 등) 이 가능해져 코치와 운동선수가 즉각적인 피드백을 받을 수 있습니다.
• 확장성: 제안된 기하학적 모델링 및 캘리브레이션 전략은 크루 (Rowing) 나 다른 수중 스포츠로 확장 적용이 가능할 것으로 기대됩니다.

결론적으로, 이 논문은 컴퓨터 비전 기술 (YOLO, U-Net, Optical Flow) 을 스포츠 분석에 성공적으로 접목하여, 센서 의존도를 줄이면서도 프로급 경기 분석이 가능한 자동화 솔루션을 제시했습니다.