Interpretable Pre-Release Baseball Pitch Type Anticipation from Broadcast 3D Kinematics

이 논문은 229 개의 생체역학적 특징을 기반으로 방송 3D 포즈 시퀀스만으로 119,561 개의 프로 야구 투구 데이터를 분석하여 80.4\% 의 정확도로 8 가지 투구 유형을 사전에 예측하고, 상체 역학이 예측 신호의 64.9\% 를 차지하며 그립 차이는 포즈만으로는 구분 불가능함을 규명했습니다.

핵심

이 논문은 **"야구 투수가 공을 던지기 전, 몸짓만 보고 어떤 공을 던질지 미리 알 수 있을까?"**라는 흥미로운 질문에 답하는 연구입니다.

기존에는 공이 날아가는 궤적, 속도, 회전 수를 측정하는 고가의 장비 (하크아이, 트랙맨 등) 가 필요했지만, 이 연구는 단순한 TV 방송 화질로 투수의 몸동작만 분석하여 공의 종류를 예측하는 방법을 개발했습니다.

이 복잡한 연구를 일반인이 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. "투수의 몸은 비밀을 숨긴 편지" (연구의 목적)

야구장에서 투수가 공을 던질 때, 그는 타자를 속이려고 노력합니다. 하지만 몸은 거짓말을 잘하지 못합니다.

• 기존 방식: 공이 날아가서 궤적을 보고 "아, 이건 커브구나!"라고 뒤늦게 추측하는 것입니다. (비싸고 복잡한 장비 필요)
• 이 연구의 방식: 공이 날아가기 전, 투수의 어깨, 팔, 허리, 손목이 어떻게 움직이는지 유심히 관찰하여 "아, 저 사람은 지금 커브를 던지려고 몸을 틀고 있구나!"라고 미리 알아맞히는 것입니다.

이 연구는 TV 방송 영상에서 투수의 3 차원 몸동작 (포즈) 만을 추출해서, 공이 날아가기 전에 어떤 공인지 8 가지 종류 (패스트볼, 슬라이더, 커브 등) 로 분류하는 시스템을 만들었습니다.

2. "몸의 언어를 번역하는 AI" (기술적 방법)

연구진은 투수의 몸동작을 분석하는 AI 를 훈련시켰는데, 마치 전문 번역가처럼 작동합니다.

1. 3D 포즈 추정 (눈): TV 화면 속 투수를 보고 17 개의 관절 (어깨, 팔꿈치, 손목, 무릎 등) 의 3 차원 위치를 정확히 파악합니다.
2. 중요 순간 포착 (귀): 투수 동작 중 가장 중요한 3 가지 순간을 찾아냅니다.
   • 발 디디기 (Foot Plant): 땅을 차는 순간
   • 팔 최대 회전 (MER): 팔을 최대한 뒤로 젖히는 순간
   • 공 놓기 (Release): 공을 놓는 순간
3. 신호 해독 (뇌): 이 3 가지 순간의 몸동작 데이터를 바탕으로 229 가지의 특징 (관절 각도, 몸통 기울기, 손목 위치 등) 을 뽑아내어 기계학습 (XGBoost) 에 입력합니다.

결과: 이 시스템은 **정확도 80.4%**를 달성했습니다. 즉, 공이 날아가기 전에 10 번 중 8 번 이상은 "아, 지금 커브를 던지려네!"라고 맞췄다는 뜻입니다.

3. "몸의 어느 부분이 가장 큰 소리를 내는가?" (핵심 발견)

이 연구에서 가장 재미있는 점은 어떤 몸동작이 공의 종류를 가장 잘 알려주는지를 찾아냈다는 것입니다.

• 상반신 vs 하반신: 투수가 공을 던질 때, 하반신 (다리) 은 모든 공을 던질 때 비슷하게 움직여 타자를 속이려 합니다. 하지만 **상반신 (팔, 어깨, 손목)**은 공의 종류에 따라 미세하게 다릅니다.
  • 비유: 하반신은 '일관된 춤 동작'을 추지만, 상반신은 '비밀 신호'를 보내는 것입니다. 연구 결과, 예측 신호의 65% 는 상반신에서 나왔습니다.
• 가장 중요한 부위:
  • 손목 (14.8%): 공을 잡는 손가락과 손목의 위치가 가장 결정적입니다.
  • 머리/눈 (19.0%): 투수가 어디를 보고 있는지, 머리가 어떻게 움직이는지도 중요한 단서였습니다.
  • 몸통의 옆으로 기울기: 의외로 몸통이 좌우로 얼마나 기울어지는지가 가장 강력한 예측 신호였습니다.

4. "한계는 어디인가?" (80% 의 벽)

그렇다면 100% 맞출 수 없을까요? 연구진은 80% 가 한계라고 말합니다.

• 이유: '4 시계 패스트볼'과 '2 시계 패스트볼'은 투수가 공을 잡는 **손가락의 그립 (Grip)**만 다릅니다. 몸동작은 거의 똑같기 때문에, 카메라로 몸만 보고는 구별할 수 없습니다.
• 비유: 두 사람이 완전히 똑같은 옷을 입고 똑같은 춤을 추는데, 한 사람은 빨간 장갑을, 다른 사람은 파란 장갑을 끼고 있다면, 멀리서 몸동작만 보고는 누구인지 알 수 없는 것과 같습니다.
• 결론: 몸동작 (키네마틱) 으로 알 수 있는 정보의 한계는 약 80% 이며, 나머지 20% 는 공을 잡는 손가락의 미세한 차이 (그립) 와 공이 날아가는 물리적 특성 (회전, 속도) 에서 나옵니다.

---

💡 요약 및 의의

이 논문은 **"고가의 장비 없이도 TV 화질만 있으면 투수의 몸짓을 분석해 공의 종류를 미리 알 수 있다"**는 것을 증명했습니다.

• 실용성: 프로야구뿐만 아니라 아마추어 리그나 학교 야구팀도 고가의 장비 없이 투수의 기술을 분석하고 훈련할 수 있게 되었습니다.
• 과학적 의미: 투수가 타자를 속이기 위해 하반신을 일정하게 유지하고 상반신으로만 차이를 만든다는 '투구의 원리'를 데이터로 증명했습니다.

결국 이 연구는 야구장의 숨겨진 몸짓 언어를 해독하는 첫걸음을 내디딘 셈입니다.

기술 요약

1. 문제 정의 (Problem)

야구에서 투수의 구종 (Pitch Type) 을 분류하는 전통적인 방법은 TrackMan 이나 Hawk-Eye 와 같은 고가의 멀티카메라 시스템을 통해 공의 비행 궤적 (속도, 회전율, 이동 거리 등) 을 측정하는 방식에 의존해 왔습니다. 그러나 이러한 시스템은 수백만 원의 설치 비용이 들어 프로 경기장에만 제한적으로 적용됩니다.

이 연구는 공의 비행 데이터 없이 오직 방송 영상에서 추출된 투수의 3D 관절 운동학 (Kinematics) 만으로 구종을 예측할 수 있는지, 그리고 어떤 생체역학적 신호가 구종 구분에 결정적인 역할을 하는지를 규명하는 것을 목표로 합니다. 이를 통해 저비용으로 아마추어 리그나 훈련 시설에서도 생체역학적 피드백을 제공할 수 있는 가능성을 탐구합니다.

2. 방법론 (Methodology)

연구팀은 119,561 개의 프로 투구 시퀀스를 대상으로 한 대규모 파이프라인을 구축했습니다. 주요 단계는 다음과 같습니다.

• 데이터셋:

  • DreamPose3D 모델을 사용하여 단안 (Monocular) 방송 영상에서 17 개의 관절 (코, 목, 어깨, 팔꿈치, 손목, 골반, 무릎, 발목 등) 의 3D 좌표를 복원했습니다.
  • 총 119,561 개의 투구 데이터 (8 가지 구종: 4-seam, 2-seam, 슬라이더, 체인지업, 커브, 스윕, 커터, 스플리터) 를 포함하며, 이는 기존 생체역학 연구보다 10 배 이상 큰 규모입니다.

• 이벤트 감지 (Event Detection):

  • 각 투구 시퀀스에서 세 가지 핵심 생체역학적 이벤트를 자동으로 감지합니다:
    1. Foot Plant (FP): stride foot 이 지면에 닿는 순간.
    2. Maximum External Rotation (MER): 팔꿈치가 최대 외회전하는 순간.
    3. Ball Release (REL): 공이 손에서 떨어지는 순간.
  • 이 이벤트들의 위치는 발목 높이와 팔꿈치 굴곡 각도 신호를 기반으로 정밀하게 (FP ±30ms, REL ±20ms 오차) 추정됩니다.

• 특징 추출 (Feature Extraction):

  • 총 229 개의 특징 벡터를 추출합니다:
    1. Raw Pose (153 차원): 세 이벤트 시점의 17 개 관절 3D 좌표 (골반 기준 정규화 및 신장 보정).
    2. Biomechanical Metrics (45 차원): 관절 각도 (무릎, 팔꿈치), 몸통 방향 (전후/좌우 기울기, 회전), 골반 회전, X-Factor (상체와 골반의 분리), 중력 중심 (COG) 등 검증된 생체역학 지표.
    3. Temporal Deltas (30 차원): 이벤트 간 (FP→MER, MER→REL) 의 생체역학 지표 변화량.
    4. Handedness: 투수의 우/좌투 여부 (0 또는 1).

• 분류 모델:

  • 추출된 229 개 특징을 입력으로 XGBoost (Gradient Boosted Trees) 분류기를 학습시켰습니다.
  • 8 가지 구종 클래스에 대한 소프트맥스 교차 엔트로피를 최적화했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

• 높은 정확도 달성: 공의 비행 데이터 없이 오직 투수의 몸동작만으로 **80.4%**의 분류 정확도를 달성했습니다. 이는 기존 2D 포즈 기반 연구 (60% 대) 보다 월등히 높은 수치입니다.
• 생체역학 지표의 중요성: 원시 포즈 좌표만 사용할 때 (76.5%) 보다, 검증된 생체역학 지표 (관절 각도, 몸통 기울기 등) 를 추가했을 때 정확도가 **3.9%p 상승 (80.4%)**하여, 기하학적 사전 지식이 데이터 기반 학습을 보완함을 입증했습니다.
• 해석 가능한 중요도 분석 (Interpretability):
  • 상체 vs 하체: 예측 신호의 **64.9%**가 상체 (팔, 손목, 머리) 에서 나왔으며, 하체는 35.1% 에 불과했습니다. 이는 투수가 구종에 따라 하체 동작은 일관되게 유지하여 상대를 속이고 (Deception), 상체 동작으로 구종을 결정한다는 투구 역학의 핵심 원리를 데이터에서 재발견한 것입니다.
  • 가장 중요한 특징: **손목 위치 (14.8%)**와 **머리 방향 (19.0%)**이 가장 중요한 관절 그룹이며, 단일 생체역학 지표로는 **몸통의 측면 기울기 (Trunk Lateral Tilt)**가 1 위, 3 위, 10 위를 차지하며 가장 강력한 예측 인자로 나타났습니다.
• 구분 불가능한 한계 (Empirical Ceiling):
  • 4-seam Fastball과 2-seam Fastball은 그립 (Grip) 차이만 있을 뿐 운동학적으로 거의 동일하여 포즈만으로 구분하기 어렵습니다. 이 두 구종 간의 혼동 (Confusion) 이 전체 오차의 대부분을 차지하며, 이는 운동학 정보의 한계를 나타내는 **약 80% 의 경험적 천장 (Ceiling)**을 설정합니다.

4. 실험 결과 (Results)

• 분류 성능:
  • XGBoost 모델은 Random Forest 보다 7~13% 높은 성능을 보였습니다.
  • **Changeup (F1: 85%)**과 **Curveball (F1: 84%)**은 기계적으로 뚜렷한 차이가 있어 가장 잘 분류되었습니다.
  • 4-seam/2-seam Fastball과 Cutter는 혼동이 가장 많았습니다. 특히 4-seam 과 2-seam 은 그립 차이만 있어 포즈 기반 분류의 한계를 명확히 보여줍니다.
• 비교 분석:
  • 공의 비행 데이터 (속도, 회전 등) 를 포함하면 정확도가 94.0% 까지 올라가지만, 이는 구종을 정의하는 데이터이므로 순환 논리 (Circular) 에 해당합니다.
  • 포즈 기반 (80.4%) 과 공 비행 기반 (94.0%) 의 13.6% 차이는 그립, 회전, 공의 물리적 특성에만 존재하는 정보량을 의미합니다.
• 샘플링 전략: 균일하게 샘플링된 프레임보다 세 가지 핵심 이벤트 (FP, MER, REL) 시점의 데이터를 사용하는 것이 정확도를 12.4%p 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 다음과 같은 중요한 의의를 가집니다:

1. 하드웨어 없는 생체역학 분석: 고가의 트랙킹 장비 없이도 방송 영상만으로 투수의 구종과 생체역학적 특성을 분석할 수 있음을 입증했습니다. 이는 아마추어 선수, 대학 팀, 훈련 시설 등에 접근 가능한 생체역학 피드백 시스템을 가능하게 합니다.
2. 투구 전략에 대한 통찰: 데이터만으로 "하체는 일관되게 유지하고 상체로 구종을 변형한다"는 투수의 기만 (Deception) 전략을 자동으로 학습하여 재발견했습니다.
3. 해석 가능한 AI: 단순히 분류만 하는 것이 아니라, 어떤 관절과 어떤 생체역학적 움직임이 구종 예측에 기여하는지 (예: 손목, 몸통 기울기) 를 명확히 설명할 수 있는 해석 가능한 (Interpretable) 모델을 제시했습니다.
4. 한계와 미래 방향: 그립에 의존하는 구종 (4-seam vs 2-seam) 구분의 한계를 규명함으로써, 향후 손과 공의 상호작용 (Hand-Ball Interaction) 모델링이 필요함을 제시했습니다.

요약하자면, 이 논문은 컴퓨터 비전과 스포츠 과학의 융합을 통해 대규모 데이터에서 투구 역학의 본질을 규명하고, 저비용 고효율의 투구 분석 도구를 제시한 선구적인 연구입니다.