기술 요약: SMART (SMPLest-X Mesh Adaptation and RAFT Tracking) 축구 포즈 추정

문제 정의

본 논문은 방송 중계 영상으로부터 축구 선수의 3D 월드 공간 포즈를 추정하는 것을 목표로 하는 FIFA Skeletal Tracking Challenge 2026을 다룹니다. 입력 데이터는 제공된 프레임별 바운딩 박스, 카메라 내부 파라미터($K_t$), 방사 왜곡 계수($k_t$), 그리고 초기 카메라 포즈($R_0, t_0$)가 포함된 비디오 클립(50 fps, 1920×1080)으로 구성됩니다.

목표는 공유된 월드 좌표계 내에서 $T$ 프레임 동안 $N$ 명의 추적된 선수들에 대한 3D 관절 위치를 예측하는 것입니다. 각 선수는 FIFA-15 스켈레톤(코, 어깨, 팔꿈치, 손목, 엉덩이, 무릎, 발목, 엄지발가락을 포함한 15개 관절)으로 표현됩니다. 성능은 다음 두 가지 미터(m) 단위 지표로 평가됩니다:

1. Global MPJPE: 절대적인 월드 좌표에서의 평균 관절당 오차.
2. Local MPJPE: 루트(중간 엉덩이)를 뺀 후의 평균 관절당 오차.

최종 대회 점수는 $L = \text{Global MPJPE} + 5 \times \text{Local MPJPE}$로 정의되며, 이는 로컬 포즈 품질의 5배 높은 가중치를 강조합니다.

방법론

제안된 SMART 파이프라인은 네 단계의 순차적인 단계로 구성됩니다:

1. 3D 바디 메쉬 복원 (SMPLest-X)

시스템은 SMPL-X 표현을 기반으로 구축된 ViT-H 백본(687M 파라미터)을 가진 회귀 기반 모델인 SMPLest-X를 활용합니다.

• 입력 처리: 플레이어 바운딩 박스를 1.2배 확장하고 512×384 픽셀로 크기를 조정합니다.
• 추론: 모델은 SMPL-X 파라미터(형태 $\beta$, 포즈 $\theta$, 전역 방향)를 회귀하여 전체 바디 메쉬(10,475개 정점)를 생성합니다. 15개의 FIFA-15 관절은 메쉬의 고정된 정점 룩업(lookup)을 통해 추출됩니다.
• 도메인 적응형 미세 조정(Domain-Adaptive Fine-Tuning): 사전 학습된 모델과 브로드캐스트 축구(작은 선수 크기와 넓은 화각이 특징) 사이의 도메인 격차를 줄이기 위해 저자들은 다음을 채택했습니다:
  • 층화 클립 분할(Stratified Clip Split): WorldPose 데이터셋의 89개 클립을 프레임 중복이 없고 카메라 분포가 일치하도록 70개의 훈련 클립과 19개의 검증 클립으로 분할했습니다.
  • 멀티 태스크 손실(Multi-Task Loss): $L_{train} = \lambda_1 L_{3D} + \lambda_2 L_{2D} + \lambda_3 L_{depth}$. 여기서 $L_{3D}$는 가중치가 적용된 MPJPE(말단 부위에 3배 가중치), $L_{2D}$는 투영된 키포인트에 대한 L2 손실, $L_{depth}$는 카메라 공간 골반 깊이에 대한 L1 손실입니다.
  • 브로드캐스트 증강(Broadcast Augmentation): 무작위 크기 재조정 크롭, 대칭적 관절 치환을 포함한 수평 뒤집기, 컬러 지터링을 적용했습니다.

2. 카메라 포즈 추정 (RAFT)

베이스라인의 Lucas-Kanade 희소 트래커 대신, 이 방법은 초기 포즈로부터 카메라 회전($R_t$)과 이동($t_t$)을 전파하기 위해 조밀한 광학 흐름(dense optical flow)을 위한 RAFT-small을 사용합니다.

• 흐름 계산: 714개의 투영된 피치 랜드마크의 볼록 껍질(convex hull) 내에서 프레임 간 조밀한 흐름을 계산합니다.
• 이상치 제거(Outlier Rejection): 플레이어의 움직임으로 오염된 흐름 벡터는 MAD 이상치 제거(3$\sigma$ 임계값)를 사용하여 제거됩니다.
• 포즈 분해: 호모그래피를 RANSAC을 통해 적합시키고 ($R_t, t_t$)로 분해합니다. 회전 변화 $|\Delta R| > 60^\circ$가 발생하는 업데이트는 트래킹 실패를 방지하기 위해 거부됩니다.
• 정교화: 필드 라인의 교차점이 감지되면, EPnP 솔버가 첫 번째 프레임의 절대 카메라 위치를 수정합니다.

3. 월드 공간 스켈레톤 배치

카메라 공간 스켈레톤은 세 단계를 통해 월드 좌표계로 리프팅됩니다:

1. 회전 및 초기 배치: 루트 상대적 스켈레톤을 월드 프레임으로 회전시키고($\hat{S}_t = R_t S^{(cam)}_t$), 골반 이동량을 월드 공간으로 투영합니다($p_t = R_t p^{(cam)}_t + t_t$).
2. 발 평면 앵커링(Foot-Plane Anchoring): 바운딩 박스 내 가장 낮은 발 픽셀을 카메라 레이(ray)로 역투영하고 이를 알려진 피치 평면 방정식과 교차시켜 지면 접촉 지점($f_t$)을 찾습니다. 모든 관절은 하단 발목이 $f_t$와 정렬되도록 이동됩니다.
3. 재투영 정교화: 두 단계의 L-BFGS 최적화를 통해 스켈레톤 중심을 바운딩 박스 중심에 맞추고, 그 다음 투영된 관절을 2D 키포인트와 정렬합니다.

4. 시계열 평활화 (Temporal Smoothing)

두 단계의 평활화 전략을 통해 탐지 지터를 제거합니다:

• 1단계 (Global): 글로벌 루트 궤적은 MAD 이상치 탐지("텔레포트" 점프 플래깅), 선형 보간, 그리고 가우시안 필터($\sigma=3$ 프레임)를 사용하여 정제됩니다.
• 2단계 (Local): 루트 상대적 관절 오프셋은 빠른 사지 움직임(예: 킥)을 보존하면서 단일 프레임 지터를 제거하기 위해 더 좁은 가우시안($\sigma=1.5$ 프레임)으로 독립적으로 평활화됩니다.

주요 기여 및 절제 연구(Ablation) 결과

본 논문은 각 구성 요소의 필요성을 입증하는 체계적인 절제 연구를 제시합니다:

• 미세 조정 전략:

  • 베이스라인 (SAM-3D): 점수 1.053.
  • SMPLest-X 사전 학습 모델: 점수 0.846 (도메인 격차를 보여줌).
  • 단순 미세 조정 (Naïve Fine-tuning): 점수 0.820 (글로벌 성능은 개선되나 뷰포인트 과적합으로 인해 로컬 MPJPE는 악화됨).
  • 발 평면 앵커링 (Foot-Plane Anchoring): 스켈레톤을 피치 평면에 고정함으로써 점수를 0.714로 낮춤.
  • 전체 전략 (SMART): 검증 세트에서 0.647 달성. 저자들은 **깊이 감독 ($L_{depth}$)**이 가장 지배적인 요인임을 확인했습니다. 이 기능이 없으면 다른 증강 기법과 상관없이 로컬 MPJPE는 0.067 m에서 정체됩니다.

• 카메라 트래커:

  • ECC 호모그래피: 움직이는 플레이어를 무시하지 못해 성능이 저조함 (0.107° 오차).
  • Lucas-Kanade (베이스라인): 0.043° 오차.
  • RAFT-small + MAD: 0.041° 오차 달성. 저자들은 플레이어 실루엣 위의 조밀한 흐름이 노이즈를 유발하지만, MAD 필터링에 의해 효과적으로 완화된다고 언급했습니다. RAFT-large는 두 배의 연산 비용에도 불구하고 추가적인 이득이 없었습니다.

• 시계열 정교화기 (Temporal Refiner):

  • 학습된 슬라이딩 윈도우 시계열 네트워크는 훈련 분할의 로컬 MPJPE를 줄였으나, 훈련 분포에 잘 나타나지 않는 빠른 동작을 과하게 평활화하여 대회 성능을 저하시켰습니다 (0.680 vs 0.647). 결과적으로 최종 제출물은 가우시안 평활화만을 사용합니다.

결과

SMART는 FIFA 베이스라인에 비해 유의미한 개선을 보여줍니다:

• 검증 세트 (Validation Set): 점수가 1.053 (베이스라인)에서 0.647 (SMART)로 감소하여, 38.6%의 개선을 이루었습니다.
  • Global MPJPE: 0.602 $\to$ 0.370 m.
  • Local MPJPE: 0.090 $\to$ 0.055 m.
• 홀드아웃 테스트 세트 (Held-out Test Set): SMART는 0.593의 점수를 달성했습니다.
  • Global MPJPE: 0.324 m.
  • Local MPJMP: 0.054 m.

의의 및 한계점

논문은 글로벌 오차의 주요 병목 현상이 카메라 트래킹, 특히 급격한 줌으로 인해 피치 평면의 변형이 발생하는 시퀀스라고 주장합니다. 반대로, 미세 조정된 리프터(lifter)와 발 평면 앵커링이 갖춰지면 로컬 오차는 카메라와 거의 독립적이 됩니다.

저자들은 다음과 같은 특정 한계점을 겸허히 인정합니다:

1. 다이빙 포즈: 훈련 데이터(WorldPose)에서 과소 표현되어, 극단적인 구성과 공중에 떠 있는 플레이어의 발 평면 앵커링 실패를 겪습니다.
2. 폐쇄 (Occlusion): SMPLest-X의 프레임별 특성은 폐쇄 상황에서 취약하며, 향-지향적(temporally-aware) 리프터가 향후 개선 사항으로 제안되었습니다.
3. 연산 비용: 687M 파라미터의 ViT-H 백본이 추론 비용을 지배하며, 저자들은 ViT-S 백본을 사용할 경우 약간의 정확도 손실과 함께 4배의 속도 향상을 얻을 수 있다고 언급했습니다.

이 연구는 도메인 적응형 미세 조정과 견고한 조밀 광학 흐름 트래킹, 그리고 기하학적 접지(foot-plane anchoring)를 결합하는 것이 브로드캐스트 축구 포즈 추정에서 표준 베이스라인을 크게 능가함을 입증합니다.