Training-Free Off-Screen Player Imputation for Broadcast-Based Spatial Football Analytics

기술 요약: 방송 기반 공간 축구 분석을 위한 학습 불필요 오프스크린 플레이어 임퓨테이션(Imputation)

문제 정의
피치 컨트롤(pitch control)과 같은 공간 축구 분석은 근본적으로 22명 전원의 위치에 의존한다. 그러나 브로드캐스트 분석의 주요 소스인 메인 카메라 뷰는 본질적으로 부분적이다. 공을 따라 팬(panning)하고 줌(zooming)하는 특성 때문에, 일반적인 방송 프레임은 22명의 플레이어 중 10~16명만을 보여준다. 현재의 게임 상태 재구성(GSR) 파이프라인은 이러한 오프스크린 플레이어들을 무시하고 이들이 존재하지 않는 것으로 처리하는 경우가 많다. 이러한 "가시 플레이어 전용(visible-only)" 접근 방식은 체계적인 편향을 유발한다. 즉, 수비진이 화면 밖에 있을 때 팀이 전술적 실패로 인해 공간을 내어주는 것이 아니라, 단지 카메라 프레이밍 때문에 통제권을 상실한 것처럼 보이게 만든다. 이러한 왜곡은 이미 인지되어 왔으나 오픈 데이터상에서 정량화된 사례는 드물며, 기존의 학습된 솔루션들(예: DeepMind의 Graph Imputer)은 독점 데이터, 미래 관측값(양방향 추론), 그리고 오프라인 학습에 의존하기 때문에 엄격하게 온라인이며 실시간인 방송 분석에는 적용할 수 없다.

방법론
본 논문은 오프라인 학습이나 미래 프레임에 대한 접근 없이, 분석 중인 경기에서 관찰된 데이터만을 사용하여 작동하는 학습 불필요(training-free), 온라인 임퓨테이션 프레임워크를 제안한다. 핵심 방법론은 "사다리" 형태의 베이스라인을 구성하며, 그 정점에는 **역할 기반 중심점 투표(Role-Anchored Centroid Voting, B4)**라는 새로운 접근법이 있다.

1. 베이스라인 전략:

   • B0 (무시): 표준적인 가시 플레이어 전용 베이스라인.
   • B1 (마지막 관측): 마지막으로 관찰된 위치를 유지하며, 가시적인 팀 평균값으로 감쇠(decay)한다.
   • B2 (포메이션 앵커): 플레이어가 보일 때 팀 중심점으로부터의 오프셋(offset)을 저장하고, 숨겨졌을 때 이 오프셋을 현재 가시적인 팀 중심점에 적용한다.
   • B3 (강화된 앵커): B2에 지수 이동 평균(EMA) 오프셋과 등속도 외삽(constant-velocity extrapolation)을 결합한다.
   • B4 (역할 기반 중심점 투표): 제안된 최적의 방법이다. 이는 B2에 내재된 "뷰포트 서브셋 편향(viewport subset bias)" 문제를 해결한다. 카메라가 팬(pan)할 때, 가시적인 플레이어의 부분 집합은 실제 팀 중심점에 비해 공간적으로 편향될 수 있다. B4는 각 가시 플레이어가 전체 팀의 중심점을 향해 "투표"하게 함으로써 이를 완화한다. 각 가시 플레이어 $i$는 자신의 저장된 역할 오프셋을 뺀 값($p_i - off_i$)을 현재의 전체 팀 중심점으로 제안한다. 투표된 중심점 $\hat{c}(t)$는 이러한 제안들의 평균이다. 오프셋은 투표된 중심점을 기준으로 EMA를 통해 업데이트된다. 숨겨진 플레이어는 $\hat{c}(t) + off_j$로 임퓨테이션된다. 이는 오프셋과 중심점이 서로를 조정하여 체계적인 서브셋 편향을 상쇄하는 자기 일관적 부트스트랩(self-consistent bootstrap)을 생성한다.

2. 벤치마킹 프로토콜:

   • 데이터: Metrica Sports의 오픈 풀 피치 트래킹 데이터 (3개 경기, 25 fps).
   • 시뮬레이션: 가상 메인 카메라가 지수 평활화된 공의 위치를 따라 수평으로 이동하며, 테스트된 너비 $W$(36m, 44m, 52m, 60m)를 가진 뷰포트를 생성한다.
   • 지표: 평가의 우선순위는 순수한 궤적 충실도보다 다운스트림 의사결정에 유효한 지표에 둔다:
     • 숨겨진 플레이어 위치 오차: 임퓨테이션된 위치와 실제 위치 사이의 거리.
     • 피치 컨트롤 맵 MAE: 공간 제어 맵의 오차, 특히 숨겨진 구역에서의 오차.
     • 팀 컨트롤 점유율 오차: 헤드라인 지표인 "팀 A가 제어하는 피치의 백분율"의 오차.

주요 기여

1. 재현 가능한 왜곡 벤치마크: 저자들은 오프스크린 플레이어를 무시할 때 발생하는 오차를 정량화하는 오픈 벤치마크를 구축한다. "무시(ignore)" 베이스라인이 숨겨진 구역의 피치 컨트롤 오차를 25.126.9 퍼센트 포인트 증가시키고, 컨트롤 점유율 오차를 11.113.4 포인트 증가시킨다는 것을 입증한다.
2. 학습 불필요 온라인 베이스라인: 별도의 학습 데이터가 필요 없는 계층적 방법들을 소개한다. 가장 우수한 성능을 보이는 역할 기반 중심점 투표(B4)는 숨겨진 구역의 컨트롤 오차를 약 절반(12.213.8 포인트)으로 줄이고, 모든 뷰포트 너비에서 컨트롤 점유율 오차를 ignore 정책 대비 2848% 수준으로 낮춘다.
3. 엔드 투 엔드 통합: 이 방법은 브로드캐스트 비디오 GSR 파이프라인에 통합되어 실제 월드컵 영상에서 테스트되었다. 연구 결과, 임퓨테이션이 다운스트림 점유 품질 점수(Space-Creation Index)를 15.6에서 17.2 포인트까지 변화시킬 수 있음을 보여주는데, 이는 방송 클립에 대한 풀 피치 정답 데이터(ground truth)가 부재한 상황에서, 임퓨테이션된 점수가 '진실된' 값을 의미하는 것이 아니라 오프스크린 플레이어를 임퓨테이션할 때 판정이 어떻게 변할 수 있는지를 보여주는 민감도 분석 결과임을 명시한다. 이러한 변화는 특정 게임 구간에서 판정 클래스(예: "데드 포제션"에서 "약한 전진"으로)를 바꿀 수 있는 수준임을 시사한다.

결과

• 성능: 표준 뷰포트 너비 44m에서, B4는 숨겨진 플레이어에 대해 9.7~11.6m의 중앙값 위치 오차를 달성하며, 포메이션 앵커(B2)보다 우수하고 ignore 베이스라인보다 현저히 높은 성능을 보인다.
• 강건성: 이 방법은 세 가지 다른 경기와 다양한 뷰포트 너비에 걸쳐 일관된 성능을 보인다. 개선 효과는 플레이어가 적게 보이는 좁은(어려운) 뷰포트에서 가장 두드러진다.
• 폐쇄(Occlusion) 레짐: 기존의 학습된 모델들과 유사한 단기 폐쇄 레짐(≤9.6초)에서 B4는 3.38.9m의 중앙값 오차를 달성한다. 결정적으로, 본 벤치마크는 브로드캐스트 영상 내 숨겨진 플레이어 관측의 5057%가 **장기 폐쇄 레짐(>9.6초)**에 해당함을 밝혀냈으며, 이는 기존의 양방향 학습 모델이 작동할 수 없는 영역이다. B4는 미래의 맥락 없이도 이 대다수의 케이스에 대한 실행 가능한 솔루션을 제공한다.
• 어블레이션(Ablation): 투표 메커니즘(B4)은 단순 오프셋 적용(B3E)보다 우수함이 입증되었는데, 이는 오프셋을 저장하기 위한 참조 프레임과 적용하기 위한 참조 프레임을 일치시켜 편향의 누적을 방지하기 때문이다.

의의 및 주장
본 논문은 학습된 임퓨터가 학습 데이터와 미래 맥락을 사용할 수 있을 때 여전히 더 선호된다는 점을 명시하며 겸허한 입장을 유지한다. 그러나 저자들은 세 가지 핵심 사항을 확립한다:

1. 정량화된 왜곡: 플레이어를 무시함으로써 발생하는 왜곡이 적절히 처리되지 않을 경우 공간 지표를 무효화할 만큼 크다는 것을 입증한다.
2. 학습 불필요한 하한선(Floor): 학습된 방법들이 넘어서야 할 성능 기준(B4)을 제공하며, 오프라인 학습이나 GPU 자원 없이도 상당한 이득을 얻을 수 있음을 증명한다.
3. 장기 폐쇄의 실행 가능성: 가장 가까운 기존 학습 연구의 범위를 벗어나 있으며, 브로드캐스트 데이터의 대부분을 차지하는 장기 폐쇄 레짐(>9.6초)을 강조하고 점수화한다.

결론적으로, 엄격하게 온라인인 브로드캐스트 기반 분석을 위해, 역할 기반 중심점 투표와 같은 학습 불필요 방법은 공간적 무결성을 회복하고 카메라 프레이밍이 전술 분석을 좌우하는 것을 방지하기 위한 필수적이고 효과적인 구성 요소이다.