기술 요약: SoccerNet 2026 플레이어 중심 볼 액션 스포팅 (Player-Centric Ball Action Spotting)

문제 정의

본 논문은 SoccerNet 2026 경진대회의 핵심 과제인 플레이어 중심 볼 액션 스포팅(Player-Centric Ball Action Spotting) 문제를 다룬다. 목표는 비디오 시퀀스 내에서 개별 플레이어가 수행하는 특정 볼 관련 동작(예: 패스, 슈팅, 태클)을 탐지하고 국지화하는 것이다. 시스템은 단순한 프레임 단위 분류를 넘어, 프레임 타임스탬프, 액션 클래스, 플레이어 역할이 포함된 구조화된 이벤트 시퀀스를 출력해야 한다.

방법론

제안된 시스템은 주최 측이 설정한 2단계 파이프라인을 따르며, **트랙 인식 액션 탐지기(Track-Aware Action Detector, TAAD)**와 디노이징 시퀀스 트랜스덕션(Denoising Sequence Transduction, DST) 모델로 구성된다. 저자들은 두 단계 모두에 특정 아키텍처 및 학습 수정 사항을 도입하였으며, 최종적으로 합의 기반의 앙상블 전략을 도출하였다.

1단계: 트랙 인식 액션 탐지기(TAAD) 개선 사항

X3D 아키텍처에 의존하는 베이스라인 TAAD는 시간적 의존성을 더 잘 포착할 수 있도록 다음과 같이 개선되었다:

• 템포럴 트랜스포머 통합 (Temporal Transformer Integration): 프레임을 독립적으로 분류하는 대신, 시스템은 (플레이어별, 프레임별) ROI 정렬 특징을 256차원 공간으로 투영한다. 이 특징들은 4개 층의 트랜스포머 인코더(8개 어텐션 헤드, 1024 차원 피드포워드)를 통해 처리되며, 학습 가능한 위치 임베딩(최대 50프레임)을 사용한다. 이를 통해 모델은 9개 클래스 분류를 위한 512차원 투영 전, 시간적 패턴을 추론할 수 있다.
• 학습 미세 조정: 저자들은 이전에 학습률 업데이트를 중단시켰던 웜업 스케줄러 버그를 수정하였다. 추가적인 수정 사항은 다음과 같다:
  • X3D 백본을 제외한 모든 레이어에 코사인 어닐링 스케줄러(cosine annealing scheduler) 적용 (백본은 고정 LR 사용).
  • 학습률을 $1/\sqrt{8}$로 스케일링.
  • 배경 클래스 가중치를 감소(0.05)시키고, 에폭 16부터 트랙릿(tracklet) 수를 4개에서 6개로 증가.
  • 생성된 로짓(logits)은 후속 DST 단계의 고정된 입력값으로 취급된다.

2단계: 디노이징 시퀀스 트랜스덕션(DST) 개선 사항

DST 컴포넌트는 게임 상태 특징과 TAAD 로짓을 자기회귀(autoregressive) 트랜스포머를 통해 구조화된 이벤트 시퀀스로 변환한다. 주요 혁신 사항은 다음과 같다:

• 플레이어별 어텐션 메커니즘 (Per-Player Attention Mechanism): 베이스라인 인코더는 26개의 역할 특징 벡터를 평탄한(flat) 입력으로 취급했다. 제안된 방법은 2단계 어텐션 메커즘을 도입한다:
  1. 공간 어텐션 (1단계): 교차 플레이어 어텐션(cross-player attention)으로, 특정 타임스텝에서 26명의 플레이어가 서로에게 어텐션을 수행하여 공간적 구성을 포착한다.
  2. 시간 어텐션 (2단계): 각 플레이어의 표현에 대해 시간 차원에 따라 독립적으로 적용되는 셀프 어텐션(self-attention)을 적용하여 상태 진화를 모델링한다.
  • 참고: 실험 결과, TAAD 로짓을 제외하고 게임 상태 특징(위치, 속도, 가시성)만을 사용하여 이 어텐션 메커즘을 수행했을 때 더 우수한 성능을 보였다.
• 공간 우선 순위 결정 (Spatial-First Ordering): 공간 어텐션을 시간 어텐션보다 먼저 처리하는 것이 결정적이었으며, 역순으로 처리했을 때보다 검증 세트에서 +1.87%의 Macro-F1 향상을 가져왔다.
• 앙상블을 위한 아키텍처 다양성: 다양성을 확보하기 위해 서로 다른 하이퍼파라미터를 가진 4개의 별도 DST 모델(A–D)을 학습시켰다:
  • 모델 A: 기본 구성 (hidden dim 512, 1개 어텐션 레이어).
  • 모델 B: 증가된 은닉 차원 (768).
  • 모델 C: 증가된 어텐션 깊이 (2개 레이어) 및 차원 (dp=128).
  • 모델 D: 병렬 어텐션 아키텍처로, 공간 및 시간 브랜치가 입력을 독립적으로 처리하고 합산됨.
• 추론 최적화: 저자들은 로짓 조정 온도($\tau$)를 클래스별 임계값에 따라 최적화할 경우 검증 세트에 과적합된다는 것을 발견했다. 따라서 최종 예측에는 모든 것에 대해 $\tau=0$과 기본 임계값을 채택하였다.

앙상블 전략

최종 제출물은 **합의 필터링(Agreement Filtering)**을 포함한 가중 이벤트 퓨전(Weighted Event Fusion) 전략을 사용한다:

1. 클러스터링: $N$개 모델의 예측을 (팀, 유니폼 번호, 액션 클래스)별로 그룹화하고 $\pm 12$프레임 윈도우 내에서 클러스터링한다.
2. 합의 가중치 부여 (Agreement Boost): $n$개의 모델에 의해 지원되는 클러스터의 경우, 평균 점수에 $(n/N)^{0.5}$를 곱한다.
3. 필터링: 허위 양성(false positive, 환각 현상)을 억제하기 위해 2개 미만의 모델에 의해 예측된 이벤트는 폐기한다.
4. 예외 처리: "태클(Tackle)" 이벤트의 극심한 희소성(96개 훈련 게임 중 26회 발생)과 낮은 모델별 F1을 고려하여, 태클 이벤트에 대해서는 합의 필터를 우회한다. 이는 해당 클래스의 재현율(recall)을 유지하기 위해 단일 모델 탐지를 보존하기 위함이다.

결과

시스템은 챌린지 세트에서 Macro-F1 점수 58.94를 달성하였다.

• 점진적 이득: 개선된 TAAD를 적용한 베이스라인 DST는 챌린지에서 48.6을 기록했다. 플레이어별 어텐션과 공간 우선 순위를 추가하여 이를 55.1로 높였다. 최종 4개 모델 앙상블은 58.94에 도달했다.
• 클래스별 성능: 앙상블은 "태클"을 제외한 모든 클래스에서 개별 모델보다 우수한 성능을 보였으며, 태클의 경우 모델 B가 가장 강력한 개별 성능을 보였다. 앙상블은 허위 양성을 억제하면서도 재현율을 유지함으로써 흔하거나 중간 빈도의 클래스(예: 드라이브, 패스, 크로스) 성능을 크게 개선했다.
• 일반화: 검증 세트와 챌린지 세트 간의 격차가 단일 모델의 약 6점에서 앙상블의 2점으로 좁혀졌으며, 이는 일반화 성능의 향상을 나타낸다.

의의 및 주장

본 논문은 주요 기여가 DST 인코더 내 플레이어별 어텐션 메커즘의 통합과 합의 기반 앙상블 전략에 있다고 주장한다.

• 공간 우선 어텐션 순서는 시간적 추론을 위한 풍부한 컨텍스트를 제공하는 결정적인 아키텍처 선택으로 식별되었다.
• 합의 필터링 메커니즘은 재현율을 희생하지 않으면서 허위 양성을 줄이는 핵심 요소로 강조되었으며, 특히 태클 이벤트에 대한 예외 처리는 클래스 불균형을 다루는 표적화된 접근 방식을 보여준다.
• 저자들은 본 연구를 제공된 베이스라인 파이프라인에 대한 체계적인 개선 작업으로 겸허히 정의하며, 아키텍처의 다양성과 엄격한 앙상블 필터링이 복잡한 다중 플레이어 액션 스포팅 작업에서 성능을 크게 높일 수 있음을 입증하였다.