🤖 AI

Entity-Aware Sequence Transduction for Player-Centric Ball Action Spotting

본 논문은 분해된 시공간 주의 집중 메커니즘을 통해 선수-역할 차원을 보존함으로써 기존 베이스라인 대비 FOOTPASS 데이터셋에서의 선수 중심 볼 액션 스포팅 성능을 유의미하게 향상시키는 새로운 아키텍처인 다중 엔티티 디노이징 시퀀스 트랜스덕션(Multi-Entity Denoising Sequence Transduction, ME-DST)을 제안한다.

원저자: Ruifeng Wang, Di Yang, Jiangtao Wang

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruifeng Wang, Di Yang, Jiangtao Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 경기장에서 22명이 벌이는 혼란스럽고 빠른 속도의 술래잡기 게임을 상상해 보십시오. 그런데 이 모든 것을 때로는 너무 가깝게 줌인하고, 때로는 공을 아예 놓쳐버리는 흔들리는 카메라를 통해 보고 있는 상황입니다. 이것이 바로 컴퓨터가 축구 경기를 '관찰'하려고 할 때 마주하는 일상의 현실입니다. 수년 동안 과학자들은 AI에게 이러한 영상 속에서 무엇이 일어나고 있는지(예: 패스나 슛을 포착하는 것)를 가르쳐 왔지만, 여기에는 까다로운 누락된 조각이 하나 있습니다. 바로 '누가' 그 행동을 했는지 아는 것입니다. "이 초에 패스가 일어났다"라고 말하는 것과, "선수 번호 10번이 이 초에 패스를 했고, 그동안 선수 번호 7번은 그를 태클하려고 시도했다"라고 말하는 것은 완전히 다른 차원의 문제입니다. 이것이 바로 '선수 중심의 볼 액션 스포팅(player-centric ball action spotting)'의 세계이며, 이 분야의 목표는 흐릿하고 붐비는 영상들을 각 선수의 움직임에 대한 명확하고 조직적인 이야기로 바꾸는 것입니다. 연구자들이 던지는 핵심 질문은 이것입니다. 어떻게 하면 22개의 서로 다른 정체성을 디지털 믹서기에 넣고 갈아버리지 않으면서, 동시에 추적하도록 컴퓨터를 가르칠 수 있을까요?

여기 AI를 위한 매우 조직적인 코치 역할을 하는 ME-DST라는 새로운 방법론이 등장했습니다. 이 문제를 해결하려 했던 이전의 시도들은 마치 팀 전체를 사진으로 찍은 뒤, 22명의 선수를 모두 하나의 평평한 데이터 선으로 압축하여 컴퓨터에게 누가 무엇을 했는지 알아내라고 요구하는 것과 비슷했습니다. 이는 마치 붐비는 방 안에서의 대화를, 모든 사람을 대표하는 단 하나의 웅얼거리는 목소리로 듣고 기억하려는 것과 같으며, 그 과정에서 세부 사항들은 소실됩니다. 이 논문의 저자들은 이러한 '평탄화(flattening)' 방식이 문제의 원인임을 깨달았습니다. 대신, 그들은 프로세스 전반에 걸쳐 각 선수를 자신만의 별도 '슬롯'이나 차선에 유지하는 시스템을 구축했습니다. 이는 마치 지휘자가 22명의 음악가에게 모두 같은 음을 연주하도록 강요하는 대신, 각자 자신만의 악보를 가지고 연주하게 하는 것과 같습니다.

이 논문은 각 선수를 단순히 군중 속의 점이 아니라 이야기 속의 뚜렷한 캐릭터로 취급하는 프레임워크인 ME-DST(Multi-Entity Denoising Sequence Transduction)를 소개합니다. 이 시스템은 두 가지 특별한 유형의 어텐션(attention)을 사용합니다. 하나는 단일 선수가 시간에 따라 어떻게 움직이고 변화하는지를 관찰하는 것이고(마치 러너의 페이스를 따라가는 것처럼), 다른 하나는 특정 순간에 선수들이 서로 어떻게 상호작용하는지를 확인하는 것입니다(마치 수비수가 다가오는 것을 알아차리는 것처럼). 이 두 가지 과업을 분리함으로써, AI는 자신의 역사와 집단의 역동성을 혼동하지 않고 모두 이해할 수 있습니다. 또한 연구자들은 선수가 얼마나 빨리 달리는지 또는 골대에 얼마나 가까운지와 같은 추가적인 '전술적' 단서들을 시스템에 입력하였고, 이는 컴퓨터가 더 똑똑한 추측을 하는 데 도움을 주었습니다.

연구진이 실제 축구 경기에서 주석이 달린 1만 개 이상의 순간을 포함하는 FOOTPASS라는 데이터셋을 통해 이 새로운 접근 방식을 테스트했을 때, 결과는 비약적인 도약을 보여주었습니다. 이 새로운 모델은 Micro F1 점수 0.778을 달성했는데, 이는 컴퓨터가 (정확한 선수, 정확한 동작, 정확한 시간)이라는 정답을 이전의 최고 방법론(0.675 기록)보다 훨씬 더 자주 맞혔음을 의미합니다. 이는 10.3 퍼센트 포인트의 향상으로, 이 분야에서는 엄청난 성과입니다. 이 연구는 '선수의 정체성'을 별도로, 그리고 명시적으로 유지하는 것이 비결임을 시사합니다. 그러나 저자들은 이것이 큰 진전이긴 하지만 아직 완벽한 해결책은 아니라는 점을 주의 깊게 언급했습니다. 예를 들어 '태클'과 같은 희귀한 동작은 여전히 AI가 포착하기 매우 어려우며, 시스템은 여전히 영상에서 선수를 먼저 찾아내기 위해 다른 도구들에 의존하고 있습니다. 하지만 선수들을 섞여 있는 군중이 아닌 뚜렷한 개별 존재로 취급하는 것이 더 효과적임을 입증함으로써, 이 논문은 컴퓨터에게 '아름다운 게임'을 진정으로 이해하도록 가르치는 명확한 새로운 길을 제시하고 있습니다.

기술 요약: 플레이어 중심의 볼 액션 스포팅을 위한 엔티티 인식 시퀀스 트랜스덕션

문제 정의

본 논문은 스포츠 영상 분석에서 매우 복잡한 과제인 **플레이어 중심의 볼 액션 스포팅(Player-Centric Ball Action Spotting)**을 다룹니다. 이 과제는 볼 접촉 이벤트가 발생하는 시점(시간적 위치), 액션 클래스, 그리고 해당 이벤트를 일으킨 특정 플레이어(유니폼 번호로 식별)를 동시에 탐지해야 합니다. 기존의 잘려진 클립에 대한 표준 액션 인식과 달리, 이 작업은 브로드캐스트 영상 내의 90분 전체를 대상으로 하며, 이벤트는 매우 짧고 빈번하게 발생하며 때로는 혼잡하거나 부분적으로 관찰되는 장면에서 일어납니다.

이 과제는 FOOTPASS 데이터셋과 SoccerNet 2026 챌린지에 의해 정형화되었습니다. 올바른 예측을 위해서는 프레임, 팀, 유니폼 번호, 액션 클래스의 네 가지 차원을 동시에 일치시켜야 합니다. TAAD+DST(디노이징 시퀀스 트랜스덕션)와 같은 기존 베이스라인은 플레이어 역할(player-role) 차원을 프레임 수준 표현의 평탄화된 구성 요소로 취급합니다. 저자들은 이러한 평탄화가 플레이어별 시간적 진화와 플레이어 간 상호작용을 모델링하는 데 필요한 귀납적 편향(inductive bias)을 약화시키며, 모델이 단일한 혼합 표현으로부터 서로 다른 구조적 의존성(단일 플레이어의 시간적 이력 vs. 플레이어 간의 공간적 관계)을 추론하도록 강요한다고 주장합니다.

방법론: ME-DST

저자들은 인코딩 과정 전반에 걸쳐 명시적인 엔티티(플레이어-역할) 구조를 보존하도록 설계된 아키텍처인 **다중 엔티티 디노이징 시퀀스 트랜스덕션(Multi-Entity Denoising Sequence Transduction, ME-DST)**을 제안합니다.

1. 입력 표현

모델은 $X \in \mathbb{R}^{T \times 26 \times 22}$ 텐서를 입력으로 받습니다. 여기서 $T$ 는 프레임 수, 26은 사전 정의된 역할 슬롯(팀당 13개), 22는 특징 차원입니다. 이 입력은 다음을 융합하여 구성됩니다:

시각적 예측: X3D-L 및 Swin3D-S 백본을 사용하는 두 가지 상보적인 TAAD 브랜치의 로짓(logits)을 $0.6z_{X3D} + 0.4z_{Swin}$ 으로 가중 합산하여 생성합니다.
전술적 특징: 위치, 속도, 가시성과 같은 원시 속성 및 속도, 가속도, 인접한 동료/상대와의 거리, 압박 지수, 골 관련 기하학적 구조와 같은 공학적 기술자(descriptors)를 포함하는 트래킹 기반 특징입니다.

2. 인수 분해된 다중 엔티티 인코더 (Factorized Multi-Entity Encoder)

핵심 혁신은 시간적 추론과 공간적 추론을 분리하는 **인수 분해된 어텐션 메커리즘(factorized attention mechanism)**입니다.

시간적 어텐션 (Temporal Attention): 각 역할 슬롯(플레이어 궤적)에 독립적으로 적용되어, 특정 플레이어의 이력과 진화를 모델링합니다.
공간적 어텐션 (Spatial Attention): 각 프레임의 모든 역할 슬롯에 걸쳐 적용되어, 플레이어 간의 정보 교환 및 상호작용을 모델링합니다.
역할 임베딩 (Role Embeddings): 학습 가능한 벡터가 각 플레이어 표현에 추가되어 명시적인 슬롯 정체성을 제공함으로써, 모델이 시간적 증거를 올바른 전술적 역할에 결합할 수 있도록 돕습니다.

이 설계는 모든 역할 슬롯을 하나의 벡터로 결합한 후 셀프 어텐션을 적용하여 시간적 및 공간적 의존성을 혼합하는 기존 DST와 대조됩니다.

3. 자기회귀 디코딩 (Autoregressive Decoding)

인코더는 트랜스포머 디코더로 처리되는 메모리 표현을 출력합니다. 디코더는 순서가 있는 이벤트 시퀀스를 예측하며, 각 이벤트에 대해 액션 클래스, 플레이어 역할 및 프레임 위치를 출력합니다. 모델은 액션 분류를 위한 레이블 스무딩(label smoothing)이 적용된 교차 엔트로피(cross-entropy)를 포함하는 결합 손실 함수를 사용하여 학습됩니다.

주요 기여

ME-DST 프레임워크: 플레이어 역할을 인코딩 과정 중에 보존하여 플레이어 내부의 진화와 플레이어 간 상호작용을 별도로 모델링할 수 있게 하는 엔티티 인식 시퀀스 트랜스덕션 모델을 도입했습니다.
인수 분해된 어텐션 설계: 플레이어별 시간적 셀프 어텐션과 프레임별 공간적 셀프 어텐션을 분리하여, 평탄화된 시퀀스 표현의 구조적 한계를 해결하는 새로운 아키텍처를 제시했습니다.
강화된 특징 통합: 트래킹 데이터에서 유도된 기하학적 및 역할 특화된 컨텍스트를 시퀀스 모델에 직접 제공하는 학습 가능한 역할 임베딩과 전술적 기술자를 통합했습니다.
경험적 검증: 엔티티 축을 보존하고 역할 정체성을 인코딩하는 것이 성능 향상의 핵심임을 입증하는 포괄적인 실험을 수행했습니다.

실험 결과

실험은 FOOTPASS 검증 세트(2023–24 유럽 시즌의 3개 경기)를 대상으로 수행되었습니다.

성능: ME-DST는 Micro F1 점수 0.778을 달성하여, 가장 강력한 공식 베이스라인(TAAD+DST, 0.675)보다 10.3 퍼센트 포인트 높은 성능을 보였습니다. 또한 정밀도(Precision, 0.682 $\to$ 0.792)와 재현율(Recall, 0.668 $\to$ 0.765) 모두 개선되었습니다.
절제 연구 (Ablation Studies):
- 역할 임베딩: 역할 임베딩을 제거했을 때 가장 큰 성능 저하(Micro F1이 0.736에서 0.569로 하락)가 발생했으며, 이는 명시적인 역할 정체성이 중요하며 움직임만으로는 신뢰성 있게 추론될 수 없음을 확인시켜 줍니다.
- 글로벌 정교화 (Global Refinement): 직관과는 반대로, 글로벌 시간적 정교화 레이어를 제거했을 때 성능이 오히려 향상되었습니다(0.736 $\to$ 0.778). 이는 인수 분해된 어텐션 블록이 이미 충분한 시간적 모델링을 제공하고 있음을 시사합니다.
- 특징 차원: 전술적 특징(8차원)은 다중 엔티티 인코더의 성능을 유의미하게 향상시켰으나(0.758 $\to$ 0.778), 플랫(flat)한 DST 인코더에서는 미미하거나 부정적인 결과를 보였습니다. 이는 더 풍부한 기술자가 플레이어 수준의 구조를 보존하는 아키텍처를 필요로 함을 나타냅니다.
클래스별 분석: 모든 카테고리에서 유의미한 개선이 관찰되었으며, 특히 Cross (+0.216), Header (+0.211), Block (+0.173)에서 가장 큰 폭의 향상을 보였습니다. 또한 "볼이 숨겨진(ball-hidden)" 조건에서도 재현율이 개선되었습니다.

의의 및 주장

본 논문은 명시적 엔티티 모델링이 플레이어 중심의 스포츠 이벤트 이해를 위한 효과적인 귀납적 편향 역할을 한다고 주장합니다. ME-DST는 플레이어의 개별적인 시간적 역동성을 팀의 공간적 상호작용과 분리함으로써, 기존의 최첨단 방식들이 사용하던 평탄화된 시퀀스 표현의 한계를 극복합니다.

저자들은 ME-DST를 디노이징 시퀀스 트랜스덕션의 시퀀스 디코딩 형식을 대체하는 모델이 아니라, 그 능력을 강화하는 **엔티티 인식 확장형(entity-aware extension)**으로 규정합니다. 실험 결과는 구조화된 다중 에이전트 비디오 이해를 위해, 파이프라인 초기 단계에서 에이전트들을 단일 시퀀스로 통합하기보다는 에이전트의 명시적 구조를 유지하는 것이 더 효과적임을 보여줍니다. 저자들은 ME-DST가 FOOTPASS 벤치마크에는 효과적이지만, 다른 스포츠나 다른 역할 구조를 가진 시나리오에 대한 일반화 가능성은 추가적인 통제된 평가가 필요하다고 조심스럽게 언급했습니다.