💻 computer science

Temporal Feature Distillation for Label-Efficient Precise Event Spotting in Sports Videos

본 논문은 스포츠 비디오에서의 정밀한 이벤트 스포팅을 위해 움직임에 민감한 단서를 보존하도록 지도 학습 기반의 웜업(warm-up)과 트랜스포머 게이트 시프트(Transformer Gate Shift) 모듈을 결합한 준지도 학습 프레임워크인 시간적 특징 증류(Temporal Feature Distillation)를 제안하며, 이를 통해 완전 지도 학습 베이스라인보다 현저히 적은 양의 레이블된 데이터로도 우수한 성능을 달성한다.

원저자: Hao Xu, Xinyu Wei, Sam Wells, Sunil Aryal

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Xu, Xinyu Wei, Sam Wells, Sunil Aryal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 지금 초고속 테니스 경기를 관람하고 있다고 상상해 보세요. 선수들이 너무 빠르게 움직여서 일반 카메라로는 한 프레임이 다음 프레임과 거의 똑같아 보입니다. 하지만 코치에게는 아주 미세한, 찰나의 차이가 보입니다. 바로 라켓이 공을 치는 정확한 순간 말이죠. 그 찰나의 순간이 바로 '이벤트(event)'입니다. 이를 찾아내는 것은 움직이는 건초더미 속에서 바늘을 찾는 것과 같습니다. 그런데 그 건초더미는 움직이고 있고, 바늘은 너무 늦기 전까지는 보이지 않습니다.

이것이 바로 **정밀 이벤트 탐지(Precise Event Spotting, PES)**의 과제입니다. 이것은 단순히 무엇이 일어났는지(예: 테니스 서브)를 아는 것이 아니라, 단 하나의 프레임 단위로 정확히 언제 일어났는지를 아는 것에 관한 것입니다.

"기존 방식"의 문제점

과학자들은 자기 증류(self-distillation)(학생이 선생님으로부터 배우는 것과 같은 개념)라는 방법을 사용하여 컴퓨터에게 이 작업을 가르치려 노력해 왔습니다. 이 분야에서 가장 유명한 선생님은 DINO라고 불리는 시스템입니다. DINO는 일반적인 이미지를 학습하는 데 탁에는 매우 뛰어납니다. 예를 들어, 개가 흐릿하거나 옆으로 돌아가 있더라도 "이것은 개다"라고 말하도록 컴퓨터를 가르칩니다.

하지만 반전이 있습니다. 저자들은 DINO가 이 특정 스포츠 작업에는 형편없다는 것을 발견했습니다.

왜일까요? DINO는 컴퓨터가 동일한 장면의 약간 다른 두 사진을 "같은 것"으로 인식하도록 만들려고 하기 때문입니다. 즉, 현상을 매끄럽게 다듬어 버립니다(smoothing). 만약 당신이 학생에게 "공을 치기 전의 사진과 친 후의 사진은 기본적으로 같다"라고 말하며 공을 치는 정확한 순간을 찾도록 가르치려 한다면 어떻게 될까요? 학생은 혼란에 빠져 그 타격 순간을 놓치게 될 것입니다! 저자들은 DINO의 방식이 영상을 "과하게 매끄럽게(over-smooths)" 만들어, 이벤트를 포착하는 데 필요한 프레임 사이의 날카로운 경계선을 흐릿하게 만든다는 점을 보여주었습니다. DINO는 결정적인 움직임의 단서들을 노이즈(noise)로 취급하고 무시해 버립니다.

새로운 해결책: 특화된 스포츠 코치

이를 해결하기 위해 디킨 대학교(Deakin University)와 챔피언 데이터(Champion Data)의 팀은 **시간적 특징 증류(Temporal Feature Distillation, TFD)**라고 불리는 새로운 접근 방식을 발명했습니다. 일반적인 선생님 대신, 그들은 스포츠에 특화된 코치를 만들었습니다.

이들의 세 가지 비밀 병기가 어떻게 작동하는지 살펴보겠습니다.

1. "시간 이동" 안경 (Transformer Gate Shift)
표준 비디오 AI는 프레임을 사진 더미처럼 바라봅니다. 이 새로운 시스템은 **트랜스포머 게이트 시프트(Transformer Gate Shift, TGS)**라는 특별한 모듈을 사용합니다. 이것은 AI에게 모든 프레임에 대해 과거와 미래를 살짝 엿볼 수 있는 특별한 안경을 씌워주는 것과 같습니다.
단순히 현재의 순간만을 보는 대신, AI는 "잠깐, 이 프레임은 이전 프레임 및 다음 프레임과 연결되어 있다"라고 말할 수 있습니다. 시스템은 정보를 세 그룹으로 나눕니다: 과거에 일어난 일, 현재 일어나고 있는 일, 그리고 다가올 일입니다. 그런 다음 '게이트(gate)'를 사용하여 과거 또는 미래의 정보를 얼마나 섞을지 결정합니다. 이는 AI가 단순한 정지 화면이 아니라 경기의 흐름을 이해하도록 돕습니다.

2. "움직임 집중" 필터 (Temporal Motion Augmentation)
스포츠 영상에서는 배경(관중, 코트 라인 등)은 보통 정지해 있는 반면, 선수와 공은 빠르게 움직입니다. 표준 AI는 종종 정적인 배경에 주의를 빼앗기곤 합니다.
팀은 TMA라고 불리는 필터를 만들었는데, 이는 마치 스포트라이트처럼 작동합니다. 이 필터는 영상에서 가장 많이 움직이는 부분(예: 공이나 선수의 발)을 자동으로 찾아내어 AI에게 이렇게 말합니다. "지루하고 정적인 것들은 무시하고, 여기를 봐!" 그들은 프레임을 비교하여 무엇이 변했는지 확인한 다음, 해당 움직이는 픽셀의 중요성을 높입니다. 이를 통해 AI가 풍경이 아닌 액션(action)에 집중할 수 있도록 보장합니다.

3. "스마트 워밍업" (Supervised Warm-up)
규칙도 없이 학생을 경기장에 던져놓는다고 해서 승리할 수는 없습니다. 저자들은 만약 AI에게 레이블이 없는 영상(타임스탬프가 없는 영상)만을 사용하여 가르치려 한다면, AI가 아주 빠르게 움직이는 작은 물체(테니스 공 등)를 노이즈로 간주하여 무시할 것이라는 점을 발견했습니다.
그래서 그들은 워밍업 단계를 도입했습니다. 먼저, 인간이 정확한 순간을 표시한 소량의 레이블 데이터(labeled data)를 사용하여 AI를 가르칩니다. 이는 AI에게 무엇을 찾아야 하는지 알려줍니다. 그다음, 레이블이 없는 데이터를 서서히 도입합니다. 이는 마치 "먼저 코치와 함께 테니스 서브가 무엇인지 배우고, 그다음 혼자 연습해라"라고 말하는 것과 같습니다. 이는 AI가 방대한 양의 레이블 없는 영상을 학습하는 동안 중요한 세부 사항을 잊어버리지 않도록 방지합니다.

결과: 적은 도움으로도 더 똑똑하게

팀은 이 방법을 테니스, 피겨 스케이팅, 다이빙 등 네 가지 스포츠 데이터셋에 테스트했습니다. 그들은 자신들의 방식이 레이블이 적은 상황("low-label" 설정)에서도 잘 작동할 수 있는지 확인하고자 했습니다.

결과는 인상적이었습니다:

레이블 데이터가 10%만 있을 때: 피겨 스케이팅 데이터셋(특히 "FSPerf" 분할)에서, 그들의 방식은 차세대 최선책보다 정확도 점수(mAP)를 4.54 포인트 개선했습니다. 시작 단계에서 데이터가 매우 적을 때 이는 엄청난 도약입니다.
레이벨 데이터가 80% 있을 때: 네 가지 데이터셋 중 두 곳에서 그들의 방식은 **100%**의 레이블 데이터를 사용한 방법들과 대등하거나 오히려 더 나은 성능을 보였습니다. 이는 훨씬 적은 인간의 노력으로도 높은 품질의 결과를 얻을 수 있음을 시사합니다.

하지 않은 것들

이 논문이 수행하지 않은 작업들을 명시하는 것도 중요합니다. 그들은 별도의 카메라로 공을 추적하거나 오디오를 사용하는 등의 추가 도구를 사용하지 않았습니다. 그들은 순수하게 비디오 프레임(RGB)에만 의존했습니다. 또한 비디오 분석의 모든 문제를 해결했다고 주장하지도 않았습니다. 그들은 특히 스포츠에서의 "정밀 이벤트 탐지" 작업에 초점을 맞추었습니다.

핵심 요약

저자들은 AI가 학습하는 방식(최종 출력뿐만 아니라 내부의 "움직임" 특징을 정렬하는 방식)을 바꾸고, 움직임에 집중하도록 가르침으로써, 수백만 시간의 인간 레이블 영상 없이도 매우 정밀하게 스포츠 이벤트를 포착할 수 있는 시스템을 구축할 수 있다고 제안합니다. 이는 우리가 이미 가지고 있는 데이터를 최대한 활용하여 스포츠 분석을 더 빠르고, 저렴하며, 정밀하게 만드는 방법입니다.

기술 요약: 스포츠 비디오의 라벨 효율적인 정밀 이벤트 스포팅을 위한 시공간적 특징 증류 (Temporal Feature Distillation)

1. 문제 정의

본 논문은 스포츠 비디오에서의 정밀 이벤트 스포팅(Precise Event Spotting, PES) 문제를 다룹니다. PES는 긴 미정제 시퀀스 내에서 특정 이벤트(예: 테니스 포핸드 또는 축구 패스)의 정확한 시간적 위치(프레임 인덱스)와 카테고리를 식별하는 작업입니다. 일반적인 행동 인식(Coarse Action Recognition)과 달리, PES는 시각적으로 유사하지만 의미론적으로 구분되는 인접 프레임을 구별하기 위해 프레임 수준의 정밀도를 요구합니다.

핵심적인 문제는 기존 최첨단 방법론들의 **라벨 비효율성(Label Inefficiency)**입니다. 기존 방식들은 밀집된 프레임 수준의 주석(Annotation)이 필요한 완전 지도 학습에 크게 의존하는데, 이러한 주석은 제작 시간이 오래 걸리고 전문가의 지식이 필요하며, 모호한 이벤트 경계에 대해 일관성을 유지하기 어렵습니다. 비지도 학습(USL)과 준지도 학습(SSL)이 일반적인 비디오 인식에서는 성공을 거두었으나, 저자들은 기존의 자기 증류(Self-distillation) 프레임워크(예: DINO)를 PES에 직접 적용하는 것이 효과적이지 않음을 관찰했습니다. 표준적인 자기 증류는 증강된 뷰(Augmented Views) 간의 의미론적 불변성(Semantic Invariance)을 강제하는데, 이는 스포츠 시나리오에서 인접 프레임을 구별하는 데 필수적인 미세한 움직임 단서와 시간적 경계 신호를 의도치 않게 억제하게 됩니다.

2. 방법론

저자들은 세 가지 핵심 구성 요소인 시공간 인지 백본, 특화된 증류 목적 함수, 그리고 움직임 인지 증강으로 이루어진 준지도 학습 프레임워크를 제안합니다.

2.1 트랜스포머 게이트 시프트 (Transformer Gate Shift, TGS)

복잡한 비디오 전용 아키텍처를 사용하지 않고도 Vision Transformer(ViT) 내에서 시간적 모델링을 가능하게 하기 위해, 저자들은 다중 스케일 게이트 시프팅 모듈인 TGS를 도입합니다.

메커니즘: TGS는 각 ViT 인코더 블록의 끝에 삽입됩니다. 이는 입력 토큰 특징을 처리하기 위해 레이어 정규화(Layer Normalization)를 적용하고, 시간 차원을 따라 독립적으로 시간적 컨볼루션(Temporal Convolution)을 적용할 수 있도록 형태를 재구성(Reshaping)합니다.
다중 스케일 게이팅: 이 모듈은 $k_d \in \{3, 5, 7\}$ (여기서 $d \in \{1, 3, 5\}$ 로부터 유도됨)인 커널 크기를 가진 depthwise 1D 컨볼루션을 사용하여 다양한 스케일에서 시간적 문맥을 포착합니다.
게이팅 전략: 채널 그룹에 대해 거친 게이트를 생성하는 이전의 게이팅 모듈과 달리, TGS는 모든 특징 요소에 대해 요소별(Element-wise) 게이트를 생성합니다. 특징을 "과거(Past)", "미래(Future)", "정적(Static)" 그룹으로 분리합니다. 과거와 미래 그룹은 시간적으로 시프트(Shift)되고 시그모이드 활성화 함수가 적용된 게이트에 의해 조절되는 반면, 정적 그룹은 변경되지 않습니다. 이를 통해 미세한 제어가 가능해집니다.
융합: 서로 다른 스케일의 출력은 잔차 연결(Residual Connection) 전에 학습 가능한 소프트맥스 정규화 가중치를 사용하여 융합됩니다.

2.2 시간적 특징 증류 (Temporal Feature Distillation, TFD)

저자들은 DINO 스타일의 자기 증류에 대한 태스크 중심의 대안으로 TFD를 제안합니다.

핵심 혁신: 투영 헤드(Projection-head)의 출력을 정렬(의미론적 불변성을 유도함)하는 대신, TFD는 **시간적으로 구조화된 백본 특징(Temporally Structured Backbone Features)**을 직접 정렬합니다. 이는 투영 수준의 불변성이 매끄럽게 만들어버릴 수 있는 움직임 민감 및 경계 인식 단서를 보존합니다.
아키텍처: 교사(Teacher) 모델이 학생(Student) 모델의 지수 이동 평균(EMA)인 표준 교사-학생 프레임워크를 사용합니다. 학생은 강하게 증강된 뷰를 처리하고, 교사는 약하게 증강된 뷰를 처리합니다.
지도 학습 웜업(Supervised Warm-up): 순수 비지도 사전 학습이 미세한 움직임 단서(예: 작은 공)를 노이즈로 취급할 수 있다는 점을 인식하여, 저자들은 지도 학습 웜업을 구현했습니다. 먼저 라벨이 있는 데이터로 모델을 학습시켜 이벤트 인지 표현을 확립합니다. 그 후 코사인 램프업(Cosine Ramp-up) 스케줄을 통해 비지도 증류 손실을 점진적으로 도입함으로써, 라벨 없는 데이터를 활용하기 전에 의미 있는 단서들이 학습되도록 보장합니다.
손실 함수: 이 목적 함수는 지도 학습 크로스 엔트로피 손실(라벨 데이터용)과 시간적 정렬 손실(라벨 없는 데이터에 대해 교사와 학생의 백본 특징 간 코사인 거리를 최소화함)을 결합합니다.

2.3 시간적 움직임 증강 (Temporal Motion Augmentation, TMA)

표준 이미지 증강(예: 무작위 크롭)은 중요한 작은 물체(예: 공)를 제거하거나 정적인 배경에 의해 지배될 수 있으므로 스포츠 비디오에는 최적화되어 있지 않습니다.

움직임 맵 생성: TMA는 인접 프레임 간의 프레임 차이를 사용하여 움직임 맵을 계산합니다.
패치 선택: 맵은 공간적 패치로 나뉩니다. 패치들은 상위 2%의 가장 높은 움직임 픽셀 평균값에 따라 순위가 매겨집니다.
증강: 고움직임 영역은 보존되는 반면, 정적인 배경 영역은 가중치가 낮아집니다. 또한, **시간적 마스킹(Temporal Masking)**은 짧은 시간적 세그먼트를 무작ã로 탈락시켜 모델이 누락된 정보를 추론하도록 강제함으로써 시간적 추론 능력을 향상시킵니다.

3. 주요 기여

시간적 특징 증류 (TFD): 투영 헤드가 아닌 시간적으로 구조화된 백본 특징을 정렬하도록 설계된 새로운 SSL 목적 함수로, 프레임 수준의 이벤트 스포팅에 필요한 경계 민감도를 보존합니다.
트랜스포머 게이트 시프트 (TGS): 전용 비디오 트랜스포머 아키텍처 없이도 효과적인 시간적 정보 교환을 가능하게 하는, ViT에 맞춤화된 다중 스크일 게이트 시프팅 모듈입니다.
움직임 인지 증강 전략: 미세한 움직임 단서의 억제를 방지하고 낮은 라벨 환경에서 학습을 안정화하기 위한 TMA 및 지도 학습 웜업 스케줄의 도입입니다.

4. 실험 결과

본 방법론은 네 가지 정밀 스포츠 벤치마크인 테니스(Tennis), 피겨 스케이팅(FSComp 및 FSPerf), **파인다이빙(FineDiving)**에서 평가되었습니다.

저라벨 성능: FSPerf 데이터셋에서 10%의 감독(Supervision) 하에, 제안된 방법은 가장 강력한 경쟁 모델인 ASTRM보다 mAP를 4.54 포인트 개선하여 45.75 mAP 대비 50.29 mAP를 달성했습니다.
라벨 효율성: 80%의 라벨 데이터만 사용했을 때, 본 방법은 두 개의 데이터셋에서 완전 지도 학습(100% 데이터) 베이스라인과 대등하거나 이를 능가했습니다.
절제 연구(Ablation Studies):
- TGS: ViT-Tiny 백본에 TGS를 추가했을 때 테니스 데이터셋에서 mAP가 10.96에서 44.77로 증가했습니다 (+33.81 포인트).
- TFD: TFD를 TGS와 결 조합했을 때 TFD 단독 사용보다 유의미한 이득을 얻었으며, 이는 시간적으로 풍부한 특징을 정렬하는 것이 더 우수함을 확인해 줍니다.
- TMA: 움직임 인지 증강은 테니스에서 +4.87 mAP 이득을 제공하여 역동적인 영역에 집중하는 것의 중요성을 입증했습니다.
복잡도: TGS는 오버헤드를 발생시키지만(ViT-Small 기준 파라미터 23.45M에서 28.89M로, GFLOPs 644에서 1000으로 증가), 저자들은 일관된 성능 향상을 고려할 때 이 트레이드오프가 유리하다고 주장합니다.

5. 의의 및 주장

본 논문은 제안된 프레임워크가 라벨이 없는 데이터를 활용하면서도 스포츠 분석에 필요한 시간적 정밀도를 희생하지 않고 PES의 확장성 병목 현상을 효과적으로 해결한다고 주장합니다. 저자들은 본 방식이 스포츠 비디오의 고유한 특성(빠른 움직임, 미세한 경계, 작은 핵심 물체)을 고려하여 표준 SSL 패러다임을 구체적으로 수정한 태스크 중심(Task-driven) 접근법임을 강조합니다.

이 연구의 의의는 **태스크 인지적 시간적 표현 학습(Task-aware temporal representation learning)**이 정밀한 스포츠 비디오 이해에 매우 중요하다는 것을 입증했다는 데 있습니다. 일반적인 의미론적 불변성에서 벗어나 경계 민감형 특징 정렬로 이동함으로써, 본 방법론은 라벨링이 까다로운 도메인에서 실질적인 솔루션이 될 수 있는 라벨 효율적인 환경에서의 최첨단(SOTA) 결과를 달eric합니다. 저자들은 클립 길이(Clip length)가 데이터셋별 하이퍼파라미터로 남을 수 있지만, 기본 설정이 다양한 스포츠 시나리오 전반에서 실용적인 균형을 제공한다고 언급합니다.