TennisExpert: Towards Expert-Level Analytical Sports Video Understanding

1. 문제 정의 (Problem Statement)

테니스는 전 세계적으로 가장 인기 있는 스포츠 중 하나이지만, 자동화된 테니스 영상 이해 (Video Understanding) 분야는 다음과 같은 두 가지 주요 장벽으로 인해 상대적으로 미개발 상태로 남아 있습니다.

1. 데이터의 부재: 기존 스포츠 데이터셋은 주로 단순한 행동 인식 (Action Recognition) 이나 플레이 바이 플레이 (play-by-play) 기술에 초점을 맞추고 있습니다. 그러나 전문적인 테니스 해설은 단순한 묘사를 넘어 전술적 추론 (tactical reasoning), 선수의 의사결정, 경기의 흐름 (momentum) 등을 분석하는 '전문가 수준의 분석적 해설'이 필요합니다. 이러한 고수준의 분석적 해설이 포함된 대규모 벤치마크가 존재하지 않았습니다.
2. 시스템의 복잡성: 테니스는 공의 속도가 시속 200km 를 넘고, 라운드가 매우 빠르게 전개되는 스포츠입니다. 실시간으로 정확한 해설을 생성하려면 미세한 시각적 단서 (공의 궤적, 플레이어 위치 등) 를 즉시 감지하면서도, 경기 전체의 맥락 (장기적인 전술, 승패 흐름) 을 이해해야 하는 정밀함과 효율성을 동시에 갖춘 멀티모달 시스템이 필요합니다. 기존 모델은 긴 원본 영상을 직접 처리하여 계산 비용이 높거나, 맥락 이해가 부족하다는 한계가 있었습니다.

2. 방법론 (Methodology)

이 논문은 두 가지 핵심 구성 요소를 제안합니다: **대규모 데이터셋 (TennisVL)**과 새로운 프레임워크 (TennisExpert).

A. TennisVL: 대규모 테니스 벤치마크

• 규모: 202 개의 프로 매치 (총 471.9 시간) 를 수집하여 40,523 개의 라운디 (rally) 단위 클립으로 분할했습니다.
• 주요 특징:
  • 전문가 수준의 분석적 해설: 단순한 기술이 아닌, 전술 의도, 경기 흐름, 선수의 수행 평가 등을 포함하는 고품질 해설 데이터를 제공합니다.
  • 다중 모달 메타데이터: 각 클립에는 오디오 대본 (WhisperX), 샷 시퀀스 (TennisAbstract 기반), 스코어보드 상태, 플레이어 위치 등 구조화된 메타데이터가 정렬되어 있습니다.
  • 품질 관리: 자동화된 파이프라인과 인간 전문가의 검증을 통해 사실 오류 (hallucination) 를 최소화하고 95% 이상의 수용률을 달성했습니다.

B. TennisExpert: 멀티모달 이해 프레임워크

기존의 원본 영상을 직접 텍스트로 변환하는 방식 대신, 구조화된 시맨틱 메타데이터와 **계층적 메모리 (Hierarchical Memory)**를 결합한 효율적인 아키텍처를 제안합니다.

1. 비디오 시맨틱 파서 (Video Semantic Parser):

   • 원시 영상 ($V_t$) 을 실시간으로 처리하여 구조화된 메타데이터 ($M_t$) 를 추출합니다.
   • 스코어보드 이해: OCR 과 프롬프트 기반 MLLM 을 활용하여 토너먼트별 레이아웃에 맞춰 점수, 서버 정보 등을 정확히 추출합니다.
   • 정밀 이벤트 감지: 빠른 샷 교환과 공의 탄지 (bounce) 를 감지하는 시간적 이벤트 탐지기를 훈련시켜 샷 유형, 방향, 결과를 시퀀스로 추출합니다.
   • 객체 감지: 플레이어, 공, 코트 키 포인트를 추적하여 실제 코트 좌표로 변환합니다.

2. 계층적 메모리 메커니즘 (Long Short-Term Memory):

   • 단기 메모리 (Short-term Memory, $S_t$): 직전 4~5 라운드의 영상, 메타데이터, 생성된 해설을 FIFO 큐에 저장하여 **즉각적인 경기 흐름 (momentum)**을 파악합니다.
   • 장기 메모리 (Long-term Memory, $L_t$): 전체 경기의 누적 통계 (서브 성공률, 에이스, 언포서드 에러 등) 를 구조화된 상태로 유지하여 경기 전체의 맥락을 제공합니다. 이는 MLLM 의 컨텍스트 윈도우 제한을 우회하고 효율성을 높입니다.

3. 전술 인식 해설 생성 (Tactic-Aware Generation):

   • 백본 모델: Qwen3-VL-8B를 기반으로 합니다.
   • 입력: 추출된 메타데이터, 단기/장기 메모리 컨텍스트, 현재 라운드 영상을 통합하여 멀티모달 프롬프트를 구성합니다.
   • 생성: 모델은 전문가 해설가 페르소나를 가정하고, 구조화된 데이터와 시각적 신호를 기반으로 전술적 깊이가 있는 해설을 생성합니다.

3. 주요 기여 (Key Contributions)

1. TennisVL 데이터셋 구축: 현재까지 가장 크고 풍부하게 주석된 테니스 비디오 벤치마크를 공개했습니다. 40,000 개 이상의 라운드 클립과 전문가 수준의 분석 해설을 포함합니다.
2. TennisExpert 프레임워크 제안: 비디오 시맨틱 파서와 메모리 증강 멀티모달 모델을 통합하여, 원시 영상 입력과 구조화된 테니스 분석 간의 간극을 해소했습니다.
3. 성능 및 효율성 입증: 제안된 모델이 오픈소스 모델 (InternVL, Qwen 시리즈) 은 물론, GPT-5, Gemini, Claude 와 같은 거대 규모의 독점 (Proprietary) 모델보다도 우수한 성능을 보이면서도 실시간 배포가 가능함을 증명했습니다.

4. 실험 결과 (Results)

• 정량적 평가:
  • 전통적 지표: BLEU-4, METEOR, ROUGE-L, CIDEr 등 모든 지표에서 기존 베이스라인을 압도했습니다. 특히 CIDEr 점수는 43.71 로, 가장 강력한 제로샷 모델 (Gemini-3-Pro, 10.11) 보다 5 배 이상 높았습니다.
  • LLM 기반 평가 (전문성): Accuracy(정확도), Professionalism(전문성), Coherence(일관성) 등 5 가지 항목으로 평가한 결과, TennisExpert 는 Total Score 88.05를 기록하여 2 위 모델 (59.89) 보다 월등히 높았습니다. 이는 사실적 정확도와 전술적 깊이가 우수함을 의미합니다.
• 효율성:
  • 원본 영상을 직접 처리하는 방식은 메모리 부족 (OOM) 과 높은 지연 시간을 초래하지만, TennisExpert 는 구조화된 표현을 사용하여 VRAM 약 20GB만 소모하고 지연 시간 2 초 미만을 달성하여 실시간 방송에 적용 가능합니다.
• Ablation Study:
  • 메타데이터 ($M_t$) 와 메모리 ($S_t, L_t$) 를 추가할수록 성능이 크게 향상됨을 확인했습니다. 특히 장기 메모리는 경기 흐름과 맥락 이해에 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

이 연구는 스포츠 영상 이해 분야에서 단순한 기술 묘사를 넘어 '전문가 수준의 전술 분석'이 가능한 AI를 실현한 첫 사례 중 하나입니다.

• 실용성: 실시간 자동 해설, 코칭 보조, 전술 분석 등 실제 스포츠 산업에 즉시 적용 가능한 효율적인 아키텍처를 제시했습니다.
• 기술적 혁신: 거대 모델의 계산 비용을 줄이면서도 맥락 이해를 극대화하기 위해 '시맨틱 파서'와 '계층적 메모리'를 결합한 하이브리드 접근법의 유효성을 입증했습니다.
• 오픈 소스 기여: 데이터셋과 코드 (GitHub) 를 공개하여 향후 스포츠 분석 및 멀티모달 연구의 표준 벤치마크로 자리 잡을 것으로 기대됩니다.

결론적으로, TennisExpert는 테니스라는 복잡하고 역동적인 스포츠를 이해하는 데 있어 AI 가 인간 전문가의 수준에 도달할 수 있음을 보여주는 중요한 이정표입니다.