DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning

이 논문은 다중 스포츠 비디오 이해를 위해 능동적 추론과 에이전트 강화학습을 도입한 최초의 엔드-투엔드 훈련 멀티모달 대형 언어 모델인 DeepSport 를 제안하며, 이를 통해 기존 모델 대비 뛰어난 성능과 적은 프레임 사용으로 높은 효율성과 일반화 능력을 입증했습니다.

핵심

DeepSport: 스포츠 영상 분석의 '초능력을 가진 코치' 이야기

이 논문은 **'DeepSport'**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 스포츠 경기를 단순히 '보는' 것을 넘어, 마치 현직 코치나 해설위원처럼 능동적으로 분석하고 추론할 수 있는 능력을 갖췄습니다.

기존의 AI 들이 스포츠 영상을 볼 때 어떤 문제가 있었는지, 그리고 DeepSport 가 어떻게 그 문제를 해결했는지 일상적인 비유로 설명해 드리겠습니다.

---

1. 기존 AI 의 한계: "빠르게 지나가는 영상을 한 번만 스쳐 지나가는 사람"

기존의 멀티모달 AI(영상과 언어를 모두 이해하는 AI) 들은 스포츠 경기를 볼 때 수동적이었습니다.

• 비유: 스포츠 경기장을 지나가는 사람이 있다고 상상해 보세요. 그 사람은 경기 영상을 1 초에 16 장씩 빠르게 훑어보며 "아, 공이 날아갔네", "선수가 뛰었네"라고 대략적으로만 말합니다.
• 문제점: 스포츠는 매우 빠르고 복잡한 규칙이 있습니다. 예를 들어, 농구의 '트래블링' (공을 들고 뛰는 반칙) 이나 축구에서의 '파울'은 순간적인 접촉으로 결정됩니다. 기존 AI 는 중요한 순간을 놓치거나, 특정 종목 (예: 축구만 잘하는 AI) 에만 특화되어 있어 다른 종목 (예: 펜싱이나 다이빙) 을 보면 당황했습니다.

2. DeepSport 의 혁신: "중요한 순간을 다시 찾아보는 현명한 코치"

DeepSport 는 이 문제를 해결하기 위해 '능동적 추론 (Agentic Reasoning)' 방식을 도입했습니다.

• 핵심 아이디어: "생각하며 영상을 본다 (Thinking with Videos)"
• 비유: DeepSport 는 영상을 볼 때 마이크로폰을 들고 경기장에 있는 현직 코치와 같습니다.
  1. 초기 관찰: 영상을 처음 보면, "어? 저기 뭔가 이상한데?"라고 느낍니다.
  2. 도구 사용 (Frame Extraction): 단순히 영상을 계속 보는 게 아니라, **"잠깐! 저 부분 (30 초~60 초) 을 다시 자세히 보여줘!"**라고 요청합니다.
  3. 재분석: AI 가 요청한 특정 구간 (프레임) 만을 다시 가져와서 "아! 저 선수가 팔을 밀고 있네! 이건 파울이야!"라고 결론을 내립니다.

즉, DeepSport 는 영상을 한 번만 보고 끝내는 게 아니라, 질문이 생길 때마다 필요한 순간을 찾아내어 다시 보고, 생각하며 답을 도출합니다.

3. 어떻게 훈련시켰을까요? (3 단계 교육 과정)

이 AI 를 만들기 위해 연구자들은 3 단계의 특별한 훈련 과정을 거쳤습니다.

1 단계: 데이터 정제 (명품 교재 만들기)

• 상황: 스포츠 관련 데이터는 흩어져 있고, 질문과 답의 형식이 제각각이었습니다.
• 해결: 축구, 농구, 펜싱, 다이빙 등 12 가지 종목의 데이터를 모아서 7 만 8 천 개의 고품질 문제집을 만들었습니다.
• 비유: 마치 다양한 스포츠의 규칙과 해설을 모아서, AI 가 "왜 이 반칙이 성립했는지"를 단계별로 설명할 수 있는 명품 교재를 만든 것입니다.

2 단계: 커리큘럼 학습 (초급에서 고급으로)

• 전략: AI 에게 모든 것을 한 번에 가르치지 않았습니다.
• 과정:
  1. 초급: 먼저 "누가 누구인가?", "공이 어디로 갔는가?" 같은 기본적인 시각 인식을 가르쳤습니다. (비유: 스포츠 용어와 선수 얼굴을 외우는 단계)
  2. 고급: 그다음에 "이건 반칙인가?", "전략이 무엇인가?" 같은 복잡한 규칙과 논리를 가르쳤습니다. (비유: 경기 흐름을 읽고 전략을 분석하는 단계)
• 효과: 기초가 탄탄해야 고급 논리를 잘 이해할 수 있다는 원리를 적용했습니다.

3 단계: 강화 학습 (실전 연습과 보상)

• 전략: AI 가 스스로 판단하게 했습니다.
• 비유: AI 가 영상을 보고 "이건 그냥 봐도 되는데, 굳이 다시 볼 필요가 있을까?"라고 스스로 판단하게 훈련시켰습니다.
  • 잘한 경우: 처음에 답을 못 찾았는데, 필요한 구간을 찾아서 정답을 맞췄다면 "잘했어!"라고 칭찬 (보상) 합니다.
  • 나쁜 경우: 이미 답이 명확한데도 불필요하게 다시 보게 하거나, 반대로 중요한 걸 놓치고 답을 틀렸다면 "아쉽네"라고 지적합니다.
• 결과: AI 는 언제 다시 봐야 할지, 언제 멈춰야 할지를 스스로 배우게 되었습니다.

4. 실제 성과: "적은 프레임으로 더 똑똑하게"

실험 결과, DeepSport 는 놀라운 성과를 보였습니다.

• 성능: 기존에 가장 강력하다고 알려진 AI 들 (GPT-5 등) 보다 더 높은 점수를 받았습니다.
• 효율성: 다른 AI 들은 영상을 볼 때 16 장의 프레임을 무작위로 보는 반면, DeepSport 는 평균 9.8 장만 보고도 더 정확한 답을 냈습니다.
  • 비유: 다른 AI 는 16 장의 사진을 무작위로 찍어보고 추측하는 반면, DeepSport 는 중요한 10 장만 골라 정답을 맞히는 것입니다.
• 범용성: 훈련받지 않은 새로운 스포츠 종목이나, 일반적인 동작 인식에서도 뛰어난 능력을 보여주었습니다. 이는 AI 가 단순히 규칙을 외운 것이 아니라, 스포츠의 본질적인 움직임과 논리를 이해했기 때문입니다.

5. 결론: 스포츠 분석의 새로운 시대

DeepSport 는 단순히 영상을 보는 것을 넘어, **질문을 던지고, 필요한 정보를 찾아내고, 논리적으로 결론을 내리는 '스마트한 스포츠 코치'**가 되었습니다.

• 기존: "영상을 보여주세요. (AI 가 한 번 보고 대충 답함)"
• DeepSport: "영상을 보여주세요. (AI 가 "잠깐, 저 부분 다시 보여줘"라고 요청하고, 그 후 정답을 냄)"

이 기술은 앞으로 스포츠 중계, 심판 보조, 선수 코칭 등 다양한 분야에서 인간을 돕는 강력한 도구가 될 것으로 기대됩니다.

기술 요약

DeepSport: 에이전트 강화학습을 통한 종합 스포츠 비디오 추론을 위한 멀티모달 대규모 언어 모델

1. 문제 정의 (Problem)

기존의 스포츠 비디오 이해 기술은 다음과 같은 한계를 가지고 있었습니다:

• 단일 도메인/작업 집중: 기존 모델들은 주로 축구와 같은 특정 종목에 국한되거나, 주석 생성, 옐로우카드 감지 등 단일 작업에만 최적화되어 있어 다양한 종목과 작업을 포괄하지 못했습니다.
• 수동적 프레임 처리: 대부분의 멀티모달 대규모 언어 모델 (MLLM) 은 비디오를 단순히 정적인 프레임 집합으로 처리하거나 고정된 간격으로 샘플링하는 '수동적'인 방식을 사용합니다. 이는 고해상도로 빠르게 움직이는 스포츠 동작의 미세한 디테일과 복잡한 규칙을 놓치기 쉽습니다.
• 데이터 및 학습 부재: 고품질의 스포츠 특화 데이터셋은 존재하지만, 이를 활용한 종단간 (End-to-End) 학습된 통합 모델은 부족했습니다.

2. 방법론 (Methodology)

DeepSport 는 수동적인 프레임 처리에서 벗어나 "비디오로 생각하기 (Thinking with Videos)" 라는 개념을 도입하여, 능동적이고 반복적인 추론을 수행하는 에이전트 기반 MLLM 을 제안합니다.

• 핵심 아키텍처:

  • 능동적 프레임 추출 도구: 모델은 초기 프레임만 보는 것이 아니라, 필요에 따라 choose_frames 도구를 호출하여 특정 시간 구간 (Temporal Window) 의 프레임을 동적으로 추출하고 재확인합니다.
  • 다중 턴 추론 루프: 질문 (Query) 에 대해 모델은 생각 (Thought), 도구 호출 (Tool Call), 답변 (Answer) 을 반복하며 필요한 시각적 정보를 수집한 후 최종 결론을 도출합니다.

• 학습 파이프라인 (2 단계 전략):

  1. 스포츠 커리큘럼 지도 학습 (Sports Curriculum SFT):
     • 12 개 종목, 10 개 데이터 소스에서 추출한 78,000 개의 샘플을 기반으로 한 고품질 데이터 (DeepSport-CoT-14K) 를 사용합니다.
     • 커리큘럼 학습: 단순한 시각적 인식 (Fine-Grained Recognition) 에서 시작하여 점차 복잡한 규칙 이해 (Rule & Procedural Logic) 와 평가/코칭 (Assessment & Coaching) 작업으로 난이도를 점진적으로 높이는 5 단계 학습 과정을 거칩니다.
  2. 에이전트 강화학습 (Agentic RL):
     • GRPO (Group Relative Policy Optimization): 그룹 상대 정책 최적화 알고리즘을 사용합니다.
     • 게이트드 툴 사용 보상 (Gated Tool-Use Reward): 모델이 불필요하게 도구를 호출하는 것을 방지하기 위해 설계된 보상 함수를 적용합니다.
       • 초기 프레임으로 정답을 알 수 있는 경우 (Class-B): 도구 사용을 하지 않고 정답을 맞출 때 보상을 줍니다.
       • 초기 프레임으로는 불가능한 경우 (Class-A): 도구를 올바르게 사용하여 정답을 맞출 때 보상을 줍니다.
       • 이를 통해 모델은 "언제 도구를 써야 하는지"를 학습하게 됩니다.

• 데이터 구축:

  • 10 개의 기존 데이터 소스를 통합하여 12 개 스포츠 종목을 아우르는 78k 샘플의 통합 데이터셋을 구축했습니다.
  • 3 단계 필터링 (정확성 확인, 논리 일관성 검토, 검색 유용성 평가) 을 통해 고품질의 Chain-of-Thought (CoT) 데이터를 정제했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 작업/다중 종목 훈련 MLLM: DeepSport 는 축구, 농구, 펜싱, 다이빙 등 12 개 종목과 4 가지 핵심 능력 (세부 인식, 규칙/절차적 지식, 평가/코칭, 생중계 해설) 을 모두 처리할 수 있는 최초의 종단간 훈련된 모델입니다.
2. 새로운 벤치마크 및 엄격한 데이터 정제 파이프라인: 10 개 소스에서 12 개 종목을 아우르는 78k 개의 고품질 학습 데이터와 6.7k 개의 테스트 벤치마크를 공개했습니다.
3. 커리큘럼 SFT 및 도구 기반 RL 전략: 스포츠의 특성에 맞춘 점진적 커리큘럼 학습과, 도구 사용 효율성을 극대화하는 게이트드 보상 함수를 도입한 GRPO 기반 강화학습을 제안했습니다.
4. SOTA 성능 및 광범위한 일반화: 기존 모델들을 압도하는 성능을 보여주었으며, 훈련에 사용되지 않은 종목 (Zero-shot) 과 일반적인 동작 인식 작업에서도 뛰어난 전이 학습 능력을 입증했습니다.

4. 실험 결과 (Results)

• 성능: DeepSport 는 6.7k 개의 테스트 벤치마크에서 평균 37.67 점을 기록하여, GPT-5 와 같은 강력한 상용 모델 및 오픈소스 모델 (Qwen3-VL-235B 등) 을 능가하는 최신 최고 성능 (SOTA) 을 달성했습니다.
• 효율성: 다른 모델들이 고정된 16 프레임을 사용하는 반면, DeepSport 는 평균 9.81 프레임만 사용하여 더 높은 정확도를 달성했습니다. 이는 능동적 프레임 추출이 불필요한 정보 처리를 줄이고 핵심 순간을 포착함을 의미합니다.
• 세부 영역별 성과:
  • 세부 인식 (Fine-Grained Recognition): 49.89 점 (기저 모델 대비 21.69 점 상승).
  • 규칙 및 절차 (Rule & Procedural): 41.20 점 (기저 모델 대비 27.49 점 상승).
  • 이는 수동적 처리가 놓치는 고속 동작과 복잡한 규칙을 에이전트 방식이 효과적으로 해결했음을 보여줍니다.
• 일반화 능력: 스포츠 외의 일반 비디오 이해 벤치마크 (LVBench, LongVideoBench 등) 와 새로운 스포츠 종목 (ActionAtlas) 에서도 기저 모델보다 우수한 성능을 보이며, 특정 종목의 규칙을 암기하는 것이 아니라 운동의 기본 원리를 내재화했음을 입증했습니다.

5. 의의 및 결론 (Significance)

DeepSport 는 스포츠 비디오 이해 분야에서 수동적 관찰에서 능동적 탐구로의 패러다임 전환을 이끌었습니다.

• 효율성과 정확성의 동시 달성: 적은 프레임 수로 복잡한 스포츠 상황을 정확히 분석할 수 있어, 실시간 분석 및 코칭 시스템에 적용 가능한 높은 효율성을 제공합니다.
• 범용 스포츠 지능의 기반: 특정 종목에 국한되지 않고 다양한 스포츠와 작업에 적용 가능한 통합 모델의 토대를 마련했습니다.
• 향후 과제: 현재 주요 병목 현상은 '도구 기반의 정확한 시간적 위치 파악 (Tool Grounding Failure)'이며, 향후 더 정교한 시간적 위치 추출 기술과 다양한 종목의 데이터 확보를 통해 진정한 범용 스포츠 지능을 완성할 것으로 기대됩니다.

이 연구는 멀티모달 AI 가 복잡한 동적 환경에서 어떻게 능동적으로 정보를 수집하고 추론할 수 있는지를 보여주는 중요한 사례로 평가됩니다.