💻 computer science

Beyond the Single Camera: Agentic Multi-View Reasoning in Sports Video Understanding

이 논문은 다중 뷰 스포츠 비디오 이해를 위한 새로운 벤치마크인 SportMV-Bench를 소개하고, 현재의 단일 뷰 모델들의 한계를 극복하기 위해 관련 카메라 뷰를 반복적으로 선택하고 다중 뷰 증거에 기반하여 추론을 수행함으로써 성능을 크게 향상시키는 에이전트 프레임워크인 SportMV-Agent를 제안한다.

원저자: Kerui Chen, Jinglu Wang, Xiaoyi Zhang, Yan Lu

게시일 2026-07-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kerui Chen, Jinglu Wang, Xiaoyi Zhang, Yan Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 박진감 넘치는 농구 경기나 축구 경기를 보고 있다고 상상해 보세요. 경기는 빠르게 진행되고, 선수들은 서로 몸싸움을 벌이며, 때로는 결정적인 순간이 선수들의 무리 뒤로 숨겨지기도 합니다. 만약 당신에게 단 하나의 카메라 각도만 있다면, 전체적인 상황을 놓칠 수도 있습니다. 예를 들어, 선수가 넘어지는 모습은 보이지만, 그게 넘어뜨려진 것인지 아니면 그냥 미끄러진 것인지 판단할 수 없을 수도 있죠. 이것이 바로 이 논문의 저자들이 해결하고자 하는 문제입니다. 즉, 여러 대의 카메라를 동시에 관찰함으로써 인간 심판처럼 스포츠를 이해하도록 AI를 가르치는 것입니다.

거대한 문제: 한 쪽 눈 vs 여러 개의 눈

연구진은 오늘날 가장 똑똑한 AI 모델들조차 한쪽 눈에 안대를 쓴 채 경기를 보는 심판과 같다는 사실을 발견했습니다. 이 모델들은 단일 비디오를 보는 데는 뛰어나지만, 동일한 플레이에 대해 여러 각도의 다양한 카메라 묶음을 제공하면 혼란에 빠집니다.

연구진은 테스트를 위해 SportMV-Bench라는 새로운 놀이터를 구축했습니다. 이는 787개의 서로 다른 경기 장면이 담긴 거대한 비디오 라이브러리로, 각 장면은 2개에서 4개의 서로 다른 각도에서 녹화되었으며, 무엇이 일어났는지에 대한 2,592개의 까다로운 질문들이 포함되어 있습니다. 이 질문들은 세 가지 난이도로 나뉩니다:

인식 (Perception, PAR): "선수가 실제로 공을 건드렸는가?" (저수준의 시각적 인지).
규칙 (Rules, REI): "그 동작이 규칙에 따른 반칙인가?" (중수준의 이해).
판단 (Judgment, ADR): "선수에게 경고를 주거나 페널티를 부여해야 하는가?" (고수준의 의사 결정).

AI가 틀린 이유 (아하! 모먼트)

저자들은 일련의 실험을 수행하여 놀라운 사실을 발견했습니다. 그들은 AI가 농구나 축구의 규칙을 잘 몰라서 실패하는 것이라고 생각했습니다. 하지만 그것은 틀렸습니다.

연구진이 AI에게 모든 스포츠 규칙이 적힌 '치트 시트(요약본)'를 주었을 때도 성능은 크게 나아지지 않았습니다. 또한, AI가 '단계별로 생각'하도록 만드는 방법(Chain-of-Thought라고 불리는 방식)을 시도해 보았으나, 오히려 성능이 악화되었습니다. AI가 명확한 그림 없이 추론하려고 하면, 일어나지도 않은 일을 지어내는 현상(환각, Hallucination)이 발생하는 것으로 보입니다.

진짜 병목 구간은 무엇이었을까요? AI가 충분히 명확하게 보지 못한다는 점입니다.
연구진이 AI에게 선수들이 정확히 무엇을 하고 있는지에 대한 완벽하고 인간이 검증한 설명(예: "선수 A가 선수 B의 정강이를 찼다")을 제공했을 때, AI의 점수는 16.47점 상승했습니다. 이는 문제가 논리가 아니라, AI가 흐릿하고 빠르게 움직이는 비디오 속에서 아주 작은 디테일을 포착하는 데 어려움을 겪고 있음을 시사합니다.

또한, 단순히 더 많은 카메라 각도를 AI에게 던져주는 것도 도움이 되지 않았습니다. 실제로 AI에게 모든 뷰를 한꺼번에 제공했을 때, 단 하나의 무작위 뷰를 제공했을 때보다 점수가 겨우 2.1점 향상되었을 뿐입니다. AI는 노이즈에 압도되었습니다. 그러나 만약 AI에게 어떤 카메라를 봐야 할지(가장 "좋은" 뷰)를 알려주었을 때, 점수는 10.6% 급증했습니다. 이는 AI가 답이 그곳에 있다는 것은 알지만, 어디를 봐야 할지 모른다는 것을 증명합니다.

해결책: "에이전트형" 탐정

이를 해결하기 위해 저자들은 SportMV-Agent라는 새로운 시스템을 구축했습니다. AI에게 모든 화면을 뚫어지게 쳐다보라고 강요하는 대신, 호기심 많은 탐정처럼 행동하는 '관리자(오케스트레이터)'를 붙여준 것입니다.

작동 방식은 다음과 같습니다:

질문하기: 탐정이 질문을 읽습니다.
선택하기: 모든 것을 보는 대신, 가장 유망해 보이는 단 하나의 카메라 각도를 능동적으로 선택합니다.
확대하기: 만약 그 각도가 여전히 흐릿하다면, 다른 카메라로 전환합니다.
도구 사용하기: "접촉이 발생했는가?" 또는 "신체의 어느 부위에 맞았는가?"와 같은 특정 사항을 확인하기 위해 특수 '도구'(돋보기와 같은 역할)를 호출할 수 있습니다.
결정하기: 확신이 생길 때까지 계속해서 단서를 수집합니다.

이 접근 방식은 효과적이었습니다. AI가 무엇을 볼지, 그리고 언제 도구를 사용할지를 스스로 결정하게 함으로써, SportMV-Agent는 기존의 가장 뛰어난 표준 AI 모델보다 성능을 14.46% 향상시켰습니다.

핵심 요약

이 논문은 AI가 스포츠를 잘하게 만들기 위해 필요한 것은 더 많은 규칙을 가르치거나 더 많이 "생각"하게 만드는 것이 아니라고 제안합니다. 우리는 AI에게 보는 법을 가르쳐야 합니다. 최고의 각도를 얻기 위해 경기장을 뛰어다니는 인간 심판처럼, AI도 카메라를 전환하고 디테일을 확대할 수 있어야 합니다. 저자들의 새로운 시스템인 SportMV-Agent는 AI에게 스스로의 뷰를 선택할 수 있는 권한을 주었을 때, 마침내 퍼즐을 풀 수 있다는 것을 보여주었습니다.

그들은 실제 경기 영상과 심판 보고서를 바탕으로 구축된 방대하고 정교하게 검증된 데이터셋을 통해 이 결과들을 테스트했기에 자신감을 가지고 있습니다. 아직 세상의 모든 문제를 해결한 것은 아니지만, 스포츠에 있어서는 보는 것이 믿는 것이며, 어디를 봐야 하는지 아는 것이 가장 중요한 기술임을 입증했습니다.

기술 요약: 단일 카메라를 넘어: 스포츠 비디오 이해를 위한 에이전트 기반 멀티 뷰 추론

1. 문제 정의

스포츠 비디오 이해는 기존 벤치마크가 적절히 다루지 못하는 고유한 과제를 제시합니다. 현재의 멀티모달 거대 언어 모델(MLLM)은 단일 뷰 비디오 작업에서는 우수한 성능을 보이지만, 스포츠 시나리오는 밀집된 가려짐(occlusion), 빠른 움직임, 복잡한 선수 간 상호작용을 포함하며, 이는 종종 단일 카메라 각도만으로는 불충분하거나 오해의 소지가 있습니다. 실제 심판 판정에서 심판들은 모호함(예: 파울 발생 여부 또는 선수의 아웃 오브 바운드 여부 결정)을 해결하기 위해 여러 개의 비동기적 카메라 각도에 의존합니다. 그러나 기존 벤치마크(예: SoccerNet, Sports-QA)는 일반적으로 단일 뷰 입력만을 제공하여, 여러 관점을 가로질러 추론하는 MLLM의 능력을 평가하는 데 실패합니다.

해결하고자 하는 핵심 문제는 **멀티 뷰 스포츠 비디오 이해(Multi-View Sports Video Understanding)**입니다. $N$ 개의 비디오( $V = \{V_1, ..., V_N\}$ ) 세트가 동일한 이벤트를 서로 다른, 잠재적으로 동기화되지 않은 시점에서 포착하고 있을 때, 모델은 자연어 질문 $q$ 에 대해 여러 뷰에 걸친 증거를 종합하여 올바른 답 $a$ 를 추론해야 합니다.

2. 방법론

2.1. SportMV-Bench: 새로운 벤치마크

멀티 뷰 평가의 부재를 해결하기 위해, 저자들은 농구와 축구의 공식 경기 녹화물을 통해 구축된 SportMV-Bench를 도입합니다.

데이터 구축 파이프라인: 데이터의 품질과 검증 가능성을 보장하기 위해 4단계 프로세스를 통해 데이터셋을 구축합니다:
1. 데이터 수집: 공공 플랫폼(NBA 리플레이 아카이브, SoccerNet)에서 비디오와 공식 심판 보고서를 가져옵 니다. 동일한 동작을 다양한 각도에서 포착하기 위해 장면 탐지(scene detection)를 사용하여 멀티 뷰 클립을 분할합니다.
2. LLM 기반 QA 제안: LLM이 심판 보고서에 엄격하게 근거하여 다지선다형 질문을 생성하며, 이를 통해 "정답(gold answer)"은 사실에 근 기반하고 오답(distractors)은 의미적으로 유사하지만 틀린 내용이 되도록 보장합니다.
3. 멀티모달 검증: 강력한 MLLM(GPT-5)이 감사자 역할을 수행하여 QA 쌍, 심판 보고서, 그리고 시각적 증거 사이의 일관성을 검증하고, 환각(hallucination)이나 상식에만 의존하는 질문을 필터링합니다.
4. 인간 필터링: 전문 어노테이터가 모호하거나 잘못 설정된 질문을 제거하기 위해 데이터셋을 정제합니다.
통계: 최종 벤치마크는 787개의 멀티 뷰 비디오 번들(각 2~4개 뷰)과 2,592개의 QA 쌍을 포함합니다.
태스크 카테고리: 질문은 세 가지 추론 수준으로 분류됩니다:
- 인지 인식 기반 인식 (Perception-Aware Recognition, PAR): 가려짐 상황에서의 저수준 동작 식별 (예: 태클, 블록).
- 규칙 이벤트 인지 해석 (Rule Event Aware Interpretation, REI): 규칙에 기반하여 이벤트를 국지화(localization)하는 중간 수준의 추론.
- 판정 결정 추론 (Adjudicative Decision Reasoning, ADR): 제재(예: 페널티 킥 vs 프리킥)를 결정하기 위해 크로스 뷰 증거를 합성하는 고수준의 규범적 추론.

2.2. 베이스라인 분석 및 결과

저자들은 모든 뷰를 단일 입력으로 결합하는 표준 베이스라인을 사용하여 최첨단 MLLM(GPT-4.1, Qwen3-VL 등 포함)을 평가했습니다.

주요 발견:
- 뷰의 양 $\neq$ 질: 모든 뷰를 함께 제공하는 것은 무작위 단일 뷰를 제공하는 것보다 약간의 이득만 주었으며, 단일 "최적의" 뷰를 제공하는 것보다 현저히 낮은 성능을 보였습니다. 중복되거나 가려진 뷰는 노이즈를 유발합니다.
- 인식이 병목 구간: 정답인 미세한 인지 레이블(동작/접촉)을 제공했을 때 정확도가 약 16.5% 향상된 반면, 생각의 사슬(Chain-of-Thought, CoT) 추론이나 추가적인 도메인 지식은 미미하거나 오히려 부정적인 효과를 주었습니다.
- 결론: 현재 MLLM의 주요 실패 모드는 논리적 추론이나 도메인 지식의 부족이 아니라, 정보가 풍부한 뷰를 자율적으로 선택하고 미세한 시각적 인지를 수행하는 능력의 부재입니다.

2.3. SportMV-Agent: 에이전트 기반 프레임워크

이 분석에 착안하여, 저자들은 수동적인 처리 대신 반복적이고 능동적인 추론 루프를 대체하는 에이전트 기반 프레임워크인 SportMV-Agent를 제안합니다.

아키텍처: 시스템은 오케스트레이터(Orchestrator)(강력한 MLLM)와 인지 도구(Perception Tools) 세트로 구성됩니다.
반복 루프:
1. 상태 유지: 오케스트레이터는 질문, 현재 활성화된 뷰, 축적된 증거를 포함하는 상태를 유지합니다.
2. 의사 결정: 각 단계에서 오케스트레이터는 생각(thought)과 연산(operation)을 생성합니다.
3. 능동적 뷰 선택: 현재 뷰가 가려져 있거나 상세 정보가 부족한 경우, 에이전트는 더 정보가 많은 각도로 전환하기 위해 VIEWSELECT 연산을 트리거합니다.
4. 도구 실행: 에이전트는 특정 뷰에 대해 미세한 증거를 추출하기 위해 특화된 인지 도구(동작 인식, 접촉 탐지, 접촉 부위 탐지)를 호출하는 TOOLEXEC를 트리거할 수 있습니다.
5. 종료: 루프는 오케스트레이터가 최종 답변을 내놓기에 충분한 확신에 도달할 때까지 계속됩니다.

3. 주요 결과

성능: SportMV-Agent는 SportMV-Bench에서 **68.31%**의 전체 정확도를 달성하였으며, 이는 가장 강력한 베이스라인(GPT-4.1, 59.68%) 대비 14.46%의 상대적 개선을 나타냅니다.
어블레이션 연구 (Ablation Studies):
- 오케스트레이터 강도: 더 약한 오케스트레이터(GPT-4o)를 사용했을 때 성능이 약 8.6% 하락하여, 강력한 추론 능력의 필요성을 강조했습니다.
- 능동적 뷰 선택: 뷰 전환 모듈을 비활성화하면 성능이 약 7.3% 감소하여, 동적인 뷰 선택이 매우 중요하다는 것을 확인했습니다.
- 도구 견고성: 프레임워크는 사용되는 특정 인지 모델에 대해 견고합니다. 도구를 더 강력한 모델로 교체해도 미미한 이득만 있었는데, 이는 오케스트레이션 전략이 성공의 주요 동력임을 시사합니다.
- 노이즈 처리: Top-1 대신 Top-3 도구 예측을 제공하는 것이 견고성을 높였으며, 이는 오케스트레이터가 검색 노이즈를 필터링할 수 있음을 나타냅니다.

4. 의의 및 주장

본 논문은 SportMV-Bench가 MLLM을 멀티 뷰 스포츠 비디오 이해 측면에서 평가하는 최초의 벤치마크이며, 합성된 단일 뷰 작업과 실제 심판 시나리오 사이의 중요한 격차를 메운다고 주장합니다.

저자들은 다음과 같은 점을 입증한다고 단언합니다:

현재 MLLM의 한계: 표준 모델들은 능동적인 뷰 선택 메커니즘이 부족하고 인지적 오류에 민래하기 때문에 멀티 뷰 증거를 효과적으로 활용하지 못합니다.
인식의 역할: 미세한 시각적 인지는 논리적 추론이나 도메인 지식보다 스포츠 추론의 결정적인 병목 구간입니다.
에이전트 기반 솔루션: 능동적 뷰 선택과 도구 기반 증거 수집을 조율하는 에이전트 기반 프레임워크는 수동적인 단일 패스(single-pass) 접근 방식보다 훨씬 뛰어난 성능을 보입니다.

결론적으로, 본 논문은 향-후 스포츠 비디오 이해의 발전이 정적인 단일 뷰 입력을 넘어, 실제 세계의 다중 카메라 스포츠 데이터를 처리할 수 있는 동적이고 증거에 기반한 추론 시스템을 향해 나아가야 한다고 주장합니다.