RefereeBench: Are Video MLLMs Ready to be Multi-Sport Referees

1. 문제 정의 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLMs) 은 일반적인 비디오 이해 능력에서 뛰어난 성과를 보이지만, 특정 규칙에 기반한 전문적인 의사결정 (예: 스포츠 심판) 을 지원하는 능력은 충분히 탐구되지 않았습니다.
• 핵심 과제: 자동 스포츠 심판 시스템은 단순히 동작을 인식하는 것을 넘어, 위반 여부 판정, 관련 주체 식별, 결정적 순간의 시간적 위치 파악 (Temporal Grounding), 시각적으로 유사하지만 규칙상 다른 사건 구분, 그리고 스포츠별 규칙과 제재 기준에 근거한 추론이 필요합니다.
• 현재 한계: 기존 벤치마크는 주로 특정 종목 (특히 축구) 에 국한되거나, 행동 spotting(스포트팅) 및 코멘트 생성 등 심판의 핵심 의사결정 과제를 포괄적으로 평가하지 못합니다. 따라서 현재 MLLM 이 다양한 종목의 규칙을 적용하여 신뢰할 수 있는 심판 역할을 할 수 있는지 평가할 수 있는 체계적인 기준이 부재했습니다.

2. 방법론 (Methodology)

A. RefereeBench 데이터셋 구축

이 논문은 자동 스포츠 심판을 평가하기 위한 최초의 대규모 벤치마크인 RefereeBench를 제안했습니다.

• 데이터 규모 및 구성:
  • 11 개 종목: 축구, 농구, 배구, 테니스, 탁구, 배드민턴, 핸드볼, 필드하키, 아이스하키, 수구, 쇼트트랙.
  • 925 개의 큐레이션된 비디오: 실제 경기 영상 (YouTube, 공식 플랫폼 등) 에서 수집되었으며, 하이라이트나 편집된 클립이 아닌 연속된 경기 맥락을 유지합니다.
  • 6,475 개의 QA 쌍: 각 비디오당 7 가지 유형의 질문이 할당됨.
• 전문가 주석 (Annotation):
  • 약 30 명의 국가 공인 심판 (Certified Referees) 이 참여하여 데이터의 정확성을 보장했습니다.
  • 2 단계 주석 프로세스:
    1. 메타데이터 추출: 위반 존재 여부, 위반 유형, 제재 유형, 논리, 시간적 구간, 관련 주체 등을 구조화.
    2. 질문 생성: 구조화된 메타데이터를 기반으로 6 개의 객관식 질문 (Q2~Q7) 과 1 개의 위반 존재 여부 질문 (Q1) 을 생성.
• 평가维度 (5 가지 핵심 능력):
  1. 위반 존재 여부 (Foul Existence): 위반이 있는지 여부 판단.
  2. 분류 (Classification): 위반 유형 및 제재 (페널티) 유형 식별.
  3. 추론 (Reasoning): 위반 및 제재의 근거 (규칙 적용) 설명.
  4. 주체 인식 (Entity Perception): 관련 선수 식별.
  5. 시간적 위치 파악 (Temporal Grounding): 위반이 발생한 정확한 시점 또는 구간 식별.
• 품질 관리: 교차 검증, 고위 심판의 최종 판정, 텍스트만으로는 정답을 유추할 수 없는지 확인 (블라인드 테스트) 등을 통해 데이터의 신뢰성을 확보했습니다.

B. 실험 설정

• 평가 대상 모델:
  • 상용 (Closed-source): GPT-5, GPT-4o, Gemini-3-Pro/Flash, Claude-4.5, Doubao-Seed-1.8 등.
  • 오픈소스 (Open-source): Qwen3-VL, InternVL-3.5, VideoLLaMA3, LLaVA-Video 등.
• 평가 프로토콜: 모든 모델은 720p 해상도의 비디오 전체와 오디오를 입력받아 객관식 답변을 생성하도록 설정되었습니다.

3. 주요 결과 (Key Results)

• 전반적인 성능:
  • 현재 가장 강력한 모델들도 60% 미만의 정확도를 기록하여 신뢰할 수 있는 심판으로 보기 어렵습니다.
  • 최고 성능: Doubao-Seed-1.8 (약 61.1%), Gemini-3-Flash (약 60.6%), Gemini-3-Pro (약 60.0%).
  • 오픈소스 모델: Qwen3-VL 이 가장 성능이 좋았으나 (약 47.1%), 상용 모델보다 크게 뒤처졌습니다.
• 능력별 격차:
  • 강점: '위반 존재 여부 (Existence)'와 '주체 인식 (Perception)'은 상대적으로 잘 수행합니다 (Doubao-Seed-1.8 은 위반 존재 여부에서 92.5% 정확도).
  • 약점: '규칙 기반 추론 (Reasoning)'과 '시간적 위치 파악 (Grounding)'에서 심각한 부진을 보입니다. 특히 시간적 위치 파악 (Grounding) 은 모든 모델에서 50% 이하의 성능을 보였습니다.
• 오류 패턴:
  • 과도한 위반 판정 (Over-calling): 정상적인 플레이를 위반으로 잘못 판단하는 경향이 강합니다.
  • 유도성 편향 (Suggestive Bias): 질문의 문맥이 유도될 때 (예: "위반이 있었나요?") 실제 위반이 없어도 위반이라고 판단하는 경향이 있습니다.
  • 오디오의 중요성: 오디오 정보를 추가했을 때 (예: Gemini-3-Flash) 전반적인 성능이 약 16% 포인트 향상되어, 심판 업무가 본질적으로 멀티모달 추론임을 입증했습니다.
• 규칙 지식 한계: 텍스트 기반 심판 시험에서 모델들은 규칙 지식 (Rule Knowledge) 은 어느 정도 가지고 있으나, 이를 시각적 증거와 결합하여 적용하는 데 실패합니다.

4. 주요 기여 (Contributions)

1. RefereeBench 도입: 단일 종목이 아닌 11 개 종목을 아우르는 최초의 대규모 자동 스포츠 심판 평가 벤치마크를 제안했습니다.
2. 고품질 멀티모달 데이터셋: 11 개 종목, 7 가지 심판 관련 질문 유형, 오디오 및 리플레이 뷰를 포함한 전문가 (공인 심판) 에 의해 주석된 고품질 데이터를 구축했습니다.
3. 포괄적인 평가 및 분석: 최신 MLLM 들의 규칙 기반 스포츠 의사결정 능력을 평가하여, 지각 (Perception) 과 신뢰할 수 있는 심판 (Reliable Refereeing) 사이의 간극을 규명했습니다. 특히 시간적 위치 파악과 규칙 적용의 어려움을 강조했습니다.

5. 의의 및 결론 (Significance)

• 현실적 한계 지적: 현재 MLLM 은 일반적인 비디오 이해는 가능하지만, 복잡한 스포츠 규칙을 적용하고 결정적 순간을 정확히 찾아내는 신뢰할 수 있는 심판 보조 도구로는 아직 준비되지 않았음을 명확히 보여줍니다.
• 향후 방향성 제시:
  • 단순한 지각 능력을 넘어 도메인 지식 (규칙) 과 멀티모달 이해의 통합이 필요함.
  • 시간적 위치 파악 (Temporal Grounding) 능력의 향상과 편향 없는 의사결정 (과도한 위반 판정 방지) 이 핵심 과제임.
  • 추론 과정의 투명성을 높이기 위해 Chain-of-Thought나 RAG(검색 증강 생성) 기반의 규칙 참조 방식이 필요하지만, 현재는 단순 RAG 만으로는 해결되지 않아 더 정교한 시각 - 규칙 결합 메커니즘이 요구됨.
• 영향: 이 벤치마크는 멀티미디어 커뮤니티가 단순한 비디오 이해를 넘어, 고위험 (High-stakes) 환경에서 신뢰할 수 있는 전문가 수준의 AI 어시스턴트를 개발하는 방향으로 나아가야 함을 촉구합니다.