BoxComm: Benchmarking Category-Aware Commentary Generation and Narration Rhythm in Boxing
이 논문은 팀 스포츠에 국한된 기존 벤치마크의 한계를 극복하기 위해 권투 경기의 미세한 동작과 전술적 분석을 포괄하는 대규모 데이터셋 'BoxComm'을 구축하고, 주석의 범주별 생성 능력과 리듬을 평가하는 새로운 프레임워크를 제안하여 현재 멀티모달 모델의 한계를 규명하고 개선 방안을 제시합니다.
기존에 AI 가 배운 스포츠 해설 (축구, 농구) 은 **'골을 넣었다', '패스를 했다'**처럼 눈에 확 띄고 시간이 꽤 걸리는 사건들이 주를 이룹니다. 마치 천천히 걷는 강아지를 따라가는 것과 비슷하죠.
하지만 복싱은 다릅니다.
속도: 주먹이 날아가는 건 0.3 초도 안 걸립니다. 마치 번개처럼 스쳐 지나가는 나방을 잡으려는 것과 같습니다.
미묘한 차이: '직권 (Jab)'과 '후크 (Hook)'의 차이는 팔이 움직이는 궤적의 아주 작은 차이일 뿐입니다.
해설의 성격: 축구 해설이 "공을 차고 골문으로!"라고 상황을 설명하는 데 집중한다면, 복싱 해설은 "저 선수는 상대의 간격을 재고 있어", "지금 저 타격이 유효타야"처럼 전략과 심리를 분석하는 내용이 훨씬 많습니다.
기존 AI 는 이 '번개 같은 동작'과 '깊은 전략'을 동시에 이해하지 못해 해설을 잘 못했습니다.
2. 이 연구가 만든 것: 'BoxComm' (새로운 교재)
연구팀은 AI 가 복싱 해설을 배우기 위해 **'BoxComm'**이라는 거대한 교재를 만들었습니다.
내용: 세계 복싱 선수권 대회 445 경기의 영상과 전문 해설원들의 해설 5 만 2 천 문장을 담았습니다.
분류: 해설 문장을 3 가지로 나누어 AI 에게 가르쳤습니다.
실시간 상황 설명 (Play-by-Play): "오! 왼쪽 훅이 명중했다!" (무엇이 일어났는지)
전술 분석 (Tactical): "저 선수가 거리를 조절하고 있군." (왜 일어났는지, 전략은 무엇인지)
배경 설명 (Contextual): "이 선수는 과거 챔피언이었어." (선수 소개나 분위기)
이것은 마치 복싱 해설원 양성 학교의 교과서와 같습니다.
3. 새로운 시험 방법: AI 의 실력을 어떻게 볼까?
기존에는 AI 가 해설을 잘 썼는지 '문법'이나 '단어'만 확인했지만, 이 연구는 두 가지 새로운 시험을 고안했습니다.
시험 1: "이 상황에서 어떤 해설을 해야 해?" (카테고리 조건부 생성)
AI 에게 영상을 보여주고, "지금 전술 분석 해설을 해봐"라고 지시합니다.
AI 가 영상을 보고 "아, 저 선수가 거리를 재고 있네"라고 전략을 잘 설명하는지 봅니다.
시험 2: "해설의 리듬감은 어때?" (해설 리듬 평가)
AI 에게 "이 경기 내내 해설해줘"라고 시키고, AI 가 언제 무엇을 말해야 하는지 리듬을 맞췄는지 봅니다.
마치 재즈 연주자처럼, 중요한 순간에는 열정적으로, 조용한 순간에는 침묵하거나 배경 설명을 넣는 '타이밍'이 중요한지 확인합니다.
4. 해결책: 'EIC-Gen' (AI 에게 안경을 씌워주다)
실험 결과, 기존 AI 는 복싱의 빠른 주먹을 못 보고 해설을 망쳤습니다. 그래서 연구팀은 EIC-Gen이라는 방법을 개발했습니다.
비유: AI 가 복싱 링을 볼 때, 안경을 끼고 주먹이 어디에, 어떻게 맞았는지를 미리 알려주는 것입니다.
방법: AI 가 영상을 직접 보는 것만으로는 주먹이 너무 빨라 못 봅니다. 그래서 별도의 기술로 **"14.5 초에 붉은 선수의 왼쪽 훅이 몸통에 명중했다"**라는 구조화된 텍스트 정보를 AI 에게 먼저 보여줍니다.
효과: AI 는 이 '안경' 덕분에 주먹의 움직임을 놓치지 않고, "오, 저게 명중했구나"라고 정확한 해설을 할 수 있게 되었습니다.
5. 결론: 무엇을 얻었나?
이 연구는 다음과 같은 성과를 냈습니다.
새로운 데이터셋: 복싱 해설을 위한 세계 최초의 대규모 데이터셋을 공개했습니다.
현실 인식: 현재 AI 는 격투기 해설을 잘 못한다는 사실을 증명했습니다. (특히 빠른 동작과 전략 분석에서)
해결책 제시: AI 에게 작은 사건 (주먹) 을 텍스트로 미리 알려주는 것이 해설의 정확도를 크게 높인다는 것을 증명했습니다.
한 줄 요약:
"AI 가 복싱 해설을 잘 하려면, 단순히 영상을 보는 것만으로는 부족하고, 번개처럼 빠른 주먹의 움직임을 텍스트로 미리 알려주는 '안경'을 끼워주어야 제대로 된 해설을 할 수 있다."
이 연구는 앞으로 AI 가 스포츠 중계를 더 생생하고 전문적으로 만들어주는 데 큰 발판이 될 것입니다.
논문 개요
이 논문은 스포츠 해설 생성 (Sports Commentary Generation) 분야에서 팀 스포츠 (축구, 농구 등) 에 집중되어 있던 기존 연구의 한계를 지적하고, 복싱과 같은 격투기 스포츠에 특화된 대규모 데이터셋과 벤치마크를 제안합니다. 격투기 스포츠는 초단위 (밀리초) 의 빠른 동작과 미묘한 시각적 차이가 해설의 핵심이 되며, 전술적 분석의 비중이 팀 스포츠보다 훨씬 높다는 점을 강조합니다.
1. 문제 정의 (Problem)
기존 벤치마크의 한계: 기존 스포츠 해설 생성 연구는 주로 축구나 농구와 같은 팀 스포츠에 국한되어 있습니다.
격투기 스포츠의 고유한 난제:
초고속 및 미세한 동작: 펀치 (jab, hook 등) 와 같은 핵심 동작은 수백 밀리초 내에 발생하며, 시각적 차이는 미미하지만 해설의 의미는 결정적입니다.
해설 구조의 차이: 팀 스포츠는 실시간 동작 묘사 (Play-by-Play) 가 주를 이루는 반면, 격투기는 전술, 전략, 거리 조절 등 전술적 분석 (Tactical) 의 비중이 압도적으로 높습니다.
리듬의 중요성: 해설의 타이밍과 리듬이 내용만큼 중요하지만, 이를 평가할 수 있는 표준이 부재했습니다.
2. 제안된 방법론 및 데이터셋 (Methodology & Dataset)
가. BoxComm 데이터셋 구축
규모: 2025 년 세계 복싱 선수권 대회 (World Boxing Championship) 의 445 경기 영상과 프로 방송에서 추출한 52,000 개 이상의 문장 단위 해설로 구성됩니다.
세분화된 카테고리 주석: 각 해설 문장은 다음 3 가지 카테고리로 분류되어 있습니다 (최초의 카테고리 레벨 주석 제공):
Play-by-Play (PbP): 실시간 동작 묘사 (예: "좋은 잽!", "몸통에 명중").
Tactical (Tac): 전술, 전략, 상대 분석 (예: "거리 조절이 필요해", "상대의 패턴을 읽어야 해").
Contextual (Ctx): 배경 정보, 선수 기록, 경기 흐름 설명.
데이터 처리: WhisperX 를 통한 음성 인식 후, GPT-5.2 를 활용하여 복싱 전문 용어 수정 및 의미 단위로 문장을 재분할 (Semantic Re-segmentation) 하여 정밀한 시간 동기화를 달성했습니다.
나. 평가 프로토콜 (Evaluation Protocols)
카테고리 조건부 해설 생성 (Category-Conditioned Generation):
주어진 비디오 구간과 이전 해설 맥락, 그리고 목표 카테고리 (PbP, Tac, Ctx) 를 입력받아 해당 스타일의 해설 문장을 생성하는지 평가합니다.
지표: BERTScore (의미 유사도), LLM-as-Judge (내용 일치도).
해설 리듬 평가 (Commentary Rhythm Assessment):
제한 없이 연속적인 비디오 스트림을 입력받아 해설을 생성하는 시나리오입니다.
생성된 해설의 시간적 분포가 실제 인간 해설가의 리듬과 일치하는지 평가합니다.
지표: 시간적 IoU (t-IoU, 타이밍 정합성), KL 발산 (Kullback-Leibler Divergence, 카테고리별 시간 분포 유사도).
해결:펀치 이벤트 추출 파이프라인을 도입하여 구조화된 행동 정보를 텍스트 템플릿으로 변환합니다.
추출 과정: Detectron2 (바운딩 박스), CameraHMR (휴먼 메시), PHALP (트래킹), Causal TCN 및 VideoMAEv2 (펀치 분류) 를 활용하여 펀치 타이밍, 거리, 기술, 타겟, 효과 등을 추출.
입력: 추출된 16 개의 최근 펀치 이벤트를 자연어 템플릿으로 변환하여 MLLM 의 입력 (비디오 + 해설 히스토리) 에 추가합니다.
3. 주요 실험 결과 (Results)
기존 모델의 한계: GPT-4o-mini, LLaVA-OV, Qwen3-VL 등 최첨단 MLLM 들은 제로샷 (Zero-shot) 환경에서 복싱 해설 생성에 실패했습니다. 특히 빠른 동작을 놓치거나 (Perception Blindness), 해설 리듬을 유지하지 못했습니다.
EIC-Gen 의 효과:
생성 정확도 향상: 펀치 이벤트 정보를 추가 (V+E) 한 결과, 모든 모델에서 사실적 일치도 (Accuracy) 가 크게 향상되었습니다. 특히 미세 조정 (Fine-tuning) 된 Qwen3-VL-8B 모델은 전술적 분석 정확도가 **34.0%**까지 상승했습니다.
할루시네이션 감소: 명시적인 행동 정보를 제공함으로써 모델이 동작을 놓치거나 잘못된 해설을 생성하는 현상이 줄어든 것으로 확인되었습니다.
리듬 평가 결과: 기존 스트리밍 모델들은 해설이 반복되거나 아예 생성이 중단되는 등 전문 해설의 리듬을 전혀 따라가지 못했습니다.
4. 주요 기여 (Key Contributions)
BoxComm 데이터셋: 격투기 스포츠 해설 생성을 위한 최초의 대규모 데이터셋 (445 경기, 52K 문장) 으로, 카테고리별 (PbP, Tac, Ctx) 주석을 제공합니다.
새로운 평가 체계: 단순 생성 정확도뿐만 아니라, 해설의 카테고리 조건부 생성 능력과 시간적 리듬 (타이밍 및 분포) 을 평가하는 두 가지 프로토콜을 제안했습니다.
구조적 행동 cue 의 중요성 입증: 시각적 입력만으로는 격투기 해설이 어렵다는 것을 증명하고, 추출된 펀치 이벤트 정보를 텍스트로 변환하여 입력하는 것 (EIC-Gen) 이 성능 향상에 결정적임을 입증했습니다.
5. 의의 및 결론 (Significance)
이 연구는 스포츠 해설 생성 분야에서 팀 스포츠 중심의 편향을 해소하고, 격투기 스포츠의 고유한 난제 (초고속 동작, 전술적 분석) 를 해결하기 위한 새로운 기준을 제시했습니다. 특히, 미세한 시각적 사건을 구조화된 텍스트 정보로 변환하여 언어 모델에 주입하는 접근법은 향후 실시간 스포츠 해설 시스템 개발과 다중 모달 모델의 정밀한 상황 인식 능력 향상에 중요한 통찰을 제공합니다.
요약: 이 논문은 복싱 해설을 위해 BoxComm 데이터셋과 EIC-Gen 모델을 제안하며, 기존 MLLM 이 격투기 스포츠의 빠른 리듬과 전술적 깊이를 이해하는 데 한계가 있음을 지적하고, 구조화된 행동 정보 (펀치 이벤트) 의 통합이 이를 해결하는 핵심 열쇠임을 증명했습니다.