Where is the multimodal goal post? On the Ability of Foundation Models to Recognize Contextually Important Moments

이 논문은 축구 하이라이트를 기반으로 중요 순간을 식별하는 새로운 데이터셋을 구축하여, 현재 멀티모달 기반 모델이 중요한 하위 이벤트를 구분하는 데 우연 수준에 머무르며 단일 모달리티에 과도하게 의존하고 있음을 규명하고, 이를 해결하기 위한 모듈식 아키텍처와 교차 모달 시너지를 극대화하는 훈련 절차의 필요성을 강조합니다.

핵심

🎥 축구 하이라이트를 찾는 AI 의 고군분투: "어떤 순간이 진짜 중요할까?"

이 논문은 **"AI 가 축구 경기 영상에서 '진짜 중요한 순간'을 찾아낼 수 있을까?"**라는 질문에서 시작합니다.

마치 축구 해설위원이 경기 중 수많은 장면 중에서 "골! 골! 골!"이라고 외치며 하이라이트로 뽑을 장면을 고르는 것처럼, AI 도 똑같은 일을 하려고 합니다. 하지만 연구 결과, 현재 AI 는 이 일이 생각보다 훨씬 어렵다는 것을 발견했습니다.

이 내용을 일상적인 비유와 함께 쉽게 설명해 드릴게요.

---

1. 연구의 배경: AI 는 왜 하이라이트를 못 고르나요?

요즘 AI(기초 모델) 는 영상을 보고 설명을 하거나, 이야기를 만들어내는 능력이 뛰어나다고 알려져 있습니다. 하지만 이 논문은 그보다 더 기본적인 단계를 테스트했습니다.

비유: "영화 감상의 핵심"
영화를 볼 때, 우리는 긴 2 시간의 영상 중에서도 '클라이맥스'나 '감동적인 장면'만 기억합니다. AI 에게 "이 2 시간짜리 영상에서 가장 중요한 30 초를 골라줘"라고 하면, AI 는 골이 터진 장면은 잘 알아내지만, 골이 아니더라도 전략적으로 중요한 순간이나 비중요한 장면을 구분하는 데는 매우 서툴렀습니다.

연구진은 이를 확인하기 위해 축구 경기 하이라이트 영상을 이용했습니다. 방송국 전문가들이 이미 "이건 하이라이트에 넣어야 해"라고 선별해 둔 영상과, 전체 경기 영상을 비교하여 AI 가 그 기준을 맞출 수 있는지 테스트했습니다.

2. 실험 방법: "하이라이트"라는 숨겨진 정답지

연구진은 직접 사람이 일일이 "중요하다/중요하지 않다"라고 표시하지 않았습니다. 대신 방송국에서 만든 하이라이트 영상을 '정답지'로 삼았습니다.

• 중요한 순간 (Important): 하이라이트 영상에 포함된 장면 (예: 골, 결정적인 슈팅).
• 중요하지 않은 순간 (Non-important): 하이라이트에 없던 장면 (예: 그냥 공을 차는 장면, 중계석의 잡담).

AI 에게는 영상 (화면), 해설 음성, 해설 텍스트라는 세 가지 정보를 주었습니다. 그리고 "이 장면이 하이라이트에 들어갈 만한가?"라고 물어봤습니다.

3. 놀라운 결과: AI 는 여전히 '주사위' 수준?

결과는 실망스러웠습니다. 최신 AI 모델들도 이 문제를 풀 때 **우연히 맞추는 수준 (50% 확률)**과 큰 차이가 없었습니다.

비유: "눈가리개 한 채로 축구 경기 보기"
AI 는 영상을 볼 때 화면만 보고 "골이 났나?"라고 판단하려 합니다. 하지만 축구는 화면만으로는 알 수 없는 맥락이 중요합니다.

• 화면 (Visual): 골대 앞에서의 공의 움직임.
• 해설 (Language): "아, 저건 오프사이드가 아니야! 골이 될 수도 있어!"라는 해설사의 말.

AI 는 화면 정보에 너무 의존하다가, 해설사의 말 (텍스트/음성) 이 주는 중요한 맥락을 놓쳐버렸습니다. 반대로, 골이 아닌 '중요하지 않은 순간'을 판단할 때는 해설사의 말이 더 중요한 힌트가 되는데, AI 는 이를 제대로 활용하지 못했습니다.

4. 핵심 발견: AI 는 '한 가지 감각'에만 의존한다

가장 흥미로운 점은 AI 가 여러 정보 (영상 + 소리 + 글) 를 받았을 때, 이를 잘 섞어쓰지 못한다는 것입니다.

• 중요한 순간 (골 등): AI 는 **화면 (영상)**만 보고도 "아, 골이 났구나!"라고 대충 맞춥니다.
• 중요하지 않은 순간: AI 는 **해설 (텍스트/음성)**을 들어야 "아, 이건 그냥 지나가는 장면이구나"라고 알 수 있습니다.

하지만 AI 는 이 두 가지를 동시에 잘 활용하지 못합니다. 마치 한 손으로만 악기를 연주하는 것처럼, 한 가지 정보 (주로 영상) 에만 집중하다 보니 다른 정보의 도움을 받지 못해 실수를 범합니다.

비유: "다재다능한 오케스트라가 아니라, 독주자"
이상적인 AI 는 오케스트라 지휘자처럼 영상, 소리, 글이라는 악기들을 모두 조화롭게 섞어 '진짜 중요한 순간'을 찾아야 합니다. 하지만 현재 AI 는 비올라 (영상) 소리만 듣고 곡을 해석하려 하거나, 바이올린 (해설) 소리만 듣고 판단하려 합니다. 그래서 오케스트라의 하모니를 만들어내지 못합니다.

5. 결론: AI 는 아직 '해설위원'이 될 준비가 안 됐다

이 논문은 우리에게 중요한 메시지를 줍니다.

1. 현재 AI 는 부족하다: 긴 영상을 보고 요약하거나 이야기를 만들어내려면, 먼저 '무엇이 중요한지'를 정확히 알아야 합니다. 하지만 현재 AI 는 이 기본기도 잘하지 못합니다.
2. 맥락이 생명이다: 축구뿐만 아니라 모든 사건은 **화면 밖의 이야기 (맥락)**가 중요합니다. AI 는 이 맥락을 이해하기 위해 영상과 언어를 더 깊이 있게 연결해야 합니다.
3. 미래의 방향: 앞으로는 AI 가 정보를 단순히 '섞는' 것이 아니라, 상황에 따라 어떤 정보를 더 믿어야 할지 스스로 판단하는 모듈형 구조로 발전해야 합니다.

📝 한 줄 요약

"현재 AI 는 축구 경기 영상에서 '골'은 알아맞히지만, '왜 그 골이 중요한지'나 '골이 아닌 다른 중요한 순간'을 해설사의 말과 함께 이해하는 데는 여전히 서툴러서, 하이라이트를 고르는 해설위원이 되려면 아직 갈 길이 멀다."

이 연구는 AI 가 단순히 "무엇이 보이는가"를 넘어, **"무엇이 의미 있는가"**를 이해하는 단계로 나아가기 위해선 어떤 변화가 필요한지 보여줍니다.

기술 요약

1. 문제 제기 (Problem)

최근 '기초 모델 (Foundation Models)' 또는 '범용 (Omni) 모델'은 시계열 멀티모달 데이터 (이미지, 비디오, 오디오) 를 처리하여 자연어 설명이나 요약을 생성하는 능력을 보여주고 있습니다. 특히 스포츠 중계와 같은 실시간 자동 해설 생성과 같은 응용 분야에서 주목받고 있습니다.

그러나 이러한 모델들이 실제로 유용하기 위해서는 시각적 사건의 핵심적인 하위 이벤트 (moments) 를 식별하고 이해하는 능력이 필수적입니다. 즉, 긴 비디오에서 어떤 순간이 '중요한 하이라이트'인지, 어떤 순간이 '사소한 배경'인지를 구분하는 능력이 없으면 일관성 있고 매력적인 내러티브를 생성할 수 없습니다.

기존 연구들은 주로 텍스트 생성의 유창성 (fluency) 에 초점을 맞추거나, 인간 주석 (annotation) 에 의존하여 중요도를 평가했습니다. 하지만 인간 주석은 비용이 많이 들고, 모델이 단순히 텍스트나 시각 정보 중 하나에만 의존하여 중요한 순간을 판단하는지, 아니면 진정한 멀티모달 시너지를 발휘하는지에 대한 체계적인 평가는 부족했습니다.

2. 방법론 (Methodology)

2.1. MOMENTS 데이터셋 구축

저자들은 인간 주석 비용 없이 고품질의 멀티모달 데이터셋인 MOMENTS를 구축했습니다.

• 데이터 소스: 유럽 주요 리그의 축구 경기 풀영상 (SoccerNet, SoccerReplay-1988) 과 전문가가 선정한 하이라이트 영상 (GOAL 데이터셋) 을 활용했습니다.
• 중요한 순간 (Important Moments) 추출: 하이라이트 영상 (H) 의 프레임과 풀영상 (G) 의 프레임을 시각적으로 매칭하여 하이라이트가 풀영상의 어느 시점에 해당하는지 자동으로 위치를 파악 (Localize) 했습니다.
  • 기술적 접근: 프레임 간 완전 일치 대신 **다중 스케일 구조적 유사성 지수 (SSIM)**를 사용하여 시각적 구조와 구성의 유사성을 측정했습니다.
  • 계층적 정렬: 계산 복잡도를 줄이기 위해 3 단계 접근법 (초기 프레임 비교, 검색 공간 축소, 나머지 프레임 매칭) 을 사용하여 하이라이트를 풀영상에 정밀하게 매핑했습니다.
• 중요하지 않은 순간 (Non-Important Moments) 추출: 하이라이트에 포함되지 않은 연속된 구간을 추출하되, 하이라이트와 유사한 시간 분포 (Gamma 분포 기반) 를 가지도록 샘플링하여 데이터 불균형을 해소했습니다.
• 멀티모달 구성: 각 순간에 대해 비디오 (V), 오디오 해설 (A), 해설 텍스트 전사 (L) 세 가지 모달리티를 포함했습니다. 오디오와 텍스트는 시각적 이벤트와 해설 사이의 시간 지연 (Eye-Voice Span) 을 고려하여 3 초 확장했습니다.

2.2. 실험 설정

• 작업 정의: 주어진 축구 경기의 순간 (Moment) 을 '중요 (1)' 또는 '중요하지 않음 (0)'으로 이진 분류하는 작업.
• 모델: 다양한 오픈소스 기초 모델 사용 (언어 모델, 비전 - 언어 모델, 오디오 - 언어 모델, 범용/오니모달 모델 등).
  • 예: Qwen2.5-Omni, Qwen2.5-VL, Llama-3, Voxtral 등.
• 모달리티 조합: 단일 모달리티 (A, L, V) 와 다양한 조합 (AL, AV, LV, ALV) 으로 모델을 평가하여 멀티모달 입력의 효과를 검증했습니다.
• 평가 지표: 정확도 (Accuracy) 와 **Matthews Correlation Coefficient (MCC)**를 주된 지표로 사용 (데이터가 균형 잡혀 있어 MCC 가 신뢰도 높은 지표).

2.3. 심층 분석 기법

단순한 분류 성능뿐만 아니라 모델의 내부 동작을 분석하기 위해 **모달리티 기여도 (Modality Contribution)**를 정량화했습니다.

• 각 모달리티가 모델의 신뢰도 (Logit 차이) 에 기여하는 정도를 계산하여, 모델이 중요한 순간과 중요하지 않은 순간을 판단할 때 어떤 모달리티에 의존하는지 파악했습니다.

3. 주요 결과 (Key Results)

3.1. 낮은 성능

• 현재 최첨단 기초 모델들의 성능은 **우연 수준 (Chance level)**에 가깝습니다. MCC 와 정확도 점수가 기대치에 미치지 못하며, 인간 수준의 판단 능력을 보여주지 못합니다.
• 멀티모달 입력 (비디오 + 오디오 + 텍스트) 을 받은 모델이 단일 모달리티 모델보다 유의미하게 뛰어난 성능을 보이지 않았습니다.

3.2. 모달리티 의존성 (Unimodal Dominance)

• 중요한 순간 (Important Moments): 모델은 주로 **시각적 모달리티 (비디오)**에 의존하여 중요한 순간 (예: 골) 을 식별했습니다.
• 중요하지 않은 순간 (Non-Important Moments): 모델은 **언어적 모달리티 (해설 텍스트)**에 더 크게 의존하여 중요하지 않은 순간을 분류했습니다.
• 이는 모델이 멀티모달 정보를 통합하기보다, 상황별로 하나의 지배적인 모달리티에 의존하는 경향이 있음을 보여줍니다.

3.3. 맥락적 중요성의 한계

• 전형적인 순간 (예: 골): 시각 정보만으로 판단하기 비교적 용이하여 모델의 신뢰도가 높았습니다.
• 맥락적 순간 (예: 코너킥, 슛): 이러한 순간의 중요성은 시각적 요소만으로는 판단하기 어렵고 해설의 맥락 (전술적 상황 등) 이 필수적입니다.
  • 그러나 실험 결과, 멀티모달 정보를 제공받았을 때 모델의 신뢰도가 크게 향상되지 않았으며, 오히려 특정 모달리티로 수렴 (Collapse) 하거나 노이즈로 인해 성능이 저하되는 경우가 많았습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 데이터셋 (MOMENTS) 제안: 인간 주석 없이 하이라이트 영상과 풀영상을 자동 매칭하여 구축한 대규모 멀티모달 데이터셋. 이는 중요도 판단을 위한 벤치마크로 활용 가능합니다.
2. 기초 모델의 한계 규명: 현재 기초 모델들이 시계열 멀티모달 이벤트에서 '맥락적으로 중요한 순간'을 식별하는 데 심각한 어려움을 겪고 있음을 실증적으로 증명했습니다.
3. 모달리티 통합 실패 분석: 모델들이 멀티모달 정보를 효과적으로 융합 (Synergy) 하지 못하고, 상황에 따라 특정 모달리티에 과도하게 의존 (Unimodal Dominance) 하여 실패함을 분석을 통해 규명했습니다.
4. 모듈형 아키텍처 제안: 샘플 수준의 이질성 (Heterogeneity) 을 처리하고 모달리티 간 시너지를 극대화할 수 있는 모듈형 아키텍처와 보완적 학습 절차의 필요성을 강조했습니다.

5. 의의 및 결론 (Significance)

이 연구는 멀티모달 AI 가 단순한 텍스트 생성을 넘어, 복잡한 실시간 이벤트 (스포츠 중계 등) 를 이해하고 요약하기 위해서는 단순한 정보의 나열이 아닌, 맥락에 따른 '중요도 판단' 능력이 필수적임을 강조합니다.

현재의 기초 모델들은 시각과 언어 정보를 물리적으로 결합하는 수준을 넘어, 두 정보를 심층적으로 통합하여 맥락을 이해하는 단계에는 도달하지 못했습니다. 따라서 향후 연구는 고정된 융합 전략이 아닌, **샘플의 특성에 따라 동적으로 모달리티를 조절할 수 있는 모듈형 아키텍처 (예: Mixture of Experts)**와 이를 위한 학습 목표를 개발하는 방향으로 나아가야 함을 시사합니다.

결론적으로, 현재 기술 수준에서는 이러한 모델들을 실제 스포츠 자동 해설이나 긴 비디오 요약과 같은 실용적 응용 분야에 배포하기에는 아직 무리가 있다는 것이 저자들의 결론입니다.