1. 문제 정의 (Problem Statement)

현재 멀티모달 대규모 언어 모델 (MLLM) 은 시각 (이미지/비디오) 과 청각 (오디오) 정보를 개별적으로 처리하는 데 있어 뛰어난 성능을 보여주고 있습니다. 그러나 긴 분량의 복잡하고 현실적인 비디오에서 시각, 청각, 텍스트 신호를 동시에 통합하여 추론 (Omni-modal Reasoning) 하는 능력은 여전히 미개척 영역입니다.

기존 벤치마크들은 다음과 같은 한계를 가지고 있습니다:

• 단일 모달리티 중심: 오디오나 비디오 중 하나에만 초점을 맞추거나, 오디오를 보조 정보로만 취급함.
• 짧은 클립 위주: 장기적인 시간적 의존성 (Long-term temporal dependencies) 을 다루지 못하는 짧은 영상 위주.
• 비밀접한 결합 부족: 오디오와 비주얼이 긴밀하게 결합되어 서로의 맥락을 이해해야만 정답을 도출할 수 있는 복잡한 상황 평가가 부재함.

이러한 한계로 인해, 현실 세계의 긴 비디오에서 다중 모달리티 간의 상호작용을 이해하고 추론하는 AI 의 진정한 능력을 측정할 수 있는 체계적인 평가 도구가 필요했습니다.

2. 방법론 (Methodology)

저자들은 MMOU (Massive Multi-task Omni Understanding and Reasoning) 라는 새로운 벤치마크를 제안했습니다. 이는 다음과 같은 체계적인 프로세스를 통해 구축되었습니다.

A. 데이터 구성 및 통계

• 규모: 9,038 개의 웹 수집된 긴 형식 (Long-form) 실사 비디오와 15,000 개의 정교하게 큐레이션된 질문 - 답변 (QA) 쌍으로 구성됨.
• 영상 특성: 평균 길이 711.6 초 (최대 7,255 초), 10 개의 주요 도메인 (학술 강의, 스포츠, 뉴스, 영화 등) 과 36 개의 세부 카테고리를 포괄.
• 질문 유형: 모든 질문은 오디오와 비주얼 정보를 동시에 통합해야만 해결 가능하며, 단일 모달리티만으로는 실패하도록 설계됨.

B. 13 가지 핵심 기술 (Skill Categories)

MMOU 는 13 가지 근본적인 추론 기술을 평가하도록 설계되었습니다. 이는 인간 인지와 유사한 통합적 사고를 요구합니다.

1. Temporal Understanding: 오디오 - 비주얼 이벤트의 순서 및 시간적 의존성 파악.
2. Sub-scene Understanding: 긴 영상 내 특정 의미 있는 세그먼트 식별 및 맥락 이해.
3. Holistic Video Reasoning: 전체 타임라인에 걸친 영상 주제 및 목적에 대한 통합적 이해.
4. Inference & Context: 명시되지 않은 의도, 원인, 상황적 맥락 추론.
5. Needle-in-the-haystack: 긴 영상 내 특정 순간의 국소화 및 추론.
6. Referential Grounding: 오디오 참조와 시각적 개체 (또는 그 반대) 간의 연결.
7. Counting & Comparative: 반복되거나 다른 오디오 - 비주얼 이벤트의 정량적/관계적 추론.
8. Object Interaction Reasoning: 시간에 따른 객체 조작 및 변환 이해.
9. Audio-Visual Stitching: 편집된 세그먼트 간의 내러티브 연속성 이해.
10. Tracking Spurious Correlations: 언어적 사전 지식만으로는 추론 불가능한 놀라운 오디오 - 비주얼 증거 파악.
    (나머지 3 개는 위와 유사한 세부 추론 기술 포함)

C. 데이터 수집 및 주석 과정

1. 전문가 주석: 11 명의 전문 주석가가 모든 영상을 시청 후 개방형 (Open-ended) 질문을 생성.
2. 다중 선택지 변환: 각 질문에 9 개의 '어려운 오답 (Hard Distractors)'을 생성하여 총 10 개의 선택지 (Multiple Choice) 로 변환. 오답은 의미상 타당하거나 맥락에서 벗어난 형태로 설계되어 표면적 단서 제거를 방지.
3. 품질 관리: 모호하거나 중복된 질문 제거, 오디오 - 비주얼 정합성 (Grounding) 검증, 시간 스탬프 정확성 확인을 통해 최종 15,000 개 QA 쌍 확정.

3. 주요 기여 (Key Contributions)

1. MMOU 벤치마크 제안: 긴 현실 세계 비디오에서의 고급 오니 - 모달 (오디오 - 비주얼) 지각 및 추론을 평가하는 포괄적인 벤치마크를 최초로 제시.
2. 대규모 모델 평가: 20 개 이상의 최신 오픈소스 및 독점 (Proprietary) 멀티모달 모델을 평가하여, 인간이 직관적으로 해결하는 작업에서도 최첨단 모델들이 심각한 어려움을 겪음을 입증.
3. 체계적 실패 모드 분석: 모델의 예측에 대한 심층 분석을 통해 장기 시간적 맥락 유지의 실패, 특정 기술 (예: 세기, 시간적 관계 파악) 에 대한 취약성 등 체계적인 실패 패턴을 규명.

4. 실험 결과 (Results)

A. 모델 성능

• 최고 성능: 독점 모델인 Gemini 2.5 Pro가 전체 정확도 **64.2%**로 1 위를 기록했으나, 인간 평가자 (84.3%) 에 비해 여전히 큰 격차가 존재함.
• 오픈소스 모델: 가장 강력한 오픈소스 모델 (Minicpm-o 4.5 등) 은 **46.8%**의 정확도에 그쳤으며, 다른 모델들은 19.4% ~ 31.3% 수준으로 낮음.
• 모달리티 의존성:
  • 비주얼 전용 모델 (Qwen3-VL-32B): 44.0% (오디오 정보 부재로 성능 저하).
  • 오디오 전용 모델 (Audio Flamingo 3): 17.7% (시각 정보 부재로 극심한 저하).
  • 텍스트 전용 모델 (GPT-5.2): 40.7% (시각/오디오 입력 없이 텍스트만으로 해결 불가).
  • 결론: MMOU 는 오디오와 비주얼의 공동 추론 (Joint Reasoning) 을 필수적으로 요구하며, 단일 모달리티나 텍스트 기반 추론만으로는 해결 불가능함.

B. 심층 분석

• 시간적 위치 민감성: 답변에 필요한 증거가 영상 후반부에 위치할수록 모델의 정확도가 급격히 하락함 (Long-context retention 문제).
• 기술별 성능: '세기 (Counting)', '바늘 찾기 (Needle-in-the-haystack)', '시간적 이해 (Temporal Understanding)'와 같은 기본 기술에서도 최첨단 모델들이 큰 어려움을 겪음.
• 개방형 평가 (Open-Ended): 객관식 (MCQ) 평가보다 개방형 생성 평가에서 모델의 성능이 더 크게 저하됨. 이는 모델이 정답을 '알고' 있더라도 이를 표현하거나 (Articulation), 객관식 선택지라는 '스캐폴딩 (Scaffolding)'이 없으면 추론을 수행하지 못함을 시사.

5. 의의 및 시사점 (Significance)

• AGI 로의 도약: 멀티모달 AI 가 인간과 유사한 통합적 인지를 갖추기 위해서는 단일 모달리티 성능 향상을 넘어, 긴 시간적 맥락에서 오디오프 - 비주얼 정보를 통합하는 능력이 필수적임을 강조.
• 진단 도구: 기존 벤치마크에서 놓치고 있던 장기 비디오 이해의 취약점 (Long-horizon reasoning failure) 을 명확히 드러내어, 향후 모델 개발 방향 (시간적 기억, 크로스 - 모달 추론 강화) 에 대한 통찰 제공.
• 안전성 및 신뢰성: 교육, 미디어 분석, 인간 - 컴퓨터 상호작용 등 고위험 분야에서 AI 를 배포하기 전에, 이러한 장기적이고 복잡한 시나리오에서의 실패 모드를 식별하고 해결하는 것이 중요함을 강조.

요약하자면, MMOU 는 현재 멀티모달 AI 가 직면한 **'긴 영상에서의 통합적 추론'**이라는 핵심 과제를 정량화하고, 모델들이 여전히 인간 수준의 이해에 도달하지 못했음을 입증함으로써, 차세대 오니 - 모달 지능 개발을 위한 중요한 이정표가 되는 벤치마크입니다.