기술 요약: MuseBench

문제 정의

현재의 멀티모달 거대 언어 모델(MLLM)은 비디오 콘텐츠에 대한 지각적 인식 및 사실적 추론 능력에서 강력한 성능을 입증해 왔습니다. 그러나 의도 수준의 예술적 이해(intent-level artistic understanding) 측면에서는 결정적인 격차가 존재합니다. 시청각 예술(영화, 정적 시각 예술, 무대 공연, 게임 디자인)을 이해하기 위해서는 단순히 '무엇이 묘사되었는가'를 넘어, 특정 창의적 선택(예: 프레이밍, 조명, 편집 속도, 사운드 디자인)이 감정, 주제 또는 미학적 의도를 전달하기 위해 '왜' 이루어졌는지를 추론해야 합니다.

기존의 비디오 벤치마크는 주로 단일 정답을 가진 단일 선택형 질문을 통해 표면적인 인식이나 시간적 추론을 평가합니다. 이러한 형식은 예술적 분석에 내재된 **해석의 다원성(plurality of valid interpretations)**을 포착하지 못합니다. 예술적 분석에서는 여러 개의 타당한 관점이 공존할 수 있기 때문입니다. 또한, 이 영역을 위한 벤치마크 구축은 전문가 지식 데이터의 부족과, 스크립트에 기반한 지름길(shortcut)에 의존하지 않는 고품질의 오답(distractor)을 생성하는 어려움으로 인해 제약을 받습니다.

방법론

1. 데이터 소스: 비디오 에세이

전문가 지식 데이터의 부족을 해결하기 위해, 저자들은 비디오 에세이(YouTube, Bilibili, TikTok 출처)를 주요 지식 베이스로 활용합니다. 이 비디오들은 전문적인 해설과 시각적 시연을 결합하여, 전문가의 추론과 시각적 증거 사이의 자연스러운 정렬을 제공합니다. 데이터셋은 10,000개 이상의 후보 비디오 에세이에서 추출되었습니다.

2. 구축 파이프라인

저자들은 가공되지 않은 비디오 에세이를 벤치마크 질문으로 변환하기 위해 4단계 반복 구축 파이프형을 제안합니다:

• 세분화(Segmentation): 비디오를 10초 단위 구간으로 나눕니다.
• 클립 캡셔닝(Clip Captioning): 시각-언어 모델(Keye-VL-1.5)이 화자의 스크립트를 조건으로 각 구간에 대한 세밀한 캡션을 생성합니다. 이 캡션들은 구축을 위한 자원으로 사용되지만, 평가 대상 모델에게는 절대 노출되지 않습니다.
• 질문 생성(Question Generation): 질문은 두 가지 형식으로 생성됩니다:
  • 단일 선택형(Single-Select): 가장 정밀한 해석을 식별하는 개별 인식을 테스트합니다 (4~8개의 선택지 중 1개의 정답).
  • 다중 선택형(Multi-Select): 여러 예술적 의도가 동시에 타당할 수 있음을 인정하며, 집합 형태의 분석적 판단을 테스트합니다 (48개의 선택지 중 24개의 정답).
• 오답 생성(Distractor Generation): 적대적 단계(adversarial step)를 통해 7가지 전략(예: 기술적 오독, 과도한 단순화, 사실 오류, 개념적 혼동, 범위 오류, 시간적 혼동, 부분적 진실)을 사용하여 그럴듯한 오답을 생성합니다. 이는 클립에 접근 권한이 없는 독자에게 모든 선택지가 동일하게 타당해 보이도록 하여, 스크립트 기반의 추측(shortcut-based guessing)을 억제합니다.

3. 품질 검토

인간 참여형 반복 검토(human-in-the-loop iterative review) 프로세스를 통해 질문을 정교화합니다. 도메인 전문가들이 네 가지 차원(전체적 품질, 시각적 필수성, 메커니즘적 추적, 정답 무결성)에 따라 항목을 평가하고, 실패 모드(예: 화자 의존적 답변 가능성, 모호한 질문 문구)를 태깅합니다. 생성 프롬프트는 벤치마크가 품질 표준을 충족할 때까지 이러한 실패 요인을 제거하기 위해 반복적으로 업데이트됩니다.

4. 평가 프로토콜

가변적인 선택지 개수와 예술적 추론의 개방적 특성을 처리하기 위해, 논문은 특정 지표를 도입합니다:

• 기댓값 보정 정확도(Chance-Adjusted Accuracy, CAA): 단일 선택형 질문의 경우, 선택지의 수($K_i$)가 달라도 점수를 정규화하여, 무작위 추측 시 0점을, 정답 시 1점을 얻도록 보장합니다.
• 집합 기반 지표(Set-Based Metrics: 정밀도, 재현율, F1): 다중 선택형 질문의 경우, 완전 일치 정확도(exact-match accuracy)는 너무 엄격하다고 판단됩니다. 저자들은 예측된 선택지 집합에 대해 정밀도(Precision), 재현율(Recall), F1 점수를 보고함으로써, 부분적인 일치를 포착하고 가장 두드러진 옵션을 식별하는 모델과 전체 유효한 해석의 폭을 포착하는 모델을 구분합니다.

주요 기여

1. MuseBench 벤치마크: 4가지 예술 카테고리(영화 예술, 정적 시각 예술, 무대 공연 예술, 게임 예술)와 11개 하위 도메인에 걸쳐 4,016개의 전문가 검증 질문으로 구성된 종합 벤치마크입니다. 이는 해석적 다원성을 모델링하기 위해 가변적인 선택지 개수를 가진 단일 선택 및 다중 선택 형식을 독특하게 결합합니다.
2. 확장 가능한 전문가 지식 파이프라인: 비디오 에세이와 LLM을 활용하여 시각적으로 근거가 명확한 의도 수준의 질문을 대규모로 생성하는 새로운 4단계 파이프라인을 제안하며, 이를 통해 크라우드소싱 없이 창의적 영역의 전문가 지식을 습득하는 근본적인 문제를 해결합니다.
3. 원칙적인 평가 프로토콜: 기댓값 보정 정확도와 완전 일치 진단을 포함한 F1 점수를 사용하는 이질적 형식의 스코어링 프로토콜을 도입합니다. 이를 통해 표준 정확도 지표보다 예술적 추론에 대한 모델의 능력을 더 미묘하게 평가할 수 있습니다.

결과

저자들은 28개의 최첨단 MLLM(독점 모델 및 오픈 소스 모델 포함)을 대상으로 MuseBench에서 **제로샷 평가(zero-shot evaluations)**를 수행했습니다.

• 성능 격차: 가장 우수한 성능을 보인 모델(Claude-4.6-Opus)조차 전체 정확도가 **48.29%**에 불과하여, 인간 전문가의 87.18% 성능에 비해 현저히 낮았습니다. 이는 현재 모델들의 창의적 도메인 전문성에 상당한 격차가 있음을 드러냅니다.
• 카테고리별 약점: 모든 티어에서 모델들은 게임 예술(Game Arts) 분야에서 급격히 낮은 성능을 보였는데, 이는 사전 학습 코퍼스에서 상호작용적 비주얼과 실시간 카메라 제어의 표현이 제한적이기 때문인 것으로 보입니다.
• 다중 선택 행동: 다중 선택형 질문에서 모델들은 **정밀도-재현율 비대칭(precision-recall asymmetry)**을 보였습니다. 모델들은 가장 두드러진 정답 하나를 찾아내는 경傾向(높은 정밀도)이 있으나, 유효한 해석의 전체 집합을 열거하는 데는 실패(낮은 재현율)했습니다. 이는 모델이 전문가 수준의 추론에 필요한 분석적 관점의 폭을 다루는 데 어려움을 겪고 있음을 시사합니다.
• 핵심 프레임 선택: 적응형 핵심 프레임 선택 방식은 성능 향상을 거의 제공하지 못했으며, 이는 병목 현상이 시간적 국지화(temporal localization)나 프레임 선택이 아닌 **양식적 어휘(stylistic vocabulary)와 문화적 사전 지식(cultural priors)**에 있음을 나타냅니다.
• 위치 편향(Position Bias): 오픈 소스 MLLM은 5개 이상의 선택지가 있는 질문에서 첫 번째 옵션(A)을 선택하는 뚜렷한 편향을 보인 반면, 독점 모델은 편향이 훨씬 적었습니다.

의의

본 논문은 일반적인 비디오 이해를 확장하는 현재의 궤적만으로는 진정한 창의적 도메인 이해를 달성하기에 불충분하다고 주장합니다. 상당한 성능 격차와 특정 실패 패턴(예: 해석적 다원성 처리 불가, 게임 예술에 대한 취약성)은 미래의 발전이 다음과 같은 사항을 필요로 함을 시사합니다:

• 더 풍부한 예술적 감독(Artistic Supervision): 훈련 파이프라인에 더 다양한 문화적, 양식적 감독을 통합하는 것.
• 다각적 평가: 부분 점수와 추론의 폭을 포착할 수 있는 지표로 단일 선택 정확도를 넘어가는 것.
• 도메인 특화 추론: 시청각 예술을 일반적인 비디오 이해를 넘어서는 전문 지식이 필요한 별도의 도메인으로 취급하는 것.

MuseBench는 시청각 예술에서 진정한 의도 수준의 추론이 가능한 MLLM을 향한 지속적인 발전을 촉진하기 위해 공개됩니다.