기술 요약: ViMU - 비디오 은유적 이해 벤치마킹

1. 문제 정의

현재 비디오 이해 모델들은 주로 사물, 행동, 시간적 관계 등을 인식하는 문자적 시각 이해에 집중하고 있습니다. 그러나 많은 비디오의 진정한 의미는 노골적인 콘텐츠가 아니라 **암시적 의미 (subtext)**에 존재합니다. 이는 명시적으로 보여지는 것을 넘어 추론이 필요한 암묵적 아이디어, 수사적 장치, 사회적 신호, 그리고 문화적으로 기반을 둔 의미들 (예: 아이러니, 조롱, 비판, 정치적 암시) 을 포함합니다.

기존 벤치마크들은 다음과 같은 이유로 이러한 격차를 효과적으로 해결하지 못합니다:

1. 사회적 기반 의미보다는 숨겨진 공간적 또는 물리적 관계를 대상으로 합니다.
2. 비언어적 유머에만 좁게 초점을 맞춥니다.
3. 선택지가 우연히 타당한 암시적 가설을 드러낼 수 있는 객관식 형식에 의존하여, 단서 없는 추론을 강제하지 못합니다.

본 논문은 비디오의 암시적 의미를 이해하기 위해서는 명시적 단서 없이 다중 모달 증거를 통합하고, 문화적 맥락이 부여된 참조를 복원하며, 창작자의 의사소통 의도를 추론해야 한다고 주장합니다.

2. 방법론: ViMU 벤치마크

저자들은 최첨단 모델들의 암시적 의미 이해 능력을 체계적으로 평가하도록 설계된 최초의 벤치마크인 **ViMU(Video Metaphorical Understanding, 비디오 은유적 이해)**를 소개합니다.

데이터셋 구성

• 규모: 588 개의 비디오와 2,352 개의 질문.
• 출처: YouTube, Bilibili, TikTok 등의 플랫폼에서 선별.
• 선별 파이프라인: 다음을 포함하는 다단계 프로세스:
  1. 다중 모달 증거 추출: 균일하게 샘플링된 프레임과 오디오 대본.
  2. LLM 기반 분류 체계 주석: 최첨단 모델을 사용하여 문자적 내용과 의도된 의미를 분리하고, 암시적 의미를 수사적 메커니즘과 사회적 가치 신호로 분해.
  3. 단서 없는 질문 생성: 질문이 테스트되는 의미적 차원 (예: 풍자, 편향) 을 명시적으로 드러내지 않도록 "단서 없는" 형태로 생성되어 단축 학습을 방지.
  4. 반복적 검증: LLM 과 인간 전문가가 질문의 난이도, 암시성, 의도된 의미와의 정합성을 보장하기 위해 질문을 정제하는 반복 루프.
• 다양성: 데이터셋은 10 가지 이상의 수사적 메커니즘 (예: 아이러니, 무표정, 미끼와 전환) 과 사회적 가치 신호 (예: 경멸, 규범 위반, 정치적 신호) 를 포괄합니다. 증거 원천으로는 프레임, 가시적 텍스트, 편집 패턴, 대본, 오디오 톤이 포함됩니다.

평가 작업

ViMU 는 암시적 의미 이해의 보완적 측면을 탐구하기 위해 네 가지 고유한 작업으로 구성됩니다:

1. 개방형 해석 (OE): 모델은 사전 정의된 옵션 없이 비디오의 전체적인 의도된 의미를 설명해야 합니다.
2. 증거 기반 (EG): 모델이 자신의 해석을 지지하는 특정 다중 모달 요소 (예: 오디오 톤, 편집 패턴) 를 선택하는 객관식 작업.
3. 수사적 메커니즘 식별 (RM): 모델은 사전 정의된 분류 체계에서 메시지를 구성하는 데 사용된 수사적 장치를 식별합니다.
4. 사회적 가치 신호 식별 (SV): 모델은 비디오가 전달하는 근본적인 사회적 입장이나 규범적 함의를 식별합니다.

3. 주요 기여

• 최초의 체계적 벤치마크: ViMU 는 단서 없는 방식으로 비디오 은유적 이해와 암시적 추론을 평가하도록 설계된 최초의 벤치마크입니다.
• 구조화된 분류 체계: 의미 전달 방식 (수사적 메커니즘) 과 표현되는 사회적 의미 (사회적 가치 신호) 를 분리하는 이차원적 프레임워크를 도입합니다.
• 포괄적인 평가 프로토콜: 개방형 및 객관식 작업을 모두 포함하며, 관찰 가능한 다중 모달 증거에 기반한 해석에 특히 중점을 둡니다.
• 엄격한 선별: 데이터셋은 외부 맥락 의존성을 제거하고 질문이 표면적 설명만으로 답변될 수 없도록 구성되었습니다.

4. 실험 결과

저자들은 오픈 가중치 및 폐쇄형 소스 모델을 포함한 16 개의 인기 있는 다중 모달 대규모 언어 모델 (MLLM) 을 평가했습니다.

• 전체 성능: 최첨단 모델들은 은유적 이해에서 현저히 어려움을 겪습니다. 가장 진보된 폐쇄형 소스 모델을 포함한 대부분의 모델이 네 가지 작업 전반에서 50% 미만의 전체 성능을 기록합니다.
• 작업 간 차이:
  • 모델들은 **개방형 해석 (OE)**과 **증거 기반 (EG)**에서 상대적으로 더 잘 수행하며, 최상위 모델들 (예: GPT-5.2) 은 약 70% 에 도달합니다.
  • **수사적 메커니즘 (RM)**과 사회적 가치 (SV) 식별에서는 성능이 급격히 하락하여 최상위 모델들이 종종 20~30% 점수를 기록합니다.
• 모델 행동:
  • 보수성: 모델들은 증거 선택에 있어 보수적인 경향이 있어, 추가적인 환각을 생성하기보다 필요한 단서를 과소 선택하는 경우가 많습니다.
  • 편향: "문자적/직접적" 또는 "정서적 태도"와 같은 일반적이거나 "안전한" 범주를 과다 예측하고, "암시적/암호화된 사회적 프레임" 또는 "정체성/이념적 신호"와 같은 암시적이거나 사회적으로 암호화된 범주를 과소 예측하는 체계적 경향이 있습니다.
  • 가족 군집화: 동일한 계열의 모델들은 유사한 오류 프로파일을 보여주어, 분류 체계 레이블을 조직화하는 방식에서 공유된 귀납적 편향을 시사합니다.
  • 보편적 우월성 부재: 일반 비디오 이해 작업에서의 높은 성능이 은유적 암시적 의미 작업에서의 성공을 보장하지는 않습니다. 또한, 일부 오픈 가중치 모델 (예: Qwen3.5-27B) 은 특정 폐쇄형 소스 모델보다 더 좋은 성과를 냅니다.

5. 중요성과 주장

본 논문은 ViMU 가 현재 비디오 이해 시스템의 근본적인 한계, 즉 문자적 지각을 넘어 암시적이고 사회적으로 기반을 둔 의미를 해석하는 능력의 부재를 드러낸다고 주장합니다.

• 격차 식별: 벤치마크는 일반 비디오 해석에 대한 최첨단 역량이 암시적 입장, 수사적 프레임, 또는 사회적으로 암호화된 의미에 대한 정확한 이해로 자동 전환되지 않음을 보여줍니다.
• 진단적 유용성: 모델 행동 (예: 증거 기반 오류, 분류 체계 기하학적 왜곡) 에 대한 세밀한 분석을 제공함으로써, 구조화된 다중 소스 증거 패턴 복원의 실패와 같은 구체적인 약점에 대한 통찰을 제공합니다.
• 미래 방향: 저자들은 견고하고 인간과 유사한 비디오 해석을 달성하기 위해서는 무엇이 보여지는지뿐만 아니라 무엇이 의도되는지를 모델링해야 한다고 제안합니다. 그들은 ViMU 를 비디오 콘텐츠의 사회적 및 문화적 암시적 의미의 복잡성을 처리할 수 있는 모델 개발을 안내하는 도구로 위치시킵니다.

본 논문은 데이터셋이 잠재적으로 모욕적이고 해로운 내용을 포함하고 있으며, 이는 모델의 안전 및 사회적 이해에 대한 한계를 드러내기 위한 평가 목적으로만 의도되었으며 훈련 자원으로 사용되지 않는다는 면책 조항으로 마무리됩니다.