기술 요약: 프레임 사이의 의미 읽기 (DrivelHub+)

문제 정의

소셜 미디어 비디오는 가시적인 동작, 자막, 또는 음성을 초월하는 의미를 빈번하게 전달한다. 평범한 클립은 멀티모달 단서와 문화적 맥락의 상호작용을 통해 비로소 유머러스하거나, 아이러니하거나, 혹은 풍자적으로 변할 수 있다. 현재의 비디오-언어 모델(Video LLMs)과 멀티모달 대규모 언어 모델(MLLMs)은 주로 행동 인식, 객체 추적, 표면 수준의 캡셔닝과 같은 지각적 과업(perceptual tasks)에 대해 평가되며, 이는 모델이 '무엇이' 보여지는지를 설명하는 능력을 테스트한다. 그러나 이러한 모델들은 '실용적 이해(pragmatic comprehension)', 즉 암시적이고 비선형적이며 수사학적으로 층위가 나뉜 의미를 추론하는 데 어려움을 겪는다.

'드리벨로지(Drivelology)'는 표면적으로는 사소하거나, 터무니없거나, 무의미해 보이지만 실제로는 암시적인 유머, 풍자, 또는 사회적 관찰을 전달하기 위해 의도적으로 구조화된 표현을 의미한다. 비디오에서 이러한 의미는 종종 양식 간의 부조화(예: 밝은 말투와 상반되는 얼굴 표정), 지연된 펀치라인, 시각적 언어유희, 또는 문화적으로 정착된 참조를 통해 구현된다. 비언어적 이해(예: 반어법 탐지, 은유 식별)를 위한 기존 벤치마크들은 주로 분류, 객관식 선택, 또는 단일 도메인 현상에 집중하며, 멀티모달 증거가 어떻게 특정한 실용적 의미를 구축하는지를 설명하는 해석적 과제(interpretive challenge)를 포착하는 데 실패한다.

방법론

DrivelHub+ 벤치마크

저자들은 TikTok, Instagram, YouTube와 같은 플랫폼에서 수집한 1,000개의 숏폼 소셜 미디어 비디오로 구성된 **DrivelHub+**를 소개한다.

• 데이터 큐레이션: 비디오는 세 가지 기준에 따라 선정되었다: (1) 서술 가능한 관찰 가능한 표면 레이어를 가지고 있을 것, (2) 그 묘사를 넘어서는 암시적인 실용적 의미를 전달할 것, (3) 의미가 드리벨로지컬 메커니즘(예: 오도, 언어유희, 문화적 참조, 또는 비선형적 양식 상호작용)에 의존할 것.
• 주석(Annotation): 각 비디오는 인간이 작성한 암시적 내러티브 설명과 쌍을 이룬다. 주석 작업자들은 장면 묘사가 아닌 근본적인 요점(유머, 풍자, 태도)에 집중했다. 메타데이터에는 해석에 필요한 특정 양식(텍스트, 오디오, 시각적 콘텐츠)과 민감한 콘텐츠 라벨이 포함된다.
• 양식 메타데이터: 데이터셋은 의미를 추론하는 데 필요한 증거 원천(온스크린 텍스트, 오디오/음성, 시각적 콘텐츠)을 주석으로 달아, 양식 수준의 분석을 가능하게 한다.

평가 프로토콜

본 논문은 모델이 표면적 묘사를 넘어 의도를 추론할 수 있는지 평가하기 위해 두 단계의 평가 프레임워크를 제안한다.

1. 설명 (생성): 모델은 비디오의 암시적 의미에 대한 자연어 설명을 생성하도록 프롬프트가 주어진다. 성능은 Video LLM-as-a-Judge 프로토콜(Qwen3.6-35B-A3B를 판사로 사용)을 통해 평가된다. 루브릭은 다음 항목에 따라 응답을 점수화한다:

   • 핵심 의도(Core Intent): 주요 암시적 의미의 회복.
   • 수사적 신호(Rhetorical Signal): 메커니즘(예: 아이러니, 언어유희)의 식별.
   • 정동적/사회적 의미(Affective/Social Meaning): 정서적 또는 사회적 함의의 포착.
   • 그라운딩(Grounding): 멀티모달 증거의 올바른 사용.
   • 페널티(Penalties): 환각, 리터럴(직설적) 위주의 묘사, 그리고 모호함.

2. 표현 (검색): Reasoning-as-Retrieval을 적용하여, 저자들은 모델의 표현이 비디오를 그들의 암시적 내러티브와 일치시키는지 확인하기 위해 양방향 교차 모달 검색을 테스트한다.

   • 비디오-to-텍스트: 주어진 비디오에 대해 올바른 암시적 내러티브를 검색.
   • 텍스트-to-비디오: 주어진 내러티브에 대응하는 비디오를 검색.
   • 이는 비디오와 그 해석이 표면적인 어휘 중첩과 독립적으로 임베딩 공간 내에서 안정적으로 정렬되어 있는지를 테스트한다.

주요 기여

1. 과업 정식화: 본 논문은 숏폼 비디오에서의 암시적 실용적 의미를 평가하기 위한 특정 과업으로서 **멀티모달 드리벨로지컬 설명(multimodal drivelological explanation)**을 정식화한다.
2. DrivelHub+ 데이터셋: 리터럴한 묘사만으로는 불충분한 경우를 구체적으로 겨냥하여, 인간이 작성한 암시적 내러티브 주석이 포함된 1,000개의 비디오 및 벤치마크를 도입한다.
3. 두 단계 평가: 자유 형식의 설명과 양방향 비디오-텍스트 검색을 결합하여 명시된 해석과 표현 수준의 정렬을 모두 조사하는 새로운 프로토콜을 제공한다.
4. 진단적 통찰: 현재의 모델들이 표면적 콘텐츠는 인식하지만, 멀티모달 부조화, 언어유희, 문화적 맥락에 의해 생성되는 더 깊은 실용적 의미를 설명하거나 표현하는 데는 실패한다는 분석을 제시한다.

결과 및 분석

설명 성능

• 모델 성능: 최근의 강력한 멀티모달 모델들(예: 사고 모드의 Qwen3.5-27B)이 높은 정렬도와 총점을 달성하지만, 성능은 여전히 포화 상태와는 거리가 멀다. 가장 우수한 모델은 12점 만점에 9.523점을 기록했다.
• 추론 vs. 그라운딩: "사고(Thinking)" 모드(Chain-of-Thought)는 일반적으로 성능을 향상시켰으나, 추론이 결정적인 시각적 증거에 기반할 때만 그러했다. 모델이 (캔버스 방향과 같은) 구체적인 시각적 단서를 식별하지 못한 채 정동적 변화에만 집중할 경우, 언어유희를 포착하는 데 실패했다.
• 양식 절제 실험(Modality Ablations): 시각적 스트림을 제거하면 성능이 크게 저하되었으며, 특히 시각적 텍스트(OCR)나 시각적 언어유희에 의존하는 과업에서 그러했다. 오디오를 제거했을 때는 성능 저하가 더 이질적이고 대체로 작았는데, 이는 오디오가 더 선택적으로 사용되며 때로는 방해 요소가 될 수 있음을 시사한다.

검색 성능

• 임베딩 네이티브 vs. 생성형: 임베딩 네이티브 모델(예: LCO-Omni, WAVE, e5-omni)은 검색을 위해 적응된 생성형 Video LLM보다 실질적으로 우수한 성능을 보였다. LCO-Omni-7B는 최상의 텍istic-to-video 결과(R@1 = 75.8%)를 냈으며, LCO-Omni-3B-2605는 video-to-text에서 가장 좋은 성능을 보였다.
• 생성형의 한계: Qwen3.6-35B-A3B와 같은 대규모 모델조차 생성형 모델은 검색 과업에서 매우 고전했으며(텍스트-to-비디오의 R@1이 종종 15% 미만), 이는 강력한 생성 능력이 실용적 의미에 대한 견고한 교차 모달 표현 정렬로 자동 변환되지 않음을 나타낸다.
• 비대칭성: 검색 성능은 대칭적이지 않았다. 모델들은 텍스트-to-비디오와 비디오-to-텍스트 방향에서 서로 다른 성능을 보였으며, 이는 내러티브를 인코딩하는 것과 관찰된 사건을 실용적 추상화로 인코딩하는 것 사이에 뚜렷한 차이가 있음을 시사한다.

의의 및 주장

본 논문은 DrivelHub+가 멀티모달 지각과 실용적 이해 사이의 지속적인 격차를 측정하는 진단적 환경을 제공한다고 주장한다. 결과는 현재의 Video LLM들이 보여지는 것을 설명할 수는 있지만, 시각적 단서, 언어유희, 문화적 지식, 또는 교차 모달 상호작용에 의존하는 '의도된 의미'를 추론하는 데는 자주 실패한다는 것을 입증한다.

저자들은 다음과 같이 강조한다:

• 표현 vs. 생성: 실용적 설명을 생성하는 능력과 비디오 및 텍스트를 공유 공간에 임베딩하는 능력은 별개의 능력이다. 대조 학습(Contrastive training)은 정렬을 개선할 수 있지만, 약한 베이스 모델 자체로부터 견고한 실용적 표현을 만들어낼 수는 없다.
• 시각의 역할: 온스크린 텍스트와 프레임을 포함한 시각적 증거는 오디오보다 더 중요하게, 드리벨로지컬 이해에 핵심적인 역할을 한다.
• 한계: 본 벤치마크는 주로 영어 중심이며 문화적으로 정착된 암시적 의미에 초점을 맞추고 있다. 저자들은 해석적 성격이 구성의 산물이 아니라 현상 자체의 본질임을 언급하며, 민감한 콘텐츠를 책임 있게 관리하기 위해 데이터셋을 제한적 라이선스(gated license) 하에 공개한다고 밝혔다.

궁극적으로, 이 논문은 비디오 이해를 발전시키기 위해서는 단순한 인식과 묘사를 넘어, 멀티모달 부조화를 통해 구축된 의도적인 실용적 의미를 추론할 수 있는 모델로 나아가야 한다고 주장한다.