技術的概要：ViMU - ビデオの比喩的理解のベンチマーク評価

1. 問題定義

現在のビデオ理解モデルは、物体、動作、時間的関係の認識など、文字通りの視覚的理解に主に焦点を当てています。しかし、多くのビデオの真の意義は、明示的な内容ではなく、裏の意味に存在することがよくあります。つまり、明示的に示されているものを超えた推論を必要とする、暗黙のアイデア、修辞的技法、社会的シグナル、文化的に根ざした意味（皮肉、嘲笑、批判、政治的暗示など）です。

既存のベンチマークはこのギャップを効果的に解決できていません。その理由は、以下のいずれかです：

1. 社会的に根ざした意味ではなく、隠れた空間的または物理的関係を対象としている。
2. 非言語的ユーモアに狭く焦点を当てている。
3. 選択肢が意図せず妥当な裏の意味の仮説を暴露してしまう多肢選択形式に依存しており、ヒントなしの推論を強制できていない。

本論文は、ビデオの裏の意味を理解するには、マルチモーダル証拠を統合し、文化的に位置づけられた参照を回復し、明示的な手がかりなしに作成者の伝達意図を推論することが必要であると主張しています。

2. 手法：ViMU ベンチマーク

著者は、最先端モデルの裏の意味理解能力を体系的に評価するために設計された、最初のベンチマークである**ViMU（Video Metaphorical Understanding：ビデオの比喩的理解）**を導入します。

データセット構築

• 規模: 588 本のビデオ、2,352 の質問。
• ソース: YouTube、Bilibili、TikTok などのプラットフォームからキュレーションされました。
• キュレーションパイプライン: 以下の多段階プロセスを含みます：
  1. マルチモーダル証拠の抽出: 均一にサンプリングされたフレームと音声トランスクリプト。
  2. LLM ベースの分類体系注釈: 最先端モデルを用いて、文字通りの内容と意図された意味を分離し、裏の意味を修辞的メカニズムと社会的価値シグナルに分解します。
  3. ヒントなしの質問生成: 質問は「ヒントなし」になるように生成されます。つまり、テストされる意味の次元（皮肉、バイアスなど）を明示的に暴露せず、ショートカット学習を防ぎます。
  4. 反復的検証: LLM と人間の専門家が、難易度、暗黙性、意図された意味との整合性を確保するために質問を洗練させる反復ループ。
• 多様性: データセットは、10 種類以上の修辞的メカニズム（皮肉、無表情、釣り・スイッチなど）と社会的価値シグナル（軽蔑、規範違反、政治的シグナリングなど）を網羅しています。証拠源には、フレーム、可視テキスト、編集パターン、トランスクリプト、音声のトーンが含まれます。

評価タスク

ViMU は、裏の意味理解の相補的な側面を探るための 4 つの異なるタスクで構成されます：

1. オープンエンド解釈 (OE): モデルは、事前定義された選択肢なしに、ビデオの全体的な意図された意味を説明する必要があります。
2. 証拠グラウンディング (EG): 解釈を支持する特定のマルチモーダル要素（音声のトーン、編集パターンなど）を選択する多肢選択タスクです。
3. 修辞的メカニズムの識別 (RM): モデルは、事前に定義された分類体系から、メッセージを構築するために使用された修辞的技法を特定します。
4. 社会的価値シグナルの識別 (SV): モデルは、ビデオが伝達する根本的な社会的立場または規範的含意を特定します。

3. 主な貢献

• 最初の体系的ベンチマーク: ViMU は、ヒントなしの方法でビデオの比喩的理解と裏の意味推論を評価するために特別に設計された最初のベンチマークです。
• 構造化された分類体系: 意味がどのように伝達されるか（修辞的メカニズム）と、何を社会的意味として表現するか（社会的価値シグナル）を分離する双方向のフレームワークを導入しています。
• 包括的な評価プロトコル: このベンチマークには、オープンエンドタスクと多肢選択タスクの両方が含まれており、特に観察可能なマルチモーダル証拠に基づいた解釈のグラウンディングに焦点を当てています。
• 厳格なキュレーション: データセットは、外部の文脈依存性を排除し、質問が表面レベルの説明のみでは回答できないように構築されています。

4. 実験結果

著者は、オープンウェイトモデルとクローズドソースモデルの両方を含む 16 の人気マルチモーダル大規模言語モデル（MLLM）を評価しました。

• 全体的なパフォーマンス: 最先端モデルは比喩的理解において著しく苦労しています。最も高度なクローズドソースモデルを含む大多数のモデルは、4 つのタスク全体で50% 未満の全体的なパフォーマンスを達成しています。
• タスク間の格差:
  • モデルは**オープンエンド解釈 (OE)と証拠グラウンディング (EG)**で比較的良好に機能し、トップパフォーマー（例：GPT-5.2）は約 70% に達しています。
  • **修辞的メカニズム (RM)と社会的価値 (SV)**の識別ではパフォーマンスが急激に低下し、トップモデルでも通常 20〜30% 程度のスコアにとどまります。
• モデルの挙動:
  • 保守性: モデルは証拠の選択において保守的であり、追加のものを幻覚させるよりも、必要な手がかりを過少選択する傾向があります。
  • バイアス: 一般的または「安全」なカテゴリ（例：「文字通り/直接的」または「感情的態度」）を過剰に予測し、暗黙的または社会的に符号化されたカテゴリ（例：「暗黙的/符号化された社会的枠組み」または「アイデンティティ/イデオロギー的シグナリング」）を過少予測する体系的な傾向があります。
  • ファミリークラスタリング: 同じファミリーのモデルは類似のエラープロファイルを示し、分類体系ラベルをどのように整理するかという点で共有された帰納的バイアスがあることを示唆しています。
  • 普遍的優位性の欠如: 一般的なビデオ理解タスクでの高いパフォーマンスは、比喩的裏の意味タスクでの成功を保証しません。さらに、いくつかのオープンウェイトモデル（例：Qwen3.5-27B）は、特定のクローズドソースモデルよりも優れたパフォーマンスを発揮します。

5. 意義と主張

本論文は、ViMU が現在のビデオ理解システムにおける根本的な限界、すなわち、文字通りの知覚を超えて、暗黙的で社会的に根ざした意味を解釈できないという限界を露呈させると主張しています。

• ギャップの特定: このベンチマークは、一般的なビデオ解釈における最先端の能力が、暗黙の立場、修辞的枠組み、または社会的に符号化された意味の正確な理解に自動的に転嫁しないことを示しています。
• 診断的有用性: モデルの挙動（証拠グラウンディングのエラー、分類体系の幾何学的歪みなど）の微細な分析を提供することで、ViMU は、構造化されたマルチソース証拠パターンの回復の失敗など、特定の弱点に関する洞察を提供します。
• 将来の方向性: 著者は、堅牢で人間のようなビデオ解釈に進むためには、何が示されているかだけでなく、何が意図されているかをモデル化する必要があると提案しています。彼らは、ビデオコンテンツにおける社会文化的な裏の意味の複雑さを処理できるモデルの開発を導くツールとして ViMU を位置づけています。

本論文は、データセットに潜在的に攻撃的で有害なコンテンツが含まれており、安全性と社会的理解におけるモデルの限界を暴露するための評価目的のみに意図されており、トレーニングリソースとして意図されていないことを免責事項として結論付けています。