テクニカル・サマリー：MuseBench

問題提起

現在のマルチモーダル大規模言語モデル（MLLM）は、ビデオコンテンツに関する知覚的認識や事実的な推論において強力な能力を示している。しかし、「意図レベルの芸術的理解」という点において、決定的なギャップが残っている。視聴覚芸術（映画、静止視覚芸術、舞台芸術、ゲームデザイン）を理解するには、単に「何が描かれているか」だけでなく、「なぜ特定の創造的な選択（フレーミング、ライティング、編集のテンポ、サウンドデザインなど）が、感情、テーマ、あるいは美的意図を伝えるために行われたのか」という理由について推論する必要がある。

既存のビデオベンチマークの多くは、単一回答形式の選択肢を用いて、表面的な認識や時間的推論を評価している。この形式では、芸術的分析に内在する「解釈の多様性（複数の正当な視点の共存）」を捉えることができない。さらに、この領域のベンチマーク構築は、専門知識に基づいたデータの不足と、トランスクリプト（書き起こし）によるショートカットに依存しない高品質なディストラクター（誤選択肢）生成の困難さによって阻まれている。

メソドロジー

1. データソース：ビデオエッセイ

専門知識データの不足に対処するため、著者らはビデオエッセイ（YouTube、Bilibili、TikTokから収集）を主要な知識ベースとして活用している。これらのビデオは、プロフェッショナルな解説と視覚的なデモンストレーションを組み合わせたものであり、専門的な推論と視覚的証拠の間の自然な整合性を提供している。データセットは、10,000件以上の候補となるビデオエッセイから抽出・蒸留されている。

2. 構築パイプライン

著者らは、生のビデオエッセイをベンチマーク問題へと変換するための4段階の反復構築パイプラインを提案している。

• セグメンテーション（分割）: ビデオを10秒間隔の区間に分割する。
• クリップ・キャプション作成: ビジョン・ランゲージ・モデル（Keye-VL-1.5）が、ナレーターのトランスクリプトを条件として、各セグメントに対して微細なキャプションを生成する。これらのキャプションは構築用のリソースとして機能するが、評価対象となるモデルには決して公開されない。
• 問題生成: 問題は以下の2つの形式で生成される：
  • 単一選択（Single-Select）: 最も正確な解釈の識別を問う（4〜8つの選択肢のうち正解は1つ）。
  • 複数選択（Multi-Select）: 複数の芸術的意図が同時に成立し得ることを認め、集合値としての分析的判断を問う（4〜8つの選択肢のうち正解は2〜4つ）。
• ディストラクター生成: 7つの戦略（例：技術的な読み違え、過度な単純化、事実誤認、概念的混乱、範囲の誤り、時間的混乱、部分的な真実）を用いた敵対的なステップにより、もっともらしいディストラクターを生成する。これにより、クリップにアクセスできない読者にとって全ての選択肢が等しく妥当に見えるようにし、ショートカットによる推測を抑制する。

3. 品質レビュー

ヒューマン・イン・ザ・ループ（人間による介入）型の反復レビュープロセスによって、問題を精査する。ドメインエキスパートが、4つの次元（全体的な品質、視覚的必要性、メカニズムの追跡可能性、回答の完全性）に基づいて項目を評価し、失敗モード（例：ナレーター依存の回答可能性、曖昧な設問文）をタグ付けする。これらの失敗を排除するために、生成プロンプトは品質基準を満たすまで反復的に更新される。

4. 評価プロトコル

選択肢の数の変動や芸術的推論のオープンエンドな性質を扱うため、論文では特定の指標を導入している。

• チャンス調整精度（Chance-Adjusted Accuracy: CAA）: 単一選択問題において、選択肢の数（$K_i$）の違いを考慮してスコアを正規化する。これにより、ランダムな推測によるスコアを0とし、正解によるスコアを1とするよう調整し、$K_i$に依存しない評価を行う。
• 集合ベースの指標（Precision, Recall, F1）: 複数選択問題において、完全一致（exact-match）の精度は厳格すぎると判断される。著者らは、予測された選択肢の集合に対してPrecision、Recall、F1スコアを報告することで、部分的な一致を捉え、最も顕著な選択肢を特定するモデルと、妥当な解釈の全容を捉えるモデルを区別できるようにしている。

主な貢献

1. MuseBenchベンチマーク: 4つの芸術カテゴリ（映画芸術、静止視覚芸術、舞台芸術、ゲーム芸術）および11のサブドメインにわたる、4,016件の専門家検証済み問題で構成される包括的なベンチマーク。解釈の多様性をモデル化するために、単一選択と複数選択の形式を組み合わせ、選択肢の数も可変としている。
2. スケーラブルな専門知識パイプライン: ビデオエッセイとLLMを活用し、視覚的に裏付けられた意図レベルの問題を大規模に生成する、新しい4段階のパイプライン。これにより、クラウドソーシングに頼ることなく、創造的領域における専門知識の獲得という根本的な課題を解決している。
3. 原則に基づいた評価プロトコル: チャンス調整精度（CAA）と完全一致診断付きの集合ベースF1スコアを利用した、ヘテロジニアス（異種混合）な形式のスコアリング・プロトコル。これにより、標準的な精度指標と比較して、モデルの芸術的推論能力をより微細に評価することが可能となる。

結果

著者らは、28種類の最先端MLLM（プロプライエタリなモデルおよびオープンソースモデルを含む）に対し、MuseBenchを用いたゼロショット評価を実施した。

• パフォーマンス・ギャップ: 最も高性能なモデル（Claude-4.6-Opus）であっても、全体の精度はわずか**48.29%であり、人間の専門家の87.18%**を大幅に下回った。これは、現在のモデルにおける創造的領域の専門知識の大きな欠落を露呈している。
• カテゴリ別の弱点: すべてのティアにおいて、モデルは**ゲーム芸術（Game Arts）**で一貫して大きく後退しており、これは事前学習コーパスにおけるインタラクティブな視覚表現やリアルタイムのカメラ制御の表現不足に起因すると考えられる。
• 複数選択の挙動: 複数選択問題において、モデルは適合率（Precision）と再現率（Recall）の非対称性を示した。モデルは単一の最も顕著な正解を回収する傾向（高いPrecision）がある一方で、妥当な解釈の全容を列挙することには失敗した（低いRecall）。これは、専門家レベルの推論に求められる分析的視点の広さを捉えることが困難であることを示唆している。
• キーフレーム選択: 適応的なキーフレーム選択手法を用いても、パフォーマンスの向上はほとんど見られなかった。これは、ボトルネックが時間的なローカライゼーションやフレーム選択ではなく、**様式的語彙（stylistic vocabulary）や文化的事前知識（cultural priors）**にあることを示している。
• 位置バイアス: オープンソースのMLLMは、選択肢が5つ以上の問題において、最初の選択肢（A）を選択する顕著なバイアスを示したが、プロプライエタリなモデルではそのバイアスは大幅に少なかった。

意義

本論文は、汎用的なビデオ理解のスケーリングを進めるだけでは、真の創造的領域の理解を達成するには不十分であると主張している。顕著なパフォーマンス・ギャップや特定の失敗パターン（例：解釈の多様性への対応不足、ゲーム芸術への弱さ）は、今後の進展には以下が必要であることを示唆している：

• より豊かな芸術的監督（Artistic Supervision）: 学習パイプラインに、より多様な文化的・様式的監督を統合すること。
• 多角的な評価: 単一選択の精度を超えて、部分的な加点や推論の広がりを捉える指標へと移行すること。
• ドメイン特化型の推論: 視聴覚芸術を、一般的なビデオ理解を超えた専門知識を必要とする独立したドメインとして扱うこと。

MuseBenchは、視聴覚芸術における真の意図レベルの推論が可能なMLLMへの継続的な進展を促進するために公開されている。