🤖 AI

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

本論文は、分布の一貫性を維持しデータ汚染を軽減しながら、コスト効率が高く高品質な評価インスタンスを生成するマルチエージェント自動パイプラインによって駆動される、継続的に進化するマルチモーダルベンチマークであるMMBench-Liveを紹介するものである。

原著者： Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、コンピュータを通じて世界を見、理解することを学んでいる学生たち（これらはビジョン・ランゲージ・モデル、またはVLMと呼ばれます）を採点しようとしている教師であると想像してください。

長い間、教師たちは全員を採点するために、同じ古いテスト用紙（静的なベンチマーク）を使用してきました。しかし、大きな問題があります。それは、学生たちがインターネットから学んでいるため、インターネットは毎秒変化しているということです。もしテスト用紙が昨年のものだったら、その質問が彼らの学習教材に登場していたために、学生たちがすでに答えを暗記してしまっている可能性があります（データの汚染）。また、テストが時代遅れになり、今日の学生たちが実際にできること（能力）を反映していない可能性もあります。

MMBench-Liveは、新しいテストを作成するための革命的な方法です。静的なテスト用紙を印刷して、それが関連性を持ち続けることを祈るのではなく、著者たちは常に新鮮で新しい質問を次々と生み出す**「ロボット・テスト作成工場」**を構築しました。

その仕組みを、簡単な比喩を用いて説明します。

1. 「レシピ本」（構造化されたベンチマーク）

まず、チームは単にランダムな画像を集めたのではありません。彼らは元のテスト（MMBench）を取り込み、厳格な**「レシピ本」**へと作り変えました。

彼らはすべての質問を、その核心となる材料へと分解しました。（例：これは何のスキルをテストしているのか？：看板を読み取る、物体を数える、ジョークを理解するなど）
彼らは元の質問の「風味（フレーバー）」を特定しました。（例：「これらの質問は、賑やかな街の通りを扱っている」「これらはメニュー上のテキストを扱っている」など）
このレシピにより、新しい質問がたとえ全く新しいものであっても、元の質問と全く同じ「味」になることが保証されます。つまり、同じスキルを同じ方法でテストするのです。

2. 「スマート・スカウト」（タスク認識型データ収集）

次に、システムは現実世界（インターネット）から新しい画像を見つけ出すために、**「スマート・スカウト」**を派遣します。

問題点： 単に検索エンジンに「猫の写真」と頼むと、カートゥーンの猫、おもちゃの猫、あるいは眠っている猫が出てくるかもしれません。しかし、もしテストが「レーザーポインターを追いかける猫」を必要としているなら、一般的な検索では失敗します。
解決策： スカウトには特定の任務があります。スカウトは外に出て画像を見つけ、その後、「フィードバック・コントローラー」（厳格な編集者）がそれらがレシピに合致しているかチェックします。
ループ： もしスカウトが眠っている猫の画像を持ってきたら、編集者は「いいえ、それはレシピに合いません。代わりに『活動的な猫』で検索し直してください」と言います。スカウトは再挑戦します。これが、画像が元のテストの「風味」と完璧に一致するまで、自動的に繰り返されます。

3. 「シェフと味見役」（QA生成と検証）

適切な画像が見つかったら、次は質問と答えを書く必要があります。

シェフ： AIの「シェフ」のチームが、画像に基づいて質問と答えを書き上げます。
味見役： ここに巧妙な仕組みがあります。通常、AIは単に答えを推測するだけかもしれません。しかし、MMBench-Liveは、AIに対して答えに到達するためのステップ・バイ・ステップのレシピ（実行可能な計画）を書くことを強制します。
検証： 別の「目隠しをした」ロボット（画像は見えず、テキストのみを読み取るもの）が、そのレシピに従います。そのロボットは手順を実行します。もしレシピが「赤い車を数える」となっており、ロボットがそれらを数えて3つだったとしても、解答キーが4となっていれば、システムは答えが間違っていると判断し、その問題を破棄します。これにより、答えが単なる「運の良い推測」ではなく、数学的・論理的に正しいことが保証されます。

4. 結果：速く、安く、公平なテスト

この論文は、このシステムが3つの理由でゲームチェンジャーであると主張しています。

新鮮である： インターネット上の現実世界のデータを使用して、5,900個の新しいテスト問題を生成します。
安くて速い： これを手動で行うには、数千ドルと数ヶ月の時間がかかるでしょう。しかし、このロボット工場は約30ドルで1〜2時間でこれを完了します。
公平である： 質問が新しく、その場で生成されるため、学生（AIモデル）は答えを暗記することができません。論文では、ここでの「記憶のシグナル（記憶によるカンニング）」は、古いテストよりもはるかに弱いことが示されました。

まとめ

MMBench-Liveを、食材が毎時間新鮮に届けられ、審査員が料理が元のレシピと一致しているかを確認するための厳格なチェックリストを持っている「ライブ・クッキング・コンペティション」だと考えてください。これは、AIモデルが単に過去を暗記しているのではなく、本当に賢くなっているのかどうかを、公平かつ正確にテストし続けるための持続可能な方法であることを証明しています。

技術要約: MMBench-Live

問題提起

現在の視覚言語モデル（VLM）の評価は、静的なベンチマークに大きく依存しています。これらは評価には不可欠ですが、固定されたテストセットは時間的な陳腐化（temporal staleness）、データ汚染（訓練コーパスとテストデータが重複し、スコアが膨張すること）、および法外なメンテナンスコストという問題を抱えています。VLMsがスケールアップし、増大し続けるウェブ・コーパスを用いて訓練されるにつれ、静的なベンチマークは真のモデル能力の代理指標としてますます脆弱になっています。

既存のベンチマーク更新の試みは、以下のような重大なトレードオフに直面しています：

自己進化型の手法（視覚的摂動や言語的書き換え）は、しばしば意味的なドリフト（semantic drift）や比較可能性の低下を招きます。
生成ベースの手法は、複雑な制約下において分布の乖離（distributional gaps）を生じさせる可能性があります。
実世界のデータによる更新は鮮度という点では有望ですが、多様なマルチモーダル・タスクにおいて、タスクのセマンティクス、分布の整合性、およびバージョン間のクロス検証における比較可能性を維持するための体系的な構造を欠いていることが多いです。

核心となる課題は、元の静的なバージョンと同等の意味的一貫性、分布的一貫性、および評価の安定性を維持しながら、時間的に新鮮なデータを用いて継続的に進化するベンチマークを作成することです。

手法: MMBench-Live フレームワーク

著者らは、マルチエージェント駆動型の自動パイプラインによって構築される、継続的に進化するマルチモーダル・ベンチマークであるMMBench-Liveを提案しています。このフレームワークは、ベンチマークの進化を、元のMMBenchを更新することによってインスタンス化される「タスク誘導型のデータセット構築プロセス」として扱います。

パイプラインは主に3つのステージで構成されます。

1. 構造化されたベンチマーク仕様

一貫性を確保するため、元のMMBenchは以下の4つのコンポーネントを含む構造化された記述に変換されます：

評価目的 (Evaluation Purpose): 高レベルのセマンティックな特性化（例：空間理解、構成的推論）。
評価フォーマット (Evaluation Format): 入出力のモダリティおよびレスポンス形式の構造的定義。
タスク階層 (Task Hierarchy): 粗粒度なタスクから細粒度なサブタスクへの多層的な分解。
原子タスク (Atomic Tasks): 最も小さな運用単位となるリーフレベルのユニット。決定的なことに、各原子タスクには以下の内容を含むタスク特性化 (Task Characterization) が含まれます：
- テキスト: セマンティクスを明確にするQA例。
- 視覚: タスクに関連する視覚パターン（明示的には定義されていないが、有効なインスタンスを暗黙的に制約する、反復的な視覚的/意味的属性）。これらは、VLMを用いてパターンを抽出し、LLMを用いてそれらを統合するというデータ駆動型のプロセスを通じて特定されます。

2. タスク認識型データ取得

汎用的な検索ではなく、データの収集はタスクの意図と視覚的証拠によって制約されます。このステージでは、フィードバック制御型のループが採用されます：

取得プランナー (Acquisition Planner): 観測可能なフィールド、取得戦略、およびクエリセットを含む実行可能なプラン ( $P_t$ ) を生成します。
取得エグゼキューター (Acquisition Executor): 以下の3つのリトリーバル・モードをサポートします：
1. ソース固有の構造化リトリーバル: 指定された権威あるサイトからのクロール。
2. キーワード誘導型セマンティック・リトリーバル: 新鮮さを保証するため、1年間の時間窓を持つGoogle Image APIの使用。
3. オープンドメイン・リトリーバル: 幅広く自然なカバレッジを得るためのFlickr APIからのサンプリング。
フィードバックコントローラー (Feedback Controller): 軽量なマルチモーダル判定器 ( $J$ $J$ ) が、タスクの目的 ( $G_t$ $G_{t}$ ) と視覚的パターン ( $B_t$ $B_{t}$ ) に対して、取得された候補を評価します。
- トップ- $K$ 個の候補の採択率 ( $\rho_q$ ) が閾値 ( $\tau$ ) を下回る場合、コントローラーは拒絶されたサンプルから視覚的な根拠を集計し、検索クエリ ( $q_{m+1}$ ) を洗練させます。
- このループは、最終的な収集の前に、不適切なクエリを修正するために最大3回のイテレーションを実行します。

3. QA生成と検証

信頼性を確保するため、システムは実行可能な推論 (executable reasoning) を伴う質問・回答（QA）ペアを生成します：

生成: 複数のマルチモーダルモデルが、候補となるQAトリプレット $(q, a, \pi)$ を生成します。ここで $\pi$ は実行可能な解決プランです。最適な候補は、モデル比較とルールベースのチェックを通じて選択されます。
実行可能な推論の検証: 視覚的なハルシネーションを軽減するため、検証は直接的な視覚ベースの判断から切り離されます。
- 解決プラン $\pi$ は、一連の実行可能な操作として扱われます。
- ツール（物体検出、深度推定、OCRなど）がこれらの操作を画像に対して実行し、テキストによる中間出力を生成します。
- 視覚情報を遮断した (vision-blind) 言語モデル検証器が、質問とツール由来のテキストのみに基づいて回答を予測します。
- 生成された回答は、検証された結果と一致する場合にのみ受理され、これによりQAペアが決定論的な検証手順を許容することを保証します。

主な貢献

MMBench-Live ベンチマーク: マルチエージェント自動パイプラインによって構築される、継続的に進化するベンチマークであり、新鮮な実世界のデータを用いたスケーラブルかつ低コストな更新を可能にします。
分布一貫型更新戦略: タスクに関連する視覚的パターンの特定と、フィードバック制御型のデータ取得を組み合わせた新しいアプローチです。これにより、ベンチマークのバージョン間でのタスクのセマンティクスと視覚的特性が保持され、「セマンティック・ドリフト」の問題に対処します。
体系的な評価: 高いQA正解率、低い構築コスト、安定したクロスバージョンの一貫性、および静的ベンチマークと比較して減少したデータ汚染関連の記憶信号を実証する包括的な分析。

実験結果

本フレームワークは MMBench 上に実装され、5.9K の新しい評価インスタンスを生成しました。

QAの品質: タスク全般にわたる10%のサンプルを手動検証した結果、96.06% の回答正解率が得られました。
コストと効率: 各更新サイクル（1〜2時間）のコストは約 30ドル であり、手動のパイプライン（通常、数千ドルと数ヶ月を要する）と比較して数桁の削減を実現しています。
モデルの性能: 代表的なオープンソースVLM（例：Qwen2.5-VL, DeepSeek-VL）を用いた評価では、MMBench-Live が安定したモデルランキングを維持していることが示されました。特定のモデルは異なる次元（例：粗い知覚におけるDeepSeek-VL、細粒度の推論におけるQwen2.5-VL）で優れていますが、全体的な相対的順序は一貫しています。
クロスバージョンの一致性:
- タスク・モデルレベル: ピアソンの相関係数が0.52、スピアマンの相関係数が0.43であり、元のベンチマークで高い性能を示すモデルは、更新されたバージョンでも性能を維持する傾向があります。
- モデル平均レベル: より強い相関（ピアソン 0.89、スピアマン 0.83）は、グローバルなモデルランキングが保持されていることを裏付けています。
汚染分析: PaCoSTフレームワークを用いて記憶信号（元の質問とパラフレーズされた質問間の信頼度の変化）を測定したところ、MMBench-Live は元の MMBench よりも記憶に関連する信頼度のバイアスが弱いことが示されました。これは、データ汚染に対する感受性が低いことを示唆しています。

意義と主張

本論文は、MMBench-Live が、持続可能なマルチモーダル・ベンチマークの進化のための実用的、スケーラブル、かつ低コストなパラダイムを提供すると主張しています。ベンチマークの更新を、単なるサンプルの置き換えではなく、構造化されたタスク誘導型の構築プロセスとして扱うことで、本フレームワークは時間的な新鮮さの必要性と評価の安定性の必要性を見事に両立させています。

著者らは、急速にスケールアップするVLMの時代において、静的なベンチマークがいかに「脆弱」であるかを強調しています。実行可能な推論検証とフィードバック制御型の取得の導入により、MMBench-Live は、法外なキュレーションコストをかけることなく、モデル能力の信頼できるプロキシ（代理指標）であり続けることができます。実験結果は、動的なベンチマークが、クロスバージョンの比較の完全性を維持しながら、微細な能力の差を浮き彫りにできることを示しており、データ汚染と時間的な陳腐化に対抗するための、コミュニティへの実行可能な道筋を提示しています。