🤖 AI

$M^3-Verse$ : A "Spot the Difference" Challenge for Large Multimodal Models

本論文は、一貫した空間的文脈内における動的な物体状態の変化について推論する大規模マルチモーダルモデルの能力を評価・向上させるために設計された包括的なベンチマーク $M^3-Verse$ を導入し、現在の限界を明らかにするとともに、多状態知覚のための効果的な基準を提案する。

原著者： Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kewei Wei, Bocheng Hu, Jie Cao, Xiaohan Chen, Zhengxi Lu, Wubing Xia, Weili Xu, Jiaao Wu, Junchen He, Mingyu Jia, Ciyun Zhao, Ye Sun, Yizhi Li, Zhonghan Zhao, Jian Zhang, Gaoang Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、概念を明確にするための比喩を用いて、平易な日常言語で書かれた論文「M3-Verse」の説明です。

大きなアイデア：AI 向けの「違いを見つけよう」ゲーム

あなたが 2 枚の絵を使って、古典的な「違いを見つけよう」ゲームをしていると想像してください。絵 A を見て、次に絵 B を見て、何が変わったのかを見つけなければなりません。もしかすると、猫がソファから床に移動したのかもしれませんし、コップが倒されたのかもしれません。

次に、コンピュータにこのゲームを教えることを想像してください。ただし、2 つの静止画ではなく、部屋の2 つの短い動画を見せます。最初の動画では部屋は整然としています。2 番目の動画では、誰かが家具を移動させ、いくつかの物体を動かしています。コンピュータは両方の動画を見て、「赤い花瓶はどこへ行ったのか？」や「ランプは点いたのか？」といった質問に答えなければなりません。

これがまさに論文M3-Verseの主題です。著者たちは、現代の AI モデル（大規模マルチモーダルモデル、または LMM と呼ばれます）が時間経過に伴う変化を追跡することに本当に優れているのか、それとも単に推測しているだけなのかを確認するための、非常に困難な新しいテストを作成しました。

問題点：AI は「今」には得意だが、「過去と現在」の比較には苦手

この論文は、AI が 1 枚の写真を見てそれを記述すること（例えば、「それは絨毯の上の犬だ」と言うこと）には驚くほど優れている一方で、時間の異なる 2 つの瞬間を比較するように求められたときには苦労している、と主張しています。

現在の AI： 部屋の写真を見て、それから目を逸らし、戻って見たときに何が変わったかを思い出そうとする観光客のようです。彼らはしばしば詳細を忘れがちです。
人間の知性： 私たちは自然に過去と現在を比較します。もし鳥が木から飛び出せば、私たちは瞬時にその違いに気づきます。この論文は、AI が 2 つの明確なシーン間の微妙な変化を検出するこの「生物的」な能力を欠いていると述べています。

解決策：M3-Verse という新しいテスト

これを修正するために、研究者たちは 2 つの部分からなる巨大なテストスイートM3-Verseを構築しました。

シミュレーションラボ（M3-Verse-Sim）： 彼らはビデオゲームエンジン（AI2-THOR）を使用して 270 の仮想部屋を作成しました。ロボットが歩き回るようプログラムし、その後、引き出しを開けたり椅子を動かしたりするなど、物体を秘密裏に移動させて「前」と「後」の動画を記録しました。これらの変化に関する約 3,000 の質問を生成しました。
- 比喩： これはルールが厳格で、すべての詳細が既知の、完璧に管理されたビデオゲームのレベルだと考えてください。
現実世界（M3-Verse-Real）： 彼らは実際の家やオフィスにある 29 の部屋を撮影しました。人間が物理的に物体を移動させ、変化を撮影しました。これらに対して 552 の質問を作成しました。
- 比喩： これは照明の変化、カメラの揺れ、完全には整っていないものなどがある、 messy（ごちゃごちゃした）な現実生活のバージョンです。

このテストでは、AI に 4 つのタスクを求めます。

空間的理解： 物体はどこにあるのか？
時間的理解： 何が最初に起こり、何が次に起こったのか？
属性認識： 色や形は変化したか？
推論： なぜ変化したのか、またはそれは何を意味するのか？

結果：AI は苦しんでいる

研究者たちは、利用可能な最も賢い AI モデル 16 種類（GPT-5 や Gemini などの大物を含む）をテストしました。結果は驚くべきものでした。

人間： 約**90%**のスコア。私たちはこれに長けています。
トップの AI モデル： **30% から 47%**のスコア。最良のモデルでさえ、最も難しい質問においては、単なるランダムな推測よりわずかに良い程度です。
格差： 論文はこのことを「明白な性能の格差」と呼んでいます。現在の AI は、ある瞬間から次の瞬間へのシーンの変化を確実に追跡するにはまだ十分に賢くありません。

診断：なぜ AI は失敗しているのか？

研究者たちは単に「AI は失敗した」と言うだけでなく、Text-Oracle Probeと呼ばれる巧妙なトリックを使って、なぜ失敗したのかを突き止めようとしました。

実験： 彼らは動画を取り、AI にすべてのフレームをテキストで記述させ（詳細な書き起こしのように）、その後、テキストのみの AI にそのテキストのみに基づいて質問に答えさせました。
発見： AI が生の動画を処理する必要がなく、テキスト記述だけを読めれば、そのスコアは大幅に向上しました。
結論： AI の「目」（ビジョンエンコーダ）は実際には正常に機能しており、変化を見ることができます。問題は「脳」（推論部分）にあります。情報が長い動画に分散しているとき、AI は重要な詳細を忘れてしまいます。それは、重要な手がかりが数千ページもの退屈なテキストに埋もれている本を読むようなもので、AI はノイズの中に迷い込み、手がかりを忘れてしまうのです。

結論

この論文は、画像を単に「見る」だけでなく、時間を通じてそれらを真に記憶し、比較することができる、新しい世代の AI が必要であると結論付けています。

現在の状態： AI は素晴らしい写真を撮るカメラですが、記憶力はひどいものです。
将来の目標： 私たちが必要とするのは、部屋の心的な地図を持ち、その変化を見守り、「前」と「後」の状態の違いを見つけ出すことができる、人間の探偵のように振る舞う AI です。

著者たちは、他の研究者が私たちの動的で変化する世界を理解できる、より優れた「意識的」な AI システムを構築するために使用できるよう、このテスト（M3-Verse）を一般に公開しました。

技術概要：M3-Verse

問題提起

大規模マルチモーダルモデル（LMMs）は、静止画像の解釈や連続した単一状態のビデオストリーム内での物体追跡において顕著な能力を示してきましたが、異なるビデオ観測間の動的変化を理解する能力は、依然としてほとんど探求されていません。現在のベンチマークは、主に孤立した状態や連続的なオンライン追跡に焦点を当てており、切断されたビデオを比較し、空間配置の作業記憶を確立し、その後の観測を相互参照して微妙な状態遷移を検出するために必要な認知的負荷を見落としています。生物学的知能は、差異を検出するために過去と現在のシーンを対比することに自然に依存しており、これは現在の LMM が欠如している高次認知に不可欠な能力です。

手法

このギャップに対処するため、著者は状態遷移に関する比較推論を評価するために設計された、マルチモーダル、マルチ状態、マルチ次元のベンチマークであるM3-Verseを導入します。

ベンチマーク構築

M3-Verse は、50 以上のサブタスクにわたる 2 つの厳密なサブセットで構成されています：

M3-Verse-Sim：AI2-THOR シミュレータと ProcTHOR-10k に基づいて構築され、このサブセットには 270 のシミュレートされた屋内シーンが含まれています。これには、厳密にフィルタリングされた 2,932 の質問 - 回答（QA）ペアが含まれます。生成パイプラインには以下が含まれます：
- 状態変更：物理的な妥当性を遵守しながら、物体の存在、位置、または内部属性（例：開閉、オン/オフ）をプログラム的に変更します。
- 比較的視覚属性生成：視覚インスタンスを分離し、ビジョン - ランゲージモデル（DAM）を介してマルチビュー記述を生成し、同一の物体カテゴリを区別するための固有の識別特徴（例：色、形状）を合成するモジュール。
- 堅牢なエンティティグラウンディング：複雑なシーンにおける参照の曖昧さを排除するために、固有の識別子（例：「テーブル上の赤いリンゴ」）を動的に構築するフレームワーク。
- 厳密なフィルタリング：テキストベースのフィルタリング（視覚に依存しない回答を除去するため）、マルチモーダル難易度評価、および人間の検証を含む多段階のプロセスにより、100 万を超える候補から高忠実度のサンプルに削減します。
M3-Verse-Real：既存の公開データセットとの重複をゼロにするために、現実世界の環境（家庭、オフィス）で撮影された 29 の物理的シーンで構成されています。これには 552 の人間による注釈付き QA ペアが含まれています。状態遷移は人間の注釈者によって物理的に実行され、モデルが頻繁に失敗する最も困難なサンプルのみを保持するように質問が選定されました。

タスク設計

質問は以下のカテゴリに分類されます：

イントラ状態：単一の状態（前または後）から回答可能。
インター状態：変化を特定するために両方の状態の比較を必要とする。
これらのカテゴリは、空間理解、時間理解、属性認識、推論という 4 つの中核能力を調査します。注目すべきは、質問の 20.6% が「幻覚タイプ」であり、正しい選択肢が「正しい選択肢はリストされていない」に置き換えられ、モデルの堅牢性をテストしている点です。

診断アプローチ

モデルのパフォーマンスにおけるボトルネックを特定するために、著者はテキスト・オラクル診断プローブを提案します。この手法は、推論を行う前に視覚ストリームを明示的にテキストにシリアライズします：

ビデオセグメンテーションと高密度キャプション：ビデオをクリップに分割し、詳細に記述します。
一貫した要約生成：キャプションを単一の物語に統合します。
テキストベース QA：モデルはテキスト要約のみに基づいて質問に回答します。

主要な結果

本論文は、ベンチマークに対して 16 の最先端 LMM と 6 つのテキストのみの LLM を評価しました：

顕著なパフォーマンスの格差：最も高度なプロプライエタリモデル（Gemini-2.5-pro、GPT-5）でさえ、人間の 89.75% に対してそれぞれ約 47%、約 45% の精度しか達成していません。オープンソースモデルは一般的に 20% から 35% の間で低迷しています。
インター状態の難易度：モデルは、イントラ状態タスクと比較して、インター状態タスクで著しく低いパフォーマンスを示し、長い時間的コンテキスト全体にわたって意味的整合性を維持することにおける脆弱性を浮き彫りにしています。
推論のボトルネック：「推論」サブタスクは、すべてのモデルで一貫して最低のパフォーマンスを示し、多段階の論理操作と演繹的な空間推論における根本的な不備を示しています。
幻覚への感受性：モデルは幻覚タイプの質問において精度が著しく低下し（平均 12.32 ポイント）、誤った選択肢を拒絶するのに苦労しています。
テキスト・オラクルの知見：
- 視覚の捕捉対保持：視覚ストリームがテキストに変換された場合（テキスト・オラクル）、モデルのパフォーマンスは大幅に向上します（例：インター状態タスクで +7 から +9 ポイント）。これは、ビジョンエンコーダが状態変化を正常に捕捉していることを証明しますが、これらの希薄な視覚的手がかりは、エンドツーエンドのパイプライン内の長い時間的コンテキストにおいて希釈されたり失われたりするということです。
- 推論の天井：最終的なパフォーマンスの限界は、LLM バックボーンの論理的推論能力によって決定されます。テキスト・オラクル設定でより大規模なテキストのみの LLM を使用すると、パフォーマンスがさらに向上し、この分野での成功には純粋な論理的推論の強化が前提条件であることを示唆しています。
シミュレーションの有効性：M3-Verse-Sim と M3-Verse-Real のパフォーマンス間には強い正の相関（ $\rho = 0.74$ ）が存在し、現実世界の能力に対する信頼性の高い診断プロキシとしてシミュレートされたサブセットを検証しています。

意義と主張

本論文は、M3-Verse が、動的な視覚世界に対するより包括的な理解を持つ次世代モデルの開発を促進するための挑戦的な新しいテストベッドを提供すると主張しています。現在の失敗が視覚知覚の欠如ではなく、時間的希薄な視覚的手がかりを保持できないこと、および論理的推論の限界に起因していることを明らかにすることで、この研究は重要な診断ツールを提供します。著者は、変化検出と比較推論の根本的な能力がなければ、AI エージェントにとって動的環境における意味のある学習は起こり得ないと主張しています。M3-Verse のオープンソース化は、将来の研究を空間 - 時間的推論におけるこれらの特定のボトルネックを克服する方向へ導くことを目的としています。