🤖 machine learning

VisReason: A Large-Scale Dataset for Visual Chain-of-Thought Reasoning

本論文は、人間のような多段階の推論過程（ラショナル）を持つアノテーション済みデータ48.9万件からなる大規模データセットであるVisReasonと、その専門家による精選サブセットであるVisReason-Proを紹介するものであり、これらはマルチモーダル大規模言語モデルのステップ・バイ・ステップの視覚的推論、解釈可能性、および汎化能力を大幅に向上させるものである。

原著者： Lingxiao Li, Yifan Wang, Xinyan Gao, Chen Tang, Xiangyu Yue, Chenyu You

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lingxiao Li, Yifan Wang, Xinyan Gao, Chen Tang, Xiangyu Yue, Chenyu You

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で散らかった部屋の中でミステリーを解こうとしているところだと想像してください。現在のほとんどの「スマート」なコンピュータ（マルチモーダル大規模言語モデルと呼ばれます）は、入り口から部屋全体をちらりと眺め、自分が見ていると「思っている」ものに基づいて答えを推測する人のように振る舞います。彼らは、実際には確認もせずに、「鳥が見えるので、お腹は白いはずだ」と言うかもしれません。

VisReason は、これらのコンピュータに、単に推測するのではなく、人間の探偵のように調査することを教えるために設計された、新しいトレーニングプログラムです。

以下に、この論文の内容を簡単な概念に分解して説明します。

1. 問題点：「ちら見して推測する」習慣

現在のAIモデルは単純な質問には答えるのが得意ですが、答えが非常に小さな詳細の中に隠れていたり、物体が3D空間でどのように積み重なっているかを理解する必要がある場合には失敗することがよくあります。彼らは（一般的な言葉に基づいた推測のような）「ショートカット」に頼る傾向があります。それは、部屋の向こう側から薬のラベルを読もうとするようなものです。「これはアスピリンに違いない」と推測するかもしれませんが、間違っている可能性があります。

2. 解決策：「ズームして検証する」トレーニングマニュアル

研究者たちは、VisReason（および、より詳細なバージョンである VisReason-Pro）と呼ばれる大規模なデータセットを作成しました。このデータセットは、単なる質問と回答のリストではなく、AIに「計算過程を示す」ことを強制するステップ・バイ・ステップのトレーニングマニュアルだと考えてください。

単に「答えはXです」と言うのではなく、AIは以下のラウンド形式で、思考を声に出すように訓練されます。

ラウンド1（スキャン）: 「網の上に鳥がいる。そのお腹をもっと詳しく見る必要がある。」（AIはそのエリアにボックスを描く）。
ラウンド2（ズーム）: ボックスの中をズームする。 「よし、これでよく見えるようになった。お腹は白くて無地だ。」
ラウンド3（結論）: 「したがって、答えは『はい』である。」

このデータセットには、4つの異なる「ミステリーの種類」にわたる489,000個の例が含まれています。

テキスト/文書: レシートや請求書の中の極小の文字を読む。
きめ細かな識別 (Fine-Grained): 非常に似ているもの（例：異なる種類の鳥）を区別する。
一般的な質問: 場面に関する標準的な質問に答える。
空間関係: 何が何の「後ろ」にあるか、あるいは「前」にあるかなどを判断する（例：「木の後ろには何がありますか？」）。

3. 秘密の材料：「疑似深度 (Pseudo-Depth)」

高度なバージョン（VisReason-Pro）のユニークな特徴の一つは、平らな2D画像しか持っていないにもかかわらず、AIに奥行き（3D空間）を教えることです。

比喩: 通りの写真を見ているところを想像してください。人間は、後ろにある車が前の車の「後ろ」にあることを知っています。AIは通常、これに苦戦します。
修正方法: 研究者たちは、物体がどのくらい離れているかを推定するための特別なツール（「深度マップ」のようなもの）を使用しました。彼らは、トレーニング中にこの追加情報をAIに提供しました。これは、探偵に3Dメガネを与えて、どの物体が他の物体の視界を遮っているかを理解させるようなものです。

4. 結果：優れた探偵へ

研究者たちがこの新しい「調査マニュアル」を用いてAIモデルを訓練した結果：

詳細に強くなった: 推測をやめ、答えを出すために必要な特定のエビデンスを見つけ始めました。
空間に強くなった: 他のものの後ろや特定のコーナーに隠れている物体を正しく特定できるようになりました。
より誠実になった: AIは推論のステップを示すようになったため、人間にとって、AIが単なるブラックボックス的な推測ではなく、「なぜ」その答えを出したのかを知ることが容易になりました。

この論文が「主張していない」こと

論文が実際に述べていることに基づいて、以下の点に注意してください。

この技術は、まだ医療診断や自動運転車に使用できる段階であるとは主張していません。
AIが人間の目と同じように3Dで「見えている」わけでもありません。単に、以前よりも深度の手がかりをうまく使えるようになっただけです。
AIが完璧であるとも主張していません。論文では、もしAIが最初のステップでズームする場所を間違えた場合、そこに固執してしまう可能性がある（「連鎖的なエラー」）ことを認めています。

まとめ

VisReason は、「思考プロセスを示す」例が詰まった膨大なライブラリであり、AIモデルに対して、写真をちらりと見るのではなく、ズームし、詳細を確認し、人間の探偵が行うように空間関係を理解することを教えるものです。

技術サマリー: VisReason

問題提起

現在のマルチモーダル大規模言語モデル（MLLM）は、視覚的理解において著しい進歩を遂げているが、その推論パラダイムには依然として限界がある。思考の連鎖（Chain-of-Thought: CoT）プロンプティングによって中間的な根拠を明示できるテキスト専用の大規模言語モデル（LLM）とは異なり、ほとんどのMLLMは、入力から回答への直接的なマッピングに最適化されている。このような明示的な中間的な監督（supervision）の欠如は、以下の欠陥をもたらす：

ショートカット学習: モデルは、意図的な段階的視覚検査を行うのではなく、言語的な事前知識やグローバルなシーン統計に依存してしまうことが多い。
空間的グラウンディングの欠如: 既存の視覚推論データセットは、規模が小さい、ドメイン特化型である、あるいは構成的な推論に必要な構造化されたマルチラウンドの監督を欠いていることが多い。
奥行き認識の不足: ほとんどのデータセットは2Dのアノテーションのみを提供しており、相対的な奥行き、遮蔽、および順序的な空間関係（例：「後ろ」、「前」）に関する推論をサポートできていない。

核心となる問題は、複雑な視覚的クエリに対して、モデルが証拠を確認するために注目領域へと反復的にズームインしていく必要がある、人間のような「グローバルからローカルへ」という推論ワークフローを捉えた大規模なデータセットが存在しないことである。

手法

データセット構築: VisReason および VisReason-Pro

著者らは、4つの多様なドメイン（テキスト/ドキュメント理解、微細な識別、一般的なVQA、空間認識関係推論）にわたる489,000個のアノテーション済み例を含む大規模データセットVisReasonを導入する。

このデータセットは、グローバルからローカルへの推論ワークフローを強制する統一されたパイプラインを用いて構築されている：

マルチラウンドCoT: 各サンプルには、モデルがまずグローバルなシーンを評価し、次にバウンディングボックスを介して関心領域（Region of Interest: RoI）を特定し、次のラウンドに向けてズームインする前に根拠を提供する、マルチターン形式の推論トレースが含まれる。
ダイナミック・ズーミング: パイプラインは「ズームして検証する（zoom-and-verify）」挙動を強制する。対象となる物体やテキストが小さい、または微細な場合、モデルはよりタイトなバウンディングボックスを予測し、クロップされた画像に基づいて新しい推論ステップを生成するように誘導される。このプロセスは、回答が導き出されるか、ラウンド制限（通常3〜4ラウンド）に達するまで続く。
奥行き拡張: 3Dグラウンディングの欠如に対処するため、著者らは単眼深度推定（DepthAnythingV2）とセマンティックセグメンテーション（SegmentAnythingV2）から得られた**疑似的な深度の手がかり（pseudo-depth cues）**を統合している。これらの手がかりは、空間推論をガイドするための順序的な深度情報（例：物体の相対的な順序）を提供する。

VisReason-Proは、165,000個の例（主にGQAデータセットから）からなる高忠実度なサブセットである。これは、より豊かな根拠と、より精密な深度情報を伴うアノテーションを生成するために、より強力なGPT-4.1シリーズのモデルを使用して精査されている。このサブセットは、特に複雑な空間関係や小さな物体のクエリを対象としている。

学習パラダイム

著者らは、MLLMがアクションのシーケンス $Y = (a_0, a_1, \dots, a_T)$ を生成することを学習する、学習および推論パイプラインを提案している。

アクションの定義: 各アクション $a_t$ は、テキストによる推論スニペット $r_t$ と、次の関心領域のための予測バウンディングボックス $b_{t+1}$ で構成される。
反復的なコンテキスト: ステップ $t$ における視覚的コンテキストは、前のステップのバウンディングボックスを使用して元の画像 $I$ をクロップすることによって得られる。モデルは、クエリ、アクションの履歴、および現在のクロップの視覚的特徴に基づいて、次の中間トークンを自己回帰的に生成する。
監督: モデルは、標準的な負の対数尤度（negative log-likelihood）目的関数を用いた教師あり微調整（SFT）を用いて微調整され、グラウンドトゥルースの推論シーケンス（テキストとシリアライズされたボックス座標の両方を含む）の尤度を最大化する。

主な貢献

VisReasonデータセット: 単なる最終回答だけでなく、視覚的推論プロセスを明示的に監督する、マルチラウンドのRoIに基づいた根拠を特徴とする大規模（489K）データセットの公開。
VisReason-Pro: 詳細な推論トレースと順序的な深度監督を提供し、モデルが空間関係や遮蔽について推論することを可能にする、高精度な深度拡張サブセット（165K）。
評価スイート: ステップごとの推論、RoIの局在化精度、および深度拡張された空間推論能力を評価するために設計された包括的なベンチマーク。
統一されたパイプライン: 強力なMLLMバックボーン（例：Qwen2.5-VL, InternVL）をこのデータで微調整することで、微細な識別、空間推論、および解釈可能性において大幅な改善が得られることを実証。

実験結果

著者らは、Visual-CoTベンチマークおよびその他の標準的なスイートにおいて、自らのモデル（Qwen2.5-VL-7Bに基づくVisReason-7BおよびVisReason-Pro-7B）を最先端のMLLMと比較評価した。

性能向上: VisReason-Pro-7Bは、オープンソースのMLLMの中で最高の平均スコア（0.802）を達成し、LLaVA-NeXT-8BやInternVL-2.5-8Bなどのベースラインを上回った。
ドメイン固有の改善: 最も顕著な向上は、微細な識別（例：Birds-200-2011: 0.681 $\to$ 0.831）および空間関係推論（例：OpenImages: 0.498 $\to$ 0.805）で見られ、RoIに基づいた監督の有効性を裏付けた。
RoI局在化: VisReason-Proのホールドアウト・スイートにおいて、モデルはベースラインと比較して優れたIntersection over Union（IoU）スコア（IoU@0.5で0.34）を達成し、関連する視覚的証拠を特定する能力の向上を示した。
深度推論: モデルは「Grounded Ratio」（0.276 対ベースラインの <0.04）において大幅な改善を示し、深度誤差を減少させた。これは、順序的な深度の手がかりの有用性を検証するものである。
人間による評価: 30人の評価者によるブラインドテストにおいて、VisReason-Proモデルは、グラウンデッドな忠実性（Grounded Faithfulness）（4.46/5）およびステップごとの明快さ（Stepwise Clarity）（4.37/5）において最高スコアを獲得し、より信頼性が高く一貫した推論チェーンを示した。
フォーマットへの感受性: 著者らは、マルチラウンドCoTは空間的および微細なタスクにおいて優れている一方で、評価プロトコルが冗長なCoT形式と一致しない場合、標準的な短文回答ベンチマーク（MMEなど）での性能が低下する場合があることを指摘した。しかし、直接的なQAプロンプトに切り替えることで性能は概ね回復しており、能力自体は存在するが、推論フォーマットが重要であることを示唆している。

意義と主張

本論文は、VisReasonが現在のMLLMの学習パラダイムと人間の視覚認知との間の根本的な不一致に対処していると主張している。人間のような「ズームして検証する」ワークフローを模倣した大規模なプロセスレベルの監督を提供することで、VisReasonはMLLMが以下を行うことを可能にする：

ショートカット学習や言語的事前知識からの脱却。
ローカライズされた手がかりに裏付けられた、体系的で検証可能な視覚的推論の実行。
単一のグローバルなビューからは解決が困難な、複雑な空間関係や小さな物体の認識。

著者らは、VisReasonを、人間のような視覚的推論を育成するための礎石として位置づけており、テキストベースの推論と同様の反復的な厳密さをもって画像を通じて推論できる、次世代のマルチモーダル・インテリジェンスへの道を開くものであるとしている。また、疑似的な深度（メトリックな3Dではない）への依存や、初期のRoIが不一致であった場合の連鎖的な局在化エラーのリスクといった限界についても認め、今後の研究では自己修正的なロールバックメカニズムを探索できる可能性があるとしている。