🤖 AI

When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

本論文は、指示がテキストではなくピクセルとして埋め込まれている場合にマルチモーダルモデルに生じる顕著な性能差を明らかにするVisualized Task Semantics（VTS）を導入し、推論時にOCRや領域メタデータを必要とせずにこの意味チャネルのギャップを効果的に埋めるプロンプト領域グラウンディング手法を提案する。

原著者： Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

公開日 2026-08-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、パズルを解くための超スマートなロボットに教えているところだと想像してください。このロボットは「マルチモーダル大規模言語モデル（MLLM）」として知られ、テキストを読み、同時に画像を見ることができる、まるで天才的な学生のような存在です。通常、あなたはロボットに数学の問題の画像と、「これを解いて！」という別々のテキストメッセージを与えます。ロボットはテキストの指示を読み、画像を見て、答えを出します。しかし、もし指示をテキストメッセージとして与えなかったらどうなるでしょうか？もし、指示を壁に描かれた看板のように、画像の中に直接書き込んでしまったら？

科学者たちは、このロボットが同じくらい上手く機能するかどうかを疑問に思っていました。指示が「テキスト・トークン（デジタルの単語）」であるか、それとも「ピクセル（画面上の色の小さな点）」であるかは、重要なのでしょうか？ AIの世界では、ロボットはテキストを読むことは得意でも、画像の一部となっている指示を「読む」ことは苦手ではないか、という疑念があります。彼らは言葉を完璧に書き写すこと（コピー機のよう）はできても、その言葉が自分に命令を下している「ボス」であることを理解することには失敗する可能性があるのです。この論文は、指示がチャットボックスにある場合と、画像の中に書かれている場合で、ロボットが混乱してしまうのかどうかという謎を解明するために、この調査を行いました。

「ピクセル化された」問いの謎

研究チーム（大学やテック企業によるチーム）は、Visualized Task Semantics (VTS) と呼ばれる巧妙な実験を用いて、このアイデアをテストすることにしました。標準的な数学のテストを想像してみてください。通常、問題は画像の上にタイピングされて表示されます。彼らの実験では、全く同じ問題を使い、タイピングされたテキストを消去し、その問題を画像のすぐ上に直接描き込みました。さらに、元のタイピングされた指示を、「問題を解くのを手伝ってください」という、ただの退屈な短いメモに置き換えました。

彼らは、4種類のトリッキーなベンチマーク（数学のチャートや複雑な図解など）を用いて、6つの異なるAIモデルに対してこのテストを実施しました。結果は、パフォーマンスの大幅な低下でした。質問が画像の中に描かれていた場合、モデルの正確性は、質問がタイピングされていた場合と比較して、平均で17.8ポイント低下しました。ケースによっては、その低下は28.0ポイントにも達しました。

それは単にロボットが文字を読めなかったということではありません。研究者が確認したところ、モデルは描かれた言葉をほとんどの場合、正しく書き起こすことができていました。問題はもっと深いところにありました。モデルはその言葉を「指示」として使うことに失敗していたのです。それはまるで、ロボットが壁の上のサインを見て、言葉を綴ることはできるものの、「あ、このサインは私に何をすべきか教えているんだ！」ということに気づいていないような状態です。研究者はこれを「セマンティック・チャネル・ギャップ（意味の経路の溝）」と呼んでいます。情報が通る経路（テキストか画像か）によって、たとえ言葉が同一であっても、ロボットの思考プロセスが変わってしまうのです。

解決策：ロボットに「サイン」を接地させる方法

これを修正するために、チームはPrompt-Region Groundingと呼ばれる新しい学習手法を開発しました。これは、子供に看板を指差して「これはルールだよ！」と言うように教えることに似ています。

彼らは学習中に2つの特別なテクニックを用いました：

PVRD-SG（「意味の一致」）: ロボットに、描かれた質問を含む画像と、それと同じ質問の別個のクリーンなテキスト版を見せました。そして、質問を含む特定のピクセルの塊が、タイピングされたテキストと同じ「意味」を持つことをロボットに認識させたのです。これは、物理的な壁の上のサインを、ロボットの脳内にある「ルール」という概念に結びつける作業です。
PRMLP（「ブラインドスポット（死角）」テスト）: 描かれた質問を含む画像を取り、テキストの一部を黒いボックスで隠しました（マスキング）。その上で、残りの画像に基づいて、隠されたテキストが何を意味するかをロボットに推測させました。これにより、ロボットは単に正確なピクセルを暗記するのではなく、指示の「本質」を学ぶことを強制されました。

素晴らしい点は、この学習において、ロボットがOCR（光学文字認識）のような特別なツールを使用したり、実際にテストを受けている時にテキストボックスがどこにあるかを正確に知る必要はないということです。最終試験の際、ロボットはただ画像内の描かれた質問を見て、以前と同じように直接回答するだけです。

結果：ギャップを埋める

結果は有望でした。この新しい学習の後、モデルの「描かれた質問」テストにおける正確性は、**58.0%から66.3%**へと跳ね上がりました。これは大幅な改善であり、テキストによる指示と画像による指示の間のギャップを狭めるものです。また、モデルは元のテキストベースのテストでもわずかに精度が向上しており（**69.1%から70.3%**へ）、以前のスキルを失っていないことを証明しました。

研究チームは、ワークシート、フォーム、スクリーンショットなど、見たことがない1,000枚以上の実世界の画像についてもテストを行いました。新しい手法は、これらの実世界のページにおいて、正確性を7.9ポイント向上させました。

これが意味すること

本論文は、画像内のテキストを読み、そのテキストを指示として使用することは、2つの異なるスキルであると結論付けています。ロボットが言葉を読めるからといって、それが画像の一部であるときに、その言葉に従うことができるとは限りません。ロボットに視覚的な質問をその意味へと「接地（グラウンディング）」させる方法を教えることで、彼らはその溝を埋めることに成功しました。

著者らは、状況を改善したものの、完全に解決したわけではないことも慎重に述べています。依然として小さなギャップは残っており、この手法はテキストが明確に見え、標準的な形式である場合に最も効果を発揮します。しかし、この研究は、AIへの「話し方」が重要であることを証明しています。ロボットを真にスマートにしたいのであれば、ピクセルで書かれた質問も、チャットボックスにタイプされた質問と同じくらい重要であることを教える必要があるのです。

テクニカル・サマリー：プロンプトがピクセルになる時：マルチモーダル推論のためのプロンプト領域グラウンディング

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、スクリーンショットやドキュメントを処理する際、タスクの指示自体が画像内のテキスト（ピクセル）としてレンダリングされているケースをますます多く扱うようになっています。高解像度モデルはこのようなテキストを高精度に読み取ることができますが、それらの視覚的な指示を、テキストベースのプロンプトと同等の有効性で利用できているかどうかは不明なままです。

先行研究では、指示が視覚化されると性能が低下することが観察されていますが、これらのギャップには、キャンバスの拡張、画像の再サイズ、レンダラーによるアーティファクト、そしてテキストトークンからピクセルへの意味的シフトといった複数の要因が混在しています。決定的なことに、既存のベンチマークは、モデルが視覚的なテキストを「読む」能力の失敗（OCRの失敗）と、その視覚的なテキストを「推論指示として利用する」能力の失敗（セマンティック・チャネル・ギャップ）を区別できていません。本論文は、タスクを担うテキストを読み取ることと、それを指示としてグラウンディングすることは異なる能力であると断じ、現在のMLLMには、たとえテキストが正しく転記されていても、視覚的な指示がテキスト形式よりも効果的ではなくなるという系統的な「セマンティック・チャネル・ギャップ」が存在すると主張しています。

2. メソドロジー

2.1 視覚化されたタスクセマンティクス (VTS)

セマンティック・チャネル・ギャップを分離するために、著者らは制御された介入として**視覚化されたタスクセマンティクス（Visualized Task Semantics: VTS）**を導入しています。

オリジナル・ビュー： 質問 $q$ はテキストトークンとして提供され、画像 $x$ には視覚的な証拠が含まれています。
VTSビュー： 質問 $q$ が画像 $x$ の上部の白いパネル内にテキストピクセルとしてレンダリングされています。ネイティブのテキストプロンプトは、固定された手がかり（例：「問題を解くのを手伝ってください」）に置き換えられています。
コントロール： 本研究では、非意味的な原因を排除するために、キャンバスの幾何学的形状、プロンプトの重複（両方のチャネルに質問が存在する場合）、および画像のみの入力に対するコントロールを採用しています。

2.2 プロンプト領域グラウンディング

このギャップを埋めるために、著者らは、プロンプト領域の視覚的表現を、そのタイピングされた意味と明示的に整合させるトレーニングフレームワークである**プロンプト領域グラウンディング（Prompt-Region Grounding）**を提案しています。この手法は、推論インターフェースを変更することなく（推論時にOCRや領域メタデータを必要としない）、教師あり微調整（SFT）および強化学習（GSPO）の段階で動作します。

このフレームワークは、VTSおよび実世界の視覚プロンプトの例に対して適用される、2つの領域レベルの目的関数を導入しています。

プロンプト・ビジュアル表現蒸留と意味的グラウンディング (PVRD-SG):
- 目的： プロンプト領域の視覚的表現を、タイピングされた質問の凍結された意味表現と整合させること。
- メカニズム： モデルは、レンダリングされた画像内の既知のプロンプト領域ボックス $b_i$ から視覚トークンをプーリングします。この表現 $z_i^{vis}$ は、タイピングされた質問から派生したキャッシュ済みの凍結されたテキスト埋め込み $t_i$ とのコサイン類似度を最大化するように最適化されます。
- 制約： テキストターゲットは凍結され、ストップグラディエント（勾配停止）が適用されます。これにより、モデルはテキストを転記することを強制されることなく、視覚的領域からタスクの意味を回復することを学習します。
プロンプト領域マスク潜在予測 (PRMLP):
- 目的： レンダリングされたテキストの一部が遮蔽されていたり、観察が困難であったりする場合でも、プロンプト領域の視覚的表現が安定し、復元可能であることを保証すること。
- メカニズム： 複合画像内のプロンプト領域の一部がマスクされます。モデルは、マスクされた入力から、対応する「クリーンな」クロップ（マスクされていないプロンプト領域）の表現を予測しなければなりません。
- 制約： これは潜在的な一貫性の目的であり、ピクセルの再構成ではありません。これにより、モデルに、指示領域の堅牢な内部表現を維持させることを強制します。

2.3 トレーニング・パイプライン

バランス・リプレイ： モデルは、同じ回答ターゲットを共有する、オリジナル・ビューとVTSビューのペアを含むデータセットで学習されます。
教師あり微調整 (SFT)： モデルは、標準的な自己回帰型次トークン損失（ $L_{sft}$ ）に、領域レベルの損失（ $L_{sg}$ および $L_{prmlp}$ ）を加えた結合損失を最小化します。
強化学習 (GSPO)： 教師ありのチェックポイントは、フォーマットの正確性と回答の正確性に報酬を与えるグループ・シーケンス・ポリシー最適化（GSPO）を用いてさらに洗練されます。

3. 主な貢献

セマンティック・チャネル・ギャップの定量化： 本研究は、質問をテキストトークンから画像ピクセルに移すと、6つのMLLMと4つのベンチマークにおいて系統的な精度低下が生じることを示しています。平均的な低下は17.8ポイントであり、ペアによっては28.0ポイントもの低下が見られます。
読解と推論の分離： 診断テストにより、モデルは視覚的な質問を正しく転記できる場合が多い（完全一致率 87.6%）一方で、それらを効果的に利用できていない（精度 48.4%）ことが明らかになりました。転記されたテキストをテキストチャネルに再挿入することで、大幅な精度回復が得られることから、このギャップが単なるOCRの失敗ではなく、視覚的テキストを指示としてグラウンディングすることの失敗であることを証明しています。
プロンプト領域グラウンディング法： 著者らは、このギャップを埋めるトレーニングレシピを導入しています。視覚的なプロンプト領域をタイピングされた意味と整合させ、潜在的一貫性を強制することにより、この手法はOCRや領域検出を必要とせずにVTSの精度を大幅に向上させます。
汎用性： この手法は、保持された実世界のページ（UI、ワークシート、フォーム）および独立したベンチマーク（VISTA-Bench, OCRBench v2）において性能を向上させており、学習されたグラウンディング能力が特定のVTSレンダリングを超えて転移することを示唆しています。

4. 実験結果

実験は主に Qwen3-VL-4B および Q-wen3-VL-8B で行われ、InternVL3.5-8B での転移結果も示されています。

ベースラインの性能： 4つのベンチマーク（MATH-Vision, MathVista, ChartQA, MMMU）全体で、ベースライン（バランス・リプレイ）の平均VTS精度は、オリジナル・インターフェースでの 69.8% に対し 61.4% でした（8.4ポイントのギャップ）。
手法の性能： 提案手法（"Ours"）は、オリジナル精度 70.3% を維持しながら、平均VTS精度を 66.3% まで引き上げました。
- これにより、セマンティック・チャネル・ギャップは、8.4ポイント（バランス・リプレイ）から 4.0ポイント へと減少しました。
- VTSにおける具体的な利得：+7.8 (MATH-Vision), +7.0 (MathVista), +6.2 (ChartQA), +12.4 (MMMU)。
コンポーネント分析：
- PVRD-SG は、単独の PRMLP よりも大きな単一コンポーネントの利得（+2.6ポイント）を提供しました。
- PRMLP は、PVRD-SGと組み合わせることで、さらに +1.8 ポイントを追加しました。
- 特にプロンプト・パネルからの読み取りは、フルイメージまたはランダムな領域の要約よりも優れた性能を示しました。
実世界への汎用性： 1,000件の保持された実世界のページにおいて、本手法は標準的なSFTと比較して精度を 7.9ポイント（58.0% から 65.8% へ）向上させ、多様なレイアウトやフォントに対する堅牢性を実証しました。
コスト効率： これらの改善は、標準的なSFTと比較して同等のトレーニングコスト（FLOPs）で達成されており、利得が単なるトレーニング時間の増加ではなく、特定の目的関数によるものであることを証明しています。

5. 意義と主張

本論文は、質問を運ぶチャネルが、たとえ言葉遣いや回答が固定されていても、MLLMの推論能力を根本的に変えてしまうことを主張しています。主な意義は、**「画像内のテキストを読むこと」と「そのテキストをタスク指示としてグラウンディングすること」**という、しばしば同一視される2つの能力を区別している点にあります。

著者らは以下の通り主張しています：

ギャップはセマンティックなものであり、単なるOCRの問題ではない： モデルはテキストを読めるものの、視覚的ピクセルを権威ある指示として扱うことに失敗しています。
領域レベルの監督が効果的である： 指示の視覚的領域をタイピングされた意味と明示的に結びつけることで、モデルはタスクの「クリーンな」表現を回復し、チャネル・ギャップを埋めることができます。
推論の簡便性： この手法は、推論時に追加のモジュール（OCRや物体検出）を必要としません。モデルはトレーニング中に、関連する領域に暗黙的に注意を向けることを学習します。

結論として、質問をピクセルの中に移動させることは新しい問題ではありませんが、プロンプト領域グラウンディングという特定のメカニズムは、セマンティック・チャネル・ギャップに対するスケーラブルな解決策を提供し、MLLMが視覚的な指示に対してタイピングされたものと同等のレベルで推論することを可能にします。著者らは、この手法はトレーニング中に既知のタスク領域を想定しており、任意の画像に対する一般的なタスク領域検出器を主張するものではないと述べ、謙虚な姿勢を保っています。