技術概要：逐次実験設計による能動推論ビジョン・言語モデル

1. 問題定義：知覚帯域幅のボトルネック

現代のビジョン・言語モデル（VLM）は、包括的なシーン理解において優れているが、小物体の計数、光学文字認識（OCR）、精密な空間位置特定といった微細な推論タスクでは苦戦している。著者らはその根本原因を知覚帯域幅のボトルネックと特定している。標準的な VLM エンコーダ（ViT ベースなど）は、入力解像度に関わらず、高解像度画像を固定数の視覚トークンに投影する。高解像度のシーンの全体像を処理する際、この固定されたトークン予算は損失を伴う圧縮として機能し、広大な空間領域を単一のトークンに集約して微細な詳細を洗い流してしまう。その結果、重要な意味情報が初期エンコーディング段階で失われ、モデルは潜在的空間に存在しない詳細について推論する構造的な能力を欠くことになる。

既存の能動視覚戦略は、しばしば断片的なヒューリスティクス（スライディングウィンドウ、潜在的なチェーン・オブ・スレッドなど）に依存するか、不確実性を定量化するための統一的な理論的基盤を欠いている。特に連続的なギガピクセル規模の探索空間において、ターゲットが直ちに視認できない場合に、エージェントが次にどこを見るべきかを決定するための原理的な方法を提供できていない。

2. 手法：逐次ベイズ最適実験設計（S-BOED）としての能動視覚

本論文は、能動的な視覚情報取得を**逐次ベイズ最適実験設計（S-BOED）**の問題として定式化するアプローチを提案する。このアプローチは、科学的実験と能動的視覚知覚の間に同型性を引き出す。すなわち、科学者が仮説を区別するために実験を選択するように、能動的エージェントはユーザーのクエリに関する不確実性を最小化するために「注視（foveation）」行動（空間的切り抜き）を選択する。

2.1. 生成過程と物理的制約

この枠組みは、VLM を**知覚帯域幅（$B$）**に制約された確率的センサーとしてモデル化する。ここで $B$ は固定されたエンコーダ容量として定義される。これにより、密度と面積のトレードオフが生じる。

• 解像度確率（$\phi$）： 微細な特徴が解像される確率は、情報密度（$\rho = B / \text{Area}$）の飽和関数である。
• 可視性事象（$S$）： ターゲットが正常に捕捉されたかどうかを示す二値の潜在変数。可視性には、空間的カバレッジ（ターゲットが切り抜き内にあること）と知覚的解像度（密度が「意味的ナイキストレート」を超えること）の両方が必要である。
• 観測モデル： 観測 $z$ は、可視性事象 $S$ によってゲート制御された信号とノイズの混合である。$S=0$（未解像）の場合、観測には意味的ターゲットとは無関係な背景ノイズのみが含まれる。

2.2. 目的：期待情報利得（EIG）

エージェントの目的は、潜在状態 $\theta = \{\ell, y\}$（空間的位置と意味的アイデンティティ）に関する累積的な期待情報利得（EIG）を最大化するよう、設計（切り抜き）の系列 $d_{1:T}$ を選択することである。

• 情報崖： 著者らは、視覚的な採集がしばしば超加法的であることを指摘している。広範囲のビューはターゲットを特定できるが解像できず、ランダムなズームは解像できるが位置を特定できない場合がある。どちらも個別にはほぼゼロの利得しか生み出さないが、その系列のみが高情報をもたらす。これは、単純な貪欲選択ではなく、非近視眼的（先読み）な計画を必要とする。

2.3. 扱い可能な近似：カバレッジ - 解像度目的関数

連続的なギガピクセル空間における厳密なベイズ推論は扱い不可能であるため、著者らは 3 つの主要な仮定の下で閉形式の近似を導出した。

1. 分解された信念： 空間探索と意味的識別は、計画の瞬間的に分離されている。
2. 較正された可視性： VLM は「解像された」と「未解像の」コンテンツを区別できる（すなわち $H(S|z,d) \approx 0$）。
3. 理想的な観測者： ターゲットが正常に注視され解像された場合、VLM は高い忠実度で意味情報を抽出し、条件付きエントロピーをゼロに収束させる。

これらの仮定の下、EIG はカバレッジ - 解像度積を最大化することに帰着する。
$$J(d) \approx \left( \int_{x \in d} p_t(x) dx \right) \times \phi(d)$$
ここで、第一項はカバレッジ（ターゲットが切り抜き内にある確率）であり、第二項は解像度（切り抜きが特徴を解像するのに十分な高密度である確率）である。

2.4. アルゴリズム的実現

この枠組みは、トレーニング不要の推論戦略として実装される。

• 暗黙的_belief_追跡： 明示的なグリッドを維持する代わりに、エージェントは相互作用履歴に対する VLM の自己注意機構を用いて、負の証拠によるベイズ更新を通じて、事後信念を暗黙的に更新する。
• 局所プロービング： 有用性 $J(d)$ を推定するために、システムは候補となる切り抜きを生成し、「この切り抜きはクエリに回答するのに十分な情報を含んでいるか？」という Yes/No 質問による「解像可能性プローブ」で VLM に問い合わせる。このシグナルは、理論的な可視性確率の代理として機能する。
• 探索戦略：
  • 貪欲法： 即時的有用性を最大化するために、摂動ベースの局所探索（MCMC や単純なサンプリングなど）を使用する。
  • 先読み： 「情報崖」に対処し、行動の系列を計画することで期待将来価値を最大化するために、将来の状態をシミュレートする。

3. 主要な貢献

1. 原理的な定式化： 本論文は、S-BOED を能動的視覚推論のための厳密な形式体系として導入し、解像度制約のある採集と最適意思決定の間のギャップを埋める。視野と解像度の間のトレードオフに対する理論的説明を提供する。
2. 扱い可能なソルバー： 著者らは、扱い不可能な EIG の代理としてカバレッジ - 解像度目的関数を導出した。モデルの再トレーニングを必要とせず、効率的な近視眼的最適化と先読み計画の両方をサポートする柔軟な推論パイプラインを開発した。
3. スケーラブルな検証： このアプローチは、複数の視覚ツール（切り抜き、検出、セグメンテーション、深度、OCR）を備えたエージェントを用いて、ギガピクセルレベルのベンチマークで検証された。

4. 実験結果

本手法は、微細な認識、小物体の探索、3D 推論を網羅する 4 つのベンチマーク（HR-Bench、MME-RealWorld-Lite、V*Bench、CV-Bench）で評価された。

• 性能向上： Qwen3-VL-30B をバックボーンとして使用したところ、S-BOED フレームワークは平均スコア**77.7%**を達成し、ReAct ベースライン（75.1%）および標準的な Qwen3-Base（73.3%）を大幅に上回った。また、関連する能動知覚ベースラインである RAP（71.9%）をも凌ぎ、Gemini 2.5 Flash（78.0%）などのプロプライエタリモデルの性能に迫った。
• 汎化性： この戦略は、より小さな 8B バックボーンにおいても性能を向上させ、性能向上が単一のモデルスケールに固有のものではないことを示した。
• ギガピクセル領域： 遠隔 sensing 画像（MME-RealWorld-Lite）におけるストレステストでは、先読みプランナーは**54.7%**の精度を達成し、人間が注釈したオラクル（68.0%）とのギャップを縮め、貪欲戦略（49.1%）を大幅に上回った。
• 計算 - 精度フロンティア： 著者らは、探索予算（トークン数）と精度の間に単調な関係があることを実証した。貪欲戦略は計算コストが低いものの、探索が支配的な領域では先読み計画がより大きな利益をもたらす。

5. 意義と主張

本論文は、能動的視覚推論を逐次ベイズ最適実験設計の問題として形式化することにより、モデルが高解像度データと対話するための、より堅牢で原理的な方法を提供すると主張している。

• 帯域幅の克服： この枠組みは、現代の VLM が抱える本質的な知覚帯域幅のボトルネックを効果的に処理し、標準的な受動的モデルでは不可能なギガピクセル環境における微細な詳細の解像をエージェントに可能にする。
• ヒューリスティクスを超えて： パターンマッチングや断片的なヒューリスティクスに依存する従来の手法とは異なり、このアプローチは不確実性を定量化し、次にどこを見るべきかを決定するための統一的な理論的基盤を提供する。
• 効率性とスケール： 結果は、実験設計手法が、単にモデルのスケールを増大させることや静的なツールの使用に依存することよりも、高解像度理解へのより効率的な道筋を提供することを示唆している。

著者らは限界を認め、性能は最終的にバックボーン VLM の本質的な認識信頼性によって制限されること（完璧な切り抜きであってもモデルは幻覚を生じうる可能性）と、確率的サンプリングプロセスが追加の遅延を伴うことを指摘している。しかし、彼らはこの枠組みを計算 - 精度フロンティアとして位置づけ、低遅延の貪欲サンプリングから高精度の先読み計画までを包含する戦略のスペクトラムを提供している。