技術的概要：視覚的根拠に基づく推論のための知覚フローネットワーク

問題定義

大規模視覚言語モデル（LVLM）は多様な視覚タスクで顕著な性能を達成しているが、特に複雑で微細なシナリオにおいて、幻覚（ハルシネーション）と解釈性の欠如に依然として悩まされている。最近のアプローチは、強化学習と検証可能な報酬（RLVR）を用いて、物体検出器（GroundingDINO など）などの視覚専門家から幾何学的な事前知識を蒸留することでこれを緩和しようとしているが、著者らは「最適化されていない教師信号」という決定的な限界を特定している。

本論文は、視覚専門家が厳密な幾何学的精度（局所化）のために最適化されているのに対し、LVLM には推論の有用性が必要であると主張する。LVLM の推論軌跡をこれらの専門家事前知識と硬直的に整合させることは、「トンネルビジョン」効果を引き起こし、必要な文脈を排除して推論性能を低下させる。予備研究により、幾何学的に最も正確な事前知識（専門家による注釈）が必ずしも推論に最も有用であるわけではなく、インスタンス固有の変動により「黄金」証拠を近似するためのヒューリスティックな変換は非現実的であることが示されている。

手法：知覚フローネットワーク（PFlowNet）

PFlowNet は、硬直的な静的幾何学的事前知識への整合を排し、解釈可能で自己条件付きの視覚推論を達成するために、知覚と推論を分離するフレームワークを提案する。中核的な革新は、視覚的思考を明示する構造化された潜在軌跡である「知覚フロー」である。

1. 知覚フローの定式化

モデルは、以下の構成要素からなる構造化された軌跡 $Z = (z_0 \to z_1 \dots z_K)$ を生成する：

• 計画状態（$z_0$）： クエリを分解し、関連する視覚候補を特定する言語シーケンス（<analyze> と </analyze> で囲まれる）。
• 知覚状態（$z_{\ge 1}$）： 接地された観測の連鎖（<localize> と </localize> で囲まれる）。各状態 $z_k$ は、関心領域（RoI）$r_k$ と記述的キャプション $c_k$ から構成される。

2. 分離されたフレームワーク

PFlowNet は、知覚行動の最適化を推論プロセスから分離する。理想的な知覚行動の事後分布を近似するために、自己パラメータ化された変分分布 $p_\theta(Z|X)$ を採用する。同時分布は以下のように因数分解される：
$$p_\theta(Y, Z | X) = p_\theta(Z | X) p_\theta(Y | Z, \langle X, I_{RoI} \rangle)$$
これにより、モデルは知覚フロー $Z$ をサンプリングし、そのフローと対応するズームインされた視覚的特徴を文脈として使用して、最終的な答え $Y$ に対して自己条件付き自己回帰生成を実行できる。

3. 変分強化学習微調整（RFT）

変分分布を最適化するために、PFlowNet はサブ軌跡バランス（SubTB）に由来する階層的な目的関数に基づく変分 RFT戦略を導入する。これは多様な知覚行動を促進するための密な中間教師信号を提供する。目的関数は、多次元報酬関数と近傍幾何学的成形スキームによって洗練される：

• 多次元報酬（$R$）： 品質と有効性を組み合わせる。
  • 品質： 周囲の文脈（$I \setminus I_{r_i}$）ではなく、ズームインされた証拠（$I_{r_i}$）に対して意味的に具体的であるようキャプションを促す対照項 $p^+_\phi(z_i) / p^-_\phi(z_i)$。これにより、特権情報が効果的に蒸留される。
  • 有効性： 目標応答 $Y$ を誘発する際のフローが提供する情報量を測定し、$\log p_\phi(Y | Z, X)$ を最大化する。
• 近傍幾何学的成形： 無効な領域への過度な探索を防ぎつつ、厳格な専門家整合のバイアスを回避するために、報酬はエネルギー項 $\omega_\lambda$ によって重み付けされる。この項は、専門家事前知識 $E$（Chamfer-IoU 距離 $\varepsilon$ によって定義される）から大きく逸脱する軌跡にペナルティを課すが、「近傍」$B_\varepsilon(E)$ 内での探索を許可する。これにより、推論指向の探索と視覚的信頼性のバランスが取られる。

4. 学習パイプライン

• データキュレーション： 帰納的バイアスを緩和するため、ランダムに拡張された RoI を含むデータに対して教師モデル（GPT-4o、Gemini など）を用いて微細な軌跡を合成するパイプライン。
• コールドスタート： 知覚フローを生成するポリシーを初期化するための教師あり微調整（SFT）。
• RFT： 導出された目的関数と報酬成形を用いてポリシーを最適化する変分強化学習微調整。

主要な貢献

1. 知覚フローネットワーク（PFlowNet）： 知覚と推論を分離し、構造化された潜在軌跡（知覚フロー）を活用して、自己条件付きかつ解釈可能な視覚推論を可能にする新規フレームワーク。
2. 変分強化学習微調整： 多次元報酬（品質＋有効性）と近傍幾何学的成形を統合する学習戦略。このアプローチは、硬直的な専門家整合の最適化されていないバイアスを回避しつつ、視覚的信頼性を確保する。
3. 理論的保証： 本論文は、証明可能な性能保証を確立する理論的分析を提供する。特定の条件下（定理 3.1 および 3.4）において、PFlowNet の目標事後分布への全変動（TV）距離の上限は、標準的な最尤推定（MLE）および専門家ガイド型 RLVR よりも厳密にtighter であることを示している。
4. 経験的優位性： 広範な実験により、PFlowNet が複数のベンチマークで新たな最先端（SOTA）記録を樹立し、特に微細で推論を重視するタスクにおいて優れていることが示された。

実験結果

15 のベンチマークで評価された PFlowNet（Qwen3-VL-8B から初期化）は、以下のような顕著な改善を示している：

• 一般性能： 基盤モデルに対して、TreeBench で10.4%、MME-RealWorld-Lite で**18.4%**の改善を達成。
• 微細タスク： V Bench（90.6%）*、HR-Bench、ScreenSpotで新たな SOTA を樹立し、一般的な LVLM および専門的な接地推論モデル（TreeVGR、DeepEyes など）を上回る。
• 効率性： 2 段階のプロセスであるにもかかわらず、高い遅延に悩まされるエージェント型フレームワークや、結合された知覚 - 推論モデルと比較して、優れた性能 - 効率バランスを達成。
• テスト時スケーリング： 増加したサンプリング予算でわずかな gain しか得られないモード崩壊を示す硬直的な RLVR 手法とは異なり、多様な根拠分布を持つ PFlowNet は、堅牢なテスト時スケーリング能力を示す。

意義と主張

本論文は、PFlowNet が視覚専門家（幾何学的精度）と LVLM（推論有用性）の設計原則間の根本的な不一致に対処していると主張する。硬直的な整合を排し、推論指向の報酬と近傍幾何学的成形によって導かれる自己条件付き生成プロセスを採用することで、PFlowNet は以下を実現する：

• 解釈性： 構造化されたフローが、推論を視覚的証拠に明示的に固定する。
• 信頼性： 近傍成形により、モデルは無効な幻覚に逸脱することなく、効果的な行動を探索する。
• スケーラビリティ： フレームワークは異なるモデルスケール（4B から 32B）全体で有効であり、既存のベースラインに対する証明可能な理論的改善を提供する。

著者らは、PFlowNet が、正確な視覚的接地の必要性と、複雑な推論タスクに必要な柔軟性のバランスを取る、視覚的根拠に基づく推論のための堅牢な解決策を提供すると結論づけている。