技術概要：意味豊化潜在視覚推論（SLVR）

1. 問題定義

マルチモーダル潜在空間推論は、反復的な切り出しやツールの呼び出しなどの計算集約的な明示的な「画像による思考」に代わり、コンパクトな潜在空間内で直接的に視覚推論を行うことを目指している。しかし、既存のアプローチには 2 つの主要な限界が存在する：

1. 意味の豊かさの欠如：現在の手法は通常、視覚的監督のみに依存しており、潜在表現が外観レベルの手がかりを符号化する一方で、多様な推論タスクに必要な微細な意味内容（物体の属性、状態、相互作用など）を明示的に保持できていない。
2. 単一タスク最適化：潜在空間の学習は、しばしば単一のクエリまたはタスク定式化によって駆動される。同一の視覚領域に基づき、単一の豊化された潜在表現が、多様なクエリタイプや推論粒度をどのように支えるべきかを整合させるための統一メカニズムが存在しない。

その結果、既存の潜在表現は、複数の意味的視点を同時に扱わなければならない領域レベルの推論タスクを堅牢に処理するために必要な構造的意味情報を欠いている。

2. 手法

著者は、属性レベルの視覚的意味で潜在表現を豊かにし、多様な推論目標と整合させるように設計された 2 段階学習フレームワークである**意味豊化潜在視覚推論（SLVR）**を提案する。

2.1. データ構築（SLV-Set）

このフレームワークを支援するため、著者は Visual-CoT に基づく 2 つの相補的コンポーネントからなるSLV-Setを構築した：

• 属性レベル意味データセット：約 40 万件の領域レベル属性アノテーション。Qwen3-VL-235B を用いて、主要な領域に対する構造化された意味プロファイルを生成し、外観（色、形状、材質）、動作、相互作用、空間的属性、テキストを網羅する。これらは 4096 次元の意味埋め込みとして符号化され、微細な監督信号として機能する。
• マルチクエリデータセット：約 80 万件の質問 - 回答ペア。これらは同一の視覚領域に基づきながら意味的に異なる 2 つの質問を含み、異なる意味的側面を探るものである。

さらに、同一領域を複数の視点から質問することで意味的変化下での潜在推論の堅牢性を評価するベンチマークとしてSV-QA（591 のペアサンプル）が導入された。これは既存のベンチマーク（V*、HRBench-4K、HRBench-8K）を拡張したものである。

2.2. 段階 1：構造化潜在学習

第 1 段階では、モデルが視覚的証拠と属性レベルの意味を明示的に統合する領域中心の潜在表現を学習する。

• 入力構築：画像と質問が処理される。関心領域（ROI）が視覚潜在セグメント（$H_{vis}$）として符号化される。特別なトークン <sem> が挿入され、単一の意味潜在（$z_{sem}$）が生成される。
• 視覚的整合：視覚的潜在トークンは、微細な視覚的詳細を保持するために、平均二乗誤差（MSE）損失を用いてビジョンエンコーダの機能と整合される。
• 意味的整合：意味潜在（$z_{sem}$）は投影され、事前に計算された属性レベル意味埋め込み（$e$）と MSE 損失を用いて整合される。これにより、潜在表現は「カメラを持っている」「緑色のジャケット」などの構造化された属性を捉えることが強制される。
• 目的関数：$L_{stage1} = L_{vis} + L_{sem}$。

2.3. 段階 2：マルチクエリグループ相対方策最適化（M-GRPO）

第 2 段階では、学習された潜在表現が多様な推論目標を一貫して支えるように洗練される。

• メカニズム：同一の領域に基づいた複数の質問（$q_1, q_2$）が与えられた場合、モデルは対応する潜在ペアを生成する。M-GRPO は、これらの潜在を共同で最適化するために方策更新を行う。
• 報酬コンポーネント：
  1. 回答の正しさ：外部の判定者によって評価された、各クエリに対する正しい回答に報酬を与える。
  2. 潜在の一貫性：同一の領域に基づいた異なるクエリ（$q_1$対$q_2$）に対して生成された潜在間の乖離にペナルティを課し、意味的変化を通じて潜在表現が安定して維持されることを保証する。
  3. 安定性正則化：過度な逸脱を防ぐために、マージンベースの定式化を用いて、最適化された潜在を第 1 段階で学習された分布に固定する。
• 最適化：このフレームワークはグループ相対方策最適化（GRPO）目的関数を使用し、複数の意味的クエリに対して同時に効果的な表現を促進するために、領域に基づくクエリのグループ全体で方策を更新する。

3. 主要な貢献

1. SLVR フレームワーク：微細な属性レベルの視覚的意味で潜在表現を豊かにし、M-GRPO を通じて多様な推論需要と整合させる 2 段階学習パラダイム。
2. SLV-Set データセット：約 40 万件の領域レベル属性アノテーションと約 80 万件のマルチクエリ QA サンプルを含む大規模リソースであり、意味豊化と潜在整合に必要な監督を提供する。
3. SV-QA ベンチマーク：同一の視覚領域を複数の意味的視点から質問することで、意味的変化下での潜在推論の堅牢性をテストするように設計された新しい評価ベンチマーク。
4. 実証的検証：既存の潜在推論ベースラインおよび「画像による思考」アプローチと比較して、SLVR が推論の堅牢性と意味的一貫性を向上させることを示す広範な実験。

4. 実験結果

実験は、標準的な VQA ベンチマーク（OKVQA、GQA、VizWiz、ChartQA、TextVQA、AI2D）と提案された SV-QA ベンチマークで行われた。

• 標準ベンチマーク：SLVR-7B は、以前の潜在推論手法（例：LVR）を上回り、「画像による思考」ベースライン（例：GRIT、DeepEyes）と競争力のある性能を維持した。OKVQA（LVR より +11.2%）および VizWiz（+24.7%）で顕著な改善が観察された。
• SV-QA ベンチマーク：SLVR は、V*、HRBench-4K、HRBench-8K において、「両方正解」（同一領域に対する 2 つの異なる質問の共同正解）指標で優れた性能を達成した。例えば、HRBench-8K において、SLVR は LVR に対して「両方正解」スコアを +4.0% 改善した。
• VisualPuzzles：SLVR は、LVR（29.4%）と比較して最良の総合精度（34.2%）を達成し、演繹（+5.0）および空間（+7.4）推論カテゴリで大幅な改善が見られた。
• アブレーション研究：結果は、第 1 段階の意味的監督と M-GRPO 一貫性制約が重要であることを確認した。テキストのみのベースラインは、マルチクエリ学習を行っても、複数の意味的視点にわたる一貫したグラウンディングを維持する点で、潜在推論変種に後れを取った。

5. 意義と主張

本論文は、SLVR が純粋な視覚的監督を超えて意味豊化された潜在表現へと移行することで、現在のマルチモーダル推論における重要なギャップを埋めると主張している。著者は以下を論じている：

• 明示的な視覚的操作（切り出し）は計算効率が悪く、純粋な視覚的潜在は意味的な深みに欠ける。
• 属性レベルの意味で潜在を明示的に監督し、複数のクエリ間で一貫性を強制することで、モデルは明示的な視覚操作のオーバーヘッドなしにより堅牢で意味的一貫性のある推論を達成できる。
• 提案されたフレームワークは、同一の視覚的証拠に基づき多様なタスクや推論粒度を柔軟に支える潜在表現を可能にし、明示的な「画像による思考」に対するスケーラブルな代替手段を提供する。

この研究は、機械学習の分野、特にマルチモーダル潜在推論の効率性と意味忠実度の向上において、進展として位置づけられている。