技術的サマリー：視覚的推論のためのグラウンディッド強化学習（ViGoRL）

問題定義

視覚的推論タスクは構造において大きく異なり、モデルに視覚的注意を向けさせ、知覚入力を解釈し、抽象的な推論を空間的証拠に基づかせることを頻繁に要求する。推論の連鎖（chains of thought）に対する強化学習（RL）は、数学やコーディングなどのテキストベースのドメインにおいて言語モデルを進展させたが、そのビジョン・ランゲージモデル（VLM）への応用には固有の課題が存在する。著者らは、標準的な VLM がしばしばエンドツーエンド方式で動作し、入力シーンに適応せずに単一のフォワードパスで回答を予測していると特定している。

重要なのは、この論文が、VLM への RL の単純な適用は有用な認知行動を誘発しないことを主張している点である。領域を体系的に探索し、部分目標を設定し、仮説を検証することを学習する代わりに、ベース VLM に対する標準的な RL 最適化は「ショートカット」へと収束する傾向がある。これらのショートカットは、視覚を能動的に参照される入力ではなく、静的なコンテキストとして扱う抽象的でグラウンディングされていない推論を生み出すことで、即時的なタスク報酬を最大化する。その結果、モデルは、雑多な環境内の小さな物体の位置特定や Web インターフェースのナビゲーションなど、複雑な視覚的推論に必要な空間的注意メカニズムを発達させることができない。

手法：ViGoRL

著者らは、各推論ステップを特定の視覚座標に明示的に固定するよう設計されたフレームワーク、**ViGoRL（Visually Grounded Reinforcement Learning：視覚的グラウンディッド強化学習）**を提案する。中心的な仮説は、テキスト推論が空間的グラウンディングと結合され、タスクに関連する情報を収集するために選択的に視線を移動させる人間の視覚的意思決定を模倣する際、モデルは「より良く見ることができ」、「より良く考えることができる」というものである。

このアプローチは、2 段階のパイプラインに続き、マルチターン拡張を含む：

1. モンテカルロ木探索（MCTS）によるウォームスタート

ベース VLM がバックトラッキングや領域探索などの視覚的推論行動を本質的に欠いているという限界を克服するため、著者らは MCTS を用いて高品質でグラウンディングされた推論トレースを生成する。

• ティーチャモデル: 探索木内のノードを展開するために、凍結された高容量のティーチャモデル（Qwen2.5-VL-72B）が使用される。
• グラウンディッドノード: 各推論ステップは、自然言語の思考 $s_t$ と、その思考を画像領域に固定する座標 $(x_t, y_t)$ からなるタプル $n_t = \langle s_t, (x_t, y_t) \rangle$ として定義される。
• 探索プロセス: MCTS アルゴリズム（選択、展開、シミュレーション、バックプロパゲーション）は、多様な画像領域と推論経路を体系的に探索する。これは、多様な領域を網羅するための広範な探索（ブランチング）や、失敗するブランチを放棄するバックトラッキングなどの行動を明示的に促進する。
• 線形化: 生成された探索木は、直接的な成功連鎖と、バックトラッキングを示す「修正された連鎖」（例：「待て、それは違うようだ…」）の両方を含むトレーニング例として線形化される。
• 教師あり微調整（SFT）: ベースモデルは、構造化されたグラウンディッド推論を生成する能力をブートストラップするために、これらの MCTS 生成トレース上で微調整される。

2. GRPO による強化学習

SFT に続き、モデルは**グループ相対方策最適化（GRPO）**を用いた強化学習を受ける。

• 報酬設計: 報酬関数は、(1) 最終回答の正しさ（$r_{task}$）と、(2) 出力形式の妥当性、具体的にはすべての座標参照が有効であること（$r_{fmt}$）の 2 つをインセンティブとする。これにより、モデルは推論プロセス全体を通じてグラウンディングを維持することを学習する。
• 目的: RL プロセスは、SFT 中に学習されたグラウンディッド行動を洗練させ、空間的固定制約を維持しながら正解に至るシーケンスを強化する。

3. 視覚フィードバックを伴うマルチターン RL

微細な視覚的検査（例：小さな GUI 要素）を必要とするタスクについては、著者らはマルチターン定式化を導入する。

• インタラクティブ顕微鏡: 座標を予測した後、モデルは当該領域の高解像度切り出しを要求するツール呼び出しを発行できる。
• フィードバックループ: 環境は切り出された画像を返し、これが次の推論ターンの入力となる。
• トレーニング: モデルは、必要に応じて反復的にズームインすることを学習するマルチターン対話上でトレーニングされる。報酬には、同じ領域を繰り返すのではなく、異なる座標を探索することを促す多様性ボーナスが含まれる。

主要な貢献

1. RL 失敗モードの特定: 明示的なグラウンディングインセンティブなしの VLM に対する標準的な RL は、視覚的部分目標の設定やバックトラッキングなどの行動を誘発できず、グラウンディングされていない推論につながることを、この論文は実証している。
2. ViGoRL フレームワーク: グラウンディッド推論の事前知識を注入するための MCTS ベースのウォームスタートと、これらの行動を洗練するための GRPO を組み合わせ、推論ステップを画像座標に明示的に結びつけた新規パイプライン。
3. マルチターン視覚フィードバック: 推論中に画像領域を動的にズームインすることを可能にするメカニズムであり、微細なタスクのパフォーマンスを大幅に向上させる。
4. 行動分析: グラウンディッド推論が、標準的なベースラインには存在しない領域探索、視覚的検証、バックトラッキングなどの認知行動を増幅することを示す実証的証拠。

実験結果

ViGoRL は、空間的推論（SAT-2、BLINK、RoboSpatial）、視覚的検索（V*Bench）、Web グラウンディング（ScreenSpot、VisualWebArena）を含む多様なベンチマークで評価された。

• 空間的推論: SAT-2 において、ViGoRL-3B は62.9%の精度を達成し、Vanilla GRPO より12.9 ポイント、ベースモデルより16.8 ポイント改善した。BLINK および RoboSpatial でも同様の改善が観察された。
• Web グラウンディング: ScreenSpot-Pro（高解像度 GUI グラウンディング）において、ViGoRL-3B は**31.1%**に達し、ベースモデルより 21.8 ポイント、Vanilla GRPO より 2.1 ポイント上回った。
• 視覚的検索: V*Bench において、マルチターンの ViGoRL-7B は**86.4%**の精度を達成し、GPT-4o（66.0%）などのプロプライエタリモデルや、Sketchpad-GPT-4o（80.3%）などの高度なツール使用パイプラインを上回った。
• ライブ Web 相互作用: VisualWebArena（視覚のみ入力）において、ViGoRL は HTML テキストへのアクセスがないにもかかわらず、同じモデルサイズにおける以前の最先端（ICAL）を上回った。
• アブレーション研究: 明示的なグラウンディングまたは MCTS ウォームスタートを除去するとパフォーマンスが大幅に低下し、グラウンディッド行動の初期化と RL による洗練の両方が重要であることを確認した。
• 人間評価: 人間の評価者は、モデルのグラウンディッド予測が空間的に正確（72.8% の精度）であり、特に予測が正しい場合に推論ステップの理解に役立つと判断した。

意義と主張

著者らは、視覚的グラウンディッド RL が、モデルに汎用的な視覚的推論を付与するための強力なパラダイムであると主張する。彼らは、グラウンディングは単なる可視化ツールではなく、中心的なアーキテクチャおよびアルゴリズムの原理であると論じる。モデルを指差し、ズームイン、検証などの指示詞的参照を用いて推論するように訓練することで、このアプローチはモデルの行動を人間の認知戦略（視覚的ルーチン、空間的注意）と整合させる。

この論文は、推論ステップを空間的座標に明示的に固定することが、モデルに構造化された人間に整合した認知に従事させることを結論づける。この足場は、モデルが複雑な問題を管理可能な、知覚的にグラウンディッドなステップに分解することを可能にし、分布外設定でのより良い一般化と解釈可能性の向上につながる。この研究は、将来のシステムはグラウンディングを補助的な信号ではなく、推論の中核メカニズムとして扱うべきであることを示唆している。