技術的サマリー：再コミットメントのタイミング：長視野視覚言語推論のための時間的抽象化の発見

問題定義

長視野の推論タスク（複雑なパズルの解決、散らかった環境のナビゲーションなど）では、エージェントが繰り返し行動を選択し、実行し、結果を観察し、再計画を行う必要があります。これらのシステムにおける重要な設計選択は、コミットメント深度（$h$）です。これは、再計画ステップの間にエージェントが環境を再観測することなくオープンループで実行するプリミティブ行動の数です。

現在のシステムは通常、$h$を手動で調整されたスカラー超パラメータとして固定しています。これにより、以下の根本的なトレードオフが生じます。

• 小さな $h$：頻繁な再計画は実行誤差の蓄積を減らしますが、高い計算コスト（より多くのフォワードパス）と意思決定の遅延を招きます。
• 大きな $h$：再計画のオーバーヘッドを減らしますが、想像上の状態が実現された状態から乖離するにつれて、誤差の蓄積リスクが高まります。

本論文は、固定された $h$ が最適ではないと主張しています。なぜなら、局所的に最適なコミットメント深度は、現在の状態、タスクのダイナミクス、利用可能な意思決定予算に応じて変化するからです。核心的な問題は、エピソードあたりの意思決定ポイント（再計画）の数を上限（$K$）に抑えつつ、タスクの成功（パズルの解決）を最大化する予算制約付き最適化問題として定式化されます。ここで、方策は各意思決定ステップ $k$ において、コミットメント深度 $h_k$ と行動系列 $a_k$ を同時に選択する必要があります。

手法

著者らは、コミットメント深度を適応的に決定することを学習する統合されたモデルネイティブな視覚言語モデル（VLM）方策を提案します。

1. アーキテクチャ

方策は、2 つの異なるヘッドを持つ共有バックボーン（Qwen2.5-VL-7B）を基盤として構築されています。

• 深度ヘッド（$\pi_h$）：現在の状態表現に基づいて、コミットメント深度 $h_k \in \{1, 2, 4, 8\}$ を予測するカテゴリカルヘッド。
• 行動ヘッド（$\pi_a$）：状態と予測された深度を条件として、長さ $h_k$ のプリミティブ行動の系列を生成する自己回帰デコーダ。
• オープンループ実行：$h_k$ と $a_k$ が予測されると、エージェントは VLM を再クエリしたり中間状態を再エンコードしたりすることなく、その系列を実行します。

2. 学習パイプライン

モデルは2段階のプロセスで学習されます。

• ステージ 1：教師あり微調整（SFT）：行動ヘッドは「反事実的マクロ行動」データで学習されます。エキスパート軌道のすべての状態において、モデルは許容されるすべての長さ（$h \in \{1, 2, 4, 8\}$）の行動プレフィックスを予測するように学習されます。重要なのは、このステージでは深度ヘッドが学習されないことです。強化学習前に方策を特定の深度にバイアスさせないよう、深度ヘッドは学習されず（平坦な事前分布）、維持されます。
• ステージ 2：強化学習（RL）：両方のヘッドはGRPO（Group Relative Policy Optimization）を用いて共同で微調整されます。報酬関数は、二値の成功信号（解決済み/未解決）と、最適解距離の減少に基づく密な報酬（正確なソルバーから導出され、学習時のみ使用）を組み合わせたものです。この目的関数は、無駄な行動を最小化しながら成功を最大化する深度を選択するよう方策を促します。

3. 理論的基盤

本論文は、局所的に最適なコミットメント深度 $h^*(s)$ が状態によって変化する（これはオラクル分布による実証的検証で確認されている）場合、状態条件付きの適応方策は、期待対数成功率の点でいかなる固定深度の方策よりも厳密に支配的であることを示す理論モデルを提供します。これは、コミットメントレベルの誤差が深度に対して亜線形的に成長する場合に成り立ちます。

主な貢献

1. 問題定式化：著者らは「いつ再コミットするか」を予算制約付き最適化問題として形式化し、最適な深度が状態間で変化する限り、固定深度戦略が非最適であることを理論的に証明しました。
2. 統合された適応方策：学習可能な深度ヘッドと行動ヘッドを持つ単一の VLM アーキテクチャを導入し、補助的なプランナーや個別の深度予測器なしでエンドツーエンドに学習しました。
3. インフラ：スライディングパズルとソコバン向けに、ソルバーに基づくデータ生成パイプラインを備えた視覚言語パズル環境を公開し、長視野推論の制御された測定を可能にしました。

実験結果

この手法は、既知のダイナミクスを持つが誤差特性（可逆的 vs 不可逆的）が異なる2つのタスク、スライディングパズルとソコバンで評価されました。

• パレート支配：適応方策は、すべての非退化な固定深度のベースライン（$h \in \{1, 2, 4, 8\}$）を厳密にパレート支配します。エピソードあたりのプリミティブ行動数を減らしながら、より高い解決率を達成します。
  • スライディングパズル：約25%少ない行動で、56.3%の解決率（最良の固定深度は43.8%）。
  • ソコバン：約25%少ない行動で、35.9%の解決率（最良の固定深度は32.8%）。
• 最先端モデルとの比較：7B パラメータのバックボーンを使用しているにもかかわらず、微調整された適応方策は、最先端のクローズドソースモデル（GPT-5.5、Claude Sonnet、Gemini 3.1 Pro）を上回り、テストされたすべてのオープンウェイト VLM（8B–78B）を大幅に上回りました（これらはゼロショット設定で0%のスコアでした）。
• メカニズム分析：
  • 状態条件付け：方策は、進捗が不確実な「ノイズの多い」状態やゴールから遠い状態では短いコミットメント（$h \approx 1-4$）を、ゴールに近い「クリーン」な状態では長いコミットメント（$h \approx 6-8$）を使用することを学習します。
  • 効率性：この改善は、より簡単なインスタンスを解くことによるものではなく、同じインスタンスをより直線的な軌道（無駄な行動や後退行動の減少）で解決することによるものです。
  • 頑健性：パフォーマンスの向上は、異なるランダムシードや学習予算全体で持続し、深度分布は単一の固定値に収束することはありません。

意義と主張

本論文は、時間的抽象化は、固定されたアーキテクチャ超パラメータではなく、動的で状態条件付きの制御変数として扱われるべきであると主張します。

• 固定深度の非最適性：この研究は、状態の不確実性と誤差の伝播が著しく変化する長視野タスクにおいて、単一のコミットメント深度を手動で調整することでは不十分であることを実証しています。
• 学習可能な抽象化：「いつ再計画するか」という意思決定を方策そのものの一部として扱うことで、モデルは再計画のコストと誤差の蓄積リスクのバランスを学習し、優れた効率性と成功率を達成します。
• 汎用性：著者らは、このアプローチは、ウェブページを再読みする前に何ステップ進むかを決定するウェブエージェントや、バッファを再評価する前に何回編集を行うかを決定するコードエージェントなど、より広範な長視野推論ドメインに適用可能であると示唆していますが、実証的検証は現在パズルドメインに限定されています。

本論文は、複雑な環境においてより効率的で頑健な自律エージェントを実現する道筋として、「何にコミットするか」を学習することと同様に、「どの長さでコミットするか」を学習する能力が極めて重要であると結論付けています。