技術要約：細部を徹底的に追求するロボット・クリティック（Robot Critics that Sweat the Small Stuff）

問題提起

大規模視覚言語モデル（VLM）は、物理世界に関する広範な事前知識を有しており、推論中にロボットのポリシーを制御する「クリティック（批評家）」として機能させる上で有望な候補です。しかし、**きめ細かな視覚的推論（fine-grained visual reasoning）**において決定的なギャップが存在します。既存のオフザシェルフのVLMや既存の進捗検知手法は、初期状態と最終状態の区別や、高レベルなサブタスクの識別は可能ですが、成功と失敗を分ける微妙な視覚的差異を識別することには苦慮しています。

例えば、グリッパーの1mmのずれは、視覚的には成功した把握（グラスプ）と酷似して見えることがありますが、実際にはタスクの失敗を招きます。現在の手法は、フレーム間の時間間隔が極めて短い「きめ細かな領域（fine-grained regime）」では機能しません。実験において、Gemini 3のようなベースラインモデルは、成功と失敗を判別する精度がわずか54.7%にとどまり、特化した進捗検知手法であるROVER（72.1%）やProgressLM（61.0%）も、こうした微細なシナリオにおいてはランダムな推測（50%）を辛うじて上回る程度でした。この限界により、VLMはクローズドループ実行において、確率的なロボットポリシーを失敗モードから効果的に回避させるためのガイドとして機能することができません。

手法

著者らは、ペアごとの進捗および失敗の判別を行うために特化したVLMをファインチューニングし、それをアクション条件付きビデオモデルを介してクローズドループのロボットポリシーに統合するフレームワークを提案しています。

1. VLMクリティックの訓練

核心となるイノベーションは、ロボットのロールアウト（実行軌跡）から派生した**ペアによる進捗教師データセット（pairwise progress supervision dataset）**の構築です。

• データ構築: システムは、同じ初期条件から生成されたペアの軌跡を生成します：一つは成功軌跡（$S_s$）、もう一つは失敗軌跡（$S_f$）です。
• 成功－成功ペア: 成功した軌跡の連続するフレームをペアにすることで、モデルに段階的な前進（後のフレームの方がより進捗しているというラベル付け）を教えます。
• 成功－失敗ペア: 失敗の軌跡のフレームを、同じタイムステップにおける成功の軌跡のフレームとペアにします。この際、成功したフレームに「より進捗している」というラベルを付与します。これは、単なる一般的なタスクの失敗ではなく、ポリシー固有の失敗モード（例：その特定のポリシーの下でロボットがどのように失敗するか）をクリティックに認識させるために極めて重要です。
• ファインチューニング: VLM（具体的にはQwen2.5-VL-7B）に対し、どちらのフレームが目標に対してより大きな進捗を示しているかを示す離散的な決定 $c(v_i, v_j) \in \{+1, -1\}$ を予測するように、クロスエントロピー損失を最小化する形式で教師ありファインチューニングを行います。

2. ループ内でのポリシー・ステアリング

ファインチューニングされたクリティックは、テスト時の性能を向上させるためにロボットの実行ループに統合されます：

1. サンプリング: 現在の観測値 $x_t$ が与えられると、ベースとなる確率的ポリシー（Diffusion PolicyやGR00T N1.5など）が、$N$ 個の候補アクションシーケンスをサンプリングします。
2. 多様性の削減（Diversity Pruning）: 貪欲な最遠点サンプリング（FPS）戦略を用いて、多様なサブセットである $K$ 個の候補を選択します。
3. 未来の合成: アクション条件付きビデオモデル（HunyuanVideo 1.5、Diffusion Transformer）を用いて、各候補アクションシーケンスに対する終端の視覚状態 $x_{t+H}$ を合成します。
4. クリティックによる選択: クリティックは、生成された $K$ 個の終端状態の間ですべてのペア比較を行います。最も多くの「票（より進捗していることを示すもの）」を集めた候補のアクションが、実行されるものとして選択されます。
5. 再計画: 選択されたアクションが実行され、タスクが完了するまでこのプロセスが繰り返されます。

主な貢献

• きめ細かなクリティック訓練: ペアによる成功および失敗のロールアウトを用いてVLMをファインチューニングする手法を提案し、標準的なVLMが見逃してしまう微細な視覚的差異（例：ミリメートル単位のずれ）を検出することを可能にしました。
• ポリシー固有の失敗学習: デプロイされたポリシーに特有の失敗データを用いて訓練することが不可欠であることを実証しました。成功したデモンストレーションのみで訓練されたクリティックは、特定の失敗モードを認識できず、成功と失敗を判別する際に精度が大幅に低下します。
• クローズドループ統合: 確率的ポリシーのサンプリング、生成ビデオ予測、およびVLMによるペア比較を組み合わせた完全なパイプラインを提供します。
• 汎用性: 本手法は、分布外（OOD）の物体や未知のタスクにも汎用性があり、将来的なタスク学習のための実行可能な事前学習戦略であることを示唆しています。

実験結果

著者らは、実世界のハードウェアおよびシミュレーション環境の両方で本手法を評価しました。

精度ベンチマーク

• RoboCasa (シミュレーション): ファインチューニングされたクリティックは、イン分布（ID）タスクで平均93.6%、アウトオブ分布（OOD）タスクで**91.4%**の精度を達成し、Gemini 3 (54.7%) や ROVER (72.1%) といったベースラインを大幅に上回りました。
• LBM (実世界): LBMデータセットにおいて、本手法はROVERの62.9%、Gemini 3の55.4%に対し、**平均90.0%**の精度を達成しました。
• きめ細かな領域: 比較されるフレーム間の時間間隔が短くなる（視覚的な差がより微細になる）につれ、ベースラインの性能は73%から56%へと低下しましたが、提案手法はわずか2%の低下のみに抑え、高い性能を維持しました。これは、きめ細かな判別における堅牢性を証明しています。

ポリシー性能の向上

• 実世界タスク: クリティックをループ内に組み込むことで、ベースとなるDiffusion Policyの成功率が平均で**+11%**向上しました。具体的な成果として、「積み重ね（Stacking）」タスクでの18%の向上や、「ボウル押し（Push-Bowl）」タスクにおける平均mIoUの2.3倍の改善が挙げられます。
• シミュレーションタスク (RoboCasa365): 本手法は、GR00T N1.5ポリシーの成功率を43.6%から**49.5%へと向上させ、平均+5.9%**の利得を得ました。特に、ボタン、ドア、レバーの精密な操作を必要とするタスクにおいて顕著な改善が見られました。

意義と主張

本論文は、VLMは価値のある意味論的な事前知識を提供するものの、その有用性はきめ細かな視覚的進捗やポリシー固有の失敗を推論する能力によって制限されていると主張しています。成功と失敗の軌跡のニュアンスに基づいてクリティックを明示的に訓練することで、著者らは、VLMを効果的な「細部を徹底的に追求する者（sweaters of the small stuff）」へと変貌させられることを示しました。

その意義は、ポリシー自体を再学習させることなく、テスト時に確率的ポリシーの性能を向上させられる点にあります。この手法はフィルターとして機能し、可能性の分布の中から最も有望なアクション候補を選択します。著者らは、失敗を認識することは、進捗を認識することと同じくらい重要であると強調しています。失敗のデータがなければ、クリティックは、多くの失敗モードの中に隠された「干し草の中の針」のような成功のアクションへと、ポリシーを効果的に導くことはできないからです。このアプローチは、基盤モデルの高レベルな推論と、ロボット操作の成功に必要な低レベルの精密さとの間の溝を埋めるものです。