VLCP: Vision Language Control Policy Closed-Loop Code Replanning for Robot Manipulation

技術要約: VLCP (Vision Language Control Policy)

問題提起
最先端の視覚言語モデル（VLM）をロボティクスに導入する現在のアプローチは、通常、Vision-Language-Action (VLA) モデルに依存しています。これらは、事前学習中に遭遇したことのない低レベルなアクション・トークン（例：関節位置や特殊なモーター・トークン）を出力するために、事前学習済みのVLMをファインチューニングすることを必要とします。この適応プロセスは、モデル固有の推論能力を損なうリスクがあり、また大規模なデモンストレーション・データセットを必要とします。さらに、既存の「Code-as-Policy」手法は、実行開始前に制御コードを一度だけ生成します。そのため、実行中に失敗（例：掴み損ね）が発生した場合、これらのオープンループ・システムは、ポリシーが固定されているため、回復することができません。逆に、観測に対して反応する既存のクローズドループ手法は、多くの場合、タスクレベルまたは言語レベル（サブタスクの再選択や固定されたポリシーの再試行）で動作しており、失敗の原因となった基礎的な制御コード自体を書き換えることはありません。

手法
VLCPは、VLMを凍結（frozen）したまま、短期間のPython制御関数を生成する、トレーニングフリーのクローズドループ・フレームワークを提案します。核心となる革新は、単一のエピソード内で制御コードのレベルでループを閉じることです。

1. Code-as-Policy表現: モーター・トークンを出力する代わりに、凍結されたVLMは、マルチビューRGB観測、固有受容状態、およびエンドエフェクタのヤコビアンを入力として受け取るPython関数 control(obs, J) を記述します。この関数は、シミュレータのPDコントローラへの関節位置ターゲットの辞書を出力します。
2. クローズドループ再計画 (Closed-Loop Replanning): エピソードは $K$ ステップ（デフォルト $K=50$）のブロックに分割されます。各ブロックの開始時に、現在の状態に基づいて新しい制御関数を生成するためにVLMが呼び出されます。
   • 観測: VLMは、同期されたマルチビューRGB画像、数値状態（エンドエフェクタのポーズ、関節位置、オブジェクトのポーズ）、および明示的な状態デルタを受け取ります。
   • 書き換え (Rewrite): 前のブロックが失敗した場合（例：把持の試行が失敗した場合）、VLMは新しい画像内の失敗の兆候を観察し、次のブロックに向けてアプローチを修正するように制御関数を書き換えます。これにより、エピソード間だけでなく、エピソードの「最中」に回復が可能になります。
3. スキル・ライブラリ: 再計画中に生成されたヘルパー・モジュール（スキル）は、共有ディスク・ディレクトリに保存されます。これらは、後続の再計画（同一エピソード内およびエピソードを跨いで）において、システム・プロンプト内にそのまま再注入されます。これにより、ファインチューニングを行うことなく、ポリシーがスキルを蓄積し再利用することが可能になります。
4. プロンプト・エンジニアリング: プロンプトはトークン・キャッシュを最大化するように構造化されています。これには、静的なプレフィックス（ドキュメンテーション、API、例）、動的なスキル・ライブラリ、およびコンテキストの切り捨て（truncation）を回避する「ゴール・ピン（目標の固定点）」（タスク記述）が含まれます。コンテキストの肥大化を防ぐため、画像はライブ・ユーザー・ターンにのみ含まれます。

主な貢献

1. VLCPフレームワーク: ライブ観測と状態デルタに基づいて制御関数を書き換えるために、毎 $K$ ステップごとに凍結されたVLMを再照会する、トレーニングフリーのクローズドループ操作システム。
2. クロス・エピソード・スキル・ライブラリ: 再計画中に生成されたヘルパー・モジュールを永続化し、将来のプロンプトに再注入するメカニズムであり、再学習なしでのスキルの蓄積を可能にします。
3. 制御されたアブレーション (The Loop): オープンループの退化したケース（$K=T$、VLMがエピソードごとに一度だけ照会される場合）との厳格な比較。これにより、シミュレータ、API、モデル、およびタスク・セットを一定に保ったまま、エピソード内の再計画ループによる貢献を分離・特定します。
4. 定量化された回復: エピソード内での回復を直接測定し、システムがエピソードの途中で失敗した把持を検出し、修正できることを実証しました。
5. 実現可能性分析: プロンプト・キャッシュングを介して計算コストが抑えられることを示し、高いキャッシュ・ヒット率を維持しながら、エピソードあたり約10回のVLM呼び出しのみで動作することを示しました。

結果
MuJoCo/RoboVerseにおける3つのシーン・ファミリー（Object Picks, Kitchen Scenes, Living-Room Scenes）にわたる57タスクのスイープで評価されました：

• 成功率: クローズドループのVLCP ($K=50$) は、プールされた成功率 35.1% を達成しました。対照的に、同一のシステムをオープンループ・モード ($K=T$) で実行した場合、わずか 3.5% でした。これは、すべてのシーン・ファミリーにおいて、重複しない95%信頼区間を伴う10倍の改善を表しています。
• 回復メカニズム: ログに記録されたトレースの分析により、失敗した把持の 27.3% がその後の再計画によって正常に回復されたことが明らかになりました。オープンループ版の回復率は、その構造上0%でした。
• 汎用性: 指示の言い換え（タスク指示のフレーズ変更）の下で、VLCPは安定した性能（オリジナルと変更後の両方で40.0%）を維持しましたが、ファインチューニングされたVLAベースライン（VLA-0）は、指示が言い換えられると特定のタスクで大幅な性能崩壊を示しました。
• 効率性: システムは中央値で84%の入力トークン・キャッシュ・ヒット率を達成しました。エピソードには中央値で10回の再計画呼び出しが必要であり、再計画あたりのレイテンシの中央値は18.8秒でした。生成された778個の制御ブロックはすべて、正常にパースおよびコンパイルされました（妥当性100%）。

意義と主張
本論文は、制御コードのレベルでループを閉じることが、ロボット操作における明確かつ効果的なフロンティアであることをVLCPが示していると主張しています。

• 推論の保持: VLMを凍結したまま、（モデルが流暢である言語である）コードを書かせることで、アクションのためにファインチューニングすることなく、モデルの事前学習による推論能力を保持します。
• 修正の所在: 著者らは、従来のメソッドが失敗するのは、固定されたポリシーを再試行したり、プランナーへとエスカレーションしたりするだけで、根本的な原因（制御コード）を修正していないからだと主張しています。VLCPは、エピソードの途中で失敗したアーティファクトを書き換える数少ない手法の一つです。
• トレーニングフリーの実行可能性: 結果は、ゼロ・デモンストレーションのトレーニングフリー・アプローチが、コードの書き換えを通じて自己修正が可能であれば、複雑な操作タスクにおいて強力な絶対的性能（35.1%）を達成できることを示唆しています。
• 継続的学習の基盤: クロス・エピソード・スキル・ライブラリは、再学習なしで能力が積み重なっていく、継続的学習への自然な経路を提供します。

著者らは、現在の実装がシミュレータから提供されるオブジェクト・ポーズに依存しており（知覚ノイズをバイパスしている）、VLMの推論レイテンシに制約されるため、高頻度のリアクティブな制御よりも、低速な操作タスクに適しているという限界についても認めています。彼らは、貢献は（生成された特定のプログラムではなく）「ループ」そのものであることを強調しています。