💻 computer science

CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

本論文は、ロボット操作における「コードをポリシーとする」エージェントを体系的に研究・評価するためのオープンアクセスフレームワーク「CaP-X」を提案し、テスト時計算の拡張や強化学習を通じて、設計者の支援なしでも人間レベルの信頼性を達成する手法を示しています。

原著者： Max Fu, Justin Yu, Karim El-Refai, Ethan Kou, Haoru Xue, Huang Huang, Wenli Xiao, Guanzhi Wang, Fei-Fei Li, Guanya Shi, Jiajun Wu, Shankar Sastry, Yuke Zhu, Ken Goldberg, Linxi "Jim" Fan

公開日 2026-03-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Max Fu, Justin Yu, Karim El-Refai, Ethan Kou, Haoru Xue, Huang Huang, Wenli Xiao, Guanzhi Wang, Fei-Fei Li, Guanya Shi, Jiajun Wu, Shankar Sastry, Yuke Zhu, Ken Goldberg, Linxi "Jim" Fan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文「CaP-X」は、**「ロボットに『指示』ではなく『プログラミング』をさせて、自分で考えながら作業させる」**という新しいアイデアを紹介するものです。

従来のロボットは、人間が「左に動け」「物を掴め」という細かい命令を一つ一つ与えるか、あるいは大量のデータで「こうすれば成功する」というパターンを丸暗記させていました。しかし、CaP-X は、**「ロボットに『料理のレシピ（コード）』を書かせて、その通りに実行させる」**というアプローチをとっています。

これをわかりやすくするために、いくつかの比喩を使って説明します。

1. 核心：ロボットは「料理人」ではなく「料理研究家」

これまでのロボット制御は、**「マニュアル通りの料理人」**でした。

従来の方法（VLA モデルなど）： 大量の料理動画を見て、「卵を割る時はこうする」「炒める時はこうする」というパターンを丸暗記しています。しかし、新しい鍋が出たり、卵の形が少し変わったりすると、パニックになって失敗することがあります。
CaP-X の方法： ロボットは**「料理研究家（プログラマー）」**です。
- 人間は「卵焼きを作れ」という目標だけを与えます。
- ロボットは、その場で「まず卵を割って、フライパンを温めて、油を…」という新しいレシピ（プログラム）を自分で書いて実行します。
- もし失敗したら（卵が割れなかったなど）、レシピを修正して「次はもっと優しく割ろう」と考え直します。

2. CaP-X の正体：3 つのツールセット

この研究では、ロボットを賢くするための 3 つの重要な道具（フレームワーク）を用意しました。

① CaP-Gym：ロボットのための「シミュレーション・キッチン」

何それ？ ロボットが実際に失敗しても大丈夫な、仮想のキッチンです。
役割： ロボットがレシピを書き、実行して、失敗しても「あ、火が強すぎたね」と学習できます。ここでは、ロボットの目（カメラ）や手（アーム）が、実際の物理法則に従って動きます。

② CaP-Bench：ロボット料理人の「実力テスト」

何それ？ 12 種類の最新 AI（頭脳）に、同じ料理（タスク）をさせて、どれくらい上手か測るテストです。
発見されたこと：
- 高いレベルの指示（抽象化）を与えると： 「卵を割れ」「炒めろ」という便利な命令があれば、AI はよくできました。
- 低いレベルの指示（基本動作）を与えると： 「手を 1 秒間右に 5cm 動かして、力を入れる」といった、人間が普段使わないような細かい命令しか与えられなかった場合、AI は**「どうすればいいかわからず」失敗しました。**
- 結論： AI は「便利な道具」に頼りすぎているだけで、本当に自分で考えられるようにはなっていませんでした。

③ CaP-Agent0：失敗しないための「天才アシスタント」

何それ？ 上記の弱点を克服するための、AI 用の「思考の補助ツール」です。
どうやって賢くする？
1. 多回会話（マルチターン）： 一度で完璧なレシピを書こうとせず、「まず試してみよう。失敗したら直そう」と、試行錯誤を繰り返します。
2. 視覚的な差分（Visual Differencing）： 「前と何が違う？」を言語化して伝えます。「卵が割れた！でも、フライパンに落ちなかった！」と、AI に状況を言葉で説明させることで、混乱を防ぎます。
3. スキル図書館（Skill Library）： 成功した「卵を割るコツ」などを、AI 自身が「便利な関数」としてメモ帳に保存し、次回から使い回します。
4. 複数の頭脳で議論（アンサンブル）： 1 人の AI だけでなく、3 人の AI に同時にレシピを書かせて、「どれが一番いいか」をまとめ上げます。

結果： これらのツールを使うと、特別な訓練なしで、人間のプロ並みの成功率を達成できました。

3. CaP-RL：経験から学ぶ「練習」

さらに、ロボットに**「成功報酬」**を与えて練習させる方法（強化学習）も試しました。

比喩： 料理人が「卵が上手に割れたらご褒美！」というゲームをして、何度も練習するイメージです。
効果： シミュレーション（仮想キッチン）で練習したレシピは、そのまま実世界のロボット（実際のキッチン）でも通用しました。 仮想と現実のギャップがほとんどないのが素晴らしい点です。

まとめ：なぜこれが重要なのか？

この研究は、**「ロボットに『何をするか（ゴール）』だけを伝え、『どうするか（手順）』はロボット自身に考えさせる」**という未来を示しています。

従来のロボット： 人間がすべての手順を教える必要があり、新しいことには弱かった。
CaP-X のロボット： 人間は「お皿を洗って」と言うだけで、ロボットは「お皿の位置を確認し、スポンジを選び、洗剤をつけ…」と自分で考え、失敗しても自分で修正して実行できます。

これは、ロボットが「指示されたことしかできない機械」から、「状況に合わせて自分で考え、コード（レシピ）を書き換える賢いパートナー」へと進化するための重要な一歩です。

CaP-X: ロボット操作におけるコーディングエージェントのベンチマークと改善のためのフレームワーク

本論文「CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation」は、ロボット操作における「コード・アズ・ポリシー（Code-as-Policy: CaP）」アプローチの現状を体系的に評価し、その性能を向上させるための包括的なフレームワークを提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

ロボット制御には、伝統的に人間が設計した明示的なプログラム（階層的なタスク計画や幾何学的制御）と、近年のデータ駆動型アプローチ（Vision-Language-Action: VLA モデル）の 2 つのパラダイムが存在します。

従来のプログラム制御: 堅牢性と解釈性が高いが、人間によるアブストラクションの設計に依存し、汎用性に欠ける。
VLA モデル: 大規模な模倣学習データから直接学習するが、解釈性が低く、新しいロボットアームや長期的なタスクへの一般化には追加のデータ収集と再学習が必要。

CaP（コード・アズ・ポリシー） は、大規模言語モデル（LLM）や視覚言語モデル（VLM）を用いて、実行可能なコードを生成させ、それをロボット制御のロジックとして利用するアプローチです。しかし、既存の研究では以下の課題が残されていました。

高レベルプリミティブへの依存: 既存の CaP 研究は、人間が設計した高レベルな関数（例：stack_objs_in_order()）に依存しており、エージェント自体の推論能力と、プリミティブがもたらす「足場（scaffolding）」の効果を区別できていない。
低レベルでの性能不足: 低レベルの原子プリミティブ（関節制御、逆運動学など）のみを扱う場合、エージェントの性能が大幅に低下する。
評価基準の欠如: 抽象化レベル、対話回数、視覚的グラウンディングがエージェントの性能にどう影響するかを体系的に評価するベンチマークが存在しなかった。

2. 提案手法：CaP-X フレームワーク

CaP-X は、コード生成型ロボット制御エージェントを評価・改善するための統合フレームワークであり、以下の 4 つの主要コンポーネントで構成されます。

2.1 CaP-Gym（インタラクティブ環境）

概要: 標準的な Gymnasium インターフェースに基づき、物理シミュレータ（RoboSuite, LIBERO-PRO, BEHAVIOR）とコード実行ループを結合した環境。
特徴: エージェントは、環境の状態（RGB-D 画像、状態変数）を受け取り、Python コードを生成・実行してロボットを制御します。
プリミティブ: 低レベルの知覚（セグメンテーション、ポインティング）と制御（逆運動学、グリッパー操作）プリミティブを直接呼び出せる API を提供します。

2.2 CaP-Bench（評価ベンチマーク）

CaP-Gym を基盤とし、3 つの軸でエージェントの能力を評価するベンチマークです。

抽象化レベル（Abstraction Level）:
- 高レベル (S1, S2): 人間が設計したマクロ関数を使用。
- 低レベル (S3, S4): 原子プリミティブのみを使用（S4 は例示なし、S3 は例示あり）。
時間的対話（Temporal Interaction）:
- シングルターン: 一度のコード生成でタスク完了を目指す。
- マルチターン: 実行結果（標準出力、エラー、視覚フィードバック）に基づき、デバッグや再試行を行う。
知覚グラウンディング（Perceptual Grounding）:
- 生画像入力、テキストベースの視覚記述（Visual Differencing Module: VDM）、状態変数など、異なるフィードバック形態の影響を評価。

2.3 CaP-Agent0（トレーニングフリーの改善フレームワーク）

CaP-Bench の知見に基づき、追加のトレーニングなしで性能を大幅に向上させるエージェント設計です。

マルチターン視覚差分（VDM）: 生画像を直接入力するのではなく、VLM を用いて「現在の状態と前回の状態の差分」を構造化されたテキストに変換し、エージェントに提示します。これにより、画像とコードの間のアライメントギャップを解消します。
自動合成されたスキルライブラリ: 成功した実行履歴から、汎用的なユーティリティ関数（例：座標変換、安定性チェック）を自動的に抽出・蓄積し、エージェントが再利用できるようにします。
並列推論（Ensembled Reasoning）: 複数のモデル（または同一モデルの複数温度設定）で並行してコードを生成させ、最も堅牢な解決策を統合します。

2.4 CaP-RL（強化学習による改善）

手法: 環境からの報酬（タスク成功）を可視化し、GRPO（Group Relative Policy Optimization）を用いてコード生成モデル自体をオンポリシーで微調整します。
特徴: シミュレーションで学習した戦略が、実機へのゼロショット転移（Sim-to-Real）において高い成功率を維持することを示しました。

3. 主要な結果

3.1 ベンチマーク結果（CaP-Bench）

人間とのギャップ: 単一ターン（Zero-shot）評価において、最先端の VLM/LLM は人間が作成した高レベルプリミティブベースのコードには追いつきませんが、低レベルプリミティブでは性能が大幅に低下します。
抽象化のトレードオフ: 高レベルプリミティブは成功率を向上させますが、表現力を制限します。一方、低レベルプリミティブは表現力が高いものの、推論の難易度が上がります。
マルチターンと VDM の効果:
- 単なる生画像入力（M2）は、テキストベースのフィードバック（M1）よりも性能を低下させる傾向がありました（マルチモーダルアライメントの課題）。
- 視覚差分モジュール（VDM, M3） を導入することで、生画像入力よりも大幅に性能が向上し、低レベルプリミティブでも高レベル単一ターンに匹敵する、あるいはそれ以上の性能を達成しました。
- 反復的な対話と自己修正により、エラー回復能力が劇的に向上しました。

3.2 CaP-Agent0 の性能

トレーニングフリーの達成: CaP-Agent0 は、特定のタスクデータでのトレーニングなしで、CaP-Bench の 7 課題のうち 4 つにおいて、人間专家のベースラインと同等かそれ以上の成功率を達成しました。
長期的タスクへの対応: LIBERO-PRO や BEHAVIOR などの長期的・複雑なタスクにおいても、VLA モデル（OpenVLA, $\pi_0$ など）を上回る、あるいは同等の性能を示し、指示のバリエーションや物体の初期位置変化に対する頑健性を確認しました。
実機での動作: Franka Panda や AgiBot G1 などの実機ロボットにおいて、ゼロショットで「カップの下の物体を見つける」「数学問題の解決」「安定した積み上げ」などの複雑なタスクを成功させました。

3.3 CaP-RL の効果

シミュレーションでの RL 微調整により、コードのコンパイル成功率と戦略的堅牢性が向上しました。
重要なのは、学習されたポリシーが視覚的なドメインギャップに左右されず、実機環境へゼロショットで転移できた点です。

4. 論文の意義と貢献

CaP-Gym の提供: 表上操作、両腕操作、モバイル操作など、多様なロボット操作タスクを統一的に評価・学習できるオープンソース環境の提供。
CaP-Bench の確立: 抽象化レベル、対話モード、知覚グラウンディングの 3 軸でエージェント能力を定量的に評価する体系的なベンチマーク。
CaP-Agent0 と CaP-RL の提案:
- CaP-Agent0: 追加学習なしで人間レベルの信頼性を回復する、マルチターン・視覚差分・スキル合成・並列推論を組み合わせたフレームワーク。
- CaP-RL: 実行結果に基づく報酬を用いてコード生成モデル自体を改善し、シミュレーションから実機への転移を可能にする強化学習手法。
知見の提示:
- 高レベルプリミティブへの過度な依存はエージェントの真の能力を隠蔽する。
- 低レベルプリミティブ上でも、テスト時の計算量（マルチターン対話、自己修正、視覚的構造化）をスケールさせることで、人間レベルの堅牢性を達成可能である。
- 生画像の直接入力よりも、視覚情報をテキストに変換して提示する方が、コード生成タスクでは効果的である。

結論

CaP-X は、ロボット制御における「コード・アズ・ポリシー」アプローチの現状を明らかにし、それを改善するための具体的な道筋を示しました。特に、**「人間が設計した足場（高レベル API）に依存せず、低レベルプリミティブ上で反復的な推論と視覚的グラウンディングを行うことで、汎用的で堅牢なロボット制御エージェントを構築できる」**という示唆は、将来的な汎用人工知能（AGI）とロボティクスの融合において極めて重要です。このフレームワークは、オープンアクセスで提供されており、今後の研究開発の基盤となることが期待されます。