🤖 AI

Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents

本論文は、検証済みの関数レベルのコードスケルトンとその関連するTransformer KVキャッシュのライブラリを保持することで、冗長なプリフィル計算を排除し、信頼性の高い制御構造を確保しつつ、エンボディドエージェントのためのコード・ポリシー合成を加速および堅牢化するフレームワークであるFCGraftを導入する。

原著者： Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

公開日 2026-06-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：忘れては読み直すロボット

あなたがロボットに、机の上の片付けや料理などの家事のやり方を教えているところを想像してみてください。あなたは「ゴミをゴミ箱に入れ、ペンを引き出しに入れて」といった、自然な英語の指示をロボットに与えます。

これを行うために、ロボットは非常に賢い「脳」（大規模言語モデル）を使用し、ロボットの腕に何をすべきかを伝えるためのコンピュータプログラム（コード）を書き出します。しかし、現在のこの方法には2つの大きな問題があります。

遅い（「読み直し」の問題）: 新しい指示を受けるたびに、たとえそれが前回の指示と非常によく似たものであっても、ロボットの脳は基本事項を理解するために、最初の一ページ目から指示書全体を読み直さなければなりません。これは、シェフにサンドイッチを作るよう頼むたびに、ナイフを手に取る前に、料理本を1ページ目から500ページ目まで読み直さなければならないようなものです。これでは時間がかかりすぎます。
信頼性が低い（「ハルシネーション（幻覚）」の問題）: ロボットは毎回ゼロからコードを書いているため、間違いを犯しがちです。存在しないツールを使おうとしたり、ドアがロックされているか確認することを忘れたり、あるいはロボットの腕を壊してしまうようなコマンドを出したりすることがあります。これは、公式のシートを見ずに数学の問題を解こうとしている学生のようなものです。正解に辿り着くこともありますが、間違いを犯すこともよくあります。

解決策：FCGRAFT（「スマートなレシピ箱」）

著者らは、FCGRAFT（Functional Cache Grafting）と呼ばれる新しいシステムを提案しています。これは、ロボットがより速く、より上手く料理ができるようにするための**「スマートなレシピ箱」**を与えるようなものだと考えてください。

一から新しいレシピを書く代わりに、ロボットは事前にテスト済みの、正しく動作するレシピ（「関数」と呼ばれます）の箱を確認します。

仕組み：2つの魔法の手法

このシステムは、スピードを上げ、エラーを修正するために2つの主要なテクニックを使用しています。

1. キャッシュ・スティッチング（「レゴブロック」方式）

例え: あなたが城を作っているところを想像してください。粘土から一つひとつのレンガを自分で成形する代わりに、あらかじめ作られた完璧なレゴブロックの箱を持っている状態です。
論文の内容: ロボットがタスクを実行する必要があるとき、以前に成功して使用した「既製品」のコードブロックを取り出します。そして、それらをレゴブロックのように「繋ぎ合わせる（スティッチングする）」ことで、新しい計画を構築します。
メリット: ブロックの作り方に関する指示を「読み直す」必要がないため（すでにブロックの記憶が準備されているため）、計画をより速く構築できます。また、以前にテストされているため、ブロックが頑丈であることも保証されます。

2. キャッシュ・パッチング（「スポットチェック」方式）

例え: あなたが長いエッセイを編集しているところを想像してください。もし途中にタイポ（誤字）を見つけたとしても、エッセイ全体を書き直すことはしません。その一文だけを切り取り、修正して、再び貼り付けるだけです。
論文の内容: 正しいブロックを使っていても、ロボットが小さなミス（例えば、実際には閉まっている引き出しを開けようとするなど）を犯すことがあります。その際、計画全体を捨てて最初からやり直す代わりに、FCGRAFTはエラーが発生した正確な行を見つけ出します。そして、コードの正しい部分はそのまま残し、壊れている小さなセクションだけを「パッチを当てる（書き換える）」のです。
メリット: これは非常に高速です。すでに動作している部分をやり直す無駄を省き、エラーを修正します。

「2層式」ファイリングシステム

これを機能させるために、ロボットのメモリは2レベルのファイリングキャビネットのように整理されています。

レベル1（インデックス）: レシピの「名前」と「シグネチャ（署名）」を保持します（例：「カップを持ち上げる方法」）。これは軽量であり、適切なツールを素早く見つけるために使用されます。
レベル 2（完全なレシピ）: それらのレシピの実際の詳細なコードを保持します。ロボットはこれが必要になった時に即座に差し込めるよう、準備を整えています。

システムは、何を保持するかについても賢明です。頻繁に使用されるレシピ（「ゴミを拾う」など）と、独特だが重要なレシピ（「ガスの漏れに対処する」など）を記憶しています。メモリがいっぱいになった場合、最も有用なものを保持し、使用頻度の低いものは、シェフがよく使うスパイスをカウンターに置き、珍しいものを奥の棚にしまうように、より低速なストレージ領域へと移動させます。

結果：より速く、より強く

論文では、オフィスデスクの整理や、調理ステーションの準備（ガスの漏れをシミュレートしたものも含む！）を行うロボットを用いて、このシステムをテストしました。

スピード: ロボットは、従来の最高の方法と比較して、計画を立てるのが2.3倍速くなりました。
成功率: ロボットはタスクの成功率が18%向上しました。
実世界での証明: 実物のロボットアームを用いた実世界のテストにおいて、FCGRAFTは予期せぬ問題（ガスホースの外れなど）に対して他の方法よりもはるかに速く対処でき、漏れを修理して調理を継続することができました。

まとめ

FCGRAFTは、ロボットの脳を、「すべてをゼロから暗記しようとする学生」から、「よく整理された、テスト済みのレシピ本を持つ熟練のシェフ」へとアップグレードするようなものです。

計画を素早く立てるために、既知の、正しく動作するパーツを**繋ぎ合わせ（スティッチ）**ます。
小さなエラーには、最初からやり直すことなく、即座に**パッチ（修正）**を当てます。
その結果、ロボットは予測不可能な環境においても、より速く、より信頼でき、より安全になります。

技術要約：Functional Cache Grafting (FCGRAFT)

問題提起

オープンドメインの環境で動作するエンボディド・エージェントは、ポリシー合成にコード生成型大規模言語モデル（CodeLLM）を利用する際、重大な課題に直面している。従来の「Code-as-Policies (CaP)」パラダイムは、自然言語の指示を実行可能な制御コードへと変換するものだが、動的な設定においては以下の2つの根本的な限界を抱えている：

レイテンシ（遅延）： 完全な生成的デコーディングは、新しい指示ごとに長いプロンプトに対する反復的なプリフィル（prefill）計算を必要とするため、応答が遅れ、タイムクリティカルなシナリオにおける即応性を損なう。
堅牢性（ロバストネス）： コードをゼロから完全に生成すると、APIのミスマッチやセーフティガードの欠落、制御ロジックの不安定化を招きやすく、タスクの失敗につながる。

既存のメモリベースのアプローチは主にテキストレベルで動作しており、計算効率の向上は限定的である。同様に、従来のKey-Value (KV) キャッシング手法は、一般的にプレフィックスベースの再利用やドキュメントレベルのキャッシングしかサポートしておらず、動的かつ進化し続けるオープンドメインのエンボディド・タスクに求められる関数レベルの適応には対応できていない。

手法

本論文では、関数レベルのKVキャッシュと統一されたキャッシュ・グラフティング合成パイプラインを通じて、CodeLLMベースのロボット・プログラミングを強化するために設計されたフレームワークであるFCGRAFT (Functional Cache Grafting) を提案する。

1. 2層構造の関数レベルKVキャッシュ

FCGRAFTは、関数識別子 ( $f_k$ ) によってインデックス化された階層的な2層コードキャッシュ ( $H$ ) に、ネイティブのKVキャッシングメカニズムを再構成する：

関数インターフェース層 ( $I$ ): 呼び出し可能な関数のシグネチャ（テキスト）と、それに関連付けられたKV状態 ( $i^{KV}_k$ ) を格納する。これらの軽量なエントリにより、モデルはクロスアテンションの再計算を行うことなく関数のインターフェースを再利用でき、**キャッシュ・スティッチング（cache-stitching）**の基礎となる。
関数コード層 ( $C$ ): 検証済みの完全な実装 ( $c^{text}_k$ ) と、それらに対応するKV状態 ( $c^{KV}_k$ ) を格納する。これらは実行時および**キャッシュ・パッチング（cache-patching）**に使用され、ポリシー全体を再生成することなく、特定のコードスパンを修正するために必要なコンテキストを提供する。

キャッシュ管理： GPUメモリの制約を管理するため、フレームワークは以下の要素に基づき、各関数にローカリティ・スコア ( $\ell(f_k)$ ) を割り当てる：

最新性 ( $\ell_{curr}$ ): 最近使用された関数の即時保持。
頻度 ( $\ell_{freq}$ ): 直近のタスクにおける使用頻度。
関連性 ( $\ell_{asso}$ ): 実行トレースにおける他の関数との条件付き共起。
意味的多様性 ( $\ell_{sema}$ ): 希少だが有用な関数を保持するための、パープレキシティに基づく特異性。
スコアの低いエントリはDRAMへオフロードされ、スコアの高いものはGPUに留まる。

2. キャッシュ・グラフティング合成パイプライン

新しいポリシーは、相互に依存する2つのステージを通じて合成される：

キャッシュ・スティッチング (Cache-Stitching): 新しいタスクが到着すると、システムは層 $I$ から関連する関数インターフェースを検索する。CodeLLMは、これらのインターフェースのキャッシュされたKV状態を注入することで、新しいポリシーを構成する。これにより、検証済みの関数構造に対する冗長なプリフィル計算を排除し、内部の制御ロジックとAPIシーケンスが堅牢かつ事前検証済みであることを保証する。
キャッシュ・パッチング (Cache-Patching): 実行エラー（例：APIミスマッチ、ランタイム例外）が発生した場合、システムはキャッシュ・パッチングをトリガーする。ポリシーは、プレフィックス、エラー・スパン、サフィックスに分割される。システムはプレフィックスのKV状態を再利用し、根本原因を特定するChain-of-Thought (CoT) トレースに従って、修正された中間スパンのみを生成する。これにより、全生成を回避し、デコーディング時間を劇的に短縮する。

主な貢献

FCGRAFTフレームワーク： 関数レベルのKVキャッシュを実装することで、冗長なプリフィルを削減しつつ、オープンドメイン環境における行動の一貫性を確保し、CodeLLMベースのロボット・プログラミングを改善する新しいアプローチ。
相互依存メカニズム： キャッシュ・スティッチング（構造的エラーの排除とプリフィルの削減）とキャッシュ・パッチング（最小限のデコーディングによる局所的なエラー修正）を、統一されたパイプラインとして導入したこと。
実証的検証： 多様なベンチマーク（ALFRED, TEACh, RLBench）および実世界のロボット操作タスクにおいて、FCGRAFTが堅牢性とレイテンシの優れたトレードオフを実現することを実証したこと。

実験結果

著者らは、一般的なCodeLLM手法（CaP, SCoT）、メモリベースのアプローチ（HELPER, LRLL, PromptBook）、およびKVキャッシング手法（CAG, RAGCache, PromptCache, EPIC）を含む9つの競合するベースラインに対して、FCGRAFTを評価した。

性能向上： シミュレーション・ベンチマーク全体において、FCGRAFTは強力なベースラインであるRAGCacheと比較して、平均で18.31%高いタスク成功率 (SR) と2.3倍高速なポリシー合成レイテンシを達成した。
特定のベンチマーク：
- ALFRED： 第2位のベースライン（LRLL）に対し、SRで4.04%上回り、レイテンシを2.67倍削減した。
- RLBench： CAGと比較して16.21%高いSRと2.25倍のレイテンシ削減を達成し、特に微細な制御やループ構造を必要とするタスクで優れた性能を示した。
- 実世界ロボティクス： 物理的なロボット実験（オフィスデスクの整理および調理ワークステーションの準備）において、FCGRAFTはCaPよりも37.04%高いSRを達成し、RAGCacheと比較してレイテンシを2.88倍削減した。
一貫性： 本フレームワークは、高いコード類似度（CSIM）と正のフォワード転移（FWT）を維持し、破滅的忘却（非負のバックワード転移）を起こさなかった。これは、再利用可能なスキルの安定した蓄積を示している。

意義と主張

本論文は、FCGRAFTが、エージェントがコード・ポリシーを迅速かつ信頼性高く生成・適応することを可能にすることで、スケーラブルで汎用的なエンボディド・インテリジェンスへの重要な一歩を象徴していると主張している。

再利用による堅牢性： キャッシュから検証済みの制御構造とAPI呼び出しパターンを再利用することで、フレームワークはポリシー合成を証明済みのプログラム構造へとバイアスさせ、不適合なプリミティブの組み合わせといった一般的な失敗モードを回避する。
グラフティングによる効率性： 不変領域（スティッチングによって処理）と適応点（パッチングによって処理）を分離することで、システムは柔軟にエラーを局所的に修正しながら、冗長な計算を回避できる。
実用性： シミュレーションから実世界のロボット操作へのフレームワークの転移成功は、予期せぬ状態変化（例：ガスの漏洩、物体の配置ミス）に対する迅速な応答が極めて重要となる、タイムクリティカルで安全性が重視されるアプリケーションにおける実現可能性を示している。

著者らは、現在の実装はエージェントごとに独立したコードキャッシュを維持しており、これがマルチエージェントの協調設定におけるスケーラビリティを制限する可能性があることを認め、限界事項としている。今後の課題として、コードキャッシュの共有や学習ベースの退避（eviction）ポリシーの探索が提案されている。