When Replanning Becomes the Bottleneck: Budgeted Replanning for Embodied Agents

あなたは、混沌とした小惑星帯を航行する宇宙船のキャプテンだと想像してください。あなたの横には、ルートを策定する超スマートなAI副操縦士がいます。しかし、ここには一つ落とし穴があります。船が岩に衝突したり、道に迷ったりするたびに、あなたはAIに対して「最初からすべて計算し直してくれ」と頼みます。最初は簡単です。しかし、旅が長くなるにつれ、AIの「記憶」（避けた岩、他の船からのメッセージ、犯したミスなど）は、巨大で絡まり合った毛糸玉のように膨れ上がっていきます。新しい計画を求めるたびに、AIはその巨大な毛糸玉を最初から読み直さなければなりません。やがけ、AIは自らの履歴に圧倒され、考えるのに膨大な時間を要するようになります。AIがようやく新しい方向を叫ぶ頃には、あなたはすでに別の小惑星に衝突してしまっているのです。これは、ロボットやAIエージェントの世界における「再計画（リプランニング）」の問題です。学習が進み、作業時間が長くなるほど、たとえ技術的には優れた仕事をしていても、間違いを修正するスピードが低下してしまうのです。

「When Replanning Becomes the Bottleneck（再計画がボトルネックになる時）」と題されたこの論文は、まさにこの頭痛の種に取り組んでいます。対象となるのは「エンボディド・エージェント（身体性を持つエージェント）」、つまり現実世界（あるいは現実的なシミュレーション内）で活動し、移動や行動を行うロボットやAIシステムです。著者であるShuaijun Liu氏とそのチームは、これらのロボットがタスクの完了能力は向上している一方で、隠れた指標である「速度」において失敗していることを発見しました。彼らは、ロボットが目標到達において100%の成功率を誇っていても、ミスをした後に「どうやってそこへ行くか」を考えるのに時間がかかりすぎると、リアルタイムの期限を守れないことを突き止めました。それは、テストで満点を取ったものの、解答解説を書くのに3日もかかってしまう学生のようなものです。成績は完璧ですが、システムとしては壊れています。この論文は、BRACE（Embodied Systemsにおけるエージェント制御のための予算付き再計画）と呼ばれる新しいシステムと、E-RECAPというスマートな剪定ツールを紹介しています。BRACEを、AIに対して「君の新しい計画の説明は正確に200語以内、かつ2.5秒以内に終わらせなければならない。もしできないなら、話を切り上げる」と指示する厳格なプロジェクトマネージャーだと考えてください。そしてE-RECAPは、重要な部分を残しつつ、AIの記憶から退屈で繰り返しの多い部分を容赦なく削除する編集者です。これにより、AIは重要な詳細を忘れることなく、より速く思考できるようになります。

問題点：「過剰な履歴」の罠

ロボティクスの世界では、エージェント（自動運転車やロボットアームなど）は単一の完璧なスクリプトに従うだけではありません。現実世界は混沌としています。ロボットは滑り、センサーは混乱し、他のエージェント（他のロボットやドローンなど）が予期せぬ動きをします。これに対処するため、現代のロボットは、状況を**観察（observe）し、動きを計画（plan）**し、**実行（act）し、もし問題が発生したら再計画（replan）**するというループを使用します。

問題は、ロボットが再計画を行うたびに、単に「今この瞬間」だけを見ているのではないという点にあります。AIには、タスクの指示、起きたことの全履歴、犯したミス、そして他のエージェントからのメッセージを含む膨大なプロンプトが入力されます。ロボットが長く働き続けるにつれ、この「コンテキスト（文脈）」は増大していきます。ページをめくるたびに、本の最初と最後に新しいページが追加されていく本を読もうとしている状況を想像してみてください。やがけ、その本はあまりに厚くなり、読むだけで何時間もかかるようになります。

著者らは、このコンテキストが増大するにつれ、AIの再計画にかかる時間（レイテンシ）が「ヘビーテイル（厚い尾）」を持つようになることを発見しました。これは、平均的な再計画時間は適切に見えても、時折AIが「長い尾」の部分に捕まり、考えすぎてしまうことを意味します。リアルタイムシステムにおいて、たった一度の長い遅延が致命傷になりかねません。論文によつれ、多くのテストにおいて、ロボットはタスクに対して100%の成功率を達成していましたが、速度制限（サービスレベル目標、またはSLOと呼ばれるもの）に最大で**100%**の割合で抵触していました。それは、あらゆるレースを完走するものの、開始の合図が鳴る前に靴紐を結ぶのに10分もかけてしまうランナーのようなものです。勝利はしていますが、システムとしては非効率で信頼性に欠けています。

解決策：BRACEと予算管理者

これを解決するために、チームはBRACEを作成しました。AIが無制限のメモリを使って好きな時に再計画するのではなく、BRACEは再計画を「予算付きのリソース」として扱います。これは、ロボットが思考をやり直す必要があるたびに、以下の3つのことを決定するコントローラーとして機能します。

1. 再計画すべきか？ ロボットがわずかに漂っているだけで、完全な新計画を必要としない場合もあります。BRACEは不要な思考を避けるために「待機」を命じることができます。
2. 「トークン予算」はいくらか？ トークンはAIが読み取るテキストの単位です。BRACEは、AIが新しい計画で使用できるトークンの厳格な上限を設定します。
3. 制限時間（SLO）は？ BRACEは、再計画プロセスにかけられる時間のハードな締め切りを設定します。

もしAIがメモリを使いすぎたり、時間がかかりすぎたりした場合、BRACEが介入します。また、「クールダウン・ウィンドウ」のような安全機能も備えており、ロボットがパニックになって毎秒ごとに再計画を行い、結果として動作を遅らせてしまうことを防ぎます。

ツール：E-RECAP（スマートな編集者）

予算があったとしても、AIは何らかの情報を読む必要があります。ここでE-RECAPが登場します。これは「漸進的なトークン剪定（progressive token pruning）」手法です。ロボットの記憶を、とりとめもなく続く長い物語だと想像してください。E-RECAPは、物語のどの部分が極めて重要で、どの部分が単なる無駄（フラフ）であるかを知っている、非常に賢い編集者です。

これは、AIの内部的な「隠れ状態（hidden states）」（テキストを理解するための仕組み）を分析し、各単語（トークン）の重要度をスコアリングすることで機能します。

• 冒頭部分（タスクの指示）と末尾部分（直近の出来事）は、最も重要であるため保持します。
• 重要性が低い、あるいは重複している中間部分を削除します。
• これはAIの脳の層（レイヤー）を通じて段階的に行われ、進むにつれて徐々に厳格になります。

その結果、適切な意思決定を行うために必要な情報はすべて保持したまま、より短く、より洗練された物語が出来上がります。

実証結果：成功を犠牲にしないスピード

チームは、BRACEとE-RECAPを3つの異なるプラットフォーム、Meta Habitat（ナビゲーション用の仮想世界）、RoboFactory（ロボットアームと協調のためのシミュレーション）、およびAirSim（ドローンと車両のシミュレータ）でテストしました。

結果は驚くべきものでした。Meta Habitatのナビゲーションテストでは、標準的なアプローチ（「No BRACE」）は**100%のタスク成功率を達成しましたが、速度制限の違反は再計画呼び出しの85.5%に及びました。BRACEとE-RECAPを追加すると、成功率は100%を維持したまま、速度制限の違反は4.7%**へと劇的に減少しました。

RoboFactoryのテストでは、改善はさらに顕著でした。標準的なアプローチは、呼び出しの**100%で速度制限に抵触していました。BRACEとE-RECAPを用いると、その数値は50.0%にまで下がりました。標準的なアプローチが完全に失敗した（成功率0%）より困難な設定においても、新システムは80.0%の成功率を達成しつつ、速度制限の違反を4.6%**という低水準に抑えました。

また、システムはAIが処理すべきトークン数を**62%から92%削減しました。これは、AIが同等、あるいはより良い結果を得るために、より少ない労力で済んでいることを意味します。AirSimのドローンテストでは、速度違反が100%から4.7%**へと減少しました。

なぜこれが重要なのか

この論文は、ロボットの性能を評価する方法を変える必要があると主張しています。ロボットがどのように考えたか（あるいは考えられなかったか）を無視して、単に「成功した」と言うだけでは不十分です。再計画を厳格な予算を持つシステムの問題として扱うことで、スマートであるだけでなく、高速で信頼性の高いロボットを構築できるのです。

著者らは、これらをラボ内の実在するロボットアーム（果物を拾ったり、物体を押したりするタスク）でもテストしました。シミュレーション結果が主な焦点ではありますが、実機テストでも、同様の予算管理と剪定技術が有効であり、成功率の向上と遅延の低減を実現できることが示されました。

要約すると、記憶と時間に対して少し「ケチ」になり、スマートな編集者を使って無駄を削ぎ落とすことで、ロボットは自らの履歴に足を取られることなく、世界を動き回るために必要なスピードと敏捷性を手に入れることができるのです。これは、時には「何を覚えるか」と同じくらい、「何を覚えないか」を知ることが重要であるという教訓を私たちに伝えています。