🤖 AI

Improving Language Agents through BREW: Bootstrapping expeRientially-learned Environmental knoWledge

本論文は、新たなExpand-and-Gatherモンテカルロ木探索アルゴリズムと事後ラベル付けを用いることで、過去の相互作用の軌跡を自然言語によるレシピという構造化された検索可能な知識ベースへと蒸留することにより、LLMベースのエージェントを強化するフレームワークであるBREWを紹介しており、その結果、複数のベンチマークにおいてタスク成功率と実行効率の大幅な向上を実現している。

原著者： Shashank Kirtania, Param Biyani, Priyanshu Gupta, Yasharth Bajpai, Roshni Iyer, Sumit Gulwani, Gustavo Soares

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shashank Kirtania, Param Biyani, Priyanshu Gupta, Yasharth Bajpai, Roshni Iyer, Sumit Gulwani, Gustavo Soares

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたには、ボタンをクリックしたり、ファイルを開いたり、あなたと会話したりできる、非常に賢いロボットアシスタントがいます。それは驚くほど有能なのですが、ある奇妙なメモリの不具合を抱えています。以前に行ったことがあることを頼むたびに、まるでそれが初めてであるかのように振る舞うのです。「ファイル > PDFとして書き出し」が文書を保存するための魔法の呪文であることを忘れ、「ユーザーIDを確認してから返品処理を行う」必要があることも忘れてしまいます。彼は毎回、ゼロから解決策を再発見し、昨日と同じ間違いを繰り返してしまうのです。

この論文の著者たちは、この問題を解決するために、ロボットに単なる「脳」を与えるのではなく、「レシピ本」を与えることにしました。それがBREWです。

問題点：記憶喪失のロボット

料理を学ぶ人間のことを考えてみてください。スクランブルエッグを数回作った後、あなたは調理プロセスの全秒数を暗記しているわけではありません。代わりに、あなたはレシピを内面化しています。「卵を溶き、フライパンを熱し、バターを加え、優しく混ぜる」。あなたは、いつこのレシピを使うべきか（朝食の時間）、何をすべきか、そして何に注意すべきか（バターを焦がさないこと）を知っています。

現在のロボットエージェントは、レシピを忘れてしまうシェフのようなものです。彼らは毎回、車輪の再発明をしなければなりません。一部の科学者は、ロボットの脳を「訓練」すること（内部の重みを変更すること）でこれを修正しようとしましたが、それは小麦粉の原子を並べ替えてケーキを焼こうとするようなものです。これでは、ロボットの振る舞いは、誰も検査したり簡単に修正したりできない「ブラックボックス」になってしまいます。また、ロボットに膨大な生のメモ（記憶）を与える方法を試した人もいましたが、それらのメモはあまりにも乱雑（単なるクリックのリスト）であったり、あるいはあまりにも曖昧（「注意せよ」など）であったりしました。

解決策：BREW (Bootstrapping expeRientially-learned Environmental knoWledge)

著者らは、ロボットの過去の冒険を、構造化された読みやすいレシピ本へと変えるシステム、BREWを提案しています。

その仕組みは、以下のステップで行われます：

経験 (The Experience): ロボットはタスク（ファイルの整理や航空券の予約など）を試みます。成功することもあれば、失敗することもあります。
内省 (The Reflection): 特別な「リフレクター（反射）」エージェントが、これらの試行を観察します。ロボットが失敗した場合、リフレクターは「何が間違っていたのか？」と問いかけます。成功した場合、リフレクターは「成功の秘訣は何だったのか？」と問いかけます。
「後知恵」のトリック (The "Hindsight" Trick): これが巧妙な部分です。時として、ロボットが失敗するのは、間違ったタスクを実行しようとしていたためです。システムは**「後知恵リラベル（Hindsight Relabeling）」**と呼ばれる手法を使用します。これは、失敗した試行を見て、「待てよ、もし本来の目的が『あれ』ではなく『これ』であったなら、ロボットの行動は完璧だったのではないか？」と考えるものです。失敗を、少し異なる目標に対する成功として再ラベル付けするのです。これにより、「間違い」が「新しいレシピ」へと変わり、ロボットが学習できる有用な知識の量が倍増します。
レシピ本 (The Knowledge Base): システムは、これらの洞察を、構造化された読みやすい自然言語のレシピのライブラリへと整理します。各レシピには、タイトル（例：「圧縮と解凍」）、「使用場面」、そして箇条書きによる「実行方法」が含まれています。これはコードではなく、誰でも読める平易な英語の指示書です。
探索 (The Search - EG-MCTS): 完璧なレシピ本を書くことは困難です。レシピが具体的すぎると、新しいタスクには役立ちません。逆に抽象的すぎると、ロボットは混乱します。著者らは、Expand-and-Gather Monte Carlo Tree Search (EG-MCTS) と呼ばれるスマートな探索アルゴリズムを考案しました。これは、何千ものバリエーションを並列でテストし、最も優れたものを保持して残りを破棄することで、最適なレシピのバージョンを見つけ出そうとする探偵のようなものです。これにより、最終的なレシピ本が正確かつ検索しやすいものであることが保証されます。

結果：レシピ本は機能するのか？

研究者たちは、3つの現実世界の課題でBREWをテストしました：

OSWORLD: ロボットがコンピュータを操作するテスト（メニューのクリック、ファイルの移動など）。
τ2-Bench: ロボットが通信、小売、航空などのカスタマーサービスエージェントとして機能するテスト。
SpreadsheetBench: ロボットが複雑なExcelシートを操作するテスト。

結果は有望でした。BREWを使用したロボットは：

レシピ本を持たないロボットよりも、10〜20%多くのタスクを成功させました。
仕事を完了するまでのステップ数が10〜15%減少しました。
間違った情報を与えることで、かえってロボットの性能を低下させてしまう他のメモリシステムよりも優れた成績を収めました。

例えば、コンピュータ制御のテストでは、BREWを持つロボットは成功率が**53.30%から61.70%**に向上しました。スプレッドシートのテストでは、**44.30%から48.50%**へと跳ね上がりました。

この論文が否定していること

著者らは、何が機能しないのかについても明確に述べています。彼らは、ロボットの過去の行動の生で乱雑なログを単にメモリに流し込むことに対して異を唱えています。彼らは、「一時的な軌跡の断片（クリックごとの生のログ）」を単に保存するシステムは、ロボットを混乱させ、メモリを持たない場合よりも性能が悪化することさえあることを発見しました。また、単にロボットの脳を「ファインチューニング」すること（内部の重みを変えること）は、検査や更新が困難な「ブラックボックス」を生み出すとも指摘しています。これに対し、BREWのレシピ本は透明性が高く、編集可能です。

信頼性はどの程度か？

論文は、これらのベンチマーク上でエージェントを実行した測定された結果に基づき、これらの知見を提示しています。（10〜20%の向上といった）改善は、実験による測定された数値であり、単なる推測ではありません。著者らは、このアプローチがファインチューニングの強力な代替案であることを示唆していますが、システムの成功はトレーニングデータの質に依存することも注記しています。彼らは、これが「あらゆる場所のあらゆるロボット」のすべての問題を解決すると主張しているのではなく、これら特定の複雑なタスクにおいて、構造化された人間が読めるレシピ本を持つことが、有意で測定可能な差を生むことを示しています。

要約すると、BREWは、ロボットに「車輪の再発明」をやめさせ、彼らが実際に読み、理解できる、よく整理された人間にとって使いやすい取扱説明書を使わせるように教えているのです。

テクニカルサマリー：BREWによる言語エージェントの向上

問題提起

大規模言語モデル（LLM）ベースのエージェントは、GUI自動化、ツール利用、データ操作といった複雑で多段階のタスクにおいて、その能力を増大させている。しかし、根本的な限界として、これらのエージェントは経験から学ぶことができないという問題が残っている。新しいセッションが始まるたびに、エージェントはゼロから解決策を再発見しなければならず、以前に解決したはずの同じエラー、冗長なAPI呼び出し、失敗した操作を繰り返してしまう。

既存のメモリ手法には、特定の欠陥がある。重み最適化（例：ファインチューニング）は、知識を不透明なモデルパラメータの中に焼き付けてしまい、検査やモジュール単位の更新を拒む。一方で、メモリ拡張型エージェントは、情報の粒度が不適切である場合が多い。すなわち、汎用性に欠ける一時的で生の軌跡断片を保持しているか、あるいは実行を導くために必要な具体性に欠ける高レベルの反省（リフレクション）を保持しているかのどちらかである。さらに、既存の手法は環境をまたいだ汎化に失敗したり、取得されたコンテキストが不整合な場合にパフォーマンスが低下したりすることが多い。

手法：BREWフレームワーク

著者らは、エージェントの過去のインタラクション・トラジェトリを、自然言語による「レシピ」として構造化され、検索可能な知識ベース（KB）へと蒸留するために設計されたフレームワーク、BREW（Bootstrapping expeRientially-learned Environmental knoWledge）を提案する。プログラム合成で用いられるコード・プリミティブとは異なり、BREWは、言語によって記述・操作される環境（GUIや対話型インターフェースなど）に適した自然言語の抽象化を対象としている。

本フレームワークは、以下のコアコンポーネントを通じて動作する。

1. 軌跡生成と事後リラベル（Hindsight Relabeling）

プロセスは、LLM搭載エージェントを用いて、一連のクエリに対するフルレングスの軌跡（ロールアウト）を生成することから始まる。学習信号を強化するため、BREWは**事後リラベル（Hindsight Relabeling）**を採用する。失敗した軌跡をサンプリングし、LLMが、エージェン卜の観察された振る舞いが有効な解決策となるような代替タスク記述を生成する。これらの再構成されたタスク上でエージェントを再実行することで、元々失敗していた軌跡の約半分を成功したデモンストレーションへと転換し、有効なデータ分布をシフトさせ、潜在的な能力を顕在化させる。

2. リフレクター・エージェントとインテグレーター・エージェント

リフレクター・エージェント（Reflector Agent）: ロールアウトとその評価ラベルを受け取り、特定の概念（例：「圧縮およびファイルの解凍」）にマッピングされた文レベルの洞察を出力する。
概念の重複排除（Concept Deduplication）: 生成された概念は意味的にクラスタリングされ、コンパクトな「メタ概念」のセットを作成する。これにより、KBがモジュール化され、冗長でない状態を維持することを保証する。
インテグレーター・エージェント（Integrator Agent）: KBドキュメントを漸進的に構築し、洗練させる。フラットなメモリではなく、KBは各メタ概念に紐付けられたローカルドキュメントに分割される。この構造により、効率的かつコンテキストに特化した検索とモジュール単位の更新が可能になる。

3. Expand-and-Gather モンテカルロ木探索（EG-MCTS）

KBの内容を最適化するために、BREWはKBの構築プロセスを状態空間探索問題として定式化する。自然言語のレシピには、コンパイルされたコードのような明確な検証信号が存在しないため、著者らは報酬誘導型のアルゴリズムであるEG-MCTSを導入し、可能なKB構成の空間をナビゲートする。

並行探索（Parallel Search）: アルゴリズムは、各メタ概念に対して並行した探索ツリーを維持する。
拡張フェーズ（Expand Phase）: 各概念について、現在の最良のドキュメント状態を、ロールアウトからの洞察に基づいた新しいバリアントを生成することで拡張する。
収集フェーズ（Gather Phase）: すべての概念ツリーから最良の状態を集め、「実行中の最適（running-optimum）」なKB状態を形成する。この状態は拡張されたノードの報酬を評価するために使用され、ある概念の最適化が他のKBとの相互作用を考慮するようにする。
報酬目的関数（Reward Objective）: 探索は、正確性（ダウンストリームの推論の精度）と検索可能性（成長するKBの中でドキュメントがいかに効果的に検索されるか）のバランスをとる複合報酬関数を最適化する。

主な貢献

軌跡からのレシピ学習: 人間が検証したルーブリックとタスク固有のグレーダー（評価器）に基づき、エージェントのインタラクションから概念レベルの手順レシピを蒸留する技術。これにより、生の経験をモジュール化された人間解釈可能な知識へと分割する。
最適化のための状態空間探索: KBの洗練を、EG-MCTSによって解決される探索問題として定式化。これにより、自然言語の抽象化の最適化に伴うノイズや曖昧さに対処する。
カバレッジ向上のための事後リラベル: 学習レシピの多様性を拡大するための事後リラベルの適応。ニアミス（惜しい失敗）の軌跡をポジティブなデモンストレーションに変換し、エージェントの潜在的な能力を明らかにする。
実証的パフォーマンス: ドメインに基づいたベンチマークにおいて、最高水準の結果（SOTA）を実証。タスク成功率と効率性の両面で大幅な向上を示した。

実験結果

BREWは、OSWORLD（コンピュータ操作自動化）、 $\tau^2$ -Bench（ツール利用）、SpreadsheetBench（データ操作）の3つのベンチマークで評価された。

タスク成功率: BREWは、ベースラインのエージェントおよび既存のメモリ拡張型ベースライン（Cognee, Agent-Mem）と比較して、タスク成功率において10〜20%の向上を達成した。例えば、OSWORLD（GTA1-7B + o3）では、成功率を53.30%から61.70%に向上させた。
効率性: 本フレームワークは実行ステップ数を10〜15%削減しており、KBがエージェントによる冗長な探索を回避するのに役立っていることを示している。
ベースライン比較: 特筆すべき点として、既存のベースラインは、メモリを持たないエージェントよりもパフォーマンスを低下させることがあった（例：OSWORLDにおけるAgent-Memは、ベースラインの53.30%に対し43.83%に低下）。これは、ナイーブなメモリ注入が有害になり得ることを示唆している。BREWは、展開前にKBの内容を最適化する報酬駆動型の状態探索を通じて、この失敗モードを回避した。
アブレーション研究:
- 探索戦略: EG-MCTSは、より広範な探索が有益となるOSWORLDのような複雑なドメインにおいて、反復的洗練（Iterative Refinement）や貪欲探索（Greedy Search）を上回った。
- 事後リラベル: 学習分布をより多様な成功デモンストレーションへとシフトさせることで、あらゆるベンチマークと探索戦略において一貫した改善を実現した。
- 忠実度 vs 汎化性能: 他の手法は学習データに対して高い忠実度を示す一方で、テストセットへの汎化に失敗（ネガティブ転移）することが多かった。BREWは、環境状態によってインデックス化された「条件-アクション」ルールを蒸礼することで、共通のプロシージャルな部分構造を持つタスク間での汎化を可能にした。

意義と主張

本論文は、BREWが透明、制御可能、かつモジュール化された最適化基盤を提供し、直接的なモデルのファインチューニングに代わる選択肢となることを主張している。エージェントのメモリを概念レベルのドキュメントへと分解し、状態空間探索を通じてその内容を最適化することで、BREWはエージェントに単なるクリックシーケンスの記憶ではなく、「レシピ」（何をすべきか、いつ適用すべきか、何に注意すべきかという一般的なパターン）を内面化させることを可能にする。

著者らは、結果として得られる知識ベース（KB）は検査可能であり、拡張可能であることを強調している。不透明なポリシー更新とは異なり、KBはレビューや更新が可能な、再利用可能な行動パターンを捉えている。本研究は、長期的な一貫性と適応性が不可欠な実世界の環境において、構造化されたメモリが、経験によって駆動され、探索によって最適化されることが、言語エージェント開発における重要な一歩であることを示唆している。本フレームワークは、これらの向上を実現しつつ、メモリおよび計算コストをベースとなるLLMと同等のレベルに維持しており、KBの構築コストは、テストエピソード全体でアモルタイズ（償却）される場合、総計算予算の無視できるほど小さな割合となっている。