🤖 machine learning

Training Language Agents to Learn from Experience

本論文は、言語エージェントが過去の相互作用から得た経験を再利用可能なシステムプロンプトに蒸留し、人間の監督なしにタスク横断的な自己改善と未見の環境への一般化を実現する、文脈内学習（ICT）フレームワークおよび強化学習に基づくパイプラインを導入する。

原著者： Yuval Shalev, Zifeng Ding, Mateja Jamnik

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuval Shalev, Zifeng Ding, Mateja Jamnik

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、少しお人好しのロボットにビデオゲームの遊び方を教えることを想像してみてください。

問題：「一度きり」の記憶喪失
現在、これらの AI ロボット（「言語エージェント」と呼ばれる）は、間違いから学ぶ能力に長けていますが、それは非常に限定的な方法に限られます。ゲームのレベルに失敗した場合、彼らは振り返って「ああ、間違った壁にぶつかった」と言い、すぐに再挑戦できます。彼らは「その特定のレベル」において上達します。

しかし、一度そのレベルをクリアすると、彼らはすべてを忘れてしまいます。少し異なる「新しいレベル」を与えられた場合、まるでそのゲームを一度もプレイしたことがないかのように振る舞います。彼らはゼロから教訓を再学習しなければなりません。これは、数学のテストのために一生懸命勉強して A を取った学生が、翌日の物理の授業に、まるで数字を見たことがないかのように入室するのと同じです。彼らは「周囲を常に確認する」ような一般的な教訓を、再利用可能なルールブックに「蒸留」することができません。

解決策：「コーチ」と「プレイヤー」
この論文の著者たちは、文脈内トレーニング（In-context Training: ICT） と呼ばれる新しいフレームワークを導入しました。これは二人組のチームのようなものです。

プレイヤー（アクター）： これがタスクを解決しようとするロボットです。ゲームをプレイし、間違いを犯し、何が起こったかの「リプレイ」を収集します。
コーチ（リフレクター）： これがプレイヤーのリプレイを観察する 2 番目の AI です。コーチの仕事はゲームをプレイすることではなく、プレイヤーのための新しい取扱説明書（システムプロンプト）を書くことです。

ここが魔法のようです。コーチは単に「その壁にぶつかるな」とは言いません。プレイヤーが試したさまざまなレベルのバッチを見て、共通のパターンを見つけ、プレイヤーが「将来、未見のレベル」で使えるような「一般的な」ルールを書き記します。

トレーニング：コーチングを学ぶ
大きな疑問はありました。コーチにこれらのより良いマニュアルの書き方を教えることができるでしょうか？

研究者たちは、人間の教師や事前に書かれた例を使用しませんでした。代わりに、「試行錯誤」ループ（強化学習）を使用しました。

コーチがマニュアルを書きます。
プレイヤーがそのマニュアルを使って、新しい未見のパズルのバッチを解決しようとします。
プレイヤーがうまくいけば、コーチは「よくやった」というシグナルを受けます。プレイヤーが失敗すれば、コーチは「もう一度試せ」というシグナルを受けます。
コーチはこのフィードバックから学び、次回さらに良いマニュアルを書くようにします。

結果：チェスから料理まで
チームは、非常に異なる 2 つの「ビデオゲーム」（シミュレーション環境）でこれをテストしました。

ALFWorld： テキストベースの家で、ロボットは物体を見つけ、それを掃除し、特定の場所に置く必要があります（例：「じゃがいもを冷やして冷蔵庫に入れる」など）。
MiniHack： グリッドワールドのゲームで、ロボットは迷路を navigations したり、食べ物を食べたり、魔法の杖を使ったりする必要があります。

彼らが発見したこと：

コーチが賢くなった： 訓練を受けたコーチは、訓練を受けていないコーチよりもはるかに優れた取扱説明書を書くことができました。彼らは、異なる種類のパズルの例を見るだけで、プレイヤーに「未見の」新しい種類のパズルを解決する方法を教えることに成功しました。
ゲーム間マジック： 驚くべき展開として、彼らはグリッドワールドゲーム（MiniHack）のみで訓練されたコーチを、家のゲーム（ALFWorld）のプレイヤーをコーチングするよう依頼しました。ゲームが全く異なっていたにもかかわらず、コーチは、コーチングを全く受けていないロボットよりもプレイヤーのパフォーマンスを向上させるマニュアルを書くことに成功しました。それは特定のゲームのルールだけでなく、「学ぶスキル」そのものを学んだのです。
ターン数が増えるほど結果が良くなる： コーチがマニュアルを書く練習をする回数（より多くの「メタターン」を経る）が増えるほど、プレイヤーは上達しました。これは、コーチがトレーニング中に経験した練習ラウンドの数を超えても同様でした。

ツールキット：MetaGym
最後に、著者たちはMetaGymと呼ばれる無料のソフトウェアツールを公開しました。これは研究者向けの「レゴキット」と考えてください。これにより、誰でも簡単に独自の「コーチ対プレイヤー」トレーニング環境を構築し、自分の AI が経験から学習できるかどうかをテストすることができます。

要約
この論文は、AI エージェントが「記憶喪失」を止めるように訓練できることを証明しています。プレイヤーの経験を見守り、将来のためのより良いルールを書くコーチを使用することで、AI は新しい未見の課題に適用できる一般的な教訓を学習できます。これは、1 つの地図を暗記するロボットと、あらゆる地図の読み方を学ぶロボットの違いです。

技術的概要：経験から学習する言語エージェントの訓練

問題提起

大規模言語モデル（LLM）エージェントに対する現在のリフレクションベースの手法は、主に単一のタスクインスタンス内での自己修正に焦点を当てている。特定の問題に対して反復的な試行を通じて行動を洗練させる点では効果的であるが、これらの手法は、経験を将来の未見のタスクのパフォーマンス向上に寄与する再利用可能な教訓へと凝縮することができない。この限界は、チェスゲームや料理のようにタスクを反復できない現実世界のシナリオ、およびあるタスクインスタンスからの洞察が同様の未見のタスクに理想的には一般化すべきであるという状況において、決定的なものである。ここで扱われる中心的な研究課題は、LLM がタスク間での自己改善を促進する自己リフレクションを生成するように訓練できるかどうか、そして可能であれば、人間が提供する例に依存せずにこれをどのように達成できるかである。

手法

コンテキスト内訓練（ICT）タスク

著者は、LLM の経験からの学習によるタスク間での自己改善能力を評価するために設計されたフレームワークであるコンテキスト内訓練（In-context Training: ICT）タスクを導入する。このフレームワークは、二重 LLM 構造を採用する：

アクター（ $LLM_{act}$ ）： システムプロンプトに基づいて環境と対話する運用エージェント。重要なのは、ICT タスクの各ターンにおいて、アクターは新しい未見のタスクのバッチに直面し、タスクごとに 1 回のみ試行できる点である。
リフレクター（ $LLM_{refl}$ ）： アクターによって収集された軌跡を観察し、次のバッチの未見タスクにおけるアクターのパフォーマンスを向上させることを意図した改良されたシステムプロンプト（ $sp_i$ ）を生成するメタエージェント。

目的は、リフレクターが訓練セット（ $E_{train}$ ）からのエピソードを分析し、未見のタスクタイプの保持された検証セット（ $E_{val}$ ）におけるアクターの累積報酬を最大化するシステムプロンプトを生成することである。

訓練パイプライン

リフレクターがこの能力を学習できるようにするため、著者は強化学習（RL）ベースのファインチューニングパイプラインを提案する：

データセット作成： ICT ループをベースモデルを用いて複数回実行し、 $(sp_i, obs_i, \text{タスクバッチ})$ のタプルのデータセットを生成する。これにより、多様なシステムプロンプトと対応するメタ観測（相互作用の軌跡）が捕捉される。
報酬信号： 訓練報酬は経験から直接導き出される。リフレクターによって生成された候補システムプロンプトに対して、報酬は、新しいプロンプトのもとでアクターモデルを用いて直前のタスクバッチを再生することによって計算される。これにより、リフレクターは直前のバッチに過剰適合するのではなく、直前のバッチのパフォーマンス上の課題を特定し、一般化可能な修正を提案することが促される。
最適化： リフレクターはGRPO（Group Relative Policy Optimization）アルゴリズムを用いてファインチューニングされる。訓練中、リフレクターは複数の候補プロンプトをサンプリングし、これらは凍結されたアクターを用いてタスクを再生することでスコア付けされる。これらのスコアがアドバンテージ推定とパラメータ更新を駆動する。

インフラ：MetaGym

著者は、既存の Gym 風環境からメタ環境を構築するための汎用 Python ライブラリであるMetaGymを導入する。このツールは、ICT に必要な二重 LLM 設定の作成を容易にし、タスクのインスタンス化、並列実行、およびアクターとリフレクター間の相互作用を管理する。

主要な貢献

タスク間での自己改善のための訓練パイプライン： 人間が提供するラベルや例に依存することなく、未見のタスクインスタンス全体でのパフォーマンス向上を促すリフレクションを生成するように LLM をファインチューニングする手法。
コンテキスト内訓練（ICT）タスク： タスクが反復不可能であるオンラインの自己改善能力を測定する新規評価フレームワーク。これにより、モデルは特定の解を暗記するのではなく、転移可能な戦略を学習することを強制される。
MetaGym： 自己改善する言語エージェントの研究のためのメタ環境の構築を可能にするオープンソースライブラリ。

実験結果

このアプローチは、2 つのベンチマークであるALFWorld（テキストベースの家事タスク）とMiniHack（2 次元グリッドワールドタスク）で評価された。両ケースにおいて、タスクタイプはメタ訓練セットとメタテストセットに分割され、リフレクターが特定のタスクインスタンスを暗記するのではなく、一般化可能な戦略を学習することを保証した。

タスク間での改善： 訓練されたリフレクターは、両ベンチマークにおいて保持されたほぼすべてのタスクタイプにおいて、訓練されていないベースライン（Qwen2.5-7B-Instruct）および初期プロンプトを一貫して上回った。これは、経験から学習する能力そのものが学習可能なメタスキルであることを示している。
訓練を超えた一般化： 場合によっては、MiniHack で訓練されたリフレクターが ALFWorld のタスクのパフォーマンスを向上させ（その逆も同様）、著しく異なる環境間での転移性が示された。
メタターンとホライズン： パフォーマンスは訓練中に観測されたメタターン数（ターン 4）を超えて継続的に向上し、モデルが生成したプロンプトを再帰的に洗練できることを示唆している。
バッチサイズの影響： 大きなバッチサイズ（ $k=5$ ）は、より多様な経験を提供し、報酬信号の疎性を低減することで、特に MiniHack において概して良い結果をもたらした。しかし、ALFWorld では小さなバッチ（ $k=3$ ）で十分な場合もあり、環境に応じて大きなバッチによる限界効用逓減が生じる可能性を示唆している。

意義と主張

本論文は、経験からの学習は学習可能な能力であると主張する。単一のタスク内での自己修正から、タスクのファミリー全体にわたる自己改善へと焦点を移すことで、著者はオープンエンドな環境に適応できる汎用エージェントを開発するための道筋を提供する。

この研究は、以下の点を強調している：

リフレクション機構は再利用可能な教訓を抽出するように訓練可能であり、エージェントが新たなタスクごとに教訓を「再学習」しなければならない現在のパラダイムを超えている。
この能力は、エージェント自身の相互作用データにのみ依存し、人間の監督なしに獲得され得る。
提案されたフレームワーク（ICT）とツール（MetaGym）は、自己改善エージェントを評価および研究するための標準化された方法を提供し、分野の関心をタスク間での一般化へと移行させる可能性がある。

著者は限界に関して慎重であり、アクターとリフレクターのモデルを別々に維持することは計算コストが高く、評価に固定された保持セットに依存することは、そのようなセットが存在しない現実世界のシナリオを完全に反映していない可能性を指摘している。今後の研究として、固定された停止基準なしの生涯学習の探求が提案されている。