🤖 AI

PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft

PEAM は、遅い熟考的推論と速い反射的実行という二重システム・アーキテクチャを活用して、推論時の検索からパラメータ内蔵のスキルへと記憶を変換するマインクラフトにおける具身エージェントのための新規フレームワークであり、失敗は対照学習のための重要な訓練信号として機能し、自己発動メカニズムが経験の内在化のタイミングを自律的に決定することで、破滅的忘却なしに継続的学習を可能にする。

原著者： Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuchen Guo, Junli Gong, Hongmin Cai, Yiu-ming Cheung, Weifeng Su

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに『Minecraft』をプレイさせることを想像してください。現在、ほとんどのロボットは、何も暗記しない生徒のように学習します。ゾンビと遭遇するたびに、あるいはかまどを作る必要があるたびに、彼らは立ち止まり、過去の経験が記された巨大なノートを開き、類似の事例を検索し、それを読み、次に何をすべきか考えなければなりません。これは遅く、多くの「脳のスペース」（コンピュータメモリ）を消費し、ノートが大きくなりすぎると混乱を招きます。

PEAM（Parametric Embodied Agent Memory）は、ロボットが学習する新しい方法であり、ゲームのルールを変えます。単にノートを保管する代わりに、PEAM はロボットが経験を内面化するのを助けます。「私はこれをどうやったかを覚えている」を「私はこれをどうやるかを知っている」に変えるのです。

以下に、その仕組みを簡単な概念に分解して説明します。

1. 二つの脳システム：考える者と実行する者

PEAM は、「遅い」脳と「速い」脳が連携して機能します。

遅い考える者（Deliberative LLM）： これは専門的なプランナーです。深く考え、コードを書き、複雑な手順を計画し、難しい問題の解決を試みます。失敗した場合は、その「理由」を特定し、再挑戦します。
速い実行する者（Parametric Skills）： これは反射的な筋肉記憶です。遅い考える者が問題（例えば剣の作成）を解決すると、単にその出来事を保存するのではなく、速い実行する者にそのスキルを直接教えます。次回からは、速い実行する者が遅い考える者に尋ねることなく、瞬時に実行できます。

2. 「内面化」のプロセス：ノートから筋肉記憶へ

自転車に乗ることを学習することを想像してください。最初は、バランスを取る、ペダルを漕ぐ、ハンドルを切ることを考えなければなりません（遅い考える者）。やがて、考えずにただ「行う」ようになります（速い実行する者）。PEAM はこれをロボットのために自動化します。

失敗からの学習： ほとんどのロボットは間違いを無視するか、単にテキストノートとして記録します。PEAM は失敗をトレーニング信号として扱います。「失敗した試行」とそれを修正した「修正策」を照合し、ロボットに教えます。「X（失敗）をするな；Y（修正）を行え」と。これはコーチが「左に傾きすぎたから転んだ；次は右に傾け」と言うのと同じです。
「価値」スコア： ロボットは「すべて」を学習するわけではありません。「パラメータ化の価値（Parameterization-Worthiness）」と呼ばれるフィルターがあり、「このスキルは暗記するほど有用か？安定しているか？頻繁に行うものか？」と問いかけます。答えが「はい」であれば、それは内面化されます。もし一時的な出来事であれば、ノートのまま残ります。

3. 「専門ジム」（分離されたアダプター）

これが「忘却」を防ぐための、この論文における最大の革新です。
クラフト室、戦闘室、農業室など、異なる部屋があるジムを想像してください。

従来のシステムでは、戦闘を学習することが、クラフトの仕方を誤って上書きしてしまう可能性があります（まるでジムウェアを混同してしまうように）。
PEAM では、ロボットには物理的に隔離された部屋（アダプターと呼ばれます）があります。戦闘を学習する際、それは「戦闘室」のみを更新します。「クラフト室」は手つかずのままです。これにより、ロボットは古いスキルを忘れることなく、新しいスキルを永遠に学習できます。

4. 自己起動の目覚まし時計

ロボットは、いつ練習を止め、暗記を開始すべきかを知るのでしょうか？

従来の方法： 「100 回練習してから暗記する」。これは硬直的であり、早すぎたり遅すぎたりして暗記してしまう可能性があります。
PEAM の方法： ロボットには自己起動の目覚まし時計があります。それは自身の失敗率を観察します。特定のタスクで通常よりも頻繁に失敗し始めると、アラームが鳴ります。「おい、これで苦労しているぞ。すぐに停止して、解決策を内面化しよう」。これは、人間が特定の数を設定する必要なく、どんなタスクであっても機能します。

なぜこれが優れているのか？

この論文は『Minecraft』でこれをテストし、3 つの主な利点を発見しました。

速度： ロボットが毎回ノートを検索する必要がないため、行動が大幅に速くなります（テストでは約 40% 速い）。
効率： 古い話を再読する必要がないため、コンピュータパワーの消費が大幅に減ります（処理する「テキスト」が約 85% 少ない）。
忘却なし： 「専門の部屋」のおかげで、新しい戦闘ムーブを学習しても、家の作り方を忘れることはありません。

まとめ

PEAM は、すべての質問に対して教科書に頼る生徒を、実際にスキルを暗記した専門家へと変えるようなものです。これは、行うことで学び、間違いから学び、スキルを混同しないように分離して保持し、練習を止め記憶を開始するタイミングを正確に知ります。その結果、より速く、より賢く、学習したことを忘れないロボットが生まれます。

技術サマリー：PEAM - パラメトリック身体化エージェントメモリ

1. 問題定義

Minecraft などの複雑な環境における、現在の大規模言語モデル（LLM）ベースの身体化エージェントは、主に非パラメトリックメモリに依存しています。これらのシステムでは、過去の軌跡、反省、スキルは外部（例えばベクトルデータベースやスキルライブラリ）に保存され、推論時にプロンプトへ再注入されます。これは想起を可能にしますが、重大な限界を伴います：

遅延とコスト: 各意思決定サイクルにおいて、過去の経験の検索とシリアライズが必要となり、コンテキストウィンドウの使用量と推論遅延が増大します。
静的な方策: エージェントの基盤となるパラメトリック方策（バックボーンモデルまたは学習可能モジュール）は、タスクを通じて変化しません。外部ライブラリが成長しても、エージェントはスキルをより効率的に実行することを「学習」するのではなく、単にそれらを検索するだけです。
統合の欠如: 既存のシステムは（スキルライブラリによる）経験の「獲得」を処理しますが、選択されたエピソード的痕跡を永久的で内部化されたパラメトリック能力へと変換するプロセスである「統合」のメカニズムを欠いています。

本論文は、認知システムにおける永続的メモリは、高速なエピソード的ストアと、オフライン統合によって結合された低速で分散的なパラメトリックストアという、2 つの相補的なシステムから生じると仮説を立てています。PEAM は、経験が外部の想起からエージェントの学習可能パラメータへと移動する経路を作成することで、身体化エージェントに対してこれを運用可能にすることを目指しています。

2. 手法

PEAM（Parametric Embodied Agent Memory）は、経験をパラメトリックスキルへと内部化するための 2 層フレームワークです。

アーキテクチャ

スロー層（ deliberative）: 大規模 LLM（例：GPT-4o）が、オープンエンドな推論、コード合成、結果の検証を処理します。環境を探索し、失敗を検出し、修正された軌跡を生成します。
ファスト層（パラメトリック）: Qwen3-VL-8B-Instruct をバックボーンとして構築された、マルチモーダルなエキスパート混合（MoE）LoRA アーキテクチャです。統合されたスキルを低遅延で反射的に実行します。
エピソード的ストア: スロー層によって生成された成功した軌跡と失敗 - 修正ペアをステージングする外部メモリです。

中核メカニズム

PEAM は、何を内部化するか、いつ内部化するか、そしてどのように内部化するかという 3 つの重要な問いに答えます。

A. どのように：成功と失敗 - 修正の統合

PEAM は失敗を第一級のトレーニングシグナルとして扱います。エピソード的ストアには以下が含まれます：

成功軌跡（ $D_{succ}$ ）: 検証済みの成功した実行。
失敗 - 修正ペア（ $D_{cpair}$ ）: 同一のコンテキスト下での、失敗した軌跡（ $\tau_f$ ）と、それに続く修正された成功（ $\tau_c$ ）のペア。

ファストモジュールは、以下の結合目的関数を用いて、特定のカテゴリごとの分離されたアダプタ（ $\theta_c$ ）を更新します：
$\mathcal{L}_{PEAM}(\theta_c) = \mathcal{L}_{BC}(\theta_c; D^{(c)}_{succ}) + \lambda \mathcal{L}_{PEAM-DPO}(\theta_c; D^{(c)}_{cpair})$

行動クローニング（BC）: アダプタが、アクションパーサが機能するために必要な絶対的な構文の足場（例：コードラッパー）を学習することを保証します。
PEAM-DPO（直接選好最適化）: 修正された軌跡が失敗した軌跡よりも選好される対照損失です。これにより、エージェントは単に何が成功するかだけでなく、どのように行動を修正するかを学習します。
分離: 更新は特定のカテゴリアダプタ（例：クラフト、戦闘）に制限され、他のスキルとの干渉を防ぎます。

B. 何を：パラメータ化価値（PV）スコア

すべての経験が内部化されるべきではありません。PEAM は、以下の基準に基づいて候補をランク付けするスコアリング関数を使用します：

コスト削減（ $U_{cost}$ ）: 節約される推定検索コスト（頻度 $\times$ コード長さ）。
安定性（ $U_{stab}$ ）: 異なるコンテキストにおける成功の一貫性。
冗長性（ $P_{redun}$ ）: すでに内部化されたスキルとの類似性をペナルティとして課します。
忘却リスク（ $R_{forget}$ ）: 構造的な代理指標；あるスキルが既存のパラメータとカテゴリを共有する場合、干渉のリスクがあります（分離がこれを緩和しますが、スコアはカテゴリの同一性を考慮します）。

PV スコアの上位 $q$ 分位にある候補のみが、統合の対象となります。

C. いつ：自己トリガー統合（STC）

固定されたスケジュールの代わりに、PEAM はスケールフリーな自己トリガーメカニズムを使用します。統合は、あるスキルの最近の失敗率が、タスク固有の絶対閾値ではなく統計的検定（Z スコア）によって決定される歴史的ベースラインを著しく上回ったときにトリガーされます。これにより、トリガーは再調整なしに異なるタスク分布間で転移可能になります。

3. 主要な貢献

パラメトリックメモリフレームワーク: PEAM は、身体化エージェントのメモリを推論時の検索から、パラメータ常駐のスキルへと移行させ、遅延とトークン消費を削減しながら、長期的なパフォーマンスを向上させます。
トレーニングシグナルとしての失敗: プロンプトへのテキスト化された反省に変換するシステムとは異なり、PEAM は失敗 - 修正軌跡ペアに対して、BC と DPO の結合目的関数を用いて直接トレーニングします。これにより、エージェントは失敗と成功の間の具体的な行動の違いを学習できます。
構造的忘却耐性: 物理的に分離されたカテゴリごとの LoRA アダプタを使用することで、PEAM はパラメータレベルの継続的学習を達成します。戦闘スキルを内部化しても、クラフトに使用されるパラメータを上書きすることはなく、正則化ではなく設計によって壊滅的忘却を排除します。
スケールフリーな統合トリガー: 相対的な失敗統計に依存する自己トリガー統合メカニズムの導入により、エージェントは手動のタスク固有の閾値調整なしに自己進化できます。

4. 実験結果

実験は Minecraft（1.19）の VOYAGER フレームワークを用いて実施され、PEAM は検索ベースのエージェント（VOYAGER、Optimus-1）、非パラメトリックメモリ変種（Reflexion）、およびパラメトリックベースライン（フルファインチューニング、共有 LoRA、EWC）と比較されました。

タスク成功率: PEAM は長期的タスクで69.7%の成功率を達成し、最強の検索ベースライン（VOYAGER の 54.5%）を15.2 ポイント上回りました（McNemar 検定 $p=0.018$ ）。
効率性: PEAM は、推論時にスキルライブラリを再注入する必要性を排除することで、 median 呼び出しごとの遅延を42%（5.5 秒 $\to$ 3.2 秒）、タスクごとのトークン消費を85%（31.2K $\to$ 4.6K）削減しました。
忘却耐性: 連続的な統合実験（クラフト $\to$ 収集 $\to$ 戦闘）において、PEAM は以前に学習したスキルで0% の忘却を示しました。対照的に、共有 LoRA ベースラインは 32.4% のパフォーマンス低下を、フルファインチューニングは 78.5% の低下を示しました。
アブレーションの知見:
- BC + DPO: 純粋な DPO アダプタはパーサ互換のコードを生成できませんでした（12 件中 0 件）が、結合目的関数は成功しました（12 件中 12 件）。BC 項は、展開可能な構文を維持するために不可欠です。
- 分離: カテゴリごとの分離を除去すると、顕著な忘却が発生し、構造的な分離が保持の主要な駆動因子であることを確認しました。
- トリガーの堅牢性: 自己トリガーメカニズムは、固定閾値ベースラインとは異なり、再調整なしに異なるタスク分布（クラフト中心 vs 戦闘中心）間で一貫したパフォーマンスを維持しました。

5. 意義と主張

本論文は、PEAM が、身体化エージェントが外部履歴の蓄積から、選択された経験をコア方策の一部として内部化することへの実現可能な経路を実証していると主張しています。

検索対効率性: 結果は、より豊かな検索（例：マルチモーダルコンテキスト）が役立つ一方で、スキルをパラメータに内部化することによる運用上の利点（遅延、トークン削減、直接実行）は、検索のみでは捉えられない利益を提供することを示唆しています。
構造的継続的学習: 身体化エージェントにおける忘却耐性は、正則化技術のみではなく、アーキテクチャ（パラメータ分離）によって支えられるべきであると論じています。
方法的知見: 本論文は、フォワードパスの選好マージン（DPO スコア）が必ずしも生成されたコードの展開可能性を予測するわけではないことを強調し、構文制約を維持する結合目的関数の必要性を指摘しています。また、現実世界のペアデータが不足している場合、軌跡の再スライシングが、実用的な代替手段として機能しうることを指摘しています。

著者らは、身体化エージェントは単に外部メモリを持つ固定された方策として機能するべきではなく、選択された経験が方策そのものの一部となる統合経路を必要とし、それによって自己進化と効率的な実行を可能にすると結論付けています。