💻 コンピュータサイエンス

MemHRL: Aligning Hierarchical Memory and Policy Learning for Long-Horizon LLM Agents

MemHRLは、レベル認識型リトリーバルと失敗認識型コンソリデーションを用いた、長期的な展望を持つLLMエージェントのための階層的なメモリおよびポリシー・アライメント・フレームワークを提案しているが、制約のあるScienceWorldおよびWebShopのサブセットにおける評価では、限定的な性能向上しか示されず、制限されたプロポーザル下におけるコンパクトなポリシー・メモリ・メカニズムの課題が浮き彫りになっている。

原著者： Xin Yin, Chenyi Huang, Ruiqi Liu, Yue Ning

公開日 2026-10-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xin Yin, Chenyi Huang, Ruiqi Liu, Yue Ning

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能の世界には、「ロングホライゾン（長期的展望）」問題として知られる根強い課題が存在します。例えば、仮想の家の中をナビゲートして特定の食材を見つけ出すことや、膨大なオンラインストアを閲覧して、十数もの特定の条件を満たすギフトを購入することなど、コンピュータに複雑で多段階のタスクを完了させるよう求める場面を想像してみてください。成功するためには、システムは次に何をすべきかを決定するだけでなく、以前の試行から学んだことを記憶しておく必要があります。ドアの色のような一時的な詳細と、ある経路が行き止まりであるという事実のような極めて重要な教訓とを、区別しなければなりません。現在のシステムはしばしばこのバランスに苦慮します。数ステップ後には重要な教訓を忘れてしまうか、あるいは情報が多すぎて圧倒され、ミスを繰り返したり道を見失ったりしてしまうのです。研究者が問いかけているのは、これらのデジタルエージェントに、記憶を整理するための構造化された方法（広範な戦略と具体的な行動を分離すること）を与えることで、これら長く困難なパズルを解く手助けができるのではないか、ということです。

ある研究チームは、特定のアイデアを検証するために調査を行いました。それは、「もしエージェントが、自らが行っている意思決定のレベルに合わせて、明示的に記憶を一致させることができたらどうなるか？」というものです。彼らは「MemHRL」と呼ばれるシステムを構築しました。これは「Memory Hierarchical Reinforcement Learning（メモリ階層型強化学習）」の略称です。その核心となる概念は単純かつ精密です。このシステムは2つのレベルで動作します。高レベルでは、エージェントは「物体を探す」や「アイテムを準備する」といった、タスクの広範なステージを計画します。低レベルでは、「引き出しを開ける」や「ボタンをクリックする」といった、そのステージを実行するために必要な具体的な動きを実行します。研究者たちは、もしエージェントが高レベルの失敗したステージの要約を一つの場所に保存し、低レベルの行動の詳細な記録を別の場所に保存することができれば、適切なタイミングで適切な種類の情報を引き出せるのではないか、という仮説を立てました。これをテストするために、彼らは凍結された言語モデル（実験中に新しい事実を学習しない、事前学習済みの脳）を使用し、そこに2つの小さな学習可能なセレクターを取り付けました。これらのセレクターは門番として機能し、エージェントが現在大きなステージを計画しているのか、あるいは小さな動きを実行しているのかに基づいて、共有ライブラリからどの過去の経験を引き出すかを決定します。

研究者たちは、このシステムを2つの異なる環境でテストしました。一つは、水を沸騰させたり物体を凍結させたりといった実験を行う科学シミュレーションであり、もう一つは、約5万点の製品カタログから特定のアイテムを見つけて購入しなければならない仮想ショッピングタスクです。彼らは各環境で100種類の異なるタスクを実行し、エージェントには成功までの限られた試行回数を与えました。結果は示唆に富むものでした。科学シミュレーションにおいて、新しいメモリシステムを備えたエージェントは100タスクのうち一度も完了できず、メモリの整合性を持たないシステムと変わらないパフォーマンスでした。ショッピングタスクでは、エージェントは12%のタスクを完了できました。これは成功しているように聞こえますが、実際には、階層構造は持っているものの複雑なメモリ整合性を欠いていたより単純なシステム（13%のケースで成功）よりも、わずかに劣っていました。

研究は、なぜこのメモリシステムが期待されたブーストをもたらさなかったのかを理解するために、さらに深く掘り下げられました。研究者たちは、システムが有用な情報と無用な情報の混合物を引き出していることを発見しました。システムは意思決定のレベルに一致するメモリを取得するように設計されていたにもかかわらず、回収された記録の約76%には、当面のタスクに対してプラスの価値がありませんでした。時には、システムが異なる製品に関するメモリや、現在の状況とは無関係な失敗の試行を引き出してしまうこともありました。これは、単にメモリを異なるレベルに整理するだけでは不十分であることを示唆しています。システムには、特定のメモリが現在の問題に対して実際に適切かどうかを判断する方法も必要です。実際、研究者がショッピングタスクから長期メモリを完全に削除したところ、エージェントの成功率は逆に上昇し、15.7%に達しました。この直感に反する結果は、現在の設計におけるメモリシステムが、エージェントを助けるどころか、混乱させるノイズを導入してしまうことがあることを示しています。

研究者たちは、メモリを意思決定レベルに適合させるというアイデアは有望であるものの、現在の実装には限界がある、と結論付けました。このシステムは、同じ手順を何度も繰り返すタスクにおいては、過去の要約から学ぶことができるため、最もよく機能します。しかし、タスクが新しい、ユニークな詳細（例えば、独自の価格や属性を持つ特定のアイテムを見つけることなど）に適応する必要がある場合、硬直したメモリ構造はむしろ妨げとなります。この研究は、長期的な計画のための普遍的な解決策を見出したわけではありません。代わりに、このアプローチがどこで成功し、どこで失敗するかという明確な地図を提供しました。つまり、メモリを追加することが自動的にエージェントを賢くするわけではないことを示したのです。データは、これらのシステムが向上するためには、将来のデザインが、無関係なメモリをフィルタリングすることと、エージェントが過去の経験を本当に現在の状況に適合する場合にのみ使用することを確実にすることに焦点を当てなければならないことを示唆しています。この研究は、構造化されたメモリが今日の人工知能に何ができるのか、その境界線を明確にする、注意深く制御された実験として位置づけられます。

技術要約: MemHRL – 長期的な視点を持つLLMエージェントのための階層的メモリと方策学習の整合

1. 問題提起

長期的なインタラクティブ・タスクには、言語エージェントが様々な時間スケールで意思決定を行う際、有用な経験を保持することが求められる。核心的な課題は、メモリの粒度と意思決定の時間スケールの間の不整合である。具体的には、低レベルの実行に必要な詳細な事実は、高レベルのタスク・ステージングには詳細すぎる可能性があり、一方で失敗に関する高レベルの要約は、リカバリーに必要なローカルなフィードバックを欠落させてしまう可能性がある。ReAct（推論と行動の交互作用）やReflexion（フィードバックの言語化）といった既存のアプローチは、高レベルの方策にステージレベルの経験が伝わることや、低レベルの方策に実行の詳細が保持されることを本質的に保証していない。さらに、単にコンテキストウィンドウを拡大するだけでは、どの抽象度で経験が方策に影響を与えるべきかを指定できない。

本論文は、特定の操作的な問いを調査している：「他のコンポーネントを固定した状態で、メモリの粒度を意思決定の時間スケールに明示的に一致させることは、制約のある言語エージェントの性能を向上させるか？」著者らは、メモリと階層構造を組み合わせること自体は新規ではない（例：GLIDER, AgeMem, HORMA）ものの、ここで研究されている特定の整合ルールと制御された介入は独特であると述べている。

2. メソドロジー: MemHRL

MemHRLは、アクション記録とオプション要約を限定されたライブラリに分離し、方策レベルに基づいてそれらを別々の学習可能なセレクターにルーティングする、実行可能な整合メカニズムを導入する。

A. 階層的エージェント構造

エージェントは、タスク指示 ( $z$ )、観測 ( $o$ )、ワーキングメモリ ( $W$ )、および経験ライブラリ ( $E$ ) を持つ部分観測決定プロセスとして動作する。

高レベル方策 (High-Level Policy): オプションの境界で動作し、タスク、観測、ワーキングメモリ、および高レベルの検索に基づき、5つの固定された意図（locate, inspect, acquire, transform, complete）のいずれかを選択する。
低レベル方策 (Low-Level Policy): 現在の意図と低レベルの検索を条件として、オプション内のアクションを実行する。
オプションの終了 (Option Termination): オプションは、ポジティブなスコアの進展、2回の無効な相互作用、4回のアクション、またはエピソードの終了時に終了する。再計画は、オラクルによる検知器ではなく、観測された進展と停滞に基づいて行われる。

B. 候補選択と学習

凍結されたバックボーン (Frozen Backbone): 凍結されたQwen2.5-1.5B-Instructモデルが候補アクションをスコアリングする。
学習可能なセレクター (Trainable Selectors): 2つの小さなアクター・クリティック・ネットワーク（高レベル用と低レベル用）が候補の選択を学習する。これらは、凍結されたモデルのロジットに学習可能な残差を加える。
- パラメータ: 2つのアクターと2つのクリティックは、わずか2,052個の学習可能なパラメータで構成される。
- 特徴量: 14次元の特徴ベクトルには、候補の事前分布、語彙的類似性、検索されたユーティリティ、反復回数、および適合性指標が含まれる。
最適化: 両レベルとも、モンテカルロ収益を用いて、クリップされた方策勾配サロゲート（PPOスタイル）を最適化する。言語モデルと語彙エンコーダーには勾配は伝播しない。

C. レベル整合メモリと集約

ワーキングメモリ: 直近6件の相互作用レコードを保持する。
経験ライブラリ: 最新の256件のアクションおよびオプションのレコードを保持する。
集約 (Consolidation): オプションの境界において、システムはアクションのトレースを重複排除し、総進展/失敗フラグを記録し、高レベルの要約を書き込む。その後、ワーキングバッファはクリアされる。
検索メカニズム: 共有フィルタが、決定論的な語彙的類似性スコアと以下の要素を組み合わせてレコードをランク付けする：
- レベルの優先度: ソフトな優先項（ $0.6 \times \mathbb{I}[L(m)=l]$ ）が、レコードを一致する方策レベルへとルーティングする。
- ユーティリティ: 記録されたユーティリティ（スコア増分からペナルティを引いたもの）。
- 新しさ (Recency): タイムスタンプに基づく減衰因子。
- 注記: これは語彙的類似性であり、学習された意味的埋め込みや検索ゲートではない。

D. 報酬

低レベル報酬: 終端の生スコア、ローカルな正の進展 ( $\Delta R$ ), および無効な相互作用に対するペナルティを含む。
高レベル報酬: オプション内の終端の生スコアと相互作用ペナルティの期間割引和であり、ローカルな正の進展項は除外される。

3. 実験設定

ベンチマーク: ScienceWorld（8つのタスクファミリー、100のテストタスク）および WebShop（制限されたカタログからの100のゴール）の固定サブセット。
ベースライン: 制約付きReActスタイル、Reflexionスタイル、および階層型のみのエージェント（長期メモリまたは学習済みセレクターを持たないもの）。
アブレーション: フラットなメモリ、集約なし、進展報酬なし、長期メモリなし、およびRL選択なしの5つのバリエーションをテスト。
制約: 768トークンのプロンプト制限、48ステップの制限（ScienceWorld）、24ステップの制限（WebShop）、および単一のRTX 5060 Laptop GPU。

4. 主な結果

本論文は、提案されたメカニズムの限界を強調しつつ、控えめなパフォーマンスを報告している。

成功率 (Success Rates: SR):
- ScienceWorld: MemHRLは**0.0%**の成功率を達成（Hierarchical-onlyおよびReAct/Reflexionのベースラインと同等）。
- WebShop: MemHRLは**12.0%の成功率を達成（Hierarchical-onlyベースラインの13.0%**と比較）。
正規化スコア (Normalized Scores):
- ScienceWorld: MemHRLは**14.5%**の正規化スコアを取得。本文中ではMemHRLのこの値は明記されているが、Hierarchical-onlyベースラインの具体的な正規化スコアの値は記載されていない。
- WebShop: MemHRLは**33.0%の正規化スコアを取得（Hierarchical-onlyベースラインの32.5%**と比較）。
統計的有意性:
- Hierarchical-onlyベースラインとの成功率の差は、ScienceWorldで**+0.0**、WebShopで**-1.0**パーセントポイントであった。
- 多重比較補正（Holm法）後、対比較された成功率の差に有意なものはなかった（調整済み $p = 1.000$ ）。
アブレーションの知見:
- 長期メモリの除去: 驚くべきことに、これによりWebShopの成功率はフル版のMemHRL（12.0%）よりも高い**15.7%**となった。この差は補正後、統計的に有意ではなかった。
- メモリ監査: WebShopにおける13,655のスロットの監査によれば、検索されたレコードの**76.4%**が非ポジティブなユーティリティを持っていた。レベルの整合性は正しい方策レベルをターゲットにすることを保証したが、報酬をもたらす経験や関連性のある経験の検索を保証するものではなかった。

5. 有意性と主張

著者らは、MemHRLを一般的なウェブ自律性のための最先端の解決策としてではなく、特定の方策-メモリ整合メカニズムの制御された実証的評価として位置づけている。

明示的な整合: 本研究は、レベル認識の検索と失敗認識の集約を通じて、アクションレコードと失敗を考慮した要約が、低レベルおよび高レベルの方策に明示的にルーティングされるメカニズムを示している。
軽量な学習: この手法は、言語モデルを凍結したまま、極めて少ないパラメータ（2,052個）と単一のノートPC用GPUで、方策レベルのメモリルーティングが学習可能であることを証明している。
限界の特性化: 主要な貢献は、このコンパクトなメカニズムの境界を特性化することにある。結果は、制約された提案（限定された候補リスト）および固定されたバックボーンの下では、明示的なレベル整合が、より単純な階層的ベースラインに対して現在、有意な成功の向上をもたらさないことを示している。
干渉 vs 利益: 検索の監査は、メモリレベルを一致させても、必ずしもポジティブなユーティリティを保証しないことを示唆している。つまり、関連性の閾値や棄却メカニズムがない場合、検索されたテキストは（例：無関係な製品属性など）干渉を引き起こす可能性がある。
オープンサイエンス: 論文は、独立した検証をサポートするために、生の軌跡、学習済みセレクター、データフィンガープリント、および分析スクリプトを提供している。

結論として、本論文は、階層的メモリと方策の整合は理論的に妥当な方向であるが、ここでテストされた具体的な実装は、特に凍結されたバックボーンと限定された学習予算を考慮すると、フルベンチマークにおいて顕著な性能向上をまだ確立できていないと主張している。今後の研究には、このアプローチの可能性を検証するために、より強力なモデル、関連性を考慮した検索、およびより広範な学習予算が必要である。