M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval

本論文は、長期的な Web タスクにおける推論能力と計算効率の課題を解決するため、動的な軌道要約と外部インサイト検索を組み合わせたトレーニング不要の双層メモリ機構「M$^2$」を提案し、複数のベンチマークで既存手法を上回る性能向上とトークン削減を実現したことを報告しています。

要約

この論文は、**「長い道のりを歩く AI 助手が、道に迷ったり、疲れ果てたりしないようにする新しい方法」**について書かれています。

タイトルは『M2』ですが、これは**「二つの記憶（Dual-Memory）」**を持つ AI のことを指しています。

インターネット上の複雑なタスク（例えば、「一番安い飛行機を探して、予約して、ホテルも手配して」といった一連の作業）を AI に任せる時、これまでの AI は以下の 2 つの大きな問題に悩まされていました。

1. 記憶過多（脳のパンク）: 過去のすべての画面やクリック履歴をそのまま覚えておこうとするので、記憶容量が爆発的に増え、処理が重くなり、重要な情報が見えなくなってしまう。
2. 経験不足（同じ過ちの繰り返し）: 過去に失敗したパターンを知らないので、同じような罠に何度もハマってしまう。

この論文の著者たちは、「AI を訓練（勉強）させることなく」、これらの問題を解決する「M2」という仕組みを提案しました。まるで、AI に**「優秀なナビゲーター」と「賢いメモ帳」**を二人同時に付け加えるようなものです。

---

🧠 M2 の仕組み：2 つの「記憶」の魔法

M2 は、AI の頭の中に 2 つの異なる種類の記憶（メモ）を用意します。

1. 内なる記憶（Internal Memory）：「要約メモ」

• どんなもの？
  過去のすべての画面写真や長い会話履歴をそのまま保存するのではなく、**「今、どこまで進んでいて、次に何をするべきか」**だけを短い文章で要約してメモする仕組みです。
• アナロジー：
  長い旅行中、すべての写真（数千枚）を全部持ち歩く代わりに、「今日の旅のハイライトは、A 駅で B 列車に乗り、C 駅で降りた」という旅行日記の要約ページだけを常に持ち歩くようなものです。
  • 効果: 脳の容量（計算コスト）を大幅に節約でき、重要な情報に集中できます。

2. 外なる記憶（External Memory）：「先輩の知恵」

• どんなもの？
  過去に「成功した」他の AI の行動記録から、**「こうすれば失敗しないよ」というコツ（インサイト）**を抜き出し、データベース化しておきます。新しいタスクが始まると、似たような状況の「コツ」を即座に探して AI に教えます。
• アナロジー：
  未知の街を歩く時、「その道のりには落とし穴があるから、左の道を行くのが安全だよ」と教えてくれる、経験豊富な現地ガイドが付き添っているようなものです。
  • 効果: 失敗を未然に防ぎ、効率的にゴールにたどり着けます。

---

🚀 何がすごいのか？（成果）

この「M2」を導入した結果、以下のような劇的な変化が起きました。

• 成功率アップ: 複雑なタスクを成功させる確率が、最大で19.6% 向上しました。特にオープンソースの AI（Qwen3-VL-32B）は、高価な有料 AI（Claude など）に匹敵する、あるいはそれ以上の性能を発揮するようになりました。
• コスト激減: 必要な情報量（トークン数）が最大 58.7% 削減されました。これは、AI の「脳みそ」への負担が半分以下になり、動作が軽くなったことを意味します。
• 学習不要: 特別な勉強（トレーニング）をさせなくても、この仕組みを入れるだけで劇的に賢くなります。

💡 まとめ

これまでの AI は、「過去のすべてを記憶しようとして疲弊し、失敗を繰り返す子供」のような状態でした。
しかし、M2は、**「過去の経験は要約して整理し、先輩の知恵を借りて賢く動く」という、まるで「経験豊富なプロの探検家」**のような振る舞いを可能にしました。

これにより、AI は長い道のりの Web タスクでも、疲れずに、迷わずに、正確にゴールまで到達できるようになったのです。これは、AI を実社会で使うための非常に現実的で、コスト効率の良い解決策と言えます。

技術概要

論文「M2: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval」の技術的サマリー

本論文は、マルチモーダル大規模言語モデル（MLLM）に基づく自律型 Web ナビゲーションエージェントが直面する「長期的タスク（Long-Horizon Tasks）」の課題を解決するため、トレーニング不要（Training-Free） の双層メモリ機構「M2」を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

近年、MLLM を活用した Web ナビゲーションエージェントは飛躍的な進歩を遂げましたが、複雑で長い手順を要するタスク（Long-Horizon Tasks）においては依然としてボトルネックが存在します。

• コンテキストの爆発とコスト: 従来のアプローチは、HTML スクリーンショットや対話履歴の「全コンテキスト（Full-Context）」をプロンプトに連結する手法が主流です。これにより、タスクが長くなるにつれてトークン数が指数関数的に増加し、推論コストが膨大になります。
• 性能の低下（Lost-in-the-Middle）: 冗長でノイズの多い長いコンテキストは、モデルの注意力を散漫にし、重要なタスク関連の手がかりを埋没させます（「Lost-in-the-Middle」現象）。
• 既存手法の限界: 既存のメモリ拡張手法は、教師あり微調整（SFT）や強化学習（RL）を必要とし、大規模な計算資源とデータ収集を要します。また、マルチエージェントシステムは通信オーバーヘッドが大きく、実用的な展開が困難です。

2. 提案手法：M2 (Methodology)

M2 は、モデルの再学習を一切行わず、「内部メモリ（Internal Memory）」 と 「外部メモリ（External Memory）」 の 2 つの階層で構成される軽量なフレームワークです。

2.1 内部メモリ：動的軌道要約 (Dynamic Trajectory Summarization)

このモジュールは、エージェント自身の思考プロセスを通じて、冗長な履歴を圧縮します。

• 仕組み: 従来の「直前の k 枚のスクリーンショットと全履歴」を保持する代わりに、エージェントは各ステップで自身の思考（Thought）、行動（Action）、およびページからのフィードバックを要約し、構造化されたテキスト記述（State Abstraction）を生成します。
• 更新ルール: 生成された要約（$s_t$）のみを内部メモリ（$M_{int}$）に追加し、元の生データ（スクリーンショットや詳細な履歴）は破棄します。
• 効果: コンテキストウィンドウの長さがタスクの深さに応じて線形ではなく、サブリニアに成長するように制御され、トークン消費を大幅に削減します。

2.2 外部メモリ：インサイト検索拡張 (Insight Retrieval Augmentation)

このモジュールは、過去の成功事例から得られた「戦略的知見」をリアルタイムで提供します。

• オフライン知識抽出: 多様なモデル（Claude, Ovis など）による 5.5 万件の成功軌道から、Ovis モデルを用いて「高レバレッジな相互作用ルール（High-Leverage Interaction Rules）」を抽出し、インサイトバンクを構築します。
  • 検索・フィルタ戦略（入力ロジック）
  • ナビゲーション効率（クリックロジック）
  • 状態検証（待機/チェックロジック）
• 検索と注入: 新しいタスクのクエリに基づき、セマンティック類似性（Sentence Transformer）を用いて最も関連性の高いインサイト（Top-i）を抽出し、システムプロンプトに「防御的なヒント（Defensive Hints）」として注入します。
• 効果: エージェントは過去の失敗パターンを事前に回避し、複雑な UI 構造や落とし穴を効率的に navigates できます。

2.3 統合アーキテクチャ

最終的な決定文脈 $C'_t$ は、システムプロンプト、ユーザークエリ、現在の観測、内部メモリ（要約された軌道）、外部メモリ（検索されたインサイト）で構成されます。これにより、エージェントは「過去の歩み（内部）」と「専門家の知見（外部）」の両方を活用して意思決定を行います。

3. 主要な貢献 (Key Contributions)

1. トレーニング不要の双層メモリアーキテクチャ: 高コストな学習や複雑なマルチエージェント相互作用を必要とせず、プロンプトエンジニアリングと検索ベースのアプローチのみで実装可能な軽量フレームワークを提案。
2. 軌道内圧縮と軌道間検索の融合: 実行履歴を要約チェーンに圧縮する「Intra-Trajectory Compression」と、異種タスクからの専門知見を取得する「Inter-Trajectory Retrieval」を組み合わせ、情報過多を解消しつつ意思決定の堅牢性を向上。
3. スケーラビリティとモデル同等性: 学習なしのアプローチにより、オープンソースモデル（Qwen3-VL-32B）が、学習済みのプロプライエタリモデル（Claude など）と同等、あるいはそれ以上の性能を、より低いトークンコストで達成することを実証。

4. 実験結果 (Results)

WebVoyager および OnlineMind2Web の 2 つのベンチマークで評価を行いました。

• 精度の向上:
  • Qwen3-VL-32B (オープンソース): WebVoyager で成功率が 16.2% 向上（57.8% → 74.0%）、OnlineMind2Web で 19.6% 向上（31.96% → 51.55%）。
  • Claude-3.7-Sonnet / Sonnet-4: 最大で 12.5% の精度向上を達成。
  • モデル間ギャップの解消: 双層メモリを適用した Qwen3-VL-32B は、学習なしの Claude-3.7-Sonnet ベースライン（72.0%）を上回る 74.0% の精度を記録しました。
• 効率性の劇的改善:
  • トークン削減: Qwen3-VL-32B は WebVoyager でトークン消費を 57% 削減（215.2k → 92.3k）、OnlineMind2Web でも 58.7% 削減。
  • Claude モデル: 30.3%〜55.0% のトークン削減を達成。
• アブレーション研究:
  • 内部メモリの要約がトークン削減の主要因であり、外部メモリのインサイトが精度向上（特に難易度の高いタスク）の主要因であることが確認されました。
  • 類似度検索には Sentence Transformer が TF-IDF や BM25 より優れており、5 つのインサイトが最適な密度であることが示されました。

5. 意義と結論 (Significance)

M2 は、Web ナビゲーションエージェントの実用化における重要な転換点となるアプローチです。

• コストと性能のトレードオフの打破: 従来の「より大きなモデル」や「大規模な学習データ」に依存せず、メモリ管理の最適化によって、既存のモデルでも長期的タスクを安価かつ高精度に処理可能にしました。
• 実用性の高さ: トレーニング不要であるため、新しい Web サイトやドメインへの迅速な適応が可能であり、リアルタイムシステムへの展開コストが極めて低いです。
• 将来展望: この「双層メモリ」の概念は、Web ナビゲーションに限らず、他の長期的なマルチモーダルタスク（ビデオ理解、複雑な GUI 操作など）にも応用可能な汎用的なフレームワークとして期待されます。

要約すれば、M2 は「過去の履歴を要約して記憶し、過去の成功事例を参照して行動する」という人間に近い認知メカニズムを、AI エージェントにトレーニングなしで実装し、長期的タスクの課題を解決した画期的な研究です。