💻 computer science

ContextWeaver: Selective and Dependency-Structured Memory Construction for LLM Agents

ContextWeaverは、LLMエージェントの長期的な対話において、過去の推論ステップ間の依存関係をグラフ構造として整理・要約することで、論理的な一貫性を保ちながら効率的なコンテキスト管理を実現するメモリフレームワークです。

原著者： Yating Wu, Yuhao Zhang, Sayan Ghosh, Sourya Basu, Anoop Deoras, Jun Huan, Gaurav Gupta

公開日 2026-04-28

📖 1 分で読めます☕ さくっと読める

原著者： Yating Wu, Yuhao Zhang, Sayan Ghosh, Sourya Basu, Anoop Deoras, Jun Huan, Gaurav Gupta

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：AIエージェントの「物忘れ」を防ぐ、魔法の記憶術「ContextWeaver」

1. 今までのAIが抱えていた問題：「直近のことしか覚えていない問題」

想像してみてください。あなたは今、ものすごく複雑な「巨大なレゴブロックの城」を作っています。

これまでのAI（エージェント）は、「直近の数ステップ」しか見ることができないメガネをかけて作業しているようなものでした。
作業が進んで、城の「塔」を作っている最中に、「あ、さっき土台の形を少し変えたっけ？」と思っても、その土台の情報はすでにメガネの視界から消えてしまっています。

その結果、AIはこんなミスを繰り返します。

「さっき作ったはずの部品を、また一から作り直す」
「土台の形を無視して、無理やりパーツをはめ込もうとして失敗する」

これを専門用語で「コンテキスト（文脈）の欠如」と呼びます。

2. ContextWeaverが提案する解決策：「記憶の糸でつなぐ、魔法の地図」

そこで登場したのが**ContextWeaver（コンテキスト・ウィーバー）**です。
「Weaver」とは「織り手」という意味。バラバラになった記憶の断片を、意味のある糸で編み上げていくイメージです。

ContextWeaverは、ただ新しいことを覚えるのではなく、**「今の作業は、過去のどの作業とつながっているか？」**を常に考えます。

これを例えるなら、**「作業の家系図（依存関係グラフ）」**を作るようなものです。

これまでのAI： 「さっき何をしたっけ？まあいいや、今の作業に集中しよう（直近だけ見る）」
ContextWeaver： 「今、塔を作っているな。この塔を支えるには、30分前に決めた『土台の設計図』と、10分前に確認した『パーツのサイズ』が必要だ。よし、その2つの記憶だけを今すぐ手元に持ってこよう！」

3. どうやって動いているの？（3つのステップ）

ContextWeaverは、まるで**「超優秀な秘書」**のように動きます。

「つながり」を見つける（依存関係の構築）
新しい作業をするたびに、「これは過去のどのステップのおかげでできているのか？」を分析し、記憶の間に「糸（リンク）」を引いていきます。
「大事なところだけ」まとめる（要約）
記憶が膨大になりすぎると、AIも混乱します。そこで、長い作業の道のりを「要するに、こういう理由でこの作業をした」という短い物語（サマリー）にギュッと凝縮します。
「間違い」をチェックする（検証レイヤー）
もし途中で「失敗」した作業があれば、その記憶には「これは失敗作です！」というラベルを貼ります。次に作業するとき、AIが「失敗した記憶」を頼りにしないようにガードします。

4. これによって何が変わるのか？

実験の結果、この「魔法の記憶術」を使ったAIは、プログラミングのような複雑な作業において、以下のことが分かりました。

賢くなった： 過去の重要な情報を忘れないので、難しい問題も解けるようになった。
無駄が減った： 同じことを何度も繰り返したり、迷ったりする時間が減り、効率的にゴールにたどり着けるようになった。
安定した： たまたま運良く解けるのではなく、常に安定して高いパフォーマンスを出せるようになった。

まとめ

ContextWeaverは、AIに「点」の記憶ではなく、「線」の記憶を与える技術です。

バラバラの出来事を、論理という糸で編み上げることで、AIは「今、自分が全体のどこにいて、次に何をすべきか」を、まるで熟練の職人のように理解できるようになるのです。

論文要約：ContextWeaver

Selective and Dependency-Structured Memory Construction for LLM Agents

1. 背景と課題 (Problem)

大規模言語モデル（LLM）エージェント、特にツールを使用して反復的な計画や実行を行うエージェントは、対話履歴が長くなるにつれて以下の問題に直面します。

コンテキスト長の制限: 入力トークン数が制限を超えると、モデルは応答を生成できなくなります。
性能の低下: コンテキストが長すぎると、モデルの推論精度が低下します（"Lost in the Middle"現象など）。
既存手法の限界:
- スライディングウィンドウ: 直近の履歴のみを保持するため、以前のステップで行った重要な決定や、後のステップの根拠となる構造的な情報を失ってしまいます。
- プロンプト圧縮・検索ベース手法: セマンティックな類似性や新しさ（Recency）に基づいて情報を選択しますが、推論ステップ間の論理的・因果的な依存関係を捉えることができません。

エージェントの次のアクションは、過去の決定、ツールの出力、および中間的な仮説に依存していますが、これらが失われると、計画の破綻や同じ探索の繰り返しが発生します。

2. 提案手法 (Methodology: ContextWeaver)

ContextWeaverは、エージェントの対話履歴を単なるテキストの列としてではなく、**推論ステップの依存関係グラフ（Dependency Graph）**として整理するフレームワークです。主な構成要素は以下の3つです。

① 依存関係に基づくコンテキスト構築 (Dependency-Aware Context Construction)

各推論ステップ（思考 $T$ 、アクション $A$ 、観察 $O$ のセット）を「ノード」として構造化し、以下のプロセスでグラフを更新します。

ノード抽出 (Node Extraction): 最新のステップを構造化ノード $N_k$ に変換。
親ノードの選択 (Parent Selection): LLMを用いて、現在のステップが過去のどのステップ（結果、決定、仮説など）に論理的・因果的に依存しているかを分析し、親ノードとして接続します。これにより、単なる時系列ではなく、情報の流れを反映した有向非巡回グラフ (DAG) が構築されます。
祖先依存関係の構築 (Ancestry Dependency Construction): 現在のノードからグラフを遡り（BFS）、関連する一連の推論パス（祖先集合 $A$ ）を特定します。
コンテキストの織り込み (Context Weaving): 祖先集合に含まれるノードは詳細（ $T, A, O$ ）を保持し、それ以外のノードは思考とアクションのみを残して観察内容を圧縮することで、トークンを節約しつつ重要な文脈を維持します。

② 依存関係サマライザー (Dependency Summarizer)

各ノードは、ルートからそのノードに至るまでの推論パスを簡潔に記述した「依存関係サマリー」を保持します。これは、親ノードのサマリーと現在のステップを組み合わせて逐次的に生成されるため、計算コストを抑えつつ、長期的な推論の文脈を保持できます。

③ 検証・テスト層 (Validation and Test Layer)

ツールの実行結果（例：pytestの成否）を記録し、ノードに「成功 (passed)」「失敗 (failed)」「上書き (superseded)」などのラベルを付与します。失敗したノードは、新しいステップの親候補から除外されるため、不完全な状態に基づいた誤った推論を防ぎます。

3. 主な貢献 (Key Contributions)

構造化メモリの導入: 履歴を時系列ではなく、論理的な依存関係に基づいたグラフ構造として管理する新しいパラダイムを提示。
効率的なコンテキスト選択: 依存関係に基づいて「必要なものだけを詳細に、不要なものは圧縮して」保持することで、トークン予算内で重要な情報を維持。
実行フィードバックの統合: テスト結果などの実行結果をグラフの構築プロセスに組み込み、メモリの信頼性を向上。

4. 実験結果 (Results)

SWE-bench (Verified および Lite) を用いた評価において、以下の成果が得られました。

性能向上: Claude 3.5 Sonnet や GPT-4o を用いた実験において、スライディングウィンドウ方式と比較して Pass@1（解決率）が向上しました。
効率性の向上: 解決に必要な平均ステップ数が減少し、トークンあたりの解決効率（Tokens per successful resolve）が改善しました。
安定性の向上: 実行結果の分散（標準偏差）が低下し、エージェントの挙動がより安定することが示されました。
ケーススタディ:
- 複数のファイルにまたがる複雑な修正が必要なタスク（例：Djangoの修正）では、ContextWeaverが長期的な依存関係を維持できたため、スライディングウィンドウよりも圧倒的に高い成功率を示しました。
- 一方で、単一ファイル内の単純な修正では、スライディングウィンドウの方が効率的な場合もあり、タスクの複雑さに応じた使い分けの示唆が得られました。

5. 意義 (Significance)

本研究は、LLMエージェントのメモリ管理において、**「何が新しいか（Recency）」ではなく「何が関連しているか（Dependency）」**に焦点を当てることの重要性を証明しました。これは、複雑なソフトウェアエンジニアリングや、長時間のツール利用を伴う自律型エージェントの構築において、スケーラブルで安定したメモリメカニズムを提供するものです。