🤖 AI

$\delta$ -mem: Efficient Online Memory for Large Language Models

本論文は、 $\delta$ -mem という軽量メカニズムを導入するものであり、これは凍結された大規模言語モデルにコンパクトでデルタ則に基づくオンライン記憶状態を付加して歴史的な情報を効率的に圧縮・再利用可能にし、フル微調整やコンテキストウィンドウの拡張を必要とせずにメモリ集約型タスクのパフォーマンスを大幅に向上させるものである。

原著者： Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan Liu, Xiaoteng Ma, Baian Chen, Soujanya Poria

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jingdi Lei, Di Zhang, Junxian Li, Weida Wang, Kaixuan Fan, Xiang Liu, Qihan Liu, Xiaoteng Ma, Baian Chen, Soujanya Poria

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い友人（AI）と会話していると想像してください。その友人は事実の記憶力に優れていますが、あなたの人生の全話を一度に話しかけられると圧倒されてしまいます。

問題：「情報過多」のボトルネック
現在、AI に長い会話の記憶を残したい場合、通常の手法はチャット履歴全体をプロンプトに貼り付け続けることです。

比喩： 1,000 ページの書籍から特定の 1 文を探すために、その本全体を読もうとするようなものです。これには時間がかかりすぎます（計算コストが高くつきます）。また、最後まで辿り着く頃には、冒頭の内容を忘れているかもしれません（これを「コンテキストの劣化」と呼びます）。
論文の見解： 単に「本」を大きくしても問題は解決しません。AI は依然として干し草の山から正しい針を見つけるのに苦労します。

解決策： $\delta$ -mem（デルタ・メモ）
著者たちは、 $\delta$ -memと呼ばれる新しいメモリ処理手法を提案しています。過去のテキストのページを AI の口に詰め込む代わりに、リアルタイムで更新される超効率的な「付箋」システムを与えます。

以下に、簡単な比喩を用いて仕組みを分解して説明します。

1. 凍った脳と付箋

AI の主要な脳（「バックボーン」）を凍った像だと考えてください。それは非常に賢いですが、内部の配線を変更したり再学習させたりすることはできません。

革新： $\delta$ -mem は、この像に 8x8 のグリッド（非常に小さくハイテクな付箋パッドを想像してください）を取り付けます。
更新方法： あなたが何か新しいことを言うたびに、システムは新しい段落全体を書くのではなく、期待していたことと実際に言ったことの「差分（デルタ）」を計算し、その小さな修正だけを付箋に更新します。
比喩： 角を曲がるたびに世界地図全体を再作成する GPS ではなく、1 秒前の位置に対する現在の位置だけを更新する GPS のようなものです。

2. 「ハンドル」（低ランク補正）

AI があなたに回答しようとする際、単に付箋を「読んで」物語を思い出すわけではありません。代わりに、付箋はハンドルのように機能します。

メカニズム： AI は付箋を見て、「ああ、私たちの履歴に基づけば、注意を少し左に調整すべきだ」と考えます。そして、現在の質問を処理する方法に対して、わずかで低ランクな調整を行います。
結果： AI は履歴全体を再読する必要はありません。「操縦」は瞬時に行われ、凍った脳を混乱することなく正しい文脈を思い出すように導きます。

3. 付箋を書く 3 つの方法

論文では、この付箋を更新する 3 つの異なる方法がテストされました。

トークン状態（TSW）： あなたが入力するすべての単語のたびに付箋を更新します。（非常に詳細ですが、ノイズが多くなる可能性があります）。
シーケンス状態（SSW）： すべての文またはメッセージのたびに付箋を更新します。（より滑らかで、段落を要約してから書き込むようなものです）。
マルチ状態（MSW）： 3 つの別の付箋を同時に使用します。1 つは事実用、1 つはあなたの好み用、もう 1 つは現在のタスク用です。これにより、付箋が混同されるのを防ぎます。

彼らが発見したこと

研究者たちはさまざまな AI モデルでこれをテストし、印象的な結果を得ました。

小さくとも強力： 8x8 のグリッド（コンピューター用語では極めて小さいサイズ）であっても、メモリを多用するタスクにおいて AI のパフォーマンスは劇的に向上しました。
「魔法」の回復： あるテストでは、チャット履歴全体を削除し、AI に小さな付箋のみを与えました。それでも AI は正しく質問に答えるのに十分な記憶を保持しており、その付箋が単語そのものではなく会話の本質を捉えていることを証明しました。
競合他社との比較： プロンプトにより多くのテキストを詰め込む方法や外部データベースを使用する他の手法よりも優れていました。これはより速く、安価で、正確でした。

結論

$\delta$ -mem は、超賢明だが忘れっぽいロボットに動的で自己更新するカンニングペーパーを与えるようなものです。ロボットに会話を思い出すために図書館の書庫全体を読ませる代わりに、注意の向け方を正確に指示する、小さく絶えず更新される付箋を一瞥させるだけです。これにより、AI は再学習を必要としたり、膨大な計算能力を必要としたりすることなく、長期的な相互作用を効率的に記憶できるようになります。

$\delta$ -mem の技術的概要：大規模言語モデルのための効率的なオンラインメモリ

1. 問題定義

大規模言語モデル（LLM）が長期的なアシスタントやエージェントシステムとして展開されるにつれ、彼らは長期にわたる対話を通じて歴史的な情報を蓄積、更新、再利用する必要があるという重大な課題に直面しています。現在の戦略は、しばしば入力コンテキストウィンドウを単純に拡張することに依存しています。しかし、このアプローチは、標準的なアテンションがコンテキスト長に対して二次的なコストがかかるため、計算コストが高くなります。さらに、ウィンドウサイズを単純に増大させるだけでは、効果的な利用を保証するものではありません。モデルは非常に長いシーケンスを処理する際に「コンテキストの劣化」や「コンテキストの腐敗」に悩まされることが多く、これは百万トークン規模のウィンドウが本質的にメモリ問題を解決するものではないことを示唆しています。

既存のメモリメカニズムは、それぞれ限界を持つ 3 つのパラダイムに分類されます。

テキストメモリメカニズム（TMMs）: メモリを入力コンテキストに注入されたテキストとして保存します。柔軟性はあるものの、コンテキストウィンドウの制限、検索ノイズ、圧縮損失に悩まされます。
外部チャネルメモリメカニズム（OMMs）: メモリを検索を介してアクセスされる外部モジュールに保持します。これによりオーバーヘッド、統合の複雑さ、およびバックボーンとの潜在的な不一致が生じます。
パラメトリックメモリメカニズム（PMMs）: メモリをプレフィックスやアダプターにエンコードします。凍結されたバックボーンに対しては効率的ですが、その静的な性質により、動的に進化する情報への適応が制限されます。

完全なファインチューニングや明示的なコンテキスト拡張を必要とせず、コンパクトで動的に進化するメモリ状態を維持し、内部アテンション計算と密接に整合した経路を通じてバックボーンを誘導するメカニズムが必要です。

2. 手法： $\delta$ -mem

著者らは、凍結されたフルアテンション・バックボーンをコンパクトな連想メモリのオンライン状態（OSAM）で拡張する軽量メモリメカニズム $\delta$ -memを提案します。中核となる設計は、各位置で「読み取り - 誘導 - 書き込み」のサイクルに従い、バックボーンのパラメータは凍結されたままにします。

A. 連想メモリのオンライン状態（OSAM）
すべての過去のトークンを保存する代わりに、 $\delta$ -mem は過去の情報を固定サイズの状態行列 $S \in \mathbb{R}^{r \times r}$ （実験では特に $8 \times 8$ 行列）に圧縮します。この状態は、歴史的コンテキストからのキー - バリュー対応（ $k \to v$ ）を保存します。

更新規則: 状態は、オンライン回帰に触発されたデルタ則学習アプローチを用いて逐次的に更新されます。メモリキー $k_t$ と値 $v_t$ が与えられたとき、状態は $\hat{v}_t = S_{t-1}k_t$ を予測します。更新は残差誤差を最小化します。
$S_t = \lambda_t S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$
ここで、 $\lambda_t$ （忘却ゲート）は以前のメモリの保持を制御し、 $\beta_t$ （書き込みゲート）は残差更新の強度を制御します。これにより、状態は安定した歴史的情報を保持しつつ、予測の不一致を動的に修正できます。

B. メモリ投影
凍結されたバックボーンからの隠れ状態 $x_t$ は、メモリ状態用のクエリ（ $q^m_t$ ）、キー（ $k^m_t$ ）、値（ $v^m_t$ ）ベクトルを生成するために、低次元のメモリ空間（ $r$ 次元）に投影されます。長いシーケンスの再帰中の不安定性を軽減するため、 $q^m_t$ と $k^m_t$ に正規化が適用されます。

C. 低ランク補正による誘導
生成中、 $\delta$ -mem は現在のクエリ $q^m_t$ を用いて前の状態 $S_{t-1}$ から読み取り、読み取りベクトル $r_t = S_{t-1}q^m_t$ を生成します。このベクトルは、テキストトークンを検索することなく、バックボーンの注意を誘導するコンテキスト関連のシグナルを提供します。

読み取りシグナルは、アテンションメカニズムのクエリ（ $\Delta q_t$ ）および出力（ $\Delta o_t$ ）側の低ランク補正に変換されます。
$\tilde{q}_t = q^0_t + \alpha \Delta q_t, \quad \tilde{y}_t = a_t + \alpha \Delta o_t$
ここで、 $q^0_t$ は元のクエリ、 $a_t$ は標準的なアテンション出力です。これらの補正により、連想メモリが順方向計算に直接参加することが可能になります。

D. 書き込み粒度戦略
本論文は、状態を更新するための 3 つの戦略を検証します。

トークン状態書き込み（TSW）: 各トークンで状態を更新します。微細な詳細を保持しますが、ノイズに敏感です。
シーケンス状態書き込み（SSW）: 更新前にメッセージ/セグメント内の隠れ状態を平均化します。冗長性を削減し、進化を滑らかにします。
マルチ状態書き込み（MSW）: 干渉を減らすために、事実、好ましさ、タスクの進捗など、複数の並列サブ状態を維持し、それらの読み取りを集約します。

E. 学習
$\delta$ -mem は、標準的な教師ありファインチューニング（SFT）損失を用いて学習されます。コンテキストトークンはオンライン状態に書き込まれますが、その状態自体（生コンテキストトークンではなく）が、応答の予測中に凍結されたバックボーンを誘導します。

3. 主要な貢献

新規メカニズム: 凍結されたバックボーンのアテンション計算と直接結合された、コンパクトで動的に更新されるオンライン状態を提案する $\delta$ -mem。完全なファインチューニングやバックボーンの置き換えを回避します。
コンパクトな効率性: 極めて小さなメモリ状態（ $8 \times 8$ 行列）でさえ、明示的な履歴が削除された場合でも、有用な歴史的シグナルを保持し、コンテキスト関連情報を回復するのに十分であることを実証しました。
性能向上: 明示的なコンテキストの拡張や重い外部検索モジュールに依存することなく、メモリ集約型ベンチマークで顕著な改善を示し、汎用能力を維持しました。

4. 実験結果

この手法は、Qwen3-4B-Instruct、Qwen3-8B、および SmolLM3-3B のバックボーンを用いて、汎用能力ベンチマーク（IFEval、GPQA-Diamond、HotpotQA）およびメモリ集約型ベンチマーク（LoCoMo、MemoryAgentBench）で評価されました。

全体的な性能: $\delta$ -mem は、凍結されたバックボーンに対して平均スコアを1.10 倍、最も強力な $\delta$ -mem 以外のメモリベースライン（Context2LoRA）に対して1.15 倍向上させました。
メモリ集約型タスク:
- MemoryAgentBench: 1.31 倍の改善（平均 29.54% から 38.85% へ）。
- LoCoMo: 1.20 倍の改善（平均 40.79% から 49.12% へ）。
- TTL サブタスク: スコアが 26.14 から 50.50 へとほぼ倍増しました。
バックボーンの変異:
- Qwen3-4Bでは、TSW 変種が最高の平均（51.66%）を達成しました。
- Qwen3-8Bでは、SSW が最高（50.86%）であり、より強力なモデルではセグメントレベルの書き込みがノイズを軽減することを示唆しています。
- SmolLM3-3Bでは、MSW が大幅な飛躍（26.08% から 36.96%）をもたらしており、より小さなモデルは干渉を最小化するためにメモリタイプを分離することから恩恵を受けることを示しています。
コンテキスト回復: 「コンテキストなし」設定（明示的な履歴が削除された場合）において、 $\delta$ -mem は顕著な性能を回復し、HotpotQA の EM を 0.08% から 6.48% に、LoCoMo の平均を 3.49% から 8.05% に増加させ、状態が再利用可能なシグナルを保存していることを証明しました。
アブレーション研究:
- ヘッド: クエリおよび出力ブランチの両方に補正を注入すること（$qo$）が、性能とパラメータの間の最適なトレードオフを提供しました。
- 深さ: 全レイアに補正を適用することが最良の結果をもたらしました。これは、メモリシグナルが表現の階層全体に利益をもたらすことを示しています。

5. 意義と主張

本論文は、LLM 向けの効果的なメモリは、アテンション計算と直接結合されたコンパクトなオンライン状態を通じて実現可能であると主張しています。 $\delta$ -mem の意義は、以下の点にあります。

プロンプトの再挿入からのメモリ維持の分離: テキストメモリとは異なり、圧縮された履歴をトークンスペースを通じてルーティングしないため、コンテキストウィンドウの制限や検索ノイズを回避します。
動的進化の可能化: パラメトリックメモリとは異なり、状態はデルタ則学習を通じてシーケンスとともに連続的に進化し、離散的な編集ステップなしに新しい対話に適応します。
効率性の維持: 固定された微小な状態サイズ（ $8 \times 8$ ）でこれらの成果を達成し、バックボーンアーキテクチャを変更することなく、凍結されたトランスフォーマーにおけるテスト時メモリのためのスケーラブルなインターフェースを提供します。

著者らは、このアプローチがコンテキスト拡張に対する堅牢な代替手段を提供し、モデルが長コンテキスト処理の計算負担や外部検索システムの複雑さなしに、歴史的な情報を効果的に活用できるようにすると結論付けています。