💬 NLP

MeMo: Towards Language Models with Associative Memory Mechanisms

本論文は、透明性、モデル編集、および特定のテキストを忘却する能力を可能にするために、層状の連想メモリにトークンシーケンスを明示的に記憶する新しい言語モデリングアーキテクチャであるMeMoを導入する。

原著者： Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fabio Massimo Zanzotto, Elena Sofia Ruzzetti, Giancarlo A. Xompero, Leonardo Ranaldi, Davide Venditti, Federico Ranaldi, Cristina Giannone, Andrea Favalli, Raniero Romagnoli

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに言葉を教えようとしている場面を想像してみてください。現在、私たちがこれを行っている方法（「Transformer」）は、ロボットに図書館の本を無理やり読ませ、以前見たかもしれないという漠然とした、曖昧な感覚に基づいて次の単語を推測させようとしているようなものです。それは、脳内の目に見えないつまみを、正解にたどり着くまで調整することで学習します。これは強力ですが、「ブラックボックス」です。ロボットが特定の事実をどこに保存しているのかは本当には分からず、もし何かを忘れさせたい場合は、脳全体を再学習させる必要があります。

論文「MeMo」は、全く異なるアプローチを提案しています。モデルが「漠然とした感覚」に基づいて推測する代わりに、MeMoはロボットの記憶のために、文字通り、整理された整理棚を構築します。

MeMoの仕組みを、シンプルな概念に分解して説明します。

1. コアとなる考え方：「まず記憶し、後で学ぶ」

現在のモデルは、パターンを学習しながら同時に記憶しようとします。MeMoはこれを逆転させます。**「まずは引き出しの中に事実を入れてしまおう」**と言うのです。

これは、**「図書館 vs 直感」**のようなものです。

現在のモデル： たくさんの本を読みすぎて、物語の結末が「なんとなくそう感じる」からと推測できる人のようなものです。そのため、間違えたり、別の本の詳細が混ざり込んだりすることがあります。
MeMo： すべての文章に対して特定のカードを持っている司書のようなものです。もしあなたが「The cat sat on the...（猫は〜の上に座った）」の次に来るものを尋ねたら、司書は推測しません。そこに「mat（マット）」と書かれた正確なカードを取り出します。なぜなら、そこに書き留めたからです。

2. 魔法のツール：「相関行列メモリ（Correlation Matrix Memories）」（付箋システム）

この整理棚を機能させるために、MeMoは**相関行列メモリ（CMM）**と呼ばれる数学的なトリックを使用します。

巨大なホワイトボードを想像してください。

入力（キー）： あなたはある文章（例：「The cat sat on the」）を取り、それをユニークでランダムな点のパターン（ベクトル）に変換します。
出力（値）： 次の単語（例：「mat」）を取り、それを別の点のパターンに変換します。
保存： ホワイトボード上に、その「文章のパターン」と「単語のパターン」を繋ぐ線を引きます。

もし百万個の文章があるとしても、同じホワイトボード上に百万本の線を引くだけです。これらのパターンはユニークに設計されているため、線が絡まり合うことはありません。記憶したいときは、単に「文章のパターン」を指し示すだけで、ホワイトボード上の接続された「単語のパターン」が光り輝きます。

なぜこれがすごいのか？

透明性： ホワイトボードを見れば、どの文章がどの単語に接続されているかを正確に確認できます。隠された秘密はありません。
編集： もしロボットに特定の文章を忘れさせたい場合、脳全体を再学習させる必要はありません。ただ消しゴムを取って、ホワイトボードからその一本の線を消すだけでよいのです。

3. 短い記憶の問題（シングルレイヤーの限界）

最初の実験では、研究者たちは単一のホワイトボードを作成しました。これは短い文章（4単語程度のもの）には非常にうまく機能しました。しかし、長い段落を入力しようとすると、線が混み合いすぎてしまい、ロボットは混乱し始めました。それは、まるで一冊の小説を一つの付箋に書き込もうとするようなものです。

4. 解決策：マルチレイヤー・タワー（MeMoアーキテクチャ）

長いテキストを扱うために、MeMoはこれらのホワイトボードを、多層階の図書館のように積み重ねます。

1階： 単語のペアを記憶します（例：「cat」＋「sat」）。
2階： 4つの単語のグループを記憶します（例：「The cat sat on」）。
3階： さらに長い塊を記憶します。

質問を受けると、ロボットは下の階をチェックし、次に上の階をチェックし、といった具合に、各レベルからの手がかりを組み合わせて答えを見つけ出します。これにより、人間が短期記憶を使って完全な文章を組み立てるのと同じように、混乱することなく、より長いシーケンスを記憶できるようになります。

5. 実験が示したこと

研究者たちは、ランダムな文章と単語を用いてこのシステムをテストしました。

容量： ホワイトボードに与える「スペース（パラメータ）」を増やせば増やすほど、より多くの文章を保持できることが分かりました。それは直接的な、線形な関係です。大きなボード＝より多くの記憶。
複雑さ： 文章をより難しくしたとき（「デコイ（おとり）」や、見た目が似ている紛らわしい単語を追加したとき）、**より多くの階層（レイヤー）**が必要であることが分かりました。一階建ての図書館は混乱に対処できませんでしたが、三階建ての図書館は対処できました。
精度： 十分な階層とスペースがあれば、システムは25万以上のシーケンスを、非常に高い精度で記憶することができました。

まとめ

MeMoは、言語モデルをブラックボックス的な推測ゲームとしてではなく、透明で編集可能なファイリングシステムとして扱う、新しい構築方法です。

テキストを数学的な接続を用いて直接保存します。
それらの接続を検索することで、テキストを取り出します。
接続を単に消去することで、テキストを忘れさせます。

論文は、これが言語モデルをより誠実（何を知っているかを確認できる）にし、修正しやすく（特定の悪い記憶を削除できる）、そしてこれらのメモリレイヤーを積み重ねることで長いテキストを扱えるようにすると主張しています。著者らは、これが新しいアーキテクチャであるため、ほとんどのAI開発者が使用している既存のソフトウェアツールにはまだ完全には適合しないものの、メモリ能力自体は非常によく機能していると述べています。

技術要約：MeMo – 連合的メモリメカニズムを備えた言語モデルに向けて

問題提起

現在のTransformerベースの大規模言語モデル（LLM）は、広範なトレーニングを通じて複雑な逐次依存関係を学習することで、高い性能を実現している。ここで、記憶（memorization）は重み最適化の副産物として創発されるものである。著者らは、このアプローチは汎化には優れているものの、保存された情報の透明性や明示的な制御に欠けることが多いと主張している。既存の手法では、学習を主要なメカニズムとし、記憶を二次的な結果として扱う傾向がある。しかし、正確な事実の想起、質問回答、および情報検索を必要とするタスクにおいては、モデルがデータを明示的に記憶する能力が極めて重要である。LLMを編集または制御するための既存の手法は、事後的な介入に依存することが多いが、著者らは根本的な転換を提案している。すなわち、**「記憶が学習に先行する」**設計を行うことである。目標は、トークンシーケンスを透明かつ編集可能な形で明示的に保存し、制御された忘却と保存された知識の直接的な操作を可能にする言語モデルを構築することである。

手法

本論文では、Transformerの標準的な重みベースの学習に代わり、層状の相関行列メモリ（Correlation Matrix Memories: CMM）を導入した新しい言語モデリングアーキテクチャであるMeMoを紹介している。このアーキテクチャは、以下の3つの核心的な理論的柱に基づいている。

多変量ガウス乱数ベクトル: トークンとシーケンスは、高次元空間における乱数ベクトルとして表現される。**ジョンソン＝リンデンシュトラウスの補題（Johnson-Lindenstrauss Lemma）**を活用することで、これらのベクトルは距離を保持したまま低次元空間（ $R^d$ ）へとマッピングされる。これにより、異なるトークンはほぼ直交し（ $a \neq b$ のとき $a^T b \approx 0$ ）、同一のトークンは高度に相関する（ $a = b$ のとき $a^T b \approx 1$ ）ことが保証される。
相関行列メモリ（CMM）: 重みを学習する代わりに、MeMoはキーと値のペアの外積の和として連合を保存する。CMM $C$ は $C = \sum k_i v_i^T$ と定義される。ここで、 $k_i$ はシーケンス（キー）を表し、 $v_i$ は次のトークン（値）を表す。検索は、入力シーケンスベクトルとCMM行列を乗算することによって行われる。
ジョンソン＝リンデンシュトラウス変換（JLT）: この変換は、トークンシーケンスをターゲットとなる空間 $R^d$ に埋め込むために使用され、入力シーケンスと出力ベクトルの両方が同じ次元空間に存在することを保証し、連合的な検索プロセスを容易にする。

アーキテクチャのバリエーション

論文では2つの構成について詳述している：

単層MeMo（Single-Layer MeMo）: 単一のCMMを使用して、固定長ウィンドウ（ $h$ ）のトークンを記憶し、次のトークンを予測する。これは、トークンの重なりに基づいて、単一の行列が部分的なシーケンスに対して汎化できることを示している。
多層MeMo（Multi-Layer MeMo）: より長いシーケンスを扱うために、複数のCMM層をスタックする。
- 記憶フェーズ（Memorization Phase）: 下位層は、要素のシーケンスをユニークな表現へとエンコードする。これらの表現はCMM内のキーとして保存され、値はエンコードされたシーケンス全体となる。最終層は、長いシーケンスと次のトークンとの関係を保存する。
- 検索フェーズ（Retrieval Phase）: 中間層は、成長するシーケンス長のエンコーディングを抽出し、それらが合算されて最終層にクエリとして送られ、次のトークン予測が行われる。
- 忘却（Forgetting）: MeMoのユニークな特徴は、保存されたテキストを明示的に「忘れる」ことができる点である。これは、CMM行列からシーケンスとトークンの外積を減算することによって達成され、再学習を行うことなく特定の関連性を消去できる。

主な貢献

パラダイムシフト: 本論文は、「記憶するための学習」から「学習するための記憶」への転換を提案しており、記憶が重みの内部に暗黙的に存在するのではなく、明示的かつ構造的に存在するアーキテクチャを設計している。
MeMoアーキテクチャ: 層状のCMMと乱数ベクトル表現に基づく言語モデルを導入し、シーケンス予測のための数学的に透明なメカニズムを提供している。
編集可能性と透明性: 設計自体がモデルの編集をサポートしており、特定のテキストを「忘れる」という具体的な能力を含んでいる。これにより、特定の保存された関連性を削除することで、データ漏洩や社会的バイアスを軽減するメカニズムを提供する。
明示的な知識モデリング: このアーキテクチャは、明示的な知識モデリング（例：知識グラフ、言語学的オントロジー）をニューラル言語モデルに直接統合する可能性を開き、データの飢餓（data hunger）を軽減できる可能性がある。

実験結果

著者らは、単層および多層構成の記憶容量を評価するために実験を行った。

単層の容量: ランダムな記号シーケンスを用いた実験では、CMMの総パラメータ数と、高い精度（平均精度 > 0.9と定義）で保存できるシーケンス数の間に線形関係があることが示された。これは、従来のTransformerで見られる線形スケーリング則と一致するが、明示的な記憶に適用されている。
多層の容量:
- 次元数: 内部次元 $d$ を増やすことで、記憶性能が大幅に向上した。単純なシーケンスで高い精度（> 0.97）を維持するには $d=4096$ が必要であり、高い「デコイ（囮）」率（異なるコンテキストを必要とする繰り返しのトークン）を持つ複雑なシーケンスには $d=8192$ が必要であった。
- 層の深さ: 層の数（ $l$ ）を増やすことで、より長いシーケンスの記憶能力と複雑なコンテキストへの対応能力が向上した。例えば、40個のデコイがある場合、250,000個のシーケンスに対して0.88以上の保存容量を達成するには、少なくとも3つの層が必要であった。
- 汎化: 多層アプローチは、単一層が達成できる範囲を超えて記憶容量を拡張することに成功し、スタックされたCMMアプローチの妥当性を検証した。

重要性と主張

本論文は、MeMoが透明かつ編集可能な言語モデルへの重要な一歩であると主張している。標準的なTransformerの不透明な重み更新から記憶を切り離すことで、MeMoは以下を提供する：

制御: 何を記憶し、どのように保存し、どのようにアクセスするかに対する直接的な制御。
安全性: 明示的な忘却メカニズムを通じて、データ漏洩や社会的バイアスを軽減する能力。
統合: 伝統的な言語学研究や明示的な知識構造を、大規模言語モデルの時代においても活用できる可能性。

著者らは限界についても認めており、現在の実装は既存のHugging Faceエコシステムとの互換性に問題があり、標準的な評価スイートを用いた最新のTransformerとの直接比較が困難であることを指摘している。しかし、それは示されたアーキテクチャの記憶能力を損なうものではないと断言している。本研究の目的は、知識の専門家や言語学者に制御を取り戻し、メモリメカニズムを明示的かつ管理可能なものにすることで、LLMのデータ飢餓を軽減する道筋を示すことにある。