🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

本論文は、メモリをマルコフ遷移行列として表現し、最小限の埋め込み更新を伴うトークンから辞書へのマッピング戦略を活用してゼロの破滅的忘却を達成することにより、大規模言語モデルにおける継続的な知識拡張のためのサンプル効率的なフレームワークを提案する。

原著者： Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデル（LLM）を、巨大で非常に整理された「物語の図書館」と想像してみてください。モデルが文を読むたびに、それは司書が最後の単語を見て、次にどの単語が来るか推測しているようなものです。

通常、この司書に新しい単語（新しい科学用語や俗語など）を教えたい場合、図書館全体を再訓練する必要があります。しかし、ここには問題があります。新しい単語を学ぶために図書館全体を再訓練すると、司書はしばしば古い物語を正しく語る方法を忘れてしまいます。これを「破滅的忘却」と呼びます。

この論文は、古いものを壊すことなく新しい単語を追加する、巧妙で低コストな方法を提案しています。以下に、簡単なアナロジーを用いて解説します。

1. 図書館を「交通マップ」として見る（マルコフの考え方）

著者らは、言語モデルを複雑な脳ではなく、交通マップとして捉えています。

ノード: 辞書にあるすべての単語は、マップ上の都市です。
道路: 単語間のつながりは道路です。「The」という都市にいる場合、「cat」や「dog」、「sun」へ向かう特定の道路があります。
記憶: モデルの「記憶」とは、これらの道路のマップに過ぎません。「The」は一定の確率で「cat」につながると知っているのです。

2. 問題：新しい都市を追加すること

モデルに新しい単語（「Zorp」と呼びましょう）を教えたいとき、実質的にはマップに新しい都市を追加することになります。

従来の方法（フルファインチューニング）: 「Zorp」を含めるために全体のマップを再描画しようとします。その過程で、古い都市間の道路を誤って消去したり変更したりしてしまいます。司書は「The」が「cat」につながると覚えていながら、「Zorp」につながると言い始めるようになります。
この論文の方法: 全体を再描画するのではなく、「Zorp」のための道標を追加するだけです。「ねえ、『Zorp』を見かけたら、『The』や『Cat』を扱うのと同じように扱って」と言うのです。

3. 解決策：「トークンから辞書への」マップ

この論文は、トークンから辞書へのマッピングという戦略を提案しています。

新しい奇妙な単語「Zorp」があるとしましょう。モデルに「Zorp」の意味をゼロから教えるのではなく、「『Zorp』を見かけたら、まるで『Star』という単語であるかのように振る舞って」とモデルに伝えます。
モデルは「Zorp」のための新しい道路を学ぶ必要はありません。「Zorp」が「Star」と同じ目的地を指すことを知るだけで十分です。
モデルは既存の道路（古い単語間の遷移確率）を変更する必要がないため、古い物語を決して忘れません。

4. 「サンプル効率性」（なぜ速いのか）

著者らは、これが驚くほど効率的であることを数学的に証明しています。

アナロジー: 新しい単語を学びたい場合、図書館全体をもう一度読む必要はありません。その新しい単語が文の中でどのように使われるか、いくつかの例を読むだけで十分です。
数学: 必要な例の数は、新しい単語をどの既存の単語にマッピングするかによって決まります。「Zorp」を単に 5 つの一般的な単語にマッピングする場合、それを学ぶために必要なデータはごくわずかです。図書館全体のサイズ（10 万語あるかもしれない）を気にする必要はありません。

5. 実験：数学と架空の単語を教える

研究者たちは、2 つのシナリオでこれをテストしました。

魔法の演算子: 彼らは「乗算」を意味する特別な記号（⟨spec⟩ のようなもの）をモデルに教えました。
- 結果: モデルは新しい記号を使って非常に素早く乗算を学びました。
- 勝利: 決定的な点は、モデルが依然として足し算のやり方を知っていたことです。他の方法では、新しい記号を学ぶことでモデルは足し算のやり方を忘れてしまいました。この方法では足し算のスキルは完璧に保たれました。
架空の単語: 彼らは「glor」や「zorp」のような 100 個のナンセンスな単語を考案し、文の中に組み込みました。
- 結果: モデルは英語を話す方法を忘れることなく、これらの架空の単語を正しく使えるようになりました。
- 比較: 他の方法（標準的なファインチューニングや LoRA など）では、モデルが架空の単語を学ぶにつれて英語を忘れてしまいました。新しい方法では忘却はゼロでした。

まとめ

この方法を、既存の部屋の壁を壊すことなく新しい部屋を追加することと考えてください。

従来の方法: 新しい部屋を追加するために、基礎全体を再建します。古い部屋はひび割れて崩れ落ちます。
新しい方法: 新しい部屋を建て、既存の廊下へ直接つながるドアを取り付けます。古い廊下はそのまま変わりませんし、新しい部屋は完璧に収まります。

この論文は、この方法が非常に少量のデータで言語モデルの語彙を拡張し、かつ以前の知識を一切失うことなく行うことができる、数学的に証明された方法であると主張しています。

技術的概要：マルコフ行列としてのメモリ

問題定義

大規模言語モデル（LLM）は、継続的学習において、新しい知識（例えば、新しい語彙、実体、またはドメイン）を取り込む際に、破滅的忘却に陥らずに済むという重大な課題に直面しています。フルファインチューニング、正則化、またはリプレイベースの手法などの既存のアプローチは、新しい知識が注入されるにつれて、以前に学習された行動を劣化させる傾向があります。さらに、これらの手法は通常、大規模な重み更新に依存しており、それは往々にして不可逆的で計算コストが高額です。この研究が扱う核心的な問いは、LLM は、破滅的忘却を招くことなく、少量の新しい知識をどのように取り込むことができるか？ です。

手法

1. 言語生成のマルコフ的定式化

著者らは、自己回帰的な言語生成をトークン上のマルコフ過程としてモデル化する、原理的な枠組みを提案します。

状態空間: トークンはマルコフ連鎖の状態に対応します。
遷移行列: モデルのメモリはマルコフ遷移行列で表現され、次のトークンの確率 $p_\theta(v | u)$ は、トークン $u$ から $v$ への遷移ダイナミクスを定義します。
知識拡張としての状態拡張: 新しいトークン ( $U$ ) の取り込みは、状態空間を $V$ から $V \cup U$ に拡張することとして形式化されます。
ゼロ忘却条件: 忘却を防ぐために、既存のトークン間 ( $V \times V$ ) の遷移確率は不変でなければなりません。新しいトークンは、元の $V \to V$ 遷移を変更することなく、既存の語彙 $V$ に対する遷移分布 ( $q(u)$ ) を定義することで統合されます。

2. トークンから辞書へのマッピング

この拡張を元の遷移構造を変更することなく実現するために、著者らはトークンから辞書へのマッピング戦略を導入します。

概念: 新しいトークンは、固有の遷移ダイナミクスを持つ独立した実体として学習されるわけではありません。代わりに、各新しいトークン $u \in U$ は、既存のトークン $V$ のスパースな組み合わせにマッピングされます。
埋め込み調整: このマッピングは、埋め込み調整アルゴリズムによって実装されます。新しく導入されたトークンに対応する埋め込みベクトルのみが更新（または拡張）されます。元のトークン埋め込みとモデルの遷移計算グラフは凍結されたままです。
メカニズム: 新しいトークンの埋め込みのみを更新することにより、モデルは新しいトークンを既存のセマンティック構造（埋め込み）の線形結合として表現することを学習し、結果としてベース語彙の学習済みの遷移ダイナミクスを効果的に再利用します。

3. 理論的解析

本論文は、このマッピング戦略の下でこれらの新しいトークンを学習するためのサンプル複雑性の境界を確立します。

1 対 1 マッピング: 新しいトークンが単一の既存トークンと同一に振る舞う場合、サンプル複雑性はトークン分布間のKL 分離マージン ( $\gamma$ ) に比例し、総語彙サイズ $T$ には依存しません。
スパースな組み合わせ: 新しいトークンが $s$ 個の既存トークンのスパースな組み合わせであるというより一般的な場合、必要なサンプル数は $\tilde{O}(s)$ に比例します。重要なのは、この複雑性が総語彙サイズ ( $T$ ) やモデルの次元ではなく、表現のスパース性 ( $s$ ) に依存することです。
高次連鎖: この枠組みは、状態空間を再構築することで高次マルコフ連鎖（文脈依存生成）に拡張され、サンプル複雑性は語彙の指数関数的増加ではなく、自然言語の有効な分岐係数に依存します。

主要な貢献

マルコフ的定式化: 本論文は言語生成をマルコフ過程として形式化し、モデルのメモリを遷移行列として解釈します。それは、元の遷移ダイナミクスを保持することで忘却を排除する状態空間拡張問題として語彙拡張を枠組み化します。
理論的保証: 新しいトークンを既存のトークンにスパースにマッピングできる場合、新しい語彙の学習が効率的であることを示すサンプル複雑性の保証を提供します。コストはマッピングされたトークンの数 ( $s$ ) に比例し、総語彙サイズには比例しません。
埋め込み調整アルゴリズム: 著者らは、新しいトークンの埋め込みのみを更新する実用的なアルゴリズムを提案します。この手法は、元のトークン間の遷移確率を一切変更しないため、構築上ゼロ忘却を実現します。
実証的検証: 広範な実験により、以下の 3 つの設定で理論が検証されました。
- 算術演算子: 乗算のための新しいトークンを学習したところ、埋め込み調整は最小限のデータで高い精度を達成し、加算能力を保持（ゼロ忘却）しましたが、フルファインチューニングは加算の破滅的忘却を引き起こしました。
- 合成語彙: 合成のナンセンス語において、埋め込み調整は WikiText ベンチマークでゼロ忘却を伴う強力な性能を達成しましたが、LoRA やフルファインチューニングは顕著な忘却を招きました。
- クロスリンガル拡張: スペイン語、ドイツ語、アラビア語の語彙拡張において、埋め込み調整は英語においてほぼゼロの忘却を維持しつつ、目標言語への適応において最良の結果を達成しました。

結果と意義

本論文は、少量の新しい知識を獲得するために大規模な重み更新は不要であることを実証しています。新しいトークンを既存の埋め込み辞書のスパースな拡張として扱うことで、提案手法は以下の成果を達成します。

サンプル効率: フルファインチューニングと比較して、はるかに少ない学習サンプルで高い性能を達成します。
ゼロ忘却: 新しいトークンの埋め込みのみを更新することがモデルの元の能力を完全に保持することを、理論的および実証的な証拠が確認しています。
スケーラビリティ: このアプローチは計算効率が良く、パラメータのごく一部（新しいトークンの埋め込み）のみを更新すれば済みます。

著者らは、この研究が理論的なサンプル複雑性と実用的な継続的学習の間の溝を埋めることを主張しています。LLM をマルコフ過程としてモデル化することで、彼らは埋め込み調整がなぜ忘却を防ぐのかの形式的な正当性を提供し、ヒューリスティックに基づくパラメータ効率的ファインチューニング手法に対する原理的な代替案を提供します。この枠組みは、新しい知識を学習する「コスト」はモデルの規模そのものではなく、既存の語彙に対する新しい概念のセマンティックなスパース性によって支配されることを示唆しています。