🤖 machine learning

Memory as a Markov Matrix: Sample Efficient Knowledge Expansion via Token-to-Dictionary Mapping

本文提出了一种用于大语言模型持续知识扩展的样本高效框架，通过将记忆表示为马尔可夫转移矩阵，并采用结合最小嵌入更新的令牌到词典映射策略，以实现零灾难性遗忘。

原作者： Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Kaustubh Pethkar, Ziyang Xiong, Zuofeng Shang, Yingcong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（LLM）视为一座巨大且高度有序的“故事图书馆”。每当模型读取一个句子时，就像图书管理员看着最后一个词，并猜测下一个词是什么。

通常，如果你想教这位图书管理员一个全新的词（比如一个新的科学术语或俚语），你必须重新训练整座图书馆。但问题在于：当你为了学习新词而重新训练整座图书馆时，图书管理员往往会忘记如何正确讲述旧故事。这被称为“灾难性遗忘”。

本文提出了一种巧妙且低成本的添加新词方法，而不会破坏旧词。以下是使用简单类比进行的分解说明：

1. 图书馆即“交通地图”（马尔可夫思想）

作者将语言模型视为一张交通地图，而非复杂的大脑。

节点：字典中的每个词都是地图上的一个城市。
道路：词与词之间的连接是道路。如果你位于“这”（The）这座城市，就有特定的道路通向“猫”（cat）、“狗”（dog）或“太阳”（sun）。
记忆：模型的“记忆”仅仅是这些道路的地图。它知道“这”通常以某种概率通向“猫”。

2. 问题：添加一座新城市

当你想教模型一个新词（我们称之为"Zorp"）时，本质上是在地图上添加一座新城市。

旧方法（全量微调）：你试图重绘整张地图以包含"Zorp"。在此过程中，你意外地擦除或改变了旧城市之间的道路。图书管理员忘记了“这”通向“猫”，转而开始说“这”通向"Zorp"。
本文的方法：与其重绘整张地图，你只需为"Zorp"添加一个路标。你只需说：“嘿，如果你看到'Zorp'，就把它完全当作‘这’或‘猫’来处理。”

3. 解决方案：“词元到字典”映射

本文提出了一种称为**词元到字典映射（Token-to-Dictionary Mapping）**的策略。

想象你有一个新的、奇怪的词"Zorp"。与其从头开始教模型"Zorp"的含义，你只需告诉模型：“当你看到'Zorp'时，就假装它是‘星星’（Star）这个词。”
模型不需要为"Zorp"学习新的道路。它只需要知道"Zorp"指向与“星星”相同的目的地。
因为模型无需改变现有的道路（旧词之间的转移概率），它永远不会忘记旧故事。

4. “样本效率”（为何如此快速）

作者从数学上证明了这种方法极其高效。

类比：如果你想学习一个新词，你不需要重新阅读整座图书馆。你只需要阅读几个关于该新词在句子中如何使用的示例。
数学原理：你所需的示例数量取决于你将新词映射到多少个现有词。如果你将"Zorp"仅映射到 5 个常用词，你只需要极少量的数据就能学会它。你无需担心整座图书馆的规模（可能包含 10 万个词）。

5. 实验：教授数学与假词

研究人员在两种场景下测试了这种方法：

魔法运算符：他们教模型一个特殊符号（如 ⟨spec⟩），意为“乘法”。
- 结果：模型非常快地学会了使用该新符号进行乘法运算。
- 胜利之处：关键在于，模型仍然知道如何进行加法运算。在其他方法中，学习新符号会导致模型忘记如何加法。而这种方法完美地保留了加法技能。
假词：他们发明了 100 个无意义的词（如"glor"和"zorp"），并将它们放入句子中。
- 结果：模型学会了正确使用这些假词，同时没有忘记如何说英语。
- 对比：其他方法（如标准微调或 LoRA）导致模型在学习假词时忘记了英语。而新方法导致了零遗忘。

总结

将这种方法想象为在不拆除现有房间墙壁的情况下，为房子添加一个新房间。

旧方法：为了添加一个新房间，你重建了整个地基。旧房间因此开裂并倒塌。
新方法：你建造了新房间，并安装了一扇门，直接通向现有的走廊。旧走廊保持原样，新房间完美契合。

本文声称，这是一种经过数学证明的方法，可以用极少量的数据扩展语言模型的词汇量，且完全不会损失其先前的知识。

技术摘要：将记忆建模为马尔可夫矩阵

问题陈述

大型语言模型（LLM）在持续学习中面临一个关键挑战：如何在引入新知识（例如新词汇、实体或领域）的同时，避免遭受灾难性遗忘。现有的方法，如全量微调、正则化或基于回放的方法，往往在注入新知识时会导致先前学习到的行为退化。此外，这些方法通常依赖于大规模且往往不可逆、计算成本高昂的权重更新。本研究解决的核心问题是：LLM 如何在避免灾难性遗忘的情况下融入少量新知识？

方法论

1. 语言生成的马尔可夫表述

作者提出了一个原则性框架，将自回归语言生成建模为 token 上的马尔可夫过程。

状态空间：Token 对应于马尔可夫链的状态。
转移矩阵：模型的记忆由一个马尔可夫转移矩阵表示，其中下一个 token 的概率 $p_\theta(v | u)$ 定义了从 token $u$ 到 $v$ 的转移动力学。
知识扩展即状态扩展：引入新 token（ $U$ ）被形式化为将状态空间从 $V$ 扩展到 $V \cup U$ 。
零遗忘条件：为防止遗忘，预存 token 之间（ $V \times V$ ）的转移概率必须保持不变。新 token 通过定义其在现有词汇表 $V$ 上的转移分布（ $q(u)$ ）进行整合，而不改变原有的 $V \to V$ 转移。

2. Token 到词典的映射

为了在不修改原始转移结构的情况下实现这种扩展，作者引入了一种Token 到词典的映射策略：

概念：新 token 并非作为具有独特转移动力学的独立实体被学习。相反，每个新 token $u \in U$ 被映射为现有 token 集合 $V$ 中的稀疏组合。
嵌入微调：该映射通过嵌入微调算法实现。仅更新对应于新引入 token 的嵌入向量（或进行扩展）。原始 token 嵌入和模型的转移计算图保持冻结。
机制：通过仅更新新 token 的嵌入，模型学会将新 token 表示为现有语义结构（嵌入）的线性组合，从而有效地重用基础词汇表已学到的转移动力学。

3. 理论分析

该论文在映射策略下建立了学习这些新 token 的样本复杂度界限：

一对一映射：如果新 token 的行为与单个现有 token 完全相同，则样本复杂度随 token 分布之间的KL 分离边界（ $\gamma$ ）缩放，与总词汇量 $T$ 无关。
稀疏组合：在更一般的情况下，即新 token 是 $s$ 个现有 token 的稀疏组合时，所需的样本数量按 $\tilde{O}(s)$ 缩放。关键在于，这种复杂度取决于表示的稀疏性（ $s$ ），而非完整的词汇量（ $T$ ）或模型维度。
高阶链：该框架通过重构状态空间扩展到高阶马尔可夫链（上下文依赖生成），其中样本复杂度取决于自然语言的有效分支因子，而非词汇量的指数级增长。

主要贡献

马尔可夫表述：该论文将语言生成形式化为马尔可夫过程，将模型记忆解释为转移矩阵。它将词汇扩展表述为状态空间扩展问题，通过保留原始转移动力学来消除遗忘。
理论保证：它提供了样本复杂度保证，表明如果新 token 可以稀疏地映射到现有 token，则学习新词汇是高效的。其成本随映射 token 的数量（ $s$ ）线性缩放，而非总词汇量。
嵌入微调算法：作者提出了一种实用算法，仅更新新 token 的嵌入。该方法在构造上诱导零遗忘，因为它保持原始 token 到 token 的转移概率不变。
实证验证：广泛的实验在三种设置下验证了理论：
- 算术运算符：学习用于乘法的新 token 显示，嵌入微调在极少数据下实现了高精度，同时保留了加法能力（零遗忘），而全量微调则导致了对加法的灾难性遗忘。
- 合成词汇：在合成无意义词汇上，嵌入微调在 WikiText 基准测试中实现了零遗忘的强劲性能，而 LoRA 和全量微调则造成了显著的遗忘。
- 跨语言扩展：在扩展西班牙语、德语和阿拉伯语的词汇时，嵌入微调在保持英语近乎零遗忘的同时，实现了最佳的目标语言适应性。

结果与意义

该论文证明，获取少量新知识无需大规模权重更新。通过将新 token 视为现有嵌入词典的稀疏扩展，所提出的方法实现了：

样本效率：与全量微调相比，在显著更少的训练样本下实现高性能。
零遗忘：理论和实证证据证实，仅更新新 token 嵌入可完全保留模型的原始能力。
可扩展性：该方法计算高效，仅需更新极小比例的参数（即新 token 嵌入）。

作者声称，这项工作弥合了理论样本复杂度与实际持续学习之间的差距。通过将 LLM 建模为马尔可夫过程，他们为嵌入微调为何能防止遗忘提供了形式化依据，为基于启发式的参数高效微调方法提供了一种原则性替代方案。该框架表明，学习新知识的“成本”由新概念相对于现有词汇的语义稀疏性决定，而非模型的规模大小。