💻 computer science

To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning

该论文通过理论与实验揭示了 Transformer 在符号推理中因未见 token 的解嵌入向量发生“表示坍缩”而导致泛化失败，并提出结合架构调整、数据多样性及嵌入重置等策略有效解决了这一问题，同时在 Gemma 3 等真实模型中验证了该现象的存在。

原作者： Nevena Lazić, Liam Fowl, András György, Csaba Szepesvári

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nevena Lazić, Liam Fowl, András György, Csaba Szepesvári

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）做了一次“体检”，发现了一个它们在学习“逻辑推理”时容易犯的一个隐蔽但致命的毛病。

简单来说，这篇论文讲的是：为什么现在的 AI 模型在处理“从未见过的符号”时容易变傻，以及我们如何修好它。

为了让你更容易理解，我们可以把 AI 模型想象成一个正在学习逻辑推理的小学生，把训练过程想象成上课。

1. 核心问题：小学生的“记性”出了什么错？

想象一下，老师（训练数据）给这个小学生出了一道逻辑题：

规则：如果 A，那么 B。
事实：A 是真的。
问题：B 是真的吗？

如果题目里的 A 和 B 是老师讲过的（比如“苹果”和“水果”），小学生能答对。但如果老师突然换了一套全新的符号，比如用"U"和"U1"代替 A 和 B，而且这些符号在以前的课本里从未出现过，小学生就懵了。

之前的研究发现，小学生之所以答错，是因为它不敢或者不会把那些没见过的符号（"U"）抄写到答案里。它倾向于用以前见过的旧符号去瞎编。

2. 这篇论文的新发现：符号“撞车”了（Collapse）

这篇论文发现了一个更深层的原因，叫做**“嵌入坍塌”（Embedding Collapse）**。

🌟 创意比喻：把名字搞混的“通讯录”

想象这个小学生脑子里有一个通讯录，用来记录每个符号（比如 A、B、U、U1）对应的“身份卡片”（也就是论文里说的 Embedding/Unembedding）。

正常情况：A 的卡片是红色的，B 的卡片是蓝色的，U 的卡片是绿色的。它们长得不一样，小学生能分得清。
坍塌情况：随着学习的深入，神奇的事情发生了。那些从未见过的符号（U, U1, U2...）的身份卡片，在训练过程中竟然慢慢变得一模一样了！它们都变成了模糊的灰色，甚至挤在了一起。

后果是什么？
当题目问“如果 U1 那么 U2"时，因为 U1 和 U2 在小学生脑子里的“身份卡片”长得几乎一样，他根本分不清谁是谁。对他来说，U1 和 U2 就像是两个长得一模一样的双胞胎，无法区分。既然分不清，他就没法进行逻辑推理，只能瞎猜或者放弃。

为什么会这样？
论文从数学上证明了，只要模型在训练时使用了某种常见的优化技巧（比如“权重衰减”和“层归一化”），那些没见过的符号就会因为缺乏区分度，被迫“抱团取暖”，最后变成同一个样子。

3. 解决方案：如何治好小学生的“脸盲症”？

既然知道了病因，作者们开出了三剂“药方”，组合起来效果最好：

给模型装个“复印机”（Copy Attention）：
- 比喻：以前模型写答案时，是靠“回忆”来生成文字。现在，我们在模型里加了一个特殊的“复印按钮”。当它看到输入里有"U"，这个按钮能直接把它原封不动地复印到输出里，不需要去“理解”或“生成”它。
- 作用：这解决了模型“不敢写没见过的字”的问题。
增加“多样性”教材（Data Diversity）：
- 比喻：不要只给小学生看 10 种符号的题，要给他看几千种不同的符号。
- 作用：让模型见识够多，它就知道“哦，原来世界上有这么多不同的符号，我不能把它们都当成一个东西”。
定期“清空大脑”或“冻结名字”（Freezing/Resetting）：
- 比喻：
  - 冻结：告诉小学生：“这些新符号的身份卡片，你们不许改，就按老师最初发的样子记着。”这样它们就不会因为学习过程而变得一模一样。
  - 定期重置（Active Forgetting）：每隔一段时间，把那些没见过的符号的“身份卡片”擦掉，重新随机发一张新的。这就像定期给通讯录“洗牌”，防止它们慢慢挤在一起。

4. 现实世界的验证：Gemma 模型也中招了

作者不仅在小模型上做了实验，还去检查了谷歌的 Gemma 3 这种大型开源模型。

发现：Gemma 3 里预留了 99 个“备用符号”（平时不用，留给以后开发用）。作者发现，这些备用符号在模型脑子里的身份卡片，果然也挤在了一起，长得非常像（相关性很高）。
后果：如果你想用这些备用符号去微调（Fine-tuning）模型做新任务，你会发现模型学得非常慢，因为它要花很长时间才能把这些“长得像”的符号区分开。

总结

这篇论文告诉我们：
AI 模型在处理逻辑推理时，并不是真的在“思考”，而是在玩“找规律”的游戏。如果它遇到的符号是全新的，它的“记忆库”就会把新符号搞混（坍塌），导致它变笨。

解决办法很简单：

给它一个复印机，让它能直接抄写新符号。
给它看更多样的教材。
要么锁住新符号的记忆，要么定期刷新，防止它们混为一谈。

这就好比教孩子认字，如果新字长得太像，孩子就会混淆。我们要做的，就是帮孩子把每个新字都贴上独特的标签，或者教他直接照着写，而不是靠猜。

这是一份关于论文《To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning》（看见不可见：Transformer 在符号推理中的泛化能力）的详细技术总结。

1. 研究问题 (Problem)

尽管基于 Transformer 的大语言模型（LLM）在数学和科学等需要形式推理的任务上取得了显著成功，但它们在面对抽象符号推理（Abstract Symbolic Reasoning）任务时表现出明显的脆弱性。具体而言，当推理任务涉及训练期间未见过的新变量名（Unseen Tokens）时，模型往往无法泛化。

核心痛点：之前的研究表明，模型难以泛化到未见过的新符号，部分原因被归结为模型难以“复制”或生成未见过 token 的能力。
本文发现：作者指出，除了复制困难外，还有一个被忽视的关键机制问题：未见过 token 的解嵌入向量（Unembeddings，即最后一层权重）在训练过程中会发生“坍缩”（Collapse）。这意味着不同未见过变量的向量表示变得几乎相同，导致模型无法区分它们，从而无法进行正确的逻辑推理。

2. 方法论 (Methodology)

作者结合理论分析与受控实验，深入研究了这一现象并提出了解决方案。

2.1 理论分析：Softmax 权重的坍缩

模型设定：考虑带有 $\ell_2$ 正则化（Weight Decay）和 LayerNorm 的 Transformer，使用 SGD 或 AdamW 进行训练。
理论证明：作者证明了在梯度下降过程中，如果某些标签（Token）在训练数据中从未出现，且输入特征有界（LayerNorm 保证了这一点），那么这些未见标签对应的解嵌入权重（Unembedding weights）之间的距离会随着训练步数增加而收缩。
结论：在正则化和 LayerNorm 的作用下，未见 token 的权重向量会不可避免地坍缩到几乎相同的方向，使得模型难以区分不同的未见变量。

2.2 实验设置：命题逻辑推理

任务：构建合成命题逻辑问题（Horn 子句），包含规则（如 "If A then B"）、事实（"A"）和查询（"B?"）。
推理机制：使用思维链（Chain-of-Thought, CoT）生成前向链接（Forward-chaining）推理过程。
评估指标：测试模型在三种情况下的准确率：
1. 所有 token 均见过（In-distribution）。
2. 仅查询变量未见（Unseen query）。
3. 所有谓词变量均未见（All predicates unseen）。
变量控制：改变训练数据的符号多样性（Vocabulary Size）、是否使用 Copy Attention 架构、以及 (Un)Embedding 的处理策略（可训练、冻结、周期性重置）。

2.3 提出的解决方案

为了解决坍缩问题并实现泛化，作者提出了一种组合策略：

架构改进（Copy Attention）：引入一种简化的注意力机制，允许模型直接从输入嵌入（Input Embeddings）中“复制” token，增强生成未见 token 的能力。
数据多样性：增加训练数据中符号的多样性（即使用更大的词汇表），以维持模型的归纳偏置。
防止坍缩机制：
- 冻结 Embeddings：在训练过程中冻结 (Un)Embedding 参数，保持其初始的正交性。
- 主动遗忘（Active Forgetting）：周期性重置（Re-initialize）(Un)Embedding 参数，防止它们坍缩到同一向量。

3. 关键贡献 (Key Contributions)

揭示了“解嵌入坍缩”机制：首次从理论和实证角度证明，Transformer 在训练未见 token 时，其解嵌入权重会发生坍缩，这是导致符号推理泛化失败的根本原因之一。
解释了现有启发式方法的有效性：
- 解释了 Boix-Adserà et al. (2024) 提出的架构修改（增强复制能力）在存在多个未见变量时为何单独使用效果不佳（因为即使能复制，也无法区分坍缩后的变量）。
- 解释了 Anand et al. (2025) 提出的“主动遗忘”（周期性重置 Embedding）为何有效（因为它阻止了坍缩的发生）。
提出了综合解决方案：证明了结合“支持复制的架构”、“高符号多样性数据”以及“冻结或重置 Embedding"可以显著实现未见 token 的泛化。
在大模型上的实证发现：在 Gemma 3 系列开源模型中观察到了类似的坍缩现象（99 个预留的未使用 token 的嵌入高度相关），并发现这些坍缩的嵌入作为下游微调的初始化效果较差。

4. 实验结果 (Results)

4.1 合成数据实验 (Propositional Logic)

标准 Transformer：在未见 token 任务上表现极差，准确率接近随机猜测。模型倾向于忽略未见 token 或用已知 token 替换。
Embedding 坍缩验证：实验显示，随着训练进行，未见 token 的解嵌入向量之间的余弦相似度迅速上升（接近 1.0），而见过 token 的相似度保持较低。
组合策略效果：
- 仅增加多样性：在少量未见 token 时有效，但在所有变量未见时失效。
- Copy Attention + 多样性：在单个未见变量时表现良好，但在所有变量未见时仍受限于坍缩。
- 冻结 Embedding：所有模型版本（无论是否有 Copy Attention）均能成功泛化到未见 token，且 Copy Attention 模型在低多样性下表现更好。
- 周期性重置 (Active Forgetting)：配合 Copy Attention 和高多样性数据，能实现良好的泛化。
- 临时重置：仅在训练初期重置 Embedding 对标准架构无效，但对 Copy Attention 架构有效。

4.2 Gemma 3 大模型实验

坍缩现象：在 Gemma 3 (1B, 4B, 12B, 27B) 模型中，99 个预留未使用 token 的嵌入向量表现出比已使用 token 更高的平均余弦相似度（例如 1B 模型中未使用 token 相似度为 0.78，而已使用仅为 0.09）。模型越大，坍缩程度越小。
微调性能：使用未使用 token 作为谓词微调 Gemma 3 1B 模型时，收敛速度显著慢于使用常见词（如形容词或字母）。达到 90% 准确率，未使用 token 需要约 5000 步，而常见词仅需 500 步。这表明坍缩的嵌入初始化不利于下游任务。

5. 意义与启示 (Significance)

理论层面：澄清了 Transformer 在符号推理中泛化失败的深层机制，指出不仅仅是“复制”能力的问题，更是“表示区分度”的问题。
实践层面：
- 为设计具有更强泛化能力的推理模型提供了具体指导：在涉及符号推理的任务中，应谨慎处理 Embedding 的可训练性，或采用周期性重置策略。
- 解释了为何某些“主动遗忘”策略有效，并指出了其局限性（需配合 Copy 机制）。
- 对大模型微调具有警示意义：模型中预留的未使用 token 可能因训练过程中的坍缩而具有较差的初始化特性，直接用于下游微调可能效率低下。
未来方向：研究如何改进基于坍缩嵌入的微调策略，以及探索多 token 符号的推理能力。

总结：该论文通过理论推导和实验验证，揭示了 Transformer 在处理未见符号时因解嵌入权重坍缩而导致的泛化失败，并提出了通过架构调整（Copy Attention）和参数管理（冻结/重置 Embedding）相结合的有效解决方案，为提升 LLM 的抽象推理能力提供了重要的理论依据和工程指导。