🤖 AI

SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization

本文提出了 SimReg，一种用于大语言模型预训练的嵌入相似性正则化方法，该方法通过降低类内方差和类间相似性，将收敛速度提升超过 30%，并将下游零样本性能提高超过 1%。

原作者： Yan Sun, Guoxia Wang, Jinle Zeng, JiaBin Yang, Shuai Li, Li Shen, Dacheng Tao, DianHai Yu, Haifeng Wang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yan Sun, Guoxia Wang, Jinle Zeng, JiaBin Yang, Shuai Li, Li Shen, Dacheng Tao, DianHai Yu, Haifeng Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文 SimReg 的解释。

宏观图景：教机器人阅读

想象一下，你正在训练一个非常聪明的机器人（大型语言模型），让它预测句子中的下一个词。你给它展示数百万个句子，它通过猜测下一个词来学习。如果猜对了，它就得到一颗金星；如果猜错了，它就得到一句温和的“再试一次”。

这就是这些模型通常的训练方式：它们只是努力答对问题。但这篇论文的作者们发现，这种“金星”方法存在一个问题。

问题：“拥挤房间”的困惑

把机器人的大脑想象成一个巨大的房间，它认识的每一个词都像一个住在里面的人。

目标： 朋友（意思相同或属于同一类别的词）应该站得近一些；陌生人或敌人（意思不同的词）应该站得远一些。
当前方法（交叉熵）： 机器人被告知：“确保你在这一特定时刻选对那个人。”
缺陷： 由于语言非常灵活，机器人会感到困惑。句子“猫跳过墙壁”中的“墙壁”一词，与句子“孩子在墙壁附近画画”中的“墙壁”一词，虽然是同一个词，但来自完全不同的语境。
- 在旧方法下，机器人将这两个“墙壁”视为站在房间不同角落的两个不同的人。
- 同时，机器人可能会不小心把“墙壁”和“天花板”（这是两个不同的词）安排得紧挨在一起，因为它们出现在相似的语境中。
- 结果： 房间变得混乱不堪。每个人都离其他人太近，导致机器人以后很难将它们区分开来。

解决方案：SIMREG（“群体拥抱”规则）

作者提出了一项名为 SIMREG（相似性正则化）的新规则。这就像在训练过程中增加了一位第二位老师，提供额外的指导。

当第一位老师说“答对问题”时，第二位老师（SIMREG）则说：

“群体拥抱”： 如果同一个句子中的两个词元（词）拥有相同的“真实标签”（意味着它们是同一类事物），你们必须站得更近！
“社交距离”： 如果两个词元拥有不同的标签，你们必须站得远一些！

这迫使机器人整理它的“思维房间”。它不再仅仅死记硬背某一个特定句子的答案，而是学会了“所有的‘墙壁’都属于‘墙壁’社区”，无论它们出现在哪个句子中。

实际运作方式

这篇论文在几个不同大小的机器人大脑（如 LLaMA 和 Mixtral 等模型）上测试了这种方法。

更快的学习速度： 由于机器人的“思维房间”现在井井有条，它学习速度快得多。论文声称训练速度提升了 30% 以上。这就像在杂乱无章的堆里找书与在整齐有序的图书馆里找书之间的区别。
更好的性能： 当机器人接受新任务测试（如回答问题或解决逻辑谜题）时，表现更好。论文发现，在标准测试中平均提升了 1% 以上。
稳定性： 机器人在训练过程中不会感到困惑或“崩溃”。随着机器人变得更大、更聪明，这条新规则能保持组织的稳定性。

“分块”技巧

如果你房间里有一百万人，计算谁该和谁站得近是非常困难的。这会消耗过多的计算机算力。

创新点： 作者意识到，他们不需要一次性检查“每个人”与“每个人”的关系。他们可以将房间分成更小的“块”（组）。
结果： 他们可以独立地组织这些组，然后将结果拼接起来。这在不牺牲效益的情况下，节省了巨大的内存和时间。这就像组织一场音乐会，让每个声部（铜管、弦乐、打击乐）各自整理自己的排座，而不是试图让一万人排成一条长龙。

核心结论

这篇论文认为，仅仅告诉语言模型“答对问题”是不够的。你还需要教它 如何组织它的知识。

通过添加一条简单的规则，强制相似的词聚在一起，不同的词彼此分开，模型学得更快、更准确，并且更高效地组织它的“大脑”。这是对训练配方的一点小改动，却带来了性能的大幅提升。

技术摘要：SimReg——通过嵌入相似性正则化实现预训练更高性能

1. 问题陈述

大语言模型（LLM）从根本上依赖于下一个 token 预测，该过程可被视为对先前上下文组合表示的分类问题。虽然使用交叉熵损失进行预训练推动了显著进展，但作者指出了一个关键局限：上下文相关的 token 嵌入性质导致了高类内方差和类间相似性。

与图像分类不同（在图像分类中，特定对象（例如猫）始终映射到稳定的标签和嵌入），语言 token 的预测基于多样化的上下文特征。因此，预测相同 token 的嵌入（例如不同句子中的"walls"）会因其不同的上下文而产生显著差异。论文认为，标准交叉熵损失未能对这些嵌入施加强一致性。实证分析表明，虽然交叉熵在训练早期迅速约束了对比相似性，但一旦达到基本可分离性阈值，其效果便会趋于平稳。即使随着模型规模增大，它也无法继续推动分类边界的扩大，或强制 token 嵌入之间具有足够的异质性。这一局限阻碍了表示学习的效率并减缓了收敛速度。

2. 方法：SIMREG

为解决这些问题，作者提出了SIMREG（相似性正则化），这是一种旨在大规模预训练期间显式正则化嵌入相似性的损失函数。

核心机制

对于序列中的每个 token，该方法根据其真实标签将所有 token 划分为正样本组和负样本组：

正样本组 ( $P_i$ )： 与锚点 token 共享相同真实标签的 token。
负样本组 ( $N_i$ )： 具有不同标签的 token。

SIMREG 损失旨在最小化正样本组内嵌入之间的距离，同时最大化与负样本组的分离度。第 $i$ 个 token 的损失公式化为：
$L_i = L_{ce}^i + \lambda \cdot \text{softplus}(L_{sr}^i)$
其中 $L_{sr}^i$ 是相似性正则化项：
$L_{sr}^i \triangleq \log \sum_{j \in N_i} \phi_{i,j} - \log \sum_{j \in P_i} \phi_{i,j}$
此处， $\phi$ 表示由温度系数 $\tau$ 缩放的嵌入之间的余弦相似度。为确保稳定性和有效性，该方法包含：

自相似性： 将锚点 token 添加到其自身的正样本组中，以确保即使对于序列中的唯一 token，也至少存在一个正样本对。
Softplus 缩放： 确保正则化损失保持非负。
组级平均： 在组级而非样本级计算损失，以平衡各 token 的贡献并在长训练过程中保持稳定性。

实现细节

分块计算： 为处理长序列内相似度计算的 $O(n^2)$ 复杂度，并支持序列并行（SP）而不产生过高的通信开销，作者将序列划分为块。损失在块内部计算，将复杂度降低至 $O(n^2/b)$ ，其中 $b$ 为块的数量。
放置位置： 实证研究表明，在模型的最后层应用 SIMREG 最为有效，因为中间层编码了纠缠的上下文信息，而最后层则将这些信息投影到用于预测的独立语义空间中。

3. 理论分析

论文通过分析 SIMREG 对分类边界的影响，为其有效性提供了理论依据。

边界扩大： 作者证明，交叉熵损失的上界由分类边界（ $m_i$ ）的指数函数界定。通过最小化 SIMREG 损失，token 嵌入的正样本中心向同类样本移动，而负样本中心则远离。
收敛界： 理论证明表明，该过程将分类边界（ $m_k$ ）至少增加 $\delta \|\epsilon^+\| + \sqrt{2}L_P \gamma$ ，其中 $\epsilon^+$ 是来自相似性损失的扰动。这种边界的扩大导致交叉熵损失呈倍数减少，理论上加速了预训练过程。

4. 主要贡献

提出 SIMREG： 一种新颖的嵌入相似性正则化损失，在大规模预训练期间显式鼓励类内一致性和类间分离，解决了仅靠交叉熵的局限性。
理论洞察： 详细分析了 SIMREG 如何扩大多分类边界，从而降低交叉熵损失的上界并改善优化动态。
可扩展实现： 一种分块计算策略，使得在序列并行设置中高效应用相似性正则化成为可能，适用于大规模模型。
全面评估： 在密集模型（LLaMA-350M 至 7B）和混合专家模型（Mixtral-8×1B）架构上进行了广泛的实验。

5. 实验结果

作者在标准基准测试上评估了 SIMREG，使用了参数范围从 350M 到 7B 的模型以及 Mixtral-8×1B MoE 模型。

训练加速： SIMREG 一致地加速了训练收敛。在 LLaMA 模型上，与基线相比，达到相同交叉熵损失水平所需的训练速度提升了30% 以上（在 7B 模型上高达 38%）。
下游性能： 该方法在标准基准测试上将下游任务的平均零样本性能提高了超过 1%（例如，LLaMA-1.3B 上提升 +1.14%，LLaMA-7B 上提升 +1.22%）。
嵌入可分离性： 分析显示，仅使用交叉熵时，平均类间角度约为 61.3 度，而添加 SIMREG 后，该角度增加至约74 度，表明特征可分离性显著改善。
效率： 完整的 SIMREG 损失引入的运行时间增加不到 2%，GPU 内存增加不到 1%。分块变体几乎不消耗额外资源。
超参数敏感性： 该方法在广泛的超参数范围内具有鲁棒性。最佳温度 $\tau$ 稳定在 0.01，而 $\lambda$ 随模型嵌入维度有效缩放（大致与 $\sqrt{d}$ 成正比）。

6. 意义与主张

论文声称，SIMREG 提供了一种简单但广泛适用的策略，以提升 LLM 预训练的效率和泛化能力。通过显式强制嵌入一致性，它克服了标准交叉熵训练中观察到的表示学习停滞问题。作者将这项工作定位为一种实用进展，仅需极少的额外计算成本，即可在训练速度和下游任务性能方面带来显著收益。他们强调，一致性正则化此前主要在微调或较小规模设置中探索，但在扩展至大规模模型的预训练阶段时同样非常有效。