💬 NLP

Stochasticity in Tokenisation Improves Robustness

该论文通过系统研究证明，在预训练和微调阶段引入均匀采样的随机分词策略，能够在不增加推理成本的前提下显著提升大语言模型对随机及对抗扰动的鲁棒性，同时保持模型精度。

原作者： Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

发布于 2026-04-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：为什么现在的超级人工智能（大语言模型）有时候很“脆弱”，以及我们如何通过一种“随机化”的魔法让它们变得更“皮实”。

为了让你轻松理解，我们可以把大语言模型想象成一个正在学习阅读和拼写的超级天才学生。

1. 问题：天才学生的“死板”毛病

想象一下，这个学生（模型）在上学时，老师（训练数据）总是用一种极其标准、固定的方式教他认字。
比如，单词 "revolution"（革命），老师只教他一种写法：作为一个整体 "revolution" 来记忆。

正常情况：考试时，试卷上写的是 "revolution"，学生一眼就能认出，答对了。
脆弱时刻：如果试卷上的字被调皮捣蛋的坏人（黑客）稍微改了一下，比如把 "revolution" 拆成了 "re-vol-ution" 或者 "r-e-v-o-l-u-t-i-o-n"（虽然意思没变，但切分方式变了），这个学生就懵了！他可能会完全认不出来，甚至答错。

这就是论文里说的**“确定性分词”（Deterministic Tokenisation）**的弱点：模型太依赖老师教的那一种固定切分方式，一旦输入稍微有点“乱”，它就崩溃了。这就像你只认识一种字体的"Hello"，一旦别人手写了一个稍微歪歪扭扭的"Hello"，你就认不出来了。

2. 解决方案：引入“随机性”的魔法

论文提出，如果我们在教这个学生的时候，故意让他接触多种多样的切分方式，会发生什么？

想象一下，老师不再只教 "revolution" 这一种写法，而是随机地、偶尔地教他：

有时候教他 "re-vol-ution"
有时候教他 "rev-ol-ution"
有时候教他 "r-e-v-o-l-u-t-i-o-n"

而且，这种随机不是乱来的，是均匀分布的（就像洗牌一样，每种切分方式出现的概率都差不多）。

这就好比：

以前的训练：只让他练一种字体的书法，练得再熟，换个字体就废了。
现在的训练（随机分词）：让他练习各种字体、各种连笔、甚至各种拆字游戏。他不再死记硬背“这一个样子”，而是真正理解了“这个单词”的核心含义。

3. 核心发现：越“乱”练，越“皮实”

作者们做了大量的实验，发现了一个惊人的规律：

随机训练 = 超级抗揍：
那些在训练时见过各种“乱切分”的模型，在面对坏人故意捣乱（对抗性攻击）或者输入有点小错误（随机扰动）时，准确率依然很高。它们变得像练过金钟罩铁布衫一样，不管输入怎么变，核心意思都能抓住。
不仅仅是“见过”，还要“见得多”：
论文发现，如果随机得不够均匀（比如只随机了其中几种切分方式），效果就不够好。必须像洗扑克牌一样，把所有可能的切分方式都均匀地练一遍（论文里叫 UNIFORM-K 或 STOCHASTOK-UNI），效果才是最好的。这就像学生不仅要见过各种字体，还要见过所有可能的字体变体，才能真正无惧变化。
不增加成本：
最棒的是，这种“随机训练”只在学习阶段（训练时）起作用。等到真正考试（推理/使用）时，模型依然可以用最标准、最快速的方式回答问题，不需要额外的计算成本。就像学生平时练了各种字体，考试时写标准字依然很快，但他心里已经无所畏惧了。

4. 一个生动的比喻：乐高积木

旧模型（确定性分词）：
就像你只有一盒乐高，说明书上只教你怎么拼出一辆红色的车。如果别人给你一盒积木，让你拼一辆蓝色的车，或者把零件顺序打乱，你就不会拼了，因为你的大脑只记住了“红色车”的固定拼法。
新模型（随机分词）：
现在的训练方法，是让你用同一盒积木，随机地拼出各种形状：有时候拼车，有时候拼船，有时候把零件拆散了再重组。
结果就是，当你真正拿到任务时，无论别人给你什么形状的积木，或者怎么打乱顺序，你都能迅速反应过来：“哦，这其实还是那堆积木，我能拼出我要的东西！”

总结

这篇论文告诉我们：不要只教 AI 一种“标准答案”的读法。

通过在训练过程中引入随机的、多样化的切分方式，我们可以让大语言模型变得更聪明、更灵活、更不容易被黑客攻击或输入错误搞垮。这就像给 AI 穿上了一层隐形的防弹衣，让它在面对各种混乱和恶意攻击时，依然能保持冷静和准确。

一句话总结： 让 AI 在训练时“多见识、多折腾”，它才能在现实世界中“稳如泰山”。

论文技术总结：分词中的随机性提升鲁棒性 (Stochasticity in Tokenisation Improves Robustness)

1. 研究背景与问题 (Problem)

大型语言模型（LLM）的广泛使用引发了对其安全性和鲁棒性的担忧。现有的 LLM 通常使用确定性分词（Deterministic Canonical Tokenisation，如 BPE）将文本转换为 Token 序列。这种确定性机制存在以下脆弱性：

对抗性攻击的切入点：由于解码是多对一的映射，同一个字符串可以对应多种不同的 Token 序列（非标准分词，Non-canonical Tokenisations）。然而，标准训练仅暴露于“标准分词”（Canonical）下。
脆弱性：研究表明，即使输入文本内容不变，仅改变其分词方式（非标准分词），或者在分词空间中进行微小的对抗性扰动，就能导致模型性能急剧下降甚至完全失效（例如破坏对齐或导致错误预测）。
现有方法的局限：虽然之前的研究（如 STOCHASTOK）尝试引入随机分词来增强子词理解，但其采样分布存在偏差（Bias）且支持集不完整（Incomplete Support），在面对最坏情况（对抗性）攻击时，鲁棒性提升有限。

核心问题：训练过程中引入随机分词（Stochastic Tokenisation）能否有效提升模型对随机扰动和对抗性分词攻击的鲁棒性？如果可能，如何设计最优的随机分词方案？

2. 方法论 (Methodology)

作者系统地研究了在不同学习阶段（预训练、监督微调、上下文学习）引入随机分词的效果，并提出了新的采样策略。

2.1 随机分词方案

论文首先分析了现有的 STOCHASTOK 方法，指出其通过随机拆分 Token 来生成非标准分词，但存在两个主要缺陷：

采样偏差：倾向于生成某些特定的拆分组合，而非均匀分布。
支持集不完整：无法生成所有可能的非标准分词（例如，无法直接跨越标准 Token 边界进行拆分）。

为了解决这些问题，作者提出了两种改进的均匀采样方案：

STOCHASTOK-UNI：在保持 STOCHASTOK 的每个 Token 拆分数量分布的前提下，对每个 Token 内部的非标准分词进行均匀采样。这消除了偏差，但拆分仍限制在单个 Token 边界内。
UNIFORM-K：在整个输入序列的编辑距离 $k$ 邻域内，对所有可能的非标准分词进行均匀采样。该方法利用多值决策图（MDD）高效构建采样空间，能够跨越标准 Token 边界，提供最大的灵活性和支持集。
UNIFORM：作为基线，对所有有效非标准分词进行完全均匀采样（计算成本较高）。

2.2 实验设置

模型：Tiny-LLM (50M), Llama-1b, Llama-8b, GPT2-xl, Qwen-0.6b, Gemma-1b。
数据集：
- LANGUAGE GAME & CUTE：专门用于测试子词/字符级理解能力的任务（如字母计数、单词拼写）。
- 通用基准：ARC-E, COPA, CSQA, HellaSwag, PIQA, SocialIQA 等多项选择题数据集。
评估阶段：
1. 预训练 (Pre-training)：从零开始训练。
2. 监督微调 (Fine-tuning)：在预训练模型基础上进行 LoRA 或全参数微调。
3. 上下文学习 (In-Context Learning, ICL)：冻结参数，仅通过提示词中的示例引入随机性。
攻击评估：
- 随机扰动：测试时输入不同级别的随机非标准分词。
- 对抗性攻击：使用贪婪搜索算法（基于局部邻域）寻找能最大化模型错误率的分词序列。

3. 关键贡献 (Key Contributions)

系统性实证分析：首次系统性地评估了随机分词在预训练、微调和 ICL 三个阶段对鲁棒性的影响。发现微调阶段引入随机分词是提升鲁棒性最有效且成本最低的方式。
揭示采样分布的重要性：证明了 STOCHASTOK 的偏差和有限支持集是其鲁棒性瓶颈。提出了 STOCHASTOK-UNI 和 UNIFORM-K，通过均匀采样显著提升了模型对对抗性攻击的防御能力。
理论分析：从理论上推导了分类器的对抗风险上界。证明了随机分词通过平滑嵌入空间（Embedding Space），降低了模型对 Token 扰动的局部 Lipschitz 常数，从而在理论上保证了更低的对抗风险。
实践指南：提出了一个实用的建议——在微调阶段使用随机分词，可以在不增加推理成本的情况下，显著提升模型对非标准分词和对抗攻击的鲁棒性。

4. 主要结果 (Key Results)

4.1 鲁棒性提升

微调效果显著：在 Llama-1b 上，使用标准分词微调的模型，在测试时遭遇均匀采样的非标准分词时，准确率下降了 29.8%。而使用 UNIFORM-K 进行微调的模型，准确率下降幅度极小（甚至略有提升），且保持了在标准分词下的高准确率。
对抗性防御：
- 标准微调模型在对抗性攻击下，准确率从 94% 暴跌至 6.1%。
- 使用 UNIFORM-K 微调的模型，在同等攻击下，准确率保持在 69.6%。
- 均匀采样方案（UNIFORM-K, STOCHASTOK-UNI）在对抗性鲁棒性上显著优于原始的 STOCHASTOK。

4.2 不同训练阶段的表现

预训练：随机预训练能提升子词理解能力，但单独使用对鲁棒性的提升不如微调明显。
微调：是提升鲁棒性的关键。即使在标准预训练模型上，仅通过随机分词微调，也能获得极强的鲁棒性。
上下文学习 (ICL)：虽然 ICL 也能带来一定的鲁棒性提升，但效果不如微调显著，且需要更多的上下文示例。

4.3 理论验证

理论推导表明，对抗风险上界与 Token 编辑距离 $k$ 的平方根成正比，且与模型权重范数相关。
实验测量显示，随机分词训练后的模型，其不同 Token 变体在隐藏层表示中的欧氏距离更小，表明模型内部表示更加平滑，对分词变化不敏感。

5. 意义与影响 (Significance)

安全性提升：揭示了 LLM 在分词层面的脆弱性，并提供了一种无需改变模型架构或增加推理成本的防御方案。
训练范式建议：挑战了“仅使用标准分词训练”的惯例，建议在未来的 LLM 微调中，将随机分词作为标准实践，以构建更健壮的模型。
理论贡献：建立了分词策略与模型对抗鲁棒性之间的理论联系，为理解 LLM 的内在表示机制提供了新视角。
实际部署：该方法计算成本低（仅在训练时引入随机性，推理时仍可使用标准分词），易于集成到现有的 LLM 训练流程中，具有极高的实用价值。

总结：该论文证明了通过在训练（特别是微调）阶段引入均匀采样的随机分词，可以显著增强大型语言模型对输入扰动和对抗性攻击的鲁棒性，同时保持模型在正常任务上的性能。这为构建更安全的 LLM 提供了一条高效且理论支撑明确的新路径。