💬 NLP

Emergent retokenization symmetry in large language models: phenomenology and applications

本文表明，大型语言模型在训练过程中部分发展出了对语义等价分词序列的涌现对称性，揭示了“重分词”（即用替代的有效分词序列替换规范的分词序列）不仅可以作为衡量组合理解能力的纯净探测手段，也是一种能够找回传统方法所遗漏解的新颖推理时采样策略。

原作者： Kanishk Jain, Matthew Day, Tankut Can

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Kanishk Jain, Matthew Day, Tankut Can

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在读一本书，但书里的文字并不是以完整的单词呈现，而是被印成了一种奇怪的代码，每个单词都被切成了大小不一的块。有时“probable”是一个整体块；而有时，它会被切成两块：“prob”和“able”。

在大型语言模型（LLM）的世界里，它们正是这样阅读的。它们看到的不是字母，而是“标记”（tokens，即文本块）。通常情况下，计算机有一个严格的规则手册（分词器/tokenizer），规定：“始终将 'probable' 切分为 'prob' 和 'able'。”这就是**规范的（canonical）**方式。

这篇论文提出了一个引人入胜的问题：如果我们打破规则会怎样？ 如果我们把完全相同的句子喂给模型，但用不同的方式进行切割（例如：“pro” + “b” + “able”）？模型会感到困惑吗，还是它依然能理解其中的含义？

作者将这个过程称为重分词（Retokenization）。以下是他们发现的研究结果，通过简单的解释呈现如下：

1. 模型的“秘密语言”

研究人员发现，尽管模型被训练成始终以“标准”方式阅读单词，但它在秘密地理解那些“非标准”的方式。

类比： 想象一位厨师接受过专门训练，负责将洋葱切成完美的、均匀的正方体块。如果你递给他一堆切得形状不一、奇形怪状的洋葱，他可能仍然能做出汤。他明白“洋葱”就是“洋葱”，无论形状如何。
发现： 模型并非对这些奇怪的形状完全“盲目”。它仍然可以进行数学计算、编写代码或回答问题。然而，它也并非完全不受影响。这些奇怪的形状会让模型的内部“大脑”（隐藏状态）运作方式发生轻微变化。这就像那位厨师在处理奇形怪状的洋葱时会感到稍微有些压力，尽管最后的汤味道依然不错。

2. 一种“掷骰子”的新方式

当我们要求 AI 解决一个问题时，我们通常会让它尝试几次，并从中选出最好的答案。这被称为温度采样（Temperature Sampling）。这就像是通过掷骰子来决定 AI 下一步要说什么。

作者发现了一种获取不同答案的新方法：重分词采样（Retokenization Sampling）。

类比： 想象你正在尝试走出迷宫。
- 标准采样： 你走着同样的路径，但在每次遇到岔路口时，你通过抛硬币来决定向左还是向右。
- 重分词采样： 你走着同一条路径，但你稍微改变了“地图”。也许你重新绘制了墙壁，或者改变了转弯处的标签。尽管目的地没变，但新的地图迫使你的大脑采取不同的路线到达终点。
结果： 有时，这种“新地图”能帮助 AI 找到它在“标准地图”下会错过的解决方案。这就像是通过从不同的角度观察蓝图，从而发现了一扇隐藏的门。

3. 哪里有效（以及哪里无效）

论文在三类任务上进行了测试：

数学题 (GSM8K)： 模型的表现还可以。奇怪的切割并没有带来太多帮助，但也没有让模型崩溃。
多选题 (MMLU)： 模型在这里非常敏感。改变切分方式会使其更有可能答错。
编程 (HumanEval)： 这是最令人兴奋的地方。编程有很多种解决同一个问题的方法。研究人员发现，通过改变代码的切分方式，AI 有时能找到完全不同的、正确的程序编写方式，而这些方式在常规情况下是无法被发现的。

4. 创造力的代价

这里有一个代价。

类比： 想象你正试图更快地阅读一本书。
- 标准方式： 你正常地阅读单词。
- 重分词方式： 你必须在阅读之前，先停下来重新切分每一个单词。
发现： 因为模型必须处理这些“被奇怪切分”的单词，所以获取答案需要消耗更多的计算能力（和时间）。它不像标准方式那样高效。论文结论指出，虽然这种方法是探索“新”解法的酷炫工具（尤其是在编程领域），但它并不是取代标准 AI 使用方式的“灵丹妙药”，因为它更慢且更昂贵。

总结

这篇论文表明，AI 模型比我们想象的要聪明。它们不仅仅是死记硬背一种阅读单词的方式，它们拥有一种灵活的理解力，能够处理不同“切分方式”下的文本。

通过刻意将文本切分成奇怪的块，研究人员可以迫使 AI 以略微不同的方式进行思考，从而有时能挖掘出那些它原本会错过的正确答案（尤其是在编程中）。这是一个探索 AI 如何思考的新工具，证明了我们向计算机输入信息的方式，与信息本身一样重要。

技术摘要：大语言模型中的涌现重分词对称性

问题陈述

大语言模型（LLM）中的分词（Tokenization）引入了表示冗余：一个字节字符串可以被分解为多个有效的标记序列（分段），这些序列解码后都指向相同的表面文本。标准分词器（如 BPE、WordPiece）通常通过贪心或动态规划算法选择单一的“规范”分段。虽然在这些规范形式上进行训练是标准做法，但目前尚不清楚模型是否学会了将语义等价的非规范分段视为不变输入。

以往的研究强调了分词是导致模型脆弱性的来源，例如模型在字符级任务或拼写敏感操作中表现不佳。相反，近期的研究表明，模型可能拥有涌现的组合理解能力，能够从子词序列中恢复出全词表示。然而，在分段不变性（将同一字符串的不同分段视为相同）与分段敏感性（不同的分段会导致不同的内部状态和输出）之间的权衡方面，仍存在研究空白。以往的大多数输入扰动研究（如改写、拼写错误）都会改变表面字符串，从而将语义变化与措辞鲁棒性混淆在一起。因此，需要一种受控的探测手段，能够在不改变底层字节字符串、语法或语义的情况下，隔离出分词本身的影响。

方法论

作者引入了**重分词（Retokenization）**作为一种受控的推理时干预手段。给定一个固定的词表和一个字节字符串 $s$ ，他们定义了：

$E_0(s)$ ：规范的标记编码。
$E_\mu(s)$ ：该词表下 $s$ 的任何其他有效分段。

核心实验设置涉及重分词采样（Retokenization Sampling）：

随机重分词： 对于给定的提示词，作者通过随机重新分割标记（使用从有效分解中均匀采样的算法）并以概率 $p_{retok}$ 生成 $k$ 个有效的非规范分段。
贪心解码： 模型使用贪心解码（温度 = 0）运行在每个分段后的提示词上。这确保了输出的多样性仅源于输入表示，而非输出端的采样随机性。
指标： 他们定义了 pass@retok(k)，即 $k$ 个重分词提示词中至少有一个产生正确解的概率。这是标准 pass@k 指标的直接类比，但其多样性来源于输入的分割，而非输出的随机性。

该研究在以下维度应用了此方法论：

模型： OLMo-2 系列（7B 参数），涵盖各种训练阶段（预训练、SFT、DPO、Instruct），以及其他模型家族（Qwen3、Llama-3.1、Gemma、Pythia）。
基准测试： HumanEval（代码生成）、GSM8K（数学推理）、GSM8K Python（代码介导的数学）以及 MMLU（知识检索）。
对比： 作者将重分词与以下方式进行对比：
- 规范温度采样（Canonical Temperature Sampling）： 标准的输出侧多样性。
- 拼写错误采样（Typo Sampling）： 改变表面字符串的输入扰动（一种控制程度较低但搜索轴更强的手段）。
- 隐藏状态分析： 测量各层中潜在表示的位移和方差。

核心贡献

作为受控探测工具的重分词： 论文将重分词形式化为一种保持语义的干预手段。它仅改变固定字节字符串的标记分解，从而能够干净地隔离分段效应与语义或语法的变化。
涌现对称性与残余敏感性： 通过隐藏状态分析，作者证明了尽管非规范分段的内部表示会聚类在一起（表明存在涌现对称性），但它们并未坍缩到规范状态。一种“残余敏感性”依然存在，且在模型的最终层中尤为显著。这种敏感性在预训练和后训练过程中是逐渐学习的过程。
重分词采样协议： 作者引入了 pass@retok(k) 来量化输入表示多样性如何影响任务成功率。他们展示了该指标呈现出具有递减回报的上升曲线，类似于标准的 pass@k，这表明不同的分段揭示了不同的有用轨迹。
任务相关的增益与鲁棒性趋势：
- 找回遗失的解： 在 HumanEval 和 GSM8K 上，重分词采样找回了规范解码未能得到的正确解。
- 结构多样性： 在 HumanEval 上，基于 AST 的分析显示，正确的重分词生成涵盖了广泛的程序结构，而非仅仅是一个单一的规范模板。
- 模型缩放： 较强的模型在重分词下通常依然保持较强，且分段鲁棒性与整体模型能力呈正相关。
计算效率分析： 作者在匹配的提示词-标记预算下，将重分词与温度采样及拼写错误采样进行了比较。他们发现，虽然重分词提供了独特的多样性，但由于非规范分段通常会增加提示词长度，其计算效率低于温度采样。

结果

表示空间： 在预训练期间，重分词下的潜在表示位移（偏差）和方差在减小但并未消失。最终层对分段变化的敏感度最高。
行为表现：
- HumanEval： 重分词采样相对于规范 pass@k 显示出最大的差距，能够找回结构多样化的正确程序。某些任务仅能通过重分词采样来解决。
- GSM8K & GSM8K Python： 重分词提升了性能，尽管其与规范采样之间的差距比代码生成任务中要小。
- MMLU： 由于其答案空间较小且离散，重复采样（无论是规范采样还是重分词采样）都会迅速饱和，使得 pass@retok 在该领域并不显著。
训练动态： pass@k 和 pass@retok(k) 在预训练期间都在提升，并在后训练（SFT、DPO、Instruct）期间表现出剧烈的增长。这表明分段不变性是一种随模型能力扩展而学习到的属性。
与拼写错误的对比： 拼写错误采样在原始准确率增益方面通常优于重分词，但由于其改变了可见文本，因此控制程度较低。重分词仍然是探测分词特定效应的“最干净”手段。
多样性： 重分词生成的程序并未坍缩到单一模板中；尽管使用了贪心解码，它们探索的程序结构范围与温度采样生成的程序相当。

意义与主张

论文将重分词定位为一种简单而强大的探测工具，提供了两个主要见解：

科学洞察： 它揭示了分词模型具有一种涌现的、部分的分段对称性。它们并不严格受限于规范分词，能够以多样化的方式处理等效输入，但同时保留了影响计算的残余敏感性。这挑战了“分词仅仅是压缩步骤”的观点，表明它是模型计算接口的一个基本组成部分。
实际应用： 重分词提供了一种新的采样策略（重分词采样），通过语义等效的输入从模型的内部计算中产生多样性。虽然由于计算成本较高（提示词更长），它目前还不能作为温度采样的直接替代方案，但它可以作为搜索的一个补充维度。它能够找回传统方法遗漏的解，特别是在像代码生成这样存在多种有效算法家族的开放式领域。

作者谦虚地声称，这项工作阐明了组合理解和提示词敏感性，证明了有效分段的多样性是“具有机械意义的自由度”，在部署的标记化 LLM 中是不容忽视的。他们并未声称重分词在所有情况下都优于其他采样方法，而是指出它提供了一个独特的、保持语义的差异化来源。