技术摘要：已发布的 LLM 词表能否支持隐藏语料库的标记级（Token-level）估计？

1. 问题定义

预训练语料库的构成对于理解大语言模型（LLM）的能力至关重要，然而即使在模型权重发布后，这一信息往往仍然是不透明的。虽然发布的分词器词表（通常使用字节对编码，即 BPE 训练）通常是公开的，但它们很少伴随精确的训练数据统计信息。

本文解决的核心问题是标记级语料库比例估计。给定一个在隐藏语料库 $C^*$ 上训练的已发布目标分词器词表 $V^*$，目标是估计词表中每个标记 $v_i$ 的语料库比例 $r^*_i$。不同于以往研究推断粗粒度的类别混合（例如语言或领域比例）或追踪特定标记组的方法，本文旨在估计任意单个标记的比例。

作者假设可以访问一个或多个具有可观测标记比例的已知语料库 $D$。挑战在于学习一个估计器 $\hat{f}$，通过利用已知语料库中观察到的标记 ID 与比例之间的关系，将标记 ID 映射到隐藏语料库中的比例。

2. 核心观察：ID-比例分布的可迁移性

在提出解决方案之前，作者研究了不同语料库之间标记 ID 与语料库比例之间的关系是否具有可迁移性。

• 方法： 他们在多种语言（英语、法语、日语、中文）和领域（网页、维基百科、代码、数学）上训练了 BPE 分词器，并在对数-对数（log-log）空间中绘制了标记 ID 与其语料库比例的分布图。
• 发现： 尽管存在显著的语言结构或领域内容差异，但标记 ID–比例分布具有稳定的全局形状。
• 量化： 通过基于 KL 散度的定向迁移相似度评分，他们证明了这些分布具有广泛的可迁移性。例如，英语和法语表现出近乎互换的特性，而即使是像代码和维基百科这样结构迥异的组合，也保留了实质性的相似性。
• 启示： 这种稳定性为将已知语料库的分布结构迁移到在隐藏数据上训练的目标分词器提供了理论依据。

3. 方法论：分位数引导密度估计 (QGDE)

为了利用这种可迁移性，作者提出了分位数引导密度估计 (QGDE)。该方法包含三个主要阶段：

A. 利用分位数拟合 ID-比例趋势

与以往工作（如 PoCTrace）拟合单一中位数曲线不同，QGDE 使用一组分位数趋势来建模共享的 ID–比例关系。

• 对数-对数变换： 遵循齐夫定律（Zipf's law），在对数-对数空间中对标记 ID ($t$) 和比例 ($r$) 进行建模，在该空间中两者呈现近似线性趋势。
• 分位数回归： 对于一组分位数水平 $\tau$，该方法拟合对数线性曲线 $q_\tau(x) = a_\tau + b_\tau x$。这不仅捕捉了中心趋势，还捕捉了给定标记 ID 可能存在的比例的完整垂直分布范围。
• 候选生成： 对于目标标记 ID $t_i$，每个分位数趋势都提供了一个候选对数比例估计值 $z_{i,\tau}$。

B. 选择分位数锚点

为了避免冗余并确保覆盖范围，该方法选择了一组具有代表性的分位数锚点 $T^*_K$。

• 优化： 锚点的选择通过最大化分位数锚点覆盖率 (QAC) 来实现，该指标计算有多少已知 ID–比例点落在所选趋势的垂直带宽内。
• 结果： 这一过程倾向于选择其趋势共同经过分布中支撑度较高区域的锚点，而不是在稀疏区域进行均匀分布。实证分析表明，随着锚点数量 ($K$) 的增加，覆盖率会趋于饱和（例如，在 $K=14$ 后收益递减）。

C. 局部密度加权

最后一步使用局部密度加权将多个候选估计值转换为单个点估计值。

• 机制： 对于目标标记 ID，该方法在局部窗口内识别附近的已知 ID–比例点。
• 加权： 基于高斯核密度估计，根据周围点对特定分位数趋势的支持强度，为每个候选估计值分配软权重。
• 最终估计： 估计的比例是候选估计值的密度加权平均值。这使得该方法能将以往工作的“范围式”信号转化为精细的标记级点估计。

4. 实验结果

作者在受控设置（使用 mC4, OSCAR, FineWeb 等）和现实设置（使用发布的 SmolLM 分词器）中评估了 QGDE。

受控设置

• 标记级估计： QGDE 显著优于两个基线：直接 ID-比例迁移（按位置复制源比例）和 PoCTrace（单一中位数趋势）。
  • 性能： 在混合源设置下，QGDE 实现的标记级估计平均相对误差 (MRE) 低至 3.00%。
  • 消融实验： 将分位数锚点 ($K$) 从 3 个增加到 14 个会显著降低误差，尤其是在领域设置中，之后收益趋于饱和。
  • 来源混合： 使用混合已知语料库通常比单源设置效果更好，尽管组件涵盖的多样性比具体的混合比例更重要。

聚合至类别级

• 混合估计： 标记级估计被聚合以估计语言或领域的比例。
• 比较： QGDE 显著优于数据混合推理 (DMI) 基线。
  • 误差降低： 在语言设置中，MRE 从约 9.09% (DMI) 降至 3.08% (QGDE)。在领域设置中，从约 15.14% 降至 ~5.3%。
  • 观察： 虽然增加 $K$ 提高了标记级准确度，但由于聚合带来的平滑效应，在类别层级的增益并不那么显著。

现实设置 (SmolLM)

• 验证： 该方法在 SmolLM 分词器上进行了测试，其中训练数据的真实比例是已知的（FineWeb-edu, Cosmopedia, Python-edu）。
• 结果： QGDE 在标记级（5.72–5.78% MRE）和类别级（5.93% MRE）估计方面均取得了最低误差，优于直接迁移和 PoCTrace。这证实了即使无法将精确的组成语料库作为直接训练源，该方法依然有效。

5. 贡献与意义

本文做出了三个主要贡献：

1. 发现了可迁移性： 证明了在不同语言和领域训练的 BPE 词表中，标记 ID–比例分布是可迁移的，这为估计隐藏语料库比例提供了可用的信号。
2. 方法论创新： 引入了 QGDE，这是一种通用的标记级估计器，它利用多个分位数趋势和局部密度加权来逼近可迁移的分布，超越了粗粒度的混合推理或特定的标记追踪。
3. 实证验证： 展示了 QGDE 在受控设置和现实设置中均实现了高准确度（MRE 低至 3.00%），超越了现有基线。

意义：
作者认为，已发布的标记器词表提供了一个用于精细语料库估计的有用信号。这种能力超越了目前方法所能实现的粗略成分推断，为审计和解释即使在训练语料库隐藏的情况下发布的 LLM 的数据来源提供了一条路径。这项工作表明，语料库构成的“指纹”以某种方式编码在分词器的词表结构中，可以通过充分的统计建模进行解码。

局限性：
作者指出，由于缺乏已发布 LLM（如 ChatGPT, Qwen, DeepSeek）的地面真值（Ground Truth），直接对其进行评估受到限制。目前的验证依赖于受控实验以及极少数公开训练数据的 SmolLM 案例。更广泛的验证有待更多训练语料库的发布。