💬 NLP

HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

HERMES 引入了一种可重用的、数据驱动的层级化标注基底，该基底利用学习到的语义变换和残差向量量化来为文档标注多粒度代码，从而能够在不同分辨率下发现固定粒度方法无法测试的最优数据混合策略。

原作者： Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过喂给一个巨大的机器人（即人工智能）一个包含大量书籍、网站和文章的图书馆，来教会它如何说话和思考。核心问题不仅在于你喂了“多少”数据，还在于你选择了“哪些”书以及以什么样的“顺序”来喂养它。

这篇文章介绍了一个名为 HERMES 的新工具，旨在解决一个特定的问题：我们该如何组织这个混乱的图书馆，好让机器人学到最佳的知识组合？

以下是使用简单类比进行的拆解：

1. 问题所在：“一刀切”的标签

想象你有一大堆乱七八糟的文档。为了教导机器人，你需要将它们分类。

旧方法： 你可能会使用预设的类别列表，比如“科学”、“历史”或“烹饪”。但这些类别是僵化的。如果你想更深入地研究“科学”，你不能直接放大查看；你必须扔掉旧的列表，从头开始创建一个全新的列表。
瓶颈： 该论文认为，问题不在于机器人的学习能力（即“混合器”），而在于标签系统本身。它太僵化了。

2. 解决方案：HERMES（标签界的“俄罗斯套娃”）

HERMES 是一种新的方式，它能对图书馆中的每一份文档进行一次性标记，但这种标记方式让你可以在不重新排序书籍的情况下，随心所欲地“放大”或“缩小”观察范围。

把 HERMES 想象成一套 俄罗斯套娃 或 层级地址系统：

第 1 层（大盒子）： 每份文档都会得到一个宽泛的标签，比如“音乐”或“烹饪”。大约有 256 个这样的大盒子。
第 2 层（中盒子）： 在“音乐”内部，你可以缩小范围，看到像“摇滚”、“爵士”或“嘻哈”这样的子组。大约有 65,000 个这样的中盒子。
第 3 层（小盒子）： 在“嘻哈”内部，你可以进一步缩小范围，看到特定的艺术家或时代。大约有 130,000 个这样的小组。

神奇之处： 你不需要运行三个不同的分类机器。你只需要运行一次分类机器。所谓的“缩放级别”仅仅取决于你读取地址时保留了多少位数字。

读取 1 位数字？你得到的是宽泛的“音乐”类别。
读取 3 位数字？你得到的是特定的“1990 年代嘻哈”类别。

这节省了大量的计算能力，因为你只需要对图书馆进行一次标记，就可以立即尝试不同的详细程度。

3. 发现：重要的不是“最好的”组，而是“正确的”缩放比例

研究人员在 10 亿参数的 AI 模型上测试了这一点。他们发现了两个令人惊讶的发现：

发现 A：“金发姑娘”区（适中原则）
他们尝试了两种不同的选书方式：

“面面俱到”法： 从每一个子组中都挑选一些书，无论该组多么微小或质量多么低。
“顶尖质量”法： 只从每个子组中挑选质量最好的前 30% 的书。

结果： 在中等缩放级别（第 2 层，即 65,000 个组）时，“顶尖质量”法让机器人变得明显更聪明。它学得更好，是因为这些组足够大，以至于从中挑选“最好的”书确实是有意义的。

发现 B：“过小”陷阱
然而，当他们放大到最精细的级别（第 3 层，即 130,000 个微小组）时，“顶尖质量”法失效了。

原因： 这些组变得如此之小，以至于里面只有寥寥数本书。试图从只有 5 本书的组里挑选出“最好”的那一本，就像试图从只有 5 名球员的队伍里选出“最强”球员一样，这种差别微乎其微，而且你很可能只是因为运气好才选到了一个不错的，或者由于偶然性选到了一个差的。
教训： 你不能无止境地一直放大。存在一个“甜点区”（Sweet Spot），在这个区域内，分组既足够详细以发挥作用，又足够大以便能进行高质量的数据筛选。

4. 结论：一种看待数据的新方式

论文得出结论，HERMES 不仅仅是一个更好的分类算法（在宏观层面看，它的表现与标准分类方法大致相当）。

它的真正价值在于，它将数据组织从一个“开关”变成了一个“旋钮”。

以前： 你必须在“粗略标签”或“精细标签”之间做出选择，并固守其中。
现在： 你可以使用同一个单一的标签系统，并通过调节“粒度旋钮”来找到最适合你特定 AI 训练需求的平衡点。

简而言之，HERMES 为研究人员提供了一张灵活且可重复使用的“数据地图”，让他们能够找到那个能让高质量数据筛选真正提升 AI 智力的完美“缩放级别”。

技术摘要：HERMES：一种用于预训练数据混合的多粒度标签基质

1. 问题陈述

当前用于大语言模型（LLM）预训练的数据混合策略面临着标签系统而非混合算法本身的瓶颈。现有的方法通常使用固定分类法（来源、主题、格式）或扁平嵌入聚类（如 KMeans）将语料库划分为组。这些方法存在三个主要局限性：

单一粒度/维度： 它们致力于单一的语义轴和固定的分辨率。改变粒度（例如，从宽泛的主题到细粒度的簇）需要重建整个标签集。
重计算成本： 扁平聚类方法（如 KMeans）在改变聚类数量（ $K$ ）时需要重新计算，这使得对粒度进行系统的扫描在计算上既昂贵又脱节。
缺乏灵活性： 组的选择决定了混合器所能表达的内容，限制了测试数据分辨率与采样策略之间相互作用的能力。

作者认为，瓶颈在于标签基础设施，而非混合器机制本身。需要一种可复用的、由数据驱动的基质，允许从业者在无需重新聚类的情况下，在层级化的粒度中进行导航。

2. 方法论：HERMES

HERMES（基于嵌入的层次化残差向量量化用于混合选择）是一种一阶段式、层次化的标签基质，旨在为文档标注从粗到细的代码。它由两个主要阶段组成：

A. 学习语义变换 (LST)

为了使嵌入适用于量化，HERMES 采用了学习语义变换。

输入： 来自预训练编码器的冻结文档嵌入（ $e_i \in \mathbb{R}^{1024}$ ）。
机制： 一个带有归一化的单层线性层（ $h_i = \text{normalize}(W e_i + b)$ ）旋转嵌入空间。
训练目标： 该变换与量化码本共同训练，以优化三个损失函数：
1. 成对结构保持： 保持原始嵌入与变换后嵌入之间的余弦几何结构。
2. 量化感知重构： 最小化向量量化器的重构误差。
3. 正交性： 通过强制执行变换矩阵 $W$ 的近正交性来防止表示崩溃。

B. 三阶段残差向量量化 (RVQ)

变换后的嵌入（ $h_i$ ）由级联的三阶段 RVQ 进行编码。

架构： 三个连续的向量量化器，每个码本大小为 $K=256$ 。
过程：
1. 第一阶段（粗粒度）： 编码 $h_i$ 以找到最近的质心 $c_1$ ，产生残差 $r_2 = h_i - q_1$ 。
2. 第二阶段（中等粒度）： 编码 $r_2$ 以找到 $c_2$ ，产生残差 $r_3$ 。
3. 第三阶段（细粒度）： 编码 $r_3$ 以找到 $c_3$ 。
输出： 每个文档接收一个层次化代码 $(c_1, c_2, c_3)$ 。
粒度控制： 粒度由代码的前缀长度定义：
- L1： 代码 $(c_1)$ $\rightarrow$ 256 个桶。
- L12： 代码 $(c_1, c_2)$ $\rightarrow$ $\sim$ 65k 个桶。
- L123： 代码 $(c_1, c_2, c_3)$ $\rightarrow$ $\sim$ 130k 个观测到的桶（在标称的 $1.67 \times 10^7$ 个中）。

C. 采样分类法

论文定义了一个采样器，它是由在 HERMES 基质上运行的两个阶段组成的组合：

第一阶段（外部权重）： 为 L1 先祖分配权重。论文使用了 Uniform（最大熵）或 DoReMi（在代理模型上的 group-DRO）。
第二阶段（子桶采样器）： 决定 L1 先祖内的资格和选择。
- 质量分布： 等量（最大熵）对比规模比例。
- 单文档资格： 所有文档对比子桶内按质量得分（FineWeb-Edu）排名前 30% 的文档。

3. 核心贡献

HERMES 基质： 一个一阶段式的层次化 RVQ 系统，将 $\sim$ 50M 文档标注为最多 $\sim$ 130k 个单元格。它将粒度表现为单个训练好的码本堆栈上的前缀长度，从而消除了在改变分辨率时需要重新聚类的需求。
粒度-采样器交互： 作者证明了采样规则（例如基于质量的选择）的有效性取决于粒度水平。
候选竞争诊断： 论文识别出了一个结构性限制，即增加粒度会导致候选池规模缩小，从而导致桶内排名变得不稳定。

4. 实验结果

实验在为 25B token 训练的 1B 参数 LLaMA 式模型上进行，并在 16 项能力任务的宏平均值（Avg.）上进行评估。

A. 聚类平台期 (L1=256)

发现： 在最粗粒度（L1=256）下，HERMES 的表现与标准聚类方法（KMeans, MiniBatchKMeans, Plain RVQ）相当。
指标： 在内在指标（紧凑性、质量平衡、熵）上，HERMES 与其他 256 路聚类器处于同一平台期。
下游： 当与 Uniform + L1 最大熵采样器结合使用时，HERMES 与 KMeans 的 Avg. 准确率差异仅为 0.0002。
启示： HERMES 的性能提升并非源于其作为一种更优的聚类算法，而是源于其基质本身。

B. 发现 A：中等粒度下的第二阶段规则 (L12)

设置： 固定 DoReMi L1 外部权重，固定 HERMES 码本，粒度设为 L12（ $\sim$ 65k 个桶）。
比较： 将第二阶段采样器从 最大熵覆盖（等量子桶质量，包含所有文档）切换为 质量前 30%（规模比例质量，前 30% by FineWeb-Edu 得分）。
结果： 这一切换使 16 项任务的 Avg. 提升了 +0.0253 (z-score +2.09)。
解释： 在 L12 级别，子桶足够大（中位数候选池 $\sim$ 2,271 个文档），因此质量排名可以作为全局质量的稳定代理。

C. 发现 B：细粒度下的崩溃 (L123)

设置： 采用相同的规则，粒度为 L123（ $\sim$ 130k 个桶）。
观察： 中位数候选池从 L12（2,271 个文档）收缩了 5.3 倍 到 L123（429 个文档）。
结果： 质量前 30% 规则的优势消失了。质量前 30% 与局部随机覆盖之间的性能差距缩小至 +0.0002（0.3988 vs. 0.3986），在单种子评估下在统计学上是无法区分的。
启示： 这支持了候选竞争假设：当子桶变得过小时，桶内排名不再是全局质量的可靠代理，从而抵消了基于质量选择的益处。

D. 最佳配置

在所有搜索配置中，表现最高的配置是 DoReMi-L1 外部权重 + L12 质量前 30%（修正阅读器），达到了 0.4222 的 Avg.。

5. 重要性与主张

论文谦虚地声称 HERMES 重新定义了数据混合设计。其主要意义在于将焦点从“在固定的标签集之间进行选择”转向“在可复用的、数据驱动的粒度层级中进行导航”。

基质优于聚类器： 其贡献在于提供了使粒度成为一个自由变量（一个旋钮）的基础设施，而非聚类性能本身。
共同决定： 粒度和第二阶段采样器是共同决定的维度。在某一粒度（L12）有效的规则在另一粒度（L123）下可能会失效，这是由于结构性约束（如候选池大小）造成的。
局限性： 作者承认结论受限于 1B/25B 的规模以及内部语料库。最优粒度深度受“候选竞争”限制，这可能会随着更大的模型和语料库而发生偏移。他们还指出，在最优第二阶段规则（L12 质量前 30%）下，外部权重的具体选择（DoReMi vs. Uniform）尚未经过充分的交叉验证（未进行 Uniform + L12 质量前 30% 的实验）。

总之，HERMES 提供了一种将数据粒度视为连续、可调参数的机制，揭示了数据选择策略的有效性本质上与其底层标签系统的分辨率密切相关。