技术摘要：FineInstructions：将合成指令扩展至预训练规模

问题陈述

大型语言模型（LLMs）通常使用大规模、非结构化的文本语料库进行自监督的下一标记预测（next-token prediction）进行预训练。虽然这一阶段赋予了模型大部分知识，但通常随后会有一个单独的“指令微调”阶段，使用相对较少的监督指令-回答数据来使模型与用户意图对齐。现有的指令微调数据集存在局限性：它们通常规模较小（数千个样本）、领域狭窄（侧重于学术性的 NLP 任务），或者依赖于从前沿模型中进行蒸馏，这可能仅在表面上模仿能力。因此，预训练阶段仍负责编码知识，而指令微调阶段则主要受限于学习回复风格。此外，标准的预训练往往在低质量噪声（如页眉、页脚）上浪费计算资源，并且无法很好地与下游的用户提示分布对齐。

方法论：FineInstructions 流水线

作者提出了 FineInstructions，一种将互联网规模的预训练文档转化为数十亿个合成指令-回答对的过程，从而有效地实现规模化至预训练级别的监督指令微调。该流水线由八个关键阶段组成：

1. 指令模板生成：

   • 来源： 作者从多样化来源（如 WildChat, LMSys, StackExchange, Reddit QA, GooAQ）收集了约 2150 万条真实的真实用户编写查询。
   • 泛化： 使用“查询泛化模型”（一个蒸馏后的 Llama-3.2 1B 模型），这些查询被转换为约 1800 万个通用的指令模板。查询中的特定实体或场景被替换为包含所需内容自然语言描述的 <fi> 标签（例如 <fi>实体 A</fi>）。
   • 过滤： 移除有害查询，并从常见基准测试中进行数据去污染。

2. 文档匹配：

   • 嵌入： 使用语义相似度模型（BGE-M3）为模板和预训练文档本身生成“兼容文档描述”的嵌入。
   • 高斯池化（Gaussian Pooling）： 为了确保模板能匹配长文档的具体部分，作者引入了一个自定义的“高斯池化”层。模型不再生成单一的全局嵌入，而是生成 $K=5$ 个代表文档不同分块的局部嵌入，外加一个全局嵌入。
   • 检索： 对于每个文档，系统根据余弦相似度（阈值 0.865）检索兼容的指令模板。采用加权随机采样策略以确保模板复杂度的多样性。

3. 实例化与答案生成：

   • 实例化模型： 一个经过训练的蒸馏后 Llama-3.2 3B 模型被用于利用文档内容实例化检索到的模板并生成答案。
   • 锚定（Grounding）： 为了避免幻觉和模型崩溃，答案主要锚定在源文档中。模型被指示直接复制摘录。使用一种特殊的标记机制（<excerpt>...</excerpt>）来降低标记生成成本，允许模型使用省略号表示法生成长跨度文本，随后通过程序进行展开。
   • 约束： 生成答案中摘录文本的比例被强制要求 $\ge 0.80$。

4. 评判与过滤：

   • 一个“流式评判（Flow Judge）”模型（一个 3.8B 参数的蒸馏模型）在 5 点李克特量表上评估生成的指令-回答对。
   • 得分 $\ge 4$（即解决了查询且无无关内容）的配对会被保留。此阶段还会过滤掉格式错误的实例化和未锚定在源文档中的答案。

5. 训练：

   • 最终生成的数据集 FineInstructions 包含超过 10 亿个合成指令-回答对。
   • 模型完全基于此指令微调目标（指令：{{instruction}} \n\n 回答：{{answer}}）从头开始预训练，而不是标准的下一标记预测。

核心贡献

1. 大规模模板创建： 创建了约 1800 万个源自真实用户查询的指令模板，从而能够生成高度多样化且符合分布的合成数据。
2. FineInstructions 程序： 一个可扩展的流水线，用于将非结构化预训练文档转换为监督指令-回答对，利用高效的蒸馏模型进行泛化、匹配和实例化。
3. 实证验证： 证明了仅在 FineInstructions 上进行预训练，在与人类判断响应质量相关的基准测试上，优于标准预训练和其他合成转换基线（如 Instruction Pre-Training, Nemotron-CC, WRAP）。
4. 开源资源： 发布了代码、训练好的模型以及 FineInstructions 数据集（10 亿+ 对）。

结果

作者在两个语料规模（IPT ~23B tokens 和 Nemotron-CC ~300B tokens）上使用 1.8B 参数模型进行了受控的等量标记（token-for-token）训练实验。

• 性能提升： FineInstructions 在 MixEval（一个与人类判断高度相关的基准测试）、MT-Bench-101（多轮主观查询）和 AlpacaEval（对抗胜率）上显著优于基线。
  • 在 IPT 语料库上，FineInstructions 在 MixEval 上的表现比标准预训练相对提升了约 69%。
  • 在 Nemotron-CC 语料库上，它在 MixEval 上提升了约 39%。
  • 在 AlpacaEval 中，来自 FineInstructions 的输出一致地优于所有其他流水线。
• 泛化能力： 这种改进在侧重知识的任务（MixEval）和开放式现实世界任务（MT-Bench-101, AlpacaEval）中均保持一致。
• 效率： 在不同模型规模（300M, 1.8B, 7B）下的实验表明，在同等的标记和计算预算下，FineInstructions 能使较小的模型达到甚至超过在标准基线下训练的较大模型的性能水平。

意义与主张

论文声称，将预训练数据重构为指令-回答格式可以提高知识吸收效率，并使预训练分布更接近下游用户的使用情况。通过将学习目标从“预测下一个词”转变为“响应一条指令”，模型在预训练阶段本身就能学习如何遵循指令并在任务间进行泛化，而不必依赖于后续数据稀缺的指令微调阶段。

作者明确指出，其方法针对的是下游用户效用（产生有用的回复）而非像困惑度（perplexity）这样的中间语言模型代理指标进行了优化。他们承认，由于 FineInstructions 不再是对文档进行原始的下一标记预测，因此在基于困惑度的指标上，标准预训练的表现可能优于 FineInstructions。然而，所提出的方法为训练具备高质量指令遵循和推理能力的模型提供了一条更有效的路径。

这项工作还强调，生成的指令的多样性（源自真实用户查询）是其区别于以往许多专注于狭窄学术任务格式的合成方法的关键点。该流水线通过将答案锚定在源文档中并进行质量过滤，有效地减轻了模型崩溃的风险，同时使用蒸馏模型确保了该过程在预训练规模下的计算可行性。