Where does output diversity collapse in post-training?

这是一篇关于大型语言模型（LLM）后训练（Post-training）阶段**输出多样性崩溃（Output Diversity Collapse）**现象的深度研究论文。作者通过控制实验，追踪了 Olmo 3 模型家族在三种不同后训练谱系下的多样性变化，旨在厘清多样性丧失是源于训练方法（如 SFT、DPO、RL）还是训练数据的构成，以及推理时的生成格式（如思维链 CoT）是否导致了多样性下降。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现象： 经过后训练（如指令微调 SFT、直接偏好优化 DPO、人类反馈强化学习 RLHF）的模型，其输出比基座模型（Base Models）更加单一和同质化。这种“多样性崩溃”削弱了推理时扩展（Inference-time scaling）方法（如自一致性、Pass@k 采样）的有效性，并可能导致模型在创造性或价值观相关任务中输出千篇一律的内容。
• 现有研究的局限： prior work 通常将多样性崩溃归咎于特定的后训练算法（如 DPO 或 SFT），但未能有效分离训练数据构成与训练方法的影响，也未能区分生成格式（如是否包含思维链）与模型权重的作用。
• 核心问题：
  1. 多样性崩溃是与后训练方法共变，还是与后训练数据的构成共变？
  2. 思维链（CoT）格式本身是否在推理时限制了多样性，还是多样性崩溃已经嵌入在模型权重中？

2. 方法论 (Methodology)

作者利用开源的 Olmo 3 模型家族，设计了三个平行的后训练谱系（Lineages），并在 15 个任务上使用 4 种多样性指标进行了评估。

2.1 实验设计：三条谱系

1. Think 谱系：
   • SFT： 使用约 230 万条来自两个教师模型（QwQ-32B 和 DeepSeek-R1）的合成思维链（CoT）数据进行训练。
   • DPO & RL： 后续进行偏好优化和强化学习。
   • 特点： 窄数据源（双教师），强制生成 CoT。
2. Instruct 谱系：
   • SFT： 从 Think-SFT 初始化，但使用约 220 万条来自多源（GPT-3.5/4 等）的数据，且剥离了推理痕迹（Strip reasoning traces）。
   • DPO & RL： 使用与 Think 相同的提示词池，但关闭思维模式。
   • 特点： 宽数据源（多模型），直接回答。
3. RL-Zero 谱系：
   • 路径： 直接从 Base 模型进行 RL 训练，跳过 SFT 和 DPO。
   • 特点： 验证了在没有 SFT/DPO 干预下，仅靠 RL 对多样性的影响。

2.2 关键控制实验

• CoT 抑制实验 (Think-not-thinking)： 在推理阶段，强制 Think 模型跳过 CoT 生成（填充空标签），直接输出答案。以此测试多样性崩溃是源于权重还是生成格式。
• 质量过滤分解 (Quality-filtered decomposition)： 将多样性损失分解为两部分：
  • 质量控制成分： 移除错误输出导致的多样性自然下降。
  • 残差成分： 在正确输出之间的真实多样性收窄（Genuine narrowing）。

2.3 评估指标

• 多样性指标： EAD（词汇多样性）、SBERT（语义多样性）、NLI（逻辑多样性）、Vendi Score（有效模式数量）。
• 质量指标： 准确率（Accuracy@1）、多数投票（Majority Vote）、Pass@k。
• 任务范围： 涵盖摘要、代码、推理（数学/逻辑）、指令遵循、创意写作和价值观多元性。

3. 主要发现与结果 (Key Results)

3.1 多样性崩溃的位置取决于数据构成 (Collapse Location Co-varies with Data)

• SFT 阶段的差异： Think 谱系在 SFT 阶段经历了最剧烈的多样性下降（平均损失 62%），因为其使用了窄源（双教师）的 CoT 数据，导致输出高度同质化。相比之下，Instruct 谱系在 SFT 阶段损失较小（38%），因为其多源数据保留了更多多样性。
• DPO 阶段的差异： Instruct 谱系在 DPO 阶段经历了更大的多样性损失（23%），因为它在 SFT 后仍保留了较多多样性，DPO 进一步压缩了这些分布。而 Think 谱系在 SFT 后多样性已极低，DPO 对其影响较小。
• 结论： 同样的“SFT $\to$ DPO $\to$ RL"训练配方，因上游数据构成不同，导致多样性崩溃发生的阶段和程度截然不同。

3.2 崩溃嵌入在权重中，而非生成格式 (Weights, not Format)

• CoT 抑制实验结果： 在推理时抑制 Think 模型的 CoT 生成（强制直接回答），并未恢复任何任务的多样性。SBERT 多样性得分与未抑制时基本一致。
• 代价： 抑制 CoT 显著降低了困难任务（如数学、代码）的准确率，但多样性依然很低。
• 结论： 多样性崩溃是由训练数据重塑了模型权重导致的，而非 CoT 生成格式本身的限制。切换回直接回答模式无法挽回多样性。

3.3 任务依赖的多样性 - 质量权衡 (Task-Dependent Tradeoff)

• 分解分析：
  • 代码/数学任务： 大部分多样性损失源于错误输出的移除（质量控制）。在正确输出之间，多样性收窄相对较小（尽管仍存在）。
  • 创意写作/价值观任务： 多样性损失主要是正确输出之间的真实同质化。例如，在 PRISM（价值观）任务上，Think 模型损失了 78% 的多样性，且这种损失是有害的，因为它消除了不同的观点。
• RL-Zero 的表现： 跳过 SFT/DPO 的 RL-Zero 模型保留了约 94% 的基座多样性，但在质量（准确率）上显著低于经过 SFT 的模型。

3.4 推理扩展的失效

• 由于后训练模型在正确答案上的多样性极低（Vendi Score 降至 1.3-1.6，接近 1），多数投票（Majority Voting）和Pass@k采样带来的收益大幅减少。例如，在 GSM8K 上，Think 模型通过 16 次采样获得的增益仅为 +0.4%，而基座模型和 RL-Zero 模型能获得 +22-26% 的增益。

4. 核心贡献 (Key Contributions)

1. 解耦数据与方法： 首次通过平行谱系实验证明，多样性崩溃的轨迹主要由训练数据构成（窄源 CoT vs. 多源数据）决定，而非后训练算法本身。窄源 SFT 导致早期崩溃，宽源数据将崩溃推迟到 DPO 阶段。
2. 定位崩溃根源： 证实多样性崩溃已固化在模型权重中。推理时移除 CoT 格式无法恢复多样性，反而损害性能。
3. 细化多样性损失： 提出了“质量过滤”分解方法，揭示了不同任务中多样性损失的性质不同（是去除了错误，还是抹杀了正确观点的多样性）。
4. 实践指导： 指出在需要多样性的场景（如创意写作、价值观对齐），应避免使用窄源双教师蒸馏的 SFT 数据，并考虑使用无 KL 惩罚的 RL 来部分缓解 DPO 带来的语义收窄。

5. 意义与启示 (Significance)

• 对训练策略的启示： 仅仅改变后训练算法（如从 DPO 换到其他方法）不足以解决多样性问题。关键在于SFT 阶段的数据多样性。使用更多样化的教师模型和数据来源可以延缓崩溃，但可能无法完全消除“多样性地板”（Diversity Floor）。
• 对推理策略的启示： 依赖推理时扩展（如采样多样性）来弥补训练缺陷是无效的，因为权重已经收敛到单一模式。
• 对安全与价值观的启示： 在涉及价值观多元性的任务中，当前的后训练流程（特别是窄源 SFT）可能导致模型强加单一视角，掩盖了合理的观点分歧，这是一个需要警惕的风险。
• 未来方向： 需要研究如何设计偏好优化目标（如引入熵约束、前向 KL 优化）来主动提升“多样性地板”，而不仅仅是依赖数据层面的修补。

总结： 该论文有力地证明了后训练中的多样性崩溃主要是由训练数据的窄化引起的，并且这种崩溃一旦形成就固化在模型权重中，无法通过简单的推理格式调整来修复。这为构建既高质量又高多样性的语言模型提供了新的数据视角和算法挑战。