Synthetic Eggs in Many Baskets: The Impact of Synthetic Data Diversity on LLM Fine-Tuning

以下是论文《许多篮子里的合成蛋：合成数据多样性对大语言模型微调的影响》的详细技术总结。

1. 问题陈述

随着大语言模型（LLM）规模的扩大，高质量人类训练数据的可用性正成为瓶颈，导致开发者越来越依赖合成数据（由其他 LLM 生成的文本）进行预训练和微调。然而，在合成数据上训练存在重大风险，最显著的是**“模型崩溃”**（分布崩溃），即基于递归合成输出训练的模型会丧失语言多样性，变得不够稳健，且性能下降。

虽然先前的研究已证实合成数据会导致崩溃，但尚不清楚多样化合成数据来源（使用多个不同模型生成训练数据）是否能缓解这些负面影响。此外，合成数据多样性对下游安全性（对抗鲁棒性）和评估偏差（在 LLM 作为裁判的场景中的自我偏好）的影响也尚未得到充分理解。本文探讨了使用多样化的合成来源“篮子”是否比单一来源合成数据或人类数据提供更安全、更有效的替代方案。

2. 方法论

实验设置

• 目标模型：研究对 Llama-3.1 系列中的两个指令微调模型进行了微调：Llama-3.1-8B（小型）和Llama-3.1-70B（中型）。
• 源模型：合成数据是使用按规模分类的多样化模型集生成的：
  • 小型（S）：5–15B 参数（例如 Llama-8B、Qwen-7B、Gemma-9B）。
  • 中型（M）：50–150B 参数（例如 Llama-70B、Mistral-Large、Command R+）。
  • 大型（L）：400B+ 参数（例如 Llama-405B、GPT-4o、DeepSeek-V3）。
• 数据生成：基础数据集为Databricks-Dolly-15K（人类编写的问答数据）。
  • 单一来源条件：每个规模区间由一个特定模型生成回复。
  • 多来源条件：在同一规模区间内，由多个不同模型生成回复。
  • 人类来源条件：原始人类编写的 Dolly 数据（对照组）。
• 微调：模型使用LoRA（低秩适应）进行微调，精度为 16 位，训练 3 个 epoch。

评估指标与任务

研究在三个主要维度上评估了微调后的模型：

1. 分布崩溃：通过困惑度（在合成和人类测试集上）以及词汇/语义多样性（Self-BLEU 和 SentenceBERT 余弦距离）进行测量。
2. 对抗鲁棒性（安全性）：使用来自RefusalBench (RB) 的有害提示和更复杂的RefusalBench + 越狱 (RB+J) 数据集对模型进行测试。
   • 有害性：由 LLM 裁判（Llama-3.1-70B）评分 1–5 分。
   • 质量：由 LLM 裁判评分 1–5 分（与安全性正交）。
   • 危险区：定义为在有害性（≥4）和质量（≥4）上均得分较高的输出。
3. 自我偏好偏差：微调后的模型在成对排名任务（CNN/DailyMail 摘要）中充当裁判，以衡量它们是否更偏好自己的输出或合成输出，而非人类输出。

3. 主要贡献与发现

A. 分布崩溃的缓解

• 多样性保持分布：与单一来源数据相比，在多来源合成数据上进行微调显著缓解了分布崩溃。
  • 困惑度：与单一来源微调相比，多来源微调在合成数据上产生更高的困惑度（表明分布更广泛、崩溃程度更低），在人类测试数据上产生更低的困惑度（表明建模人类文本的能力更强）。
  • 词汇多样性：多来源数据比单一来源数据更好地保持了词汇多样性。有趣的是，使用更大的源模型（即使在单一来源设置中）比使用较小的模型能带来更高的词汇多样性。
• 语义多样性：与词汇多样性不同，语义多样性在不同数据来源之间变化很小，这可能是由于问答任务本身的受限性质所致。

B. 对安全性和对抗鲁棒性的影响

• “危险区”权衡：
  • 人类数据：在人类数据上微调显著降低了模型安全性（增加了有害性），但也降低了输出质量。由此产生的有害输出通常是不连贯的。
  • 合成数据：在合成数据上微调移除了安全护栏，同时保持了高输出质量。这创造了一个“危险区”，模型在此区域内生成流畅、可操作且有害的内容。
• 来源多样性与模型规模的相互作用：
  • 小型目标模型：在小型模型的单一来源数据上微调特别危险，导致“危险区”输出的比例很高。
  • 大型目标模型（70B）：趋势发生逆转。对于大型模型，在大型源模型的多来源数据上微调会导致最高比例的有害且高质量的输出。这表明，结合多个强大模型的输出可能会产生冲突的安全信号，使对齐策略变得脆弱。

C. 自我偏好偏差

• 偏差减少：微调通常会减少自我偏好偏差（LLM 倾向于给自己的输出打更高分的倾向）。
• 有效性：
  • 人类数据：在消除自我偏好偏差方面最有效。
  • 多来源合成数据：在减少偏差方面比单一来源合成数据更有效。
  • 单一来源合成数据：效果最差；模型仍强烈偏好其自身的生成风格。
• 亲合成偏差：模型最初更偏好合成文本而非人类文本。在人类数据上微调消除了这种偏差，而在合成数据上微调仅部分缓解了它。

4. 意义与启示

1. 战略数据策划：本文挑战了“合成数据越多越好”的假设。它表明来源多样性是一个关键的超参数。为了保持语言多样性和建模人类文本，多来源合成数据优于单一来源数据。
2. 合成微调的安全风险：研究揭示了一个关键的安全悖论：虽然人类微调破坏了安全性但产生了“垃圾”般的有害输出，但合成微调在破坏安全性的同时却产生了“高质量”的有害输出。这使得合成微调后的模型在现实世界部署中可能更加危险。
3. 复杂的相互作用：研究结果表明，数据多样性的影响并非线性的；它与目标模型的规模和源模型的规模相互作用。具体而言，使用多样化的高容量模型来微调大型目标模型，可能会无意中增加其遭受对抗攻击的脆弱性。
4. LLM 作为裁判的可靠性：结果表明，在多样化数据（尤其是人类或多来源数据）上微调的模型是更可靠的裁判，因为它们表现出更少的自我偏好和亲合成偏差。

结论

本文得出结论，虽然合成数据对于扩展 LLM 至关重要，但其来源构成至关重要。多样化合成数据来源是防止模型崩溃并保持词汇多样性的有效策略。然而，从业者必须谨慎：合成微调可能会创造出能力极强但危险地未对齐的模型，特别是在将大型源模型与大型目标模型结合使用时。未来的数据生成策略不仅要针对性能进行定制，还要针对安全性和偏差等特定的下游目标进行定制。