Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning
本文介绍了 G-Vendi，一种能够预测分布外泛化能力的基于梯度的多样性指标，并利用该指标开发了 Prismatic Synthesis，这是一个用于生成多样化合成数据的框架，它显著提升了大语言模型在未见基准测试上的推理性能，同时其表现优于使用规模庞大的专有数据集进行训练的模型。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个超级聪明的机器人如何解谜。你拥有一个庞大的谜题书库，但所有的书都以同样乏味的风格编写，有着相同的笑话和相同类型的谜语。如果你只把这些书喂给机器人，它可能会成为那些特定谜题的大师，但如果你递给它一个它从未见过的、奇怪的新谜题，它很可能会卡住。这就是大语言模型（LLM）的世界——它们是许多当今最聪明聊天机器人背后的 AI 大脑。科学家们早就知道，要让这些机器人真正变得聪明，它们需要“多样化”的训练数据——即大量不同种类的示例。但棘手的部分在于：你究竟如何衡量“多样性”？仅仅是关于使用不同的词汇吗？还是关于不同的主题？或者说，是否存在一种更深层的、无形的品质，能让一份数据集在帮助机器人学习思考方面真正发挥作用？这篇论文深入探讨了这个谜团，探究我们是否可以找到一种存在于数据中的“秘密配方”，从而预测机器人处理未知情况的能力。
这项研究背后的研究人员（来自 NVIDIA 和各大学的研究团队）决定不再靠猜，而是开始测量。他们构建了一个名为 G-Vendi 的新工具，它就像是训练数据的特殊 X 光机。G-Vendi 不再观察表面层级——比如统计使用了多少不同的单词，或者检查故事听起来是否不同——它观察的是“梯度”（gradients）。把梯度想象成每一条数据在机器人尝试学习时留下的微小、隐形的脚印。如果两个谜题留下的脚印非常相似，它们可能是在以同样的方式教导机器人同样的东西。如果它们的脚印非常不同，它们就是在教导机器人一些新的东西。通过测量这些脚印的“熵”（或混沌程度），G-Vendi 可以告诉你一个数据集在多大程度上是真正多样化的。
该团队进行了一项大规模实验，在 300 万个合成谜题样本上训练了 300 多个不同版本的机器人。他们发现 G-Vendi 是泛化能力的“水晶球”。当他们挑选出具有高 G-Vendi 分数的数据集时（意味着脚印遍布各处，覆盖了许多不同的思考方式），生成的机器人变得能够极其出色地解决它们从未见过的新谜题。事实上，这种相关性非常强（大约为 0.9，满分为 1.0），多样性得分几乎完美地预测了机器人在未见测试中的表现。这表明，“秘密配方”不仅仅是拥有大量数据，而是拥有能迫使机器人的大脑向许多不同方向伸展的数据。
凭借这一发现，该团队发明了一种名为 Prismatic Synthesis（棱镜合成）的新方法。想象你是一位试图做出最美味汤品的厨师。你不是简单地往锅里扔更多的食材，而是品尝汤的味道，意识到缺少某种特定的风味，然后专门去寻找这种缺失的食材。Prismatic Synthesis 对 AI 数据也正是如此。它观察“梯度空间”（即脚印），寻找机器人尚未学到太多知识的空白区域，然后利用强大的 AI 生成专门设计用于填补这些空白的新谜题。这就像是一个反馈循环：生成数据，检查机器人的弱点在哪里，生成更多数据来修复这些弱点，然后重复此过程。
结果令人惊讶。他们使用这种方法创建了两个新数据集：一个用于数学推理（PrismMath），另一个用于自然语言推理（PrismNLI）。尽管他们的数据完全是由 AI 生成且没有人类的干预，但基于其训练的模型却表现得非常强大。例如，他们的 PrismMath-7B 模型（由一个 320 亿参数的 AI 生成数据训练而成）在 7 个具有挑战性的数学基准测试中，击败了由一个庞大的 671 亿参数 AI 生成数据训练的顶尖模型。这是一个巨大的突破，因为它表明你并不一定需要一个巨大的、昂贵的“老师”AI 来造就一个聪明的学生；你只需要正确且多样化的数据。
论文还明确排除了一些流行的观点。他们测试了“朴素缩放”（naive scaling），即在没有策略的情况下生成越来越多的数据，并发现这种方法很快就会遇到瓶颈；机器人会在某个点之后感到厌倦或困惑。他们还测试了“人格引导型”（persona-guided）生成，即告诉 AI 扮演不同的角色（海盗、机器人、诗人）来创造多样性。虽然这在开始阶段有所帮助，但最终进入了平台期，因为这仅仅改变了文本的“风格”，而不是解决问题所需的“思维”。论文表明，改变表面的风味是不够的；你必须改变底层的认知过程。
最后，这项研究表明，通往更聪明 AI 的路径不仅仅是拥有更多的数据或更大的计算机。关键在于要有策略。通过使用像 G-Vendi 这样的工具来衡量数据的真实“思考多样性”，并使用像 Prismatic Synthesis 这样的方法来针对性地填补知识空白，我们可以构建出泛化能力更好的模型。作者发现，一个经过精心策划的高多样性小型数据集，其表现往往优于一个缺乏多样性的十倍大小的数据集。这提醒我们，在 AI 世界中，思考的质量可能比词汇的数量更为重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。