想象一下你正在尝试解决一个非常棘手的谜题，比如一个复杂的数学问题或编写一段代码。你有一个超级聪明的机器人朋友（大型语言模型）可以提供帮助。但问题在于，如果你以完全相同的方式问这个机器人同一个问题十次，它可能会给出十个看起来几乎完全相同的答案。它们可能在同一个地方出错，或者都卡在解空间的同一个小角落里。这就像问一个朋友十次路，结果他每次都在同一个错误的转弯处把你带偏，因为他在循环思考。

为了解决这个问题，科学家们发现了一个被称为“推理缩放”（scaling inference）的小技巧。与其只问机器人一次，不如问它很多次，然后从中选出最好的答案。但要让这招奏效，你需要让机器人去探索不同的路径，而不仅仅是重复同样的路径。这篇论文深入探讨了一个具体的问题：我们如何让机器人的答案彼此之间更加不同，同时又不降低它们的质量？研究人员发现，如果用略微不同但仍然相关的提示来引导机器人的思考，它会探索一个更广阔的可能性世界，并更频繁地找到正确答案。然而，他们也发现了一个陷ر：如果你试图从所有的尝试中挑选出那个“最受欢迎”的答案，那么你通过增加多样性所做的所有努力可能都会付诸东流，你也不会得到更好的结果。

---

伟大的创意搜寻：为什么多样化能让机器人思考得更好

所以，你拥有了一个超级聪明的 AI 机器人。它擅长写故事、解数学题和编写代码。但有时，当你问它一个难题时，它会陷入一种惯性思维。这就像一只狗在追逐自己的尾巴；它一直在同一个圈子里转圈，不断生成同类型的答案。在 AI 世界中，这被称为缺乏“多样性”（diversity）。

这篇论文背后的研究人员想知道：如果我们强迫机器人跳出那个圈子会发生什么？如果我们问它同一个问题，但稍微调整一下提问方式会怎样？也许我们告诉它：“想象你是一位严厉的数学老师，”或者“像一位创意作家一样思考，”甚至只是换一种稍微不同的表达方式。这被称为“采样多样性”（sampling diversity）。

核心思想很简单：如果你让机器人尝试 100 种不同的方法来解决一个问题，并且这 100 种方法都各不相同，那么你就有更大的机会让其中至少一个是正确的答案。这就是“Best-of-N”策略：尝试多次，择优录取。但那个价值百万美元的问题是：如何在不让这些尝试变得荒谬或错误的前提下，让这 100 种尝试变得各具特色？

甜点区：不要太乏味，也不要太离谱

作者们开始寻找完美的“推动力”。他们测试了各种摇动机器人思维的方法。

首先，他们尝试了无关的想法。想象一下，你要求机器人解决一个数学问题，但你先让它思考如何烤蛋糕。这纯粹是噪音。它没有任何帮助，反而会让机器人感到困惑，导致答案变差。

接着，他们尝试了完全重复。想象一下，你用完全相同的措辞问机器人同一个问题十次。它只会给你十个一模一样的答案。没有新想法，也没有更好的结果。

但随后，他们找到了甜点区。他们尝试给机器人提供“任务对齐”的想法。对于一个数学问题，他们可能会说：“考虑将问题分解为更小的步骤，”或者“考虑使用某个特定的定理。”这些提示既足够不同，能让机器人探索新的路径，又仍然围绕着数学问题本身。

结果令人惊叹。当他们使用这些“恰到好处”的提示时，机器人的成功率显著提高。例如，在一个名为 HumanEval 的编程测试中，使用一种称为“Dual”（由第二个机器人辅助生成想法）的策略，比正常询问机器人的成功率提高了 4.7%。在一个名为 MATH 的数学测试中，提升了 8.2%。在一个名为 MMLU-Pro 的推理测试中，提升了 10.8%。

论文指出存在一种“多样性-保真度权衡”（diversity-fidelity trade-off）。你希望提示既能产生新的路径（多样性），又不至于破坏答案的质量（保真度）。这就像往汤里加香料：少许香料会让汤变得美味，加多了会让汤无法入口，而不加任何香料则会让汤变得平淡无奇。

陷阱：为什么“投票”会扼杀你的成功

故事在这里发生了一个转折。研究人员还观察了我们如何挑选最终答案。通常，当你拥有 100 个不同的答案时，你可能会想：“让我们看看大多数人认同哪一个！”这就是多数投票制（majority voting）。如果 100 个机器人中有 51 个说“答案是 42”，那么 42 一定是对的，对吧？

论文说：别那么快下结论。

他们在数学上证明了，如果你使用多数投票制，你为了增加多样性所做的所有努力都可能白费。为什么？因为多数投票制只有在“最常见的答案就是正确答案”的情况下才有效。但如果你让答案变得多样化，你可能会分散选票。正确的答案可能是独特且卓越的，但如果它在 100 次尝试中只出现了 5 次，而一个错误的答案出现了 20 次，多数投票制就会选错。

在他们对 MATH 数据集的实验中，他们发现，当使用多数投票制时，那些高级的多样性技巧并没有帮助，有时甚至会让情况变得更糟。论文明确排除了将多数投票制作为寻找单一正确答案的好策略。这就像一个陪审团，每个人都在试图表现得与众不同；如果大家都投给不同的东西，你就永远无法达成判决。

这种魔法何时奏效？

研究人员不仅找到了这个技巧，还通过各种测试来验证其普适性。

• 温度（Temperature）： 他们测试了机器人在“热”（非常随机）和“冷”（非常严格）的状态下的表现。多样性技巧在两种情况下都有效，都能在原有温度水平的基础上带来额外的提升。
• 思考步骤： 他们在“思维链”（Chain-of-Thought，即机器人边说边思考的过程）中进行了测试。这些技巧依然有效，在一个困难的编程测试中带来了 7.4% 的提升。
• 谁是“思考者”？ 他们使用了不同的机器人来生成想法。他们发现，一个更聪明的“思考者”机器人会让整个系统变得更好。
• 有多少个想法？ 注入的独特想法越多，结果就越好。使用 100 个不同的想法比只使用 1 个效果更好。

然而，他们也注意到，这个技巧对较弱的机器人效果最好。如果机器人已经超级聪明（比如那些规模最大、最强大的模型），那么额外的提升就会变小。这就像给天才一张地图；他们可能早就知道路在哪了。但对于一个聪明但不算天才的机器人来说，这张地图非常有帮助。

总结

这篇论文是为任何想要充分利用 AI 机器人的人准备的指南。它告诉我们：

1. 多样性是有益的： 让机器人尝试不同的方法有助于它找到正确答案。
2. 谨慎进行引导： 你提供的提示必须具有相关性。太离谱，则会失败；太乏味，则毫无帮助。
3. 不要仅仅投票： 如果你想找到一个单一的正确答案，不要只选最受欢迎的那一个。要从所有多样化的尝试中选出那一个最好的。
4. 它是一个工具，而非魔杖： 它在你有计算资源预算，并且将其用于尚未达到完美水平的模型时效果最佳。

作者们并非凭空猜测；他们进行了数百次实验，并建立了数学理论来支持这些发现。他们证明了，通过仔细混合我们提问的方式，我们可以让 AI 变得更聪明、更快速、更可靠，而无需构建一个更大、更昂贵的机器人。这提醒我们，有时，寻找正确答案最好的方法就是用一百种不同的方式去提问。