Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
本文通过实证研究表明，对于解决小学数学问题的规模较小（3.8–8B）的开源指令微调模型而言，少样本思维链（few-shot Chain-of-Thought）提示词的效果显著优于零样本基准，而更复杂的思考策略（如自一致性 self-consistency 和思维树 tree-of-thought）则无法比简单的策略提供具有统计学可靠性的准确率提升。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能飞速发展的世界里，研究人员长期以来一直寻求一种让计算机程序更像人类思考的方法，特别是在解决需要一系列逻辑步骤的问题时。多年来，标准的方法是向这些系统输入一个直接的问题并等待答案，但这往往会导致算术和逻辑上的错误。当科学家们意识到，如果要求模型先写出其思考过程——在得出结论之前展示其解题步骤——其准确率就会大幅提高时，一项突破发生了。这种被称为“思维链提示”（chain-of-thought prompting）的技术，已成为让机器进行推理的基石。然而，随着这些工具从庞大、昂贵的超级计算机转向个人和企业可以在自有设备上运行的更小、更经济的版本，一个关键问题出现了：那些最复杂且耗费资源的推理技巧是否仍然有效，还是仅仅增加了不必要的成本而没有改善结果？
最近的一项研究旨在通过在三种流行的中小型语言模型上测试四种不同的推理策略来回答这个问题。研究人员专注于一组包含一百道小学数学应用题的基准测试，这是一套对于人类来说很简单、但对于跳过步骤的计算机来说却很棘手的谜题。他们想看看，如果只是告诉模型要“一步步思考”、给它们展示几个如何解决类似问题的例子、要求它们生成多个可能的答案并对最佳答案进行投票，或者强迫它们在确定解决方案之前探索一个分支的思想树，模型的表现是否会更好。目标是确定哪种方法能为日益普及的日常应用类模型提供准确性和效率之间的最佳平衡。
调查揭示了一个清晰且有些令人惊讶的有效性层级。最强大的工具竟然是最简单的“展示示例”形式。当模型在尝试测试题之前被给予几个已完成的题目进行学习时，其准确率比仅被给予“仔细思考”的提示时有了显著提升。这种进步在所有三种受试模型中都是一致的，在某些情况下，成功率上升了高达百分之四十。数据表明，看到一个关于如何分解问题的具体实例，比任何抽象的指令或内部审视都更有价值。
相比之下，涉及生成多条推理路径的更复杂的策略并未带来预期的收益。其中一种方法是要求模型生成三个不同的解决方案并选择最常见的答案，结果发现它未能击败单示例法。虽然这种技术已知有助于大型、功能强大的模型，但研究发现，对于这些较小的系统，生成多个答案所付出的额外努力并没有转化为统计学上可靠的正确率提升。研究人员指出，这些模型产生的错误并不足够多样化，以至于无法通过投票来纠正，这意味着用于这种方法的额外计算能力在很大程度上被浪费了。
更为惊人的是“思维树”（tree-of-thought）策略的表现，这是一种复杂的策略，模型被鼓励去探索不同的思想分支、评估它们，并在路径导致死路时进行回溯。这种技术此前在需要向前看或尝试多种可能性的困难谜题中展现出了巨大的潜力。然而，在这些简单的算术问题上，它的表现并不比仅仅要求模型“一步步思考”的基本方法更好。在受试的三种模型中的两种里，这种复杂的搜索方法实际上比简单的基于示例的方法表现得更差。研究表明，对于简短、线性的数学问题，探索多个分支的开销是一种负担，因为这些问题并不需要这种策略所提供的深度探索。
这些发现为使用这些技术的人们提供了实用的指南。研究表明，对于处理标准算术的小型开源模型，最有效的路径并不是增加更复杂的推理机制或强迫模型向多个方向思考。相反，提高性能最可靠的方法是投入时间编写几个高质量的示例，以演示解决问题的正确方式。虽然更复杂的方法看起来像是获得更聪明结果的一种途径，但数据表明，对于这类特定任务，它们增加了显著的成本和时间，却没有带来相应的准确度提升。对于希望高效部署这些模型的从业者来说，研究结论是：一个构建良好的示例远比复杂的搜索算法更有价值。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。