What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code
本文挑战了可执行代码固有地提升通用推理能力的观点，转而证明混合代码 - 文本和数学 - 文本数据中的结构化推理信号（而非代码本身）推动了数学推理能力的提升，同时提供了一种缓解跨领域权衡的策略。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在训练一名超级聪明、无所不能的巨型学生（一个大语言模型），目标是让它擅长一切：写故事、解数学题、写计算机代码。长期以来，研究人员认为，给这名学生灌输大量计算机代码，就像赋予他们一种秘密超能力，能让他们在包括数学和逻辑在内的所有领域都变得更出色。
但这篇论文说：“且慢，让我们仔细看看。”
研究人员构建了一个包含 10 万亿个词元（tokens）的庞大图书馆，并进行了一系列实验，以观察当改变该图书馆中书籍的混合比例时，究竟会发生什么。以下是他们发现的简单解释：
1. 关于“代码”的误解
旧观念：人们认为，“如果我们教学生写代码，他们就会因为代码具有逻辑性而在数学和逻辑方面变得更聪明。”
新发现：研究人员发现，纯代码（仅可执行的指令，没有任何解释）实际上非常具体。这就像教学生完美地下棋。这能让他们成为国际象棋特级大师，但并不一定能让他们更擅长写诗或解代数题。
事实上，当他们强迫学生将过多时间花在纯代码上时，他们的数学技能反而下降了。这就好比学生的头脑过于专注于国际象棋规则，以至于忘记了如何做长除法。代码数据正在与数学数据争夺学生的注意力。
2. 真正的英雄：“结构化推理”（脚手架）
那么，如果纯代码不是灵丹妙药，什么才是呢？研究人员发现，真正的魔力来自于结构化推理轨迹。
这就像建筑工人使用的脚手架。
- 纯代码只是建好的大楼。
- 结构化推理则是脚手架、蓝图以及展示如何建造它的分步说明。
研究人员发现，那些展示分步逻辑的数据（例如将问题分解为清晰小步骤的数学证明，或者混合了清晰解释“为何有效”的代码片段），才是真正提升推理能力的关键。
他们将此称为**“认知脚手架”**。
- 当他们让学生接触更多这类“分步”数学题时（即使是用它们替换掉了一些常规数学题），学生在解决高难度数学题方面变得强得多。
- 关键在于，这并没有损害他们的编程技能。这就像给学生提供了更好的学习指南，而没有拿走他们的教科书。
3. “预算”问题
想象这名学生拥有固定的学习时间（即“词元预算”）。
- 如果你用代码填满这段时间，他们会在编程方面表现出色，但会挤占数学和通用知识的学习时间。
- 如果你用数学填满这段时间，他们会在数学方面表现出色，但可能会挤占通用推理的时间。
- 解决方案：研究人员发现，与其单纯增加更多“内容”，不如改变他们学习的数学类型，使其更具“结构性”（即更多脚手架），这样学生就能在不牺牲编程技能的情况下，提升解决高难度数学题的能力。
4. 大脑内部：“专家”团队
他们使用的模型就像一个由 64 位不同专家（称为“专家”）组成的团队。当学生阅读一个句子时，一个“路由器”决定由哪位专家来处理。
- 当他们移除代码时，通常处理代码的专家就无事可做了，团队的平衡发生了偏移。
- 当他们加入“认知脚手架”（结构化推理）时，团队并没有感到困惑。专家们继续各司其职，但推理的质量得到了提升。这证明了结构化数据有助于整个团队更好地协同工作，而不会造成混乱。
结论
该论文得出结论：代码本身并不是让 AI 在推理方面变得更聪明的魔法成分。相反，魔力来自于结构化的、分步的思维模式（例如在优秀的数学证明或解释清晰的代码中找到的那些模式）。
如果你希望 AI 成为更优秀的思考者，不要只是向它投喂更多原始代码。相反，给它更多“脚手架”——即那些清晰展示解决问题逻辑步骤的数据。这将帮助 AI 攻克高难度数学题，同时不丧失其编写代码的能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。