🤖 AI

Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models

该论文提出了 DiScO，这是一个通过显式定义并优化多样化思维模式（包括推理转换和答案候选）来增强大语言模型推理能力的框架，该框架通过模式感知、强化学习和多样化推理这三个阶段的过程，使得在数学基准测试上的表现优于标准方法，并提升了错误恢复能力。

原作者： Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：不要只是一味地努力，要尝试“换个思路”

想象一下，你正在尝试破解一个非常复杂的迷宫。大多数 AI 模型（大型推理模型）就像是一个在迷宫中奔跑的单一跑者：他沿着一条路径跑下去，撞到了墙，然后转身，试图沿着同一条路径再次尝试，只是跑得稍微快了一点点。他们会陷入循环，或者因为过于专注于最初的想法而选择放弃。

这篇论文认为，要解决复杂问题，AI 不应该只是跑得更快，它需要成为一个更好的探索者。作者引入了一个概念，叫做**“思维图式”（Thinking Schemas）**。你可以把它理解为 AI 内部的“绘图”风格。

他们发现，当 AI 的绘图风格具有多样性时，表现最为出色。具体来说，他们观察了两个方面：

推理转换（Reasoning Transitions）： AI 改变主意或切换策略的频率（例如：“等等，刚才那个数学方法行不通，让我们试试画图吧”）。
候选答案（Answer Candidates）： 在最终确定最终答案之前，AI 在过程中考虑了多少种不同的可能答案。

该论文声称：AI 改变主意的次数越多、尝试的角度越多样，它找到正确答案的可能性就越大。

问题所在：“固执的跑者”

目前的 AI 模型经常陷入思维定式。如果它们开始以某种方式解决数学问题，即使在进行到一半时意识到自己错了，它们也倾向于继续那样做。它们可能会说：“我觉得答案是 12”，然后意识到 12 是错的，但它们并不会尝试一个完全不同的方法，而是仅仅微调这个 12，说：“好吧，也许是 12.1？”

它们缺乏这种能力——即能够说：“好吧，我错了。让我们把这整个想法扔进垃圾桶，从另一个角度重新开始。”

解决方案：DiScO（多样化图式策略优化）

作者创建了一种新的训练方法，叫做 DiScO。你可以把 DiScO 想象成一位教练，教导 AI 如何成为一名灵活的探索者。它分为三个步骤：

1. 教会 AI “为思想贴标签”（图式感知型 SFT）

首先，AI 被教导戴上一顶“思考帽”，帮助它观察自己的思维过程。它学习用特殊的标签来标记自己的推理过程：

\AnswerCandidate： “我觉得答案可能是 X。”
\ReasoningTransition： “等等，我现在正在改变策略。”

这就像是教学生在作业的边角处写下“我卡住了”或“让我们尝试另一种方法”一样。这让 AI 能够意识到自己是在“如何思考”，而不仅仅是“在思考什么”。

2. 奖励“改变主意”（面向多样性的强化学习）

接下来，AI 会参加一场游戏，它获得的积分不仅取决于是否得到了正确答案，还取决于其多样性。

如果 AI 用三种不同的方法解决了问题，它会获得加分。
如果它从“做数学题”切换到了“画示意图”，它会获得加分。
如果它只是不停地重复同一句话，它就拿不到分。

这就像是一位教练告诉跑者：“如果你只是跑同样的圈数，你只能得到 C。但如果你尝试穿过森林、穿过河流、再穿过山丘，你就能得到 A+。” AI 从而学到了探索不同的路径是有价值的。

3. “重新开始”的小技巧（推理时多样性）

最后，当 AI 真正进行测试（推理阶段）时，系统有一个安全网。如果 AI 开始胡言乱语或陷入循环（不断重复），系统会切断其思维过程的开头部分，并说：“好吧，忘掉你刚才说的头 20% 的内容。利用剩下的部分重新开始吧。”

这迫使 AI “重置”，并用全新的视角来看待问题，防止它陷入思维死胡同。

结果如何？（研究成果）

研究人员在困难的数学问题（如高水平竞赛中的题目）上对该方法进行了测试。

更高的分数： 使用 DiScO 训练的 AI 比标准 AI 模型得分显著更高，尤其是在处理最难的问题时。
更好的恢复能力： 当 AI 在早期犯错时，经过 DiScO 训练的模型能更好地意识到“噢不，我走错路了”，并切换到新路径来修正错误。而标准模型往往只会沿着错误的路径继续走下去。
更多的选项： DiScO 模型不仅仅是猜一个答案；它们在确定最终答案之前，探索了许多不同的“候选答案”。

总结

论文得出结论：多样性是关键。正如人类在解决难题时，通过尝试不同策略、变换视角以及不固守第一个想法来获益一样，当 AI 被鼓励以多样化、灵活的方式思考时，它们的表现也会更好。

作者指出，AI 推理的未来不仅仅在于让模型变得更大或更快，而在于让它们成为更具多样性的思考者。

技术摘要：多样化思维图式激发大语言模型更强的推理能力

问题陈述

大型推理模型（LRMs）通过生成长链式思考，在解决复杂数学问题方面展现出了显著的能力。然而，目前的方法往往依赖于过度预定义的推理结构，例如严格的线性链或显式组织的树状结构，这可能会限制认知灵活性。作者识别了两个关键且尚未得到充分探索的推理过程维度：推理转换（Reasoning Transitions，即推理步骤之间的明显转变，例如“让我尝试另一种方法”）和答案候选（Answer Candidates，即模型提出的不同解题路径或中间结论）。论文指出，现有模型往往会收敛于狭窄的推理模式，未能充分探索解空间，这限制了它们在复杂任务中从错误中恢复或寻找最优解的能力。

方法论：DiScO 框架

为了解决这些局限性，作者提出了 DiScO（多样化图式策略优化，Diverse Schemata Policy Optimization） 框架，旨在增强训练和推理过程中“思维图式”（控制转换和解路径的潜在推理结构）的多样性。该框架由三个核心部分组成：

1. 图式感知监督微调（Schemata-Aware SFT）

首先，通过训练模型显式地标注其自身的推理链，使其具备“图式感知”能力。引入了两个专门的标记：

\ReasoningTransition：标记推理视角或策略的转变。
\AnswerCandidate：标记潜在的最终答案或中间结论。
这一步骤使得潜在的思维结构变得可观测且易于分析，而无需在每个训练步骤中都进行外部人工标注（标注由 LLM 标注器，具体为 Qwen3-Max 生成）。

2. 多样性导向强化学习（Diversity-Oriented RL）

在 SFT 之后，模型使用改进的**组相对策略优化（GRPO）**算法进行强化学习。其核心创新是一个平衡准确性与多样性的复合奖励函数 ( $R$ )：
$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$

多样性奖励 ( $R_{div}$ )：鼓励生成不同的推理转换和答案候选。它衡量转换的数量 ( $N_{thought}$ )、答案候选的数量 ( $N_{ans}$ )、解的唯一性 ( $N_{uniq}$ ) 以及中间候选的正确性 ( $N_{true}$ )。应用截断上限以防止通过重复标记进行奖励作弊（reward hacking）。
准确性奖励 ( $R_{acc}$ )：针对正确最终答案的标准二元奖励。
格式奖励 ( $R_{form}$ )：确保模型遵循要求的标注标签和最终答案格式。

3. 推理时多样性增强（ITDE）

为了在推理过程中进一步促进多样性，当模型达到最大生成长度仍未得出最终答案时，采用了两种策略：

初始截断（Initial Truncation）：丢弃最早的 20% 的 token，以模拟“认知重置”，允许模型从全新的视角重新构建问题。
带重复消除的截断（Truncation with Repetition Elimination）：检测并移除重复的推理模式（例如相同的 15 个词的短语），以打破局部循环并鼓励探索新路径。

核心贡献

概念定义：论文引入了“思维图式”的概念，通过可观测的推理转换和答案候选来定义它们。论文通过实验证明，不同类别的图式多样性与各类 LRM 的性能之间存在正相关关系。
DiScO 框架：作者提出了一个新颖的框架，整合了图式感知 SFT、多样性导向 RL 和推理时策略，以系统性地促进多样化推理。
实证验证：在五个数学推理基准测试和三个领域外（OOD）基准测试上的广泛实验表明，DiScO 一致优于标准的 GRPO 和其他多样性导向的基线模型。

实验结果

作者在 7B 和 32B 规模的 DeepSeek-R1-Distill-Qwen 模型上评估了 DiScO，并将其与前沿专有模型（如 GPT-5、Claude 3.5）及开源基线进行了对比。

性能提升：DiScO 在开源模型中一致取得了最先进的结果。例如，DiScO-7B 在 MATH-500 上达到了 95.6%，在 AIME 2024 上达到了 70.0%，显著优于其他 7B 模型。DiScO-32B 在各基准测试中的平均准确率达到 83.5%，超越了基础的 DeepSeek-R1-Distill-Qwen-32B。
难题表现：在具有挑战性的竞赛级基准测试（AIME, AMC）上，提升最为显著，这些测试领域仍有巨大的提升空间。DiScO-32B 在 AIME 2024 和 2025 上比基础模型实现了 6.7% 的绝对提升。
泛化能力：尽管仅在数学数据上进行训练，DiScO 仍能有效地泛化到领域外任务（ARC-c, GPQA-diamond, MMLU-Pro），这表明图式层面的多样性可以促进可迁移的推理行为。
错误恢复：人工标注分析显示，DiScO 显著提高了模型从错误初始尝试中恢复的能力（通过 FWFC 指标衡量：首次错误，最终正确）。与基线相比，DiScO 模型不太可能丢弃正确的中间答案，并且更有可能进行自我修正。
Pass@k 性能：DiScO 在多尝试场景（Pass@k）中表现出性能提升，这表明它实现了真正的推理边界扩张，而非仅仅是重塑了单次生成的分布。

意义与主张

论文声称，思维图式的多样性在成功解决问题中起着至关重要的作用，它是标准模型缩放（参数和数据）的一个互补维度。作者认为：

多样性是一种可扩展的资源：促进多样化的思维图式可以让模型探索替代性的推理路径，并更有效地从错误中恢复，从而在不增加模型规模的情况下提高处理复杂任务的能力。
超越 Token 级别的多样性：不同于以往关注独立采样过程中的 token 级熵或轨迹级采样的研究，DiScO 针对的是单个推理轨迹内部的多样性，培养了模拟人类解决问题方式的语义转变和视角变化。
实际影响：该框架为提升开源推理模型提供了一条切实可行的路径，缩小了与前沿专有系统的差距，并通过显式的图式标注增强了推理过程的可解释性。

作者承认存在一些局限性，包括基于 LLM 标注的高昂成本、推理延迟的轻微增加（约 10% 的 token 增量），以及目前仅侧重于数学推理，但他们指出在领域外任务中也取得了持续的收益。他们建议未来的工作可以探索更廉价的标注方法（例如探测隐藏状态）以及将这些原则应用于其他推理领域。