💬 NLP

Short Chains, Deep Thoughts: Balancing Reasoning Efficiency and Intra-Segment Capability via Split-Merge Optimization

本文介绍了 CoSMo，这是一个通过一致性引导的拆分 - 合并算法和结构对齐的强化学习来消除结构冗余，从而在显著降低计算开销的同时大幅提升准确性的框架，旨在增强大型推理模型。

原作者： Runquan Gui, Jie Wang, Zhihai Wang, Chi Ma, Jianye Hao, Feng Wu

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Runquan Gui, Jie Wang, Zhihai Wang, Chi Ma, Jianye Hao, Feng Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个复杂的谜题，就像“威利在哪里？”（Where's Waldo?），只不过寻找的是事实，而不是条纹衬衫。你有一支侦探团队（即人工智能）在努力寻找答案。

在过去，这些侦探被要求“一步步思考”。他们确实这样做了，但往往思虑过度。他们会写下每一个念头，甚至包括那些只是重复已知信息或检查无需验证之事的念头。这导致了一本庞大而杂乱的笔记本，里面充满了冗余的笔记。阅读它耗时极长，浪费了大量纸张（计算能力），有时，笔记的数量之多反而让侦探感到困惑，使他们错过了显而易见的答案。

本文介绍了一种名为CoSMo（一致性引导的拆分 - 合并优化）的新方法，旨在解决这一问题。可以将 CoSMo 想象为一位智能编辑，它教导侦探如何在不丢失任何关键情节的情况下，写出简洁完美的故事。

以下是 CoSMo 的工作原理，使用简单的类比来说明：

1. 问题：过多的闲聊

本文认为，当前的人工智能模型就像那些话太多的人。他们不仅仅说“答案是 X"，而是说：“我正在思考 X，我也在再次思考 X，也许我应该检查 X 是否为真，哦看，X 又确实是真。”

问题所在：这种“闲聊”造成了结构性冗余。问题不在于词语太长，而在于不同步骤（片段）的数量过多。
类比：想象一下从你家走到商店。普通人会径直走去。而一个思虑过度的 AI 可能会走到公园，查看时间，走回来，走到图书馆，再次查看时间，然后才走到商店。距离（Token 数量）可能相似，但停留的次数（片段）却巨大且低效。

2. 解决方案：“拆分 - 合并”算法

CoSMo 将 AI 的推理链视为需要编辑的句子。它使用一个两步过程来清理它：

合并（剪除废话）：如果 AI 写下的两个步骤表达了相同的意思，或者只是彼此的微小变体，CoSMo 会说：“嘿，这是同一个想法！”它将它们合并为一个强有力、清晰的句子。
- 类比：与其说“我饿了。我感到胃里在咕噜作响”，编辑会将其合并为“我饿了”。
拆分（填补空白）：有时，AI 试图过于高效而跳过了步骤，直接从"A"跳到"C"，而没有解释"B"。CoSMo 会察觉这种“逻辑跳跃”并说：“等等，你跳了一步！”它将那个巨大的跳跃拆分为两个更小、更合乎逻辑的步骤。
- 类比：如果 AI 说“我看见了一只狗，所以我买了一条狗绳”，CoSMo 会将其拆分为："1. 我看见了一只狗。2. 我需要一条给狗的狗绳。”

3. 训练：学习“恰到好处”

本文描述了一个两阶段的训练过程，以教导 AI 这种新的思维方式：

第一阶段：编辑（监督微调）：研究人员利用拆分 - 合并算法，将 AI 混乱、冗长的答案重写为完美、简洁的版本。然后，他们教导 AI 模仿这些完美版本。这就像学生研读范文以学习如何清晰写作。
第二阶段：教练（强化学习）：现在，AI 尝试独立解决问题。“教练”（奖励系统）不仅仅计算 AI 使用了多少单词。相反，它计算 AI 采取了多少个不同的步骤。
- 转折：教练说：“你可以在一个步骤内写尽可能多的单词，以做到非常详细和准确。但是，你绝不能采取太多的步骤。”
- 为何重要：以往的方法试图限制单词总数。CoSMo 认识到，有时你确实需要长句子来解释复杂的概念。因此，它惩罚 AI 采取过多的停留（片段），而不是惩罚其写出长句子。

4. 结果：更短的链条，更深的思考

本文在各种难题（如多步骤常识问答或阅读理解）上测试了这种方法。

结果：与其他方法相比，CoSMo 生成的答案更准确，且使用的步骤更少。
隐喻：想象一场比赛。其他选手在绕圈跑（冗余步骤）或进行巨大而笨拙的跳跃（跳过逻辑）。CoSMo 的选手采取了最直接的路径，在检查地图时恰好停留了正确的次数，但从未停下来系两次鞋带。
数据：本文声称，CoSMo 将准确率提高了约 3.3 分，同时将推理步骤的数量减少了近 29%。

总结

简而言之，本文指出：不要仅仅让 AI 少说话；要让 AI 更高效地思考。

通过教导 AI 合并其重复的想法并拆分其跳过的步骤，CoSMo 创造了一种“金发姑娘”式的推理风格：不太短（以免遗漏细节），不太长（以免浪费时间），而是恰好适合问题的复杂性。它允许 AI 在需要的地方保持深度和细节，同时剔除那些拖慢其速度的结构性杂乱。

以下是论文《短链，深思：通过拆分 - 合并优化平衡推理效率与段内能力》的详细技术总结。

1. 问题陈述

大型推理模型（LRMs）通过生成长思维链（CoT），在复杂任务（如多跳问答、数学、代码）中展现了令人印象深刻的能力。然而，这种对冗长生成的依赖引入了两个关键问题：

计算开销：长推理链导致显著的延迟和 token 消耗。
结构冗余：简单地不加区分地缩短链条（例如通过 token 限制或剪枝）往往会破坏逻辑连贯性。相反，过长的长度会引入冗余步骤，可能使模型感到困惑，特别是在知识密集型的多跳问答（QA）中。
核心挑战：现有方法无法区分结构冗余（不必要的推理步骤/片段）与段内深度（解释单个逻辑步骤所需的必要 token 量）。现有方法通常惩罚总 token 长度，无意中抑制了复杂问题所需的深度推理能力。

2. 方法论：CoSMo 框架

作者提出了CoSMo（一致性引导的拆分 - 合并优化），这是一个旨在优化推理链拓扑结构而非仅仅优化其长度的框架。它分为两个阶段运行：

A. 拆分 - 合并优化算法（数据构建与 SFT）

受图像分割算法的启发，CoSMo 将推理链视为离散片段序列（ $s_1, s_2, ..., s_N$ ）。它通过迭代优化链条，使片段数量（ $N$ ）与问题的真实跳数（ $k^*$ ）对齐。

合并阶段：如果 $N > k^*$ （存在冗余），算法利用基于 LLM 的一致性判断器识别语义冗余的相邻片段（例如，释义或微不足道的扩展）。随后，语义生成器将这些片段融合为单个简洁的逻辑单元。
拆分阶段：如果 $N < k^*$ （存在逻辑跳跃），算法检测出多个步骤被压缩的粗粒度逻辑。生成器将这些步骤分解为更细粒度、连贯的子片段，以确保逻辑连续性。
结果：该过程创建了一个高质量、逻辑密集的数据集（ $D_{cosmo}$ ），用于监督微调（SFT），从而在模型中植入结构先验。

B. 结构对齐强化学习（RL）

在 SFT 之后，模型使用**组相对策略优化（GRPO）**进行进一步优化。

新颖的奖励机制：CoSMo 不惩罚总 token 数量，而是引入了片段级预算。
- 格式奖励：确保严格遵守编号列表结构。
- 正确性奖励：奖励答案的完全匹配。
- 结构效率奖励：惩罚片段数量与真实值的偏差（ $|N - k^*|$ ）。
关键创新：这种设计允许模型在不受惩罚的情况下增加片段内的 token 长度（用于深度推理），只要片段数量保持最优。这将结构效率与描述深度解耦。

3. 主要贡献

结构与深度的解耦：本文正式将推理效率的定义从 token 数量转变为与问题复杂度的拓扑对齐。它将结构冗余（片段数量）与段内推理（token 粒度）分离开来。
一致性引导的拆分 - 合并：一种新颖算法，通过合并冗余步骤和拆分逻辑间隙来动态构建训练数据，确保简洁性与逻辑连续性。
RL 中的片段级预算：一种强化学习策略，用片段数量惩罚取代全局 token 约束，防止抑制必要的深度推理细节。
实证验证：全面的实验表明，优化结构比单纯优化长度能带来更好的性能。

4. 实验结果

作者在多个基准测试（HotpotQA、HaluEval、NQ、CRAG）上使用 Llama-3.1-8B 和 Qwen-2.5 模型评估了 CoSMo。

性能提升：与推理效率基线相比，CoSMo 在基准测试中实现了平均 +3.3 分 的准确率提升。
效率：
- 平均 token 消耗减少了 29.5%。
- 与高效推理基线相比，平均 片段数量减少了 28.7%。
- 在 HotpotQA（主要是 2 跳问题）上，CoSMo 将结构冗余（超过真实值的片段）从约 1.6（CoT）降低至 0.6。
鲁棒性：
- 随着任务难度增加（从 2 跳到 4 跳问题），CoSMo 保持了高准确率，而 CoT 和 C3oT 等基线模型的准确率则显著下降。
- 该模型在不同 LLM 判断器（Qwen-7B/14B/72B、Llama-3.1）上表现出一致的优越性，证明其增益源于内在的逻辑有效性，而非判断器偏差。
消融研究：
- 仅 SFT 阶段（拆分 - 合并）就在准确率和 token 减少方面提供了显著增益。
- RL 阶段进一步增强了内在能力。
- 两个阶段的结合产生了最佳结果，证实了结构先验与 RL 对齐是互补的。

5. 意义与影响

计算可持续性：通过消除结构冗余而不牺牲推理深度，CoSMo 为“绿色 AI"提供了一条路径，降低了 LRMs 的碳足迹和推理成本。
范式转变：这项工作挑战了主流的"token 预算”方法，表明推理的结构比 token 的数量是更关键的优化目标。
可解释性：生成的分段推理结构更加透明，允许更好地分析模型在推理过程中如何分配资源。
泛化性：该方法与模型无关，并在不同的骨干架构和难度级别上均有效，使其成为在资源受限设备上部署高效推理模型的有前景的方法。