💬 NLP

Share More, Search Less: Collaborative Parallel Thinking for Efficient Test-Time Scaling

本文提出了一种无需训练的协作并行思维（CPT）框架，该框架通过使并行推理分支实时共享和复用中间发现，从而提升测试时扩展效率，减少冗余探索，并在数学基准测试中实现更优的精度 - 延迟权衡。

原作者： Xinglin Wang, Hao Lin, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinglin Wang, Hao Lin, Shaoxiong Feng, Peiwen Yuan, Yiwei Li, Jiayi Shi, Yueqi Zhang, Chuyi Tan, Ji Zhang, Boyuan Pan, Yao Hu, Kan Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在尝试解决一道非常困难的数学谜题。你有一支由 64 名天才侦探组成的团队（这些就是人工智能的“并行分支”），他们同时处理同一个案件。

旧方法：“静音房间”问题
过去，当这 64 名侦探工作时，他们被安排在完全独立且隔音的房间里。

侦探 A 花了 10 分钟推断出“答案必须是偶数”。
侦探 B 接着花了 10 分钟推断出完全相同的内容。
侦探 C 又花了 10 分钟再次重新发现这一点。

他们都在努力工作，但却浪费了大量时间和精力去重新发现其他人已经找到的东西。这就像一群人试图在黑暗的房间里寻找一把丢失的钥匙，每个人都盲目地在同一个地方摸索，却 unaware 有人已经找到了钥匙并把它放在了桌子上。

新方案：“协作式并行思维”（CPT）
本文作者提出了一种名为协作式并行思维（Collaborative Parallel Thinking, CPT）的新工作方式。不妨将其想象为在房间中央给侦探们提供了一块共享数字白板。

其运作方式如下：

先独立工作：侦探们先在自己的房间里开始工作。他们需要时间独立思考，以免立即互相抄袭。
“白板”更新：每隔一段时间（在他们写出一定数量的文本后），他们会暂停。一位特殊助手（即人工智能本身）会阅读他们写下的内容，提取最重要的线索（例如“答案是偶数”或“不要除以零”），并将它们写在共享白板上。
去重：如果侦探 A 和侦探 B 都写了“答案是偶数”，助手只会将这条信息在板上写一次。这能保持白板整洁，避免杂乱。
广播：随后，助手会将白板上的内容大声朗读给所有人听。现在，当侦探 C 开始下一步时，他们可以看到白板。他们不必再浪费时间推断答案是偶数；可以跳过那一步，直接进入下一个难题部分。
智能时机：该系统在何时共享方面非常智能。如果侦探们仍在发现大量新线索，他们继续独自工作。但一旦他们开始反复发现相同的旧线索，系统就会说：“好吧，是时候共享白板了！”

为何这很重要
该论文在困难的数学竞赛（如 HMMT 和 AIME）中测试了这种方法。他们发现：

减少时间浪费：侦探们不再浪费时间重新寻找线索。
更快得出答案：由于无需重复工作，他们能更快地得出正确答案。
更好的结果：即使在相同的时间（或“延迟”）内，使用共享白板的团队也比在静音中工作的团队答对了更多题目。

潜在问题（局限性）
论文指出，更新白板并非没有代价。每当助手阅读白板并告知所有人上面的内容时，处理这些新信息需要消耗一点点额外的能量。然而，通过不重复工作所节省的时间，远大于更新白板所带来的成本。

简而言之
CPT 不再让 64 个人在同一个房间里盲目搜索并互相碰撞，而是为他们提供了一张共享地图。他们仍然探索不同的路径，但会即时分享各自的发现，从而确保没有人浪费时间两次走进同一条死胡同。其核心在于更多分享，更少搜索。

技术摘要：用于高效推理时扩展的协作式并行思维

1. 问题陈述

推理时扩展（Test-Time Scaling, TTS）通过分配额外的推理计算资源来探索解空间，从而增强大语言模型（LLMs）的推理能力。尽管并行 TTS 方法通过同时生成多个推理分支来加速探索，但它们存在一个关键的信息隔离瓶颈。

在现有的并行 TTS 方法中，推理分支在搜索过程中保持隔离。一个分支所发现的中间成果（例如约束条件、反例或部分结论）仅对该轨迹私有，无法实时指导其他分支。这种隔离导致：

冗余探索：不同分支反复重新发现其他分支已找到的信息。
收敛效率低下：分支需要更多的搜索步骤来收集达到正确答案所需的完整决策信息。
计算资源浪费：大量计算资源被消耗在边际信息收益递减的重复工作上，而非新颖的探索。

作者通过初步研究验证了这一瓶颈，表明随着搜索的推进，独立的并行采样会产生越来越多的重复信息单元，而离线注入共享信息则能显著提高准确率和收敛速度。

2. 方法论：协作式并行思维（CPT）

为了解决信息隔离问题，作者提出了协作式并行思维（Collaborative Parallel Thinking, CPT），这是一种无需训练的推理框架。CPT 将并行 TTS 从隔离的探索转变为搜索时的信息共享过程。它通过三个协同组件运行：

A. 协作式并行搜索

CPT 并行启动 $K$ 个推理分支。与那些在生成中途重写轨迹或注入内容的方法不同，CPT 仅在固定的 token 搜索步骤（例如每 $C$ 个 token）同步分支。

私有历史：每个分支维护其私有的推理历史（ $h_i$ ）。
共享上下文：在同步点，一个共享信息块作为额外上下文提供给后续生成块，使分支能够重用发现成果，而无需改变其私有的探索轨迹。

B. 共享信息池化

原始推理轨迹过于嘈杂，无法直接共享。CPT 利用相同的策略模型 $\pi$ 从新生成的片段中提取紧凑的信息单元（ $Z$ ）。

提取：模型提取特定的单元，如中间结论、约束条件、观察结果、反例和有用的检查。
去重：提取的单元被添加到查询级别的共享池（ $P$ ）中。系统利用语义相似度（通过文本嵌入）与现有条目进行过滤。只有相似度低于阈值（ $\tau_{dup}$ ）的单元才会被接纳，确保共享池保持紧凑且信息密集。
广播：在固定步骤，去重池中的最多 $M$ 个条目被序列化为输入上下文（即“黑板”），供所有分支使用。

C. 自适应广播调度

为了防止过早收敛或丧失探索多样性，CPT 基于边际信息增益使用自适应调度：

探测阶段：分支独立探索。提取的信息被写入池中，但尚未广播。
广播阶段：当新信息进入池的速率降至启动阈值（ $\tau_{start}$ ）以下时触发。共享池被广播给所有分支。
自由运行阶段：当增益降至停止阈值（ $\tau_{stop}$ ）以下时触发。同步停止，分支独立解码直至结束。

3. 主要贡献

信息隔离的识别：本文识别并验证了并行 TTS 中缺乏搜索时信息共享会导致冗余的重新发现并减缓收敛。
CPT 框架：提出了一种无需训练的方法，通过紧凑提取、去重池化和自适应广播，使并行分支能够共享与决策相关的信息。
实证验证：在各种模型规模（QWEN3-4B 和 QWEN3-30B）和展开预算下，在具有挑战性的数学推理基准（HMMT24/25, AIME24/25/26）上进行了广泛评估。

4. 实验结果

作者将 CPT 与强大的基线进行了评估，包括基础并行采样、DeepConf（基于置信度的选择）和 LeaP（用于自我纠正的同伴路径路由）。

准确率 - 延迟帕累托前沿：CPT 始终建立比基线更强的准确率 - 延迟前沿。在不同模型规模和问题分布下，它在匹配的实际时钟延迟下实现了更高的准确率。
冗余减少：信息统计分析表明，CPT 显著减少了每步发现的重复信息单元数量，同时保持了相当的新信息发现率。
效率提升：
- Pass@1 & MV@K：CPT 提高了单个分支的质量（Pass@1）和多数投票准确率（MV@K），表明信息共享改善了单个轨迹的质量，而不仅仅是过早地使它们对齐。
- Token 效率：CPT 实现了更强的准确率 -Token 前沿，减少了因重新发现已知信息而产生的不必要解码。
- FLOPs 权衡：虽然 CPT 减少了冗余 Token，但标准实现在广播期间因重新填充更新后的上下文而产生了额外的 FLOPs。作者指出，未来的缓存感知机制可以缓解这一问题。

5. 意义与主张

本文主张，并行推理时扩展的效率不仅取决于启动更多的推理分支，更关键在于使分支能够在搜索过程中共享和重用与决策相关的信息。

范式转变：CPT 将并行 TTS 从“带有事后聚合的独立采样”转变为“带有实时信息池化的协作搜索”。
无需训练：该方法不需要额外的训练、奖励模型或外部验证器，仅依赖策略模型提取和利用共享上下文的能力。
可扩展性：该方法在不同模型规模（从 4B 到 30B 参数）和问题难度下均有效，表明搜索时的协作是一种可推广的高效推理机制。

作者得出结论，通过搜索时的协作减少冗余的重新发现，是高效并行 TTS 的一个有效方向，为扩展推理计算提供了一条实用路径，而无需承担顺序细化方法带来的延迟开销。