💬 NLP

Parallel Test-Time Scaling for Latent Reasoning Models

该论文通过引入基于不确定性的随机采样策略（如蒙特卡洛 Dropout 和高斯噪声）以及基于对比学习的潜在奖励模型，成功实现了连续空间潜在推理模型的并行测试时扩展，为连续空间的推理扩展开辟了新方向。

原作者： Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Runyang You, Yongqi Li, Meng Liu, Wenjie Wang, Liqiang Nie, Wenjie Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让“隐形大脑”也能像人类一样“多管齐下”思考的新方法。为了让你轻松理解，我们可以把这篇论文的核心内容想象成**“在一个看不见的迷宫里寻找出口”**的故事。

1. 背景：两种思考方式

首先，我们要认识两个主角：

传统的“显性思考”（Token-based CoT）： 就像你在纸上一步步写下解题过程。每一步都写得很清楚（比如“先算加法，再算乘法”），你可以看到每一步，也可以让很多人同时写不同的步骤，最后大家投票选出一个最好的答案。这种方法很有效，但写下来太慢了，而且占地方。
新兴的“隐性思考”（Latent Reasoning）： 就像你脑子里的“灵光一闪”。你不需要把思考过程写出来，直接在脑子里用“向量”（一种看不见的数字能量）进行推演。这非常快，很紧凑，就像人类直觉一样。
- 问题在于： 以前的“隐性思考”模型太“独断”了。一旦它开始思考，就像一条单行道，只能走一条路。如果这条路走错了，它就错了，没法像传统方法那样“多试几次”来增加成功率。

2. 核心挑战：如何给“隐形大脑”制造“多样性”？

作者想问：能不能让这种“隐性思考”也学会“多管齐下”（Parallel Test-Time Scaling）？ 也就是让模型同时尝试多条思考路径，然后选出最好的那条？

这就遇到了两个大麻烦：

没法“抽样”： 传统的模型像掷骰子，有概率分布，可以随机选词。但“隐性思考”是在连续的数字空间里，没有骰子，没法直接随机生成不同的路径。
没法“打分”： 传统模型可以算出每个步骤的概率高低。但“隐性思考”的路径是看不见的向量，没有现成的分数告诉我们要选哪条路。

3. 作者的解决方案：给大脑加点“调料”

为了解决这两个问题，作者设计了一套“组合拳”：

A. 制造多样性：给思考过程加点“扰动”

为了让模型能同时尝试多条路，作者引入了两种“扰动”策略，就像给平静的湖面扔石头，激起不同的涟漪：

策略一：蒙特卡洛 Dropout (MC-Dropout) —— “随机遗忘法”
- 比喻： 想象你在做一道复杂的菜，但每次做的时候，你都会随机忘记放其中一种调料（比如这次忘了放盐，下次忘了放糖）。
- 效果： 这种“遗忘”会让模型产生不同的思考路径。它特别适合探索困难的问题，因为它能引导模型走向一些平时不会想到的、非传统的解决方案（就像因为忘了放盐，意外发现了一种新口味）。
策略二：加性高斯噪声 (AGN) —— “随机抖动法”
- 比喻： 想象你在走路时，脚下偶尔会随机抖动一下，或者被一阵风吹得偏离一点点。
- 效果： 这种抖动让模型在原本确定的路径周围进行广泛的探索。它特别适合保持稳健，即使在很混乱的情况下，也能保证不偏离太远，维持较高的准确率。

B. 选出最佳路径：训练一个“隐形裁判” (LatentRM)

既然有了多条路，怎么知道哪条是对的？传统的裁判（看概率）不管用了，因为路是看不见的。

解决方案： 作者训练了一个专门的**“隐形裁判”（Latent Reward Model）**。
比喻： 这个裁判虽然看不见具体的思考步骤，但它能感知每一步的“能量”或“潜力”。它就像一位经验丰富的老教练，不需要看运动员的每一步动作细节，只要看运动员跑过的轨迹，就能判断：“这条路线看起来很有希望，那条路线好像要撞墙了。”
训练方法： 裁判通过对比学习来训练。它看很多条路，然后学习分辨哪条路最终通向正确答案，哪条路是死胡同。

4. 实验结果：效果如何？

作者把这套方法用在了各种数学推理任务上（就像让模型做奥数题）：

越算越准： 随着尝试的路径越多（计算量越大），模型做对题目的概率就越高。
互补性强：
- 遇到简单题，“随机抖动法”（AGN）表现很好，因为它能稳稳地守住正确答案。
- 遇到难题，“随机遗忘法”（MC-Dropout）表现更好，因为它能帮模型跳出思维定势，找到意想不到的解法。
裁判很灵： 有了“隐形裁判”的挑选，模型选出的最佳路径比单纯靠“少数服从多数”投票要准确得多。

5. 总结与意义

一句话总结：
这篇论文教会了那些“只动脑子不张嘴”的 AI 模型，如何像人类一样**“三思而后行”（多试几次）和“择优录取”**（有个裁判把关），而且这一切都是在它们看不见的“潜意识”里完成的，既快又准。

这对我们意味着什么？
这意味着未来的 AI 不仅能算得快，还能在遇到难题时，通过“多管齐下”的隐性思考，变得更聪明、更可靠，而且不需要把思考过程啰嗦地写出来，大大节省了时间和算力。这为 AI 在复杂任务（如数学、科学推理）上的应用打开了一扇新的大门。

论文标题

Parallel Test-Time Scaling for Latent Reasoning Models
（潜推理模型的并行测试时扩展）

1. 研究背景与核心问题 (Problem)

背景： 大语言模型（LLM）通过测试时扩展（Test-Time Scaling, TTS），即在推理阶段增加计算量（如生成更多 Token 或采样多条路径），显著提升了复杂任务的性能。现有的 TTS 主要基于显式思维链（Explicit Chain-of-Thought, CoT），通过在自然语言中生成多个 Token 序列并聚合结果（如投票、Best-of-N）来实现。
新兴范式： 潜推理（Latent Reasoning） 是一种新兴范式，它在连续的向量空间（隐藏状态）中进行推理，而非生成离散的 Token。这种方法比显式 CoT 更紧凑、计算效率更高，且能捕捉抽象模式。
核心挑战： 尽管显式 CoT 已成功应用并行 TTS，但潜推理模型能否同样受益于并行 TTS 仍是一个未解之谜。主要存在两大障碍：
1. 缺乏采样机制： 显式模型基于概率分布（Logits）进行 Token 采样（如 Top-k, Nucleus sampling），而潜推理模型在连续向量空间中操作，缺乏固有的概率分布，无法直接生成多样化的推理路径。
2. 缺乏聚合信号： 显式模型可利用 Token 概率或最终答案的置信度来评分和选择路径。潜推理的中间步骤是抽象向量，缺乏内在的似然度或逐步评分机制，难以评估和聚合采样的潜推理轨迹。

2. 方法论 (Methodology)

为了解决上述挑战，作者提出了一套完整的并行 TTS 框架，包含随机采样和潜轨迹聚合两个核心组件。

2.1 潜空间随机采样 (Stochastic Sampling in Latent Space)

为了在连续空间中引入可控的随机性以生成多样化的推理路径，作者基于不确定性理论提出了两种互补策略：

蒙特卡洛 Dropout (MC-Dropout)：
- 原理： 在推理阶段保持 Dropout 激活，随机采样掩码（Mask）作用于模型权重。
- 目标： 捕捉认知不确定性（Epistemic Uncertainty），即模型因知识有限而产生的不确定性。
- 效果： 通过采样不同的权重配置，引导模型向非传统的解决方案方向进行结构化、有方向的扩展。
加性高斯噪声 (Additive Gaussian Noise, AGN)：
- 原理： 在每一步生成的潜向量（Latent Thought）上直接添加各向同性的高斯噪声。
- 目标： 模拟数据不确定性（Aleatoric Uncertainty），即输入本身固有的噪声或模糊性。
- 效果： 驱动广泛且各向同性的探索，丰富确定性中心周围的多样性。

2.2 潜轨迹聚合 (Latent Trajectories Aggregation)

由于潜向量没有显式的概率分数，传统的聚合方法（如基于 Log-likelihood 的 Beam Search）无法直接使用。

潜奖励模型 (Latent Reward Model, LatentRM)：
- 架构： 在潜推理骨干网络基础上增加一个评分头（Scoring Head），将输入提示和生成的潜轨迹映射为标量分数。
- 训练目标： 采用逐步对比学习（Step-wise Contrastive Objective）。
  - 对于每个推理步骤，采样多条轨迹，通过蒙特卡洛展开（Rollout）估算每个中间步骤的正确性概率。
  - 使用 Softmax 对比损失，让模型学习区分同一时刻不同候选轨迹的优劣，而非简单的二分类。
- 聚合策略： 利用 LatentRM 对轨迹进行评分，支持 Best-of-N（选择总分最高的轨迹）和 Beam Search（基于累积分数的束搜索）策略。

3. 主要贡献 (Key Contributions)

首次将并行 TTS 引入潜推理模型： 打破了并行扩展仅适用于基于 Token 推理范式的局限，证明了连续空间推理也能通过增加计算量提升性能。
解决了连续空间的采样难题： 提出了 MC-Dropout 和 AGN 两种基于不确定性理论的采样策略，实现了可控且信息丰富的随机潜推理。
设计了专用的潜奖励模型 (LatentRM)： 通过逐步对比监督，解决了潜轨迹缺乏评分信号的问题，实现了有效的轨迹选择和聚合。
揭示了探索动力学差异： 发现 MC-Dropout 倾向于结构化扩展（适合难题），而 AGN 倾向于各向同性扩散（适合保持鲁棒性），两者互补。

4. 实验结果 (Results)

基准测试： 在 GSM8K (Test/Hard) 和 MultiArith 等数学推理数据集上进行了广泛评估，使用了 COCONUT, CODI, CoLaR 等多种潜推理骨干模型。
采样效果：
- 两种采样策略均能随采样数量 $N$ 的增加而显著提升覆盖率（Coverage）。
- MC-Dropout 在大多数情况下表现更优，特别是在高难度问题上，能更有效地探索到正确解。
- AGN 在高多样性设置下表现更稳健，能维持较高的准确率。
- 可视化分析（t-SNE）显示：MC-Dropout 产生定向漂移，AGN 产生各向同性扩散（类似“烟花”模式）。
聚合效果：
- 基于 LatentRM 的 Best-of-N 和 Beam Search 策略显著优于无监督的多数投票（Majority Voting）。
- 随着计算预算（ $N$ ）的增加，准确率单调上升，证明了潜推理的可扩展性。
消融实验： 验证了“逐步对比损失”和“随机展开（Stochastic Rollouts）”对于训练 LatentRM 至关重要。移除对比损失或随机性会导致性能大幅下降。
泛化性： 该方法在更大参数量的模型（如 Llama-3.2-1B, Qwen3-VL 2B/4B）上同样有效。

5. 意义与未来展望 (Significance)

理论意义： 证明了连续向量空间推理具备与离散 Token 推理同等的“测试时扩展”潜力，填补了潜推理领域在推理策略上的空白。
效率优势： 相比显式 CoT，潜推理在保持甚至提升准确率的同时，大幅减少了 Token 生成数量，降低了推理延迟和显存占用。
未来方向：
- 将采样与聚合整合到强化学习框架中，通过迭代反馈优化潜轨迹。
- 探索如何将集成学习（Ensemble）技术适配到连续潜表示中。

总结： 该论文通过重新设计采样机制（MC-Dropout/AGN）和聚合机制（LatentRM），成功将并行测试时扩展技术迁移至潜推理模型，为在连续空间中进行高效、可扩展的推理开辟了新路径。