🤖 AI

MARS: Margin-Adversarial Risk-controlled Stopping for Parallel LLM Test-time Scaling

该论文介绍了 MARS，一种边际对抗停止规则，它能在领先答案在统计学上被保证保持稳定时，动态地停止并行的大语言模型推理轨迹，从而在不牺牲准确度（相比于全预算推理）的前提下，降低 25%–47% 的计算成本。

原作者： Wenbo Chen, Puheng Li, Mengyang Liu, Weijie Su, Tianpei Xie

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenbo Chen, Puheng Li, Mengyang Liu, Weijie Su, Tianpei Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个非常困难的数学问题。与其让一个人独自思考，不如雇佣 512 个不同的人（或 AI “轨迹/traces”）同时进行工作。这被称为并行测试时缩放（parallel test-time scaling）。

通常情况下，你必须等待 512 个人全部写完他们的整篇论文后，才能进行投票并确定谁得到了正确答案。这需要大量的时间和金钱（计算能力），尽管在很多问题上，早在所有人完成写作之前，胜负就已经显而易见了。

这篇论文介绍了一种新方法，叫做 MARS（边际对抗风险控制停止法/Margin-Adversarial Risk-controlled Stopping）。你可以把 MARS 想象成一个聪明的裁判，他可以中途窥视作家的草稿，并在不冒选错赢家的风险下，决定何时提前结束比赛。

它是如何运作的，这里使用简单的类比：

1. 问题所在：“虚假共识”陷阱

想象一场比赛，89% 的选手目前穿着红衬衫（错误答案），只有 11% 的选手穿着蓝衬衫（正确答案）。

旧方法（共识停止法）： 一个天真的裁判看到红队目前大幅领先，于是说：“好吧，红队显然要赢了，让我们结束比赛吧！”但随后，蓝队成员意识到他们的策略更好，于是转向蓝色，并反超了红队。裁判停得太早了，选错了赢家。
论文的观察： 仅仅因为一个队伍现在领先并不意味着他们已经安全了。我们需要知道落后的一方是否还有足够的“燃料”来追赶。

2. MARS 的解决方案：“安全边际”检查

MARS 扮演着一个谨慎的裁判角色，他不仅看当前的得分，还会计算未来的最坏情况。

在定期检查点（checkpoints），裁判会暂停选手，询问：“你目前的答案是什么？”（这被称为探测/probing）。然后，MARS 会做两件事：

步骤 A：预测转换（“谁”会变）：
MARS 查看每个选手的历史记录。他们以前改变过主意吗？他们足够自信吗？基于此，它会估算特定选手在稍后改变答案的概率。
- 类比： 这就像教练观察一名选手的汗水和呼吸，以此来猜测：“这个选手很可能会放弃或改变主意”对比“这个选手很稳健”。
步骤 B：对抗性安全网（“有多糟”）：
MARS 会问一个可怕的问题：“落后的一方能做出的最坏情况是什么？”它假设如果一名选手确实改变了主意，他们可能会转向最强的对手阵营，试图夺取胜利。
- 类比： 想象裁判计算道：“红队领先了 100 分。但是，如果所有未定论的选手都转向蓝队，并且有 20 名红队成员也转向蓝队，那么蓝队就能获胜。”
- 只有当领先者的优势如此之大，以至于即使每一个未定论的选手都以最坏的方式转向最强的对手，领先者依然会获胜时，MARS 才会停止比赛。

3. “校准”技巧

论文承认，假设所有人都会转向最强的对手是过于可怕（过于保守）的。这会导致裁判一直等到最后，从而失去了提前停止的意义。

因此，MARS 先进行了一场微型的“练习赛”（称为热身轨迹/warmup traces）。它观察这些练习赛中的选手，看他们更换答案的频率以及转向了哪里。它利用这些数据来调整其“可怕程度”（称为 gamma）。

类比： 如果练习赛显示选手很少转向对手阵营，裁判就会稍微放宽规则。“好吧，我们不需要等到绝对最坏的情况发生；我们只需要等到一个非常可能发生的坏情况即可。”这使得比赛可以更早停止，同时保持安全性。

4. 结果

论文在三种不同的 AI 模型解决困难数学竞赛（如 AIME 和 HMMT）的过程中测试了 MARS。

节省： 与等待所有人完成写作相比，MARS 节省了 25% 到 47% 的计算时间（token 数）。即使与已经尝试通过各种手段节省成本的聪明方法相比，MARS 还额外节省了 14% 到 29%。
准确性： 至关重要的是，MARS 并没有降低准确率。它选出正确答案的频率与等待所有人完成时是一样的。
对比： 另一种名为“并行探测（Parallel-Probe）”的方法试图通过等待多数派看起来趋于稳定来提前停止。论文表明，这种方法在处理难题时表现极差（准确率下降了一半），因为它在“错误”答案看起来很稳定时过早停止了。MARS 通过检查“安全边际”而非仅仅看当前得分，成功避免了这种情况。

总结

MARS 是一种智能的 AI 推理提前停止方法。它不再等待每个人都写完整篇论文，而是通过检查草稿、预测谁可能会改变主意，并计算即便对手全力追赶时领先者是否依然安全。如果领先者是安全的，它就会停止比赛，在不牺牲正确答案的前提下，节省大量的成本和时间。

技术摘要：MARS（边际对抗风险控制停止法）

1. 问题陈述

并行测试时缩放（Parallel test-time scaling）通过采样多个推理轨迹并聚合其答案（例如通过多数投票/Self-Consistency）来提高大语言模型（LLM）在复杂推理任务上的准确性。然而，这种方法会产生巨大的计算开销，因为通常所有的轨迹都会运行到结束，即使领先的答案在早期就已经确定。

现代推理模型能够暴露中间“思考轨迹”，允许在不中断生成的情况下通过探测（probing）提取部分答案。现有的早期停止方法依赖于共识启发式算法（例如，当多数答案在连续 $u$ 个检查点内保持稳定时停止）。本文指出，这些启发式算法在处理难题时存在根本性缺陷：它们往往会锁定那些在早期看似稳定、但随后会被更多轨迹修正后的正确答案所取代的错误答案。核心挑战在于：如何确定何时可以安全地停止并行生成以节省 token，同时又能证明其能够保留最终全预算下的投票结果。

2. 方法论：MARS

作者提出了 MARS（Margin-Adversarial Risk-controlled Stopping，边际对抗风险控制停止法），这是一种原则性的早期停止规则，将关注点从历史稳定性转向了未来风险。

核心洞察

安全性并不取决于投票是否发生了变化，而取决于它是否还能发生变化。只有当领先者的当前边际（margin）超过每一个挑战者的最大可能损害时，该领先地位才是安全的。

停止规则

在每个检查点 $t$ ，MARS 会评估每一个活跃的轨迹 $j$ 和每一个潜在的挑战者 $k$ （包括代表新颖答案的合成“未见”挑战者 $\perp$ ）。当满足以下条件时，算法停止：对于所有挑战者 $k$ ：
$M_k(t) \ge \Gamma_k(t) + \epsilon(N, \delta)$
其中：

$M_k(t)$ ：当前领先者 $L(t)$ 对挑战者 $k$ 的投票边际。
$\Gamma_k(t)$ ：预期的对抗性切换损害（adversarial switch damage）。这是如果活跃轨迹切换到对领先者最不利的目标时，预期造成的投票损失总和。
- 如果一个当前投给领先者的轨迹发生切换，则造成 $2w_j$ 的损害（失去 $w_j$ 给领先者，增加 $w_j$ 给挑战者）。
- 如果一个投给中立选项的轨迹切换到挑战者，则损害为 $w_j$ 。
- 如果一个投给挑战者的轨迹发生切换，则实际上对领先者有利（负向损害）。
$\epsilon(N, \delta)$ ：一个集中不等式（由 Hoeffding 不等式导出）的浓度界限，确保领先者发生变化的概率低于风险水平 $\delta$ 。

两部分建模

为了使该规则具有实用性，MARS 将不确定性分为两个部分：

切换概率 ( $q_j$ )： 轨迹是否会改变其答案。这使用一个轻量级的 5 特征逻辑回归模型进行学习，该模型是在一小组“预热（warmup）”轨迹上训练的。特征包括检查点位置、探测置信度、答案翻转计数、连续长度和置信度趋势。
目标行为： 切换的轨迹会落入何处。由于预测精确的未来答案字符串是难以实现的，MARS 对此采取对抗性处理。为了避免过于保守（即假设所有切换都协同一致地针对领先者），MARS 引入了一个收缩参数 $\gamma \in [0.5, 1]$ 。该参数通过预热轨迹进行校准，以估计在实践中实际表现出对抗行为的切换质量占比。

算法流程

预热（Warmup）： 完成 16 条轨迹的运行，以拟合切换概率模型并校准 $\gamma$ 。
并行执行： 启动 $N$ 条轨迹。
检查点（Checkpointing）： 定期探测活跃轨迹当前的答案。
认证（Certification）： 计算边际和预期对抗性损害。如果边际超过了所有挑战者的损害界限，则停止生成并输出当前的领先答案。
回退（Fallback）： 如果从未满足条件，则运行至全额预算。

3. 核心贡献

原则性的停止准则： 引入了一种基于边际且受风险控制的停止规则，能够提供高概率保证，确保早期停止的答案与全预算下的投票结果一致，这不同于传统的共识启发式方法。
对抗性校准： 开发了一种处理“轨迹会切换到何处”这一不确定性的方法，通过结合学习到的切换概率与校准后的对抗界限，避免了复杂的目的地分布建模。
实证验证： 证明了用于切换概率的简单逻辑回归模型能高度匹配“先知（oracle）”行为（即已知未来的切换状态），验证了“是否切换”与“落入何处”这两个过程的分离。

4. 实验结果

在三个竞赛数学基准测试（AIME 2025, HMMT, BRUMO 2025）上对三个模型（DeepSeek-R1-8B, Qwen3-32B, Qwen3-next）进行了评估：

Token 节省：
- 与标准 Self-Consistency (SC) 相比，减少了 25–47% 的 token。
- 在 DeepConf Online（一个基于置信度过滤和截断弱轨迹的强基线）的基础上，进一步减少了 14–29% 的 token。
准确率保持：
- MARS 在所有 18 个设置中均能匹配全预算基线的准确率（在发生变化的情况下差异在 0.6 个百分点以内）。
- 在某些设置下，准确率甚至提升了高达 0.8 个百分点（例如在 SC 下的 Qwen3-next 处理 AIME 任务）。
与 Parallel-Probe 的比较：
- 并行探测方法 Parallel-Probe（使用共识稳定性）面临权衡：它只有在牺牲显著准确率（损失 6–45 个百分点）的情况下才能实现高节省率（20–51%）。当为了保持准确率进行调整时，其节省率降至 $\le 4\%$ 。
- MARS 通过认证边际而非检测稳定性，实现了在不损失准确率的情况下获得高节省率。

5. 重要性与主张

论文声称，聚合边际稳定性（aggregate margin stability） 是一个独特且有效的测试时效率来源，它独立于单条轨迹的置信度过滤。其重要性在于：

安全性保证： 通过理论保证（通过 Hoeffding 界限）证明早期停止不会改变最终的投票结果，解决了共识启发式算法在处理难题时的失效模式。
无需训练的效率： 完全通过观察生成动态和探测来实现效率，无需额外的验证器训练或奖励模型。
实用性： 证明了结合了学习到的切换概率与校准后的对抗界限的简单、轻量级模型，足以捕捉并行推理中的复杂动态，从而在现实世界的并行解码场景中实现大幅度的 token 节省。

作者指出，未来的工作可以探索自适应探测间隔，并将该框架扩展到数学推理之外的领域，如代码生成或智能体任务。