🤖 AI

HyPER: Bridging Exploration and Exploitation for Scalable LLM Reasoning with Hypothesis Path Expansion and Reduction

HyPER 是一种无需训练、适用于混合专家模型的在线控制策略，它通过在测试时推理过程中对假设池进行扩展、令牌级细化和置信度感知聚合来动态平衡探索与利用，从而在显著降低令牌使用量的同时大幅提升准确性。

原作者： Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一道非常困难的数学题或一个复杂的逻辑谜题。你有一位才华横溢但略显紧张的助手（即人工智能），它能够一步步地思考这个问题。

如果你只让助手尝试一次，它可能会在错误的方向上卡住，并给你一个错误的答案。为了解决这个问题，你可能会要求它同时尝试许多不同的方法。这被称为“扩展测试时计算”。

然而，这里有一个陷阱：你只有有限的时间和精力（即“计算预算”）。如果你要求助手尝试 100 条不同的路径，你可能在它们完成任何一条之前就用尽了精力。如果你只要求尝试 2 条路径，你又可能会完全错过正确的解决方案。

这篇论文介绍了一个名为HyPER（假设路径扩展与缩减）的新系统，以解决这种平衡难题。你可以将 HyPER 想象成助手思维过程的智能交通控制器。

旧方法的问题

以往处理这种情况的方式就像僵化的交通规则：

“树”方法：这就像强迫助手每走 5 步就停下来并分叉出新的路径，无论情况如何。有时它们并不需要分叉，而有时它们需要更早地分叉。这种方法过于僵化，浪费了精力。
“并行”方法：这就像要求助手从头到尾写出 100 个完整的故事，然后挑选最好的一个。它浪费了大量精力去撰写 99 个几乎相同或明显错误的故事，并且在故事撰写过程中并没有帮助提高故事的质量。

HyPER 如何工作：智能交通控制器

HyPER 通过将思考过程视为一个可以实时扩展或收缩的动态思想池来改变游戏规则。它使用了三个主要技巧：

1. “阶段依赖”开关（知道何时行动）

HyPER 像教练观察比赛一样观察助手的思考过程。

早期阶段（探索）：在开始时，助手刚刚起步。HyPER 会说：“让我们尝试几个不同的起点！”它会扩展路径数量，以确保不会错过正确的方向。
后期阶段（利用）：随着助手越来越接近答案，HyPER 注意到路径开始变得相似，或者某条路径看起来非常有信心。它说：“停止尝试新事物！将所有精力集中在完善这一条强有力的路径上。”
神奇之处：它不使用固定的时间表。它根据当前想法的自信和多样性，即时决定是向外分叉（探索）还是向内聚焦（利用）。

2. “专家优化”技巧（利用 AI 内部的多样性）

现代 AI 模型通常具有“混合专家”（MoE）架构。想象一下，AI 实际上是一个由 100 名微小专家组成的团队，但在任何给定时刻只有少数专家处于活跃状态。

旧方法：为了获得更好的答案，你必须从头开始重写整个句子。
HyPER 方法：当 AI 准备写下下一个词时，HyPER 会询问专家团队：“嘿，你认为下一个词应该是什么？”它收集不同专家针对这一个词的意见，进行平均处理，并挑选出最好的一个。
好处：这无需浪费时间重写整个故事，就能立即提高答案的质量。这就像在迈出下一步之前与团队快速商议，而不是重新开始整场比赛。

3. “长度与置信度”投票（选出获胜者）

最后，你有几个已完成的解决方案。你如何挑选出正确的那个？

陷阱：有时，一个错误的答案非常自信且简短，而正确的答案则漫长且谨慎。简单的“多数投票”可能会选出那个简短的错误答案。
HyPER 的洞察：论文发现了一个有趣的现象：当你过滤掉低置信度的路径时，正确的路径往往比错误的路径更长。错误的路径通常因为 AI 失去信心而早早崩溃。
解决方案：HyPER 不仅仅计算票数。它关注两点：**路径的置信度如何？以及解决它花了多长时间？**它对那些既自信又花时间做到详尽的答案给予奖励。这有助于它选出正确的答案，即使它不是最常见的那个。

结果

该论文在困难的数学和逻辑问题上测试了这个系统。

准确性：与以往的方法相比，它获得正确答案的频率要高得多（大约提高了 8–10%）。
效率：它使用了显著更少的能量（生成的“词元”或单词数量减少了约 25–40%）就达到了目标。

总结类比

想象你在黑暗中拿着一个电池有限的手电筒走迷宫。

旧方法要么将光束射向 100 个随机方向直到电池耗尽，要么强迫你在特定地点转弯，而不管你看到了什么。
HyPER则是一位智能向导。当你迷路时，它告诉你散开并四处张望（探索）。当你看到一条有希望的路径时，它告诉你将光束集中在那里并小心前行（利用）。如果你绊倒了，它会帮助你立即调整步伐，而无需重新开始。当你找到出口时，它会检查你所走的路径是否漫长而稳健，确保你没有只是跌跌撞撞地走进一个看起来像出口的死胡同。

结果如何？你以更快的速度找到了出口，手电筒的光更亮，而且剩下的电池更多。

技术摘要：HyPER——弥合探索与利用，实现可扩展的大语言模型推理

1. 问题陈述

通过多路径思维链（CoT）推理来扩展测试时计算已被证明能提高复杂任务的准确性，但其有效性取决于探索（生成多样化的假设路径）与利用（优化有前景的路径）之间的有效权衡。现有方法难以动态维持这种平衡：

树状搜索（如 ToT、MCTS）强制执行僵化且脆弱的扩展计划，往往破坏微调后模型原生的连续推理流，并在不必要的探索上浪费计算资源。
并行推理（如自一致性、Best-of-N）保留了原生生成能力，但倾向于过度探索冗余的、近乎重复的路径，同时未能充分利用有前景的假设。它依赖较弱的答案选择策略，且缺乏高效的测试时优化机制。
自适应变体通常侧重于剪枝（减法），而未明确将节省的计算资源重新分配给更强的利用，导致有前景的假设未能得到充分优化。

此外，近期观察表明，正确与错误的推理路径往往仅在后期阶段才发生分歧，且仅仅生成一条正确路径并不能保证被选中，这是因为存在“存在性–选择性差距”（existence–selection gap），即噪声路径在投票机制中占据主导地位。

2. 方法论：HyPER 框架

作者提出了HyPER（假设路径扩展与缩减），这是一种无需训练的在线控制策略，将测试时扩展重新概念化为对假设路径池的动态扩展–缩减控制问题。HyPER 专为混合专家（MoE）模型设计，但也适用于稠密架构。它在固定的计算预算下运行，包含三个核心组件：

2.1. 在线扩展–缩减控制器

HyPER 采用闭环控制器，而非静态计划。该控制器监控轻量级的实时路径统计信息（置信度、熵、共识度和多样性），每 $T$ 个解码步动态选择动作。控制器从存活路径池 $S_t$ 中选择以下四种动作之一：

NONE：当路径池可靠、自信且多样时，继续标准解码。
BRANCH（探索）：当多样性低或共识度弱时，通过将存活路径分叉为多个子路径来显式扩大路径池。
SINGLETOKEN（利用）：应用令牌级扩展–缩减操作来优化下一个令牌的决策，而不改变路径数量。这针对局部不稳定性（低置信度、高熵）。
MULTITOKEN（混合）：执行短视野扩展（解码 $m$ 个令牌），随后进行聚合，选择置信度最高的子路径合并回去。这在多样性低但置信度分散度高时使用。

2.2. 单令牌扩展与聚合原语

为了在不重新采样完整路径的情况下实现高效的利用，HyPER 利用了 MoE 架构固有的路由多样性。对于SINGLETOKEN动作：

Gumbel 噪声路由采样：对 MoE 路由器的 logits 添加 Gumbel 噪声，为当前令牌生成 $K$ 个随机专家路由提案。
两遍专家采样：采用向量化两遍方案，通过在 $K$ 条路由上惩罚专家冲突来强制令牌内多样性，确保采样到不同的专家子集。
置信度加权聚合：使用源自其预测分布的置信度权重，聚合 $K$ 个候选 logits 向量，稳定尾部置信度并优化令牌预测。
内存优化：该方法在 $K$ 个提案之间共享前缀 KV 状态，确保内存消耗随存活路径数量而非扩展因子 $K$ 进行扩展。

2.3. 长度与置信度感知的投票

为了弥合存在性–选择性差距，HyPER 引入了一种新颖的最终答案聚合规则。实证分析表明，在置信度剪枝下，正确路径往往系统性地比错误路径更长（因为错误路径被提前终止）。该投票规则通过聚合支持路径的归一化路径长度和全局平均置信度来选择最终答案，而不是仅仅依赖频率或简单的置信度加权。

3. 主要贡献

动态控制策略：一种无需训练的在线控制器，根据阶段依赖的效用从探索转向利用，利用轻量级信号（置信度、多样性）实时重新分配计算预算。
高效的令牌级优化：一种基于 MoE 的生成时利用原语，通过专家路由多样性优化令牌质量，而无需重新采样完整路径的开销。
鲁棒的答案选择：一种长度与置信度感知的投票规则，利用由剪枝诱导的路径长度这一结构信号来可靠地选择正确答案，解决了朴素多数投票的失败模式。

4. 实验结果

作者在四个 MoE 模型（Qwen3-30B、Qwen3-Next-80B、OLMoE、DeepSeek-V2-Lite）和多样化的基准测试（AIME24/25、HMMT25、HLE、GSM8K、MATH500、ARC）上评估了 HyPER。

准确性–计算权衡：HyPER 始终实现准确性–计算的帕累托前沿。在各项基准测试中，与先前最先进的方法（自一致性、DeepConf、RoE）相比，它在可比计算预算下将准确性提高了8–10 个百分点，同时将令牌消耗减少了25–40%。
消融研究：
- 移除动态控制器（使用手动计划）会导致次优的权衡，证实了自适应控制的必要性。
- SINGLETOKEN原语提高了局部令牌质量，但需要控制器来防止路径池过早崩溃。
- 长度感知投票规则始终优于多数投票和置信度加权投票，验证了在剪枝条件下路径长度作为正确性信号的有效性。
架构通用性：在稠密模型（无 MoE 令牌优化）上的实验表明，仅靠控制器和投票逻辑仍能比基线提升性能，表明该框架并不严格依赖 MoE 结构。
与树搜索的比较：在微调后的“思考”模型上强制实施步级树搜索，其表现不如基于路径的自一致性，这促使了 HyPER 基于路径的扩展–缩减方法。

5. 意义与主张

本文声称，HyPER 通过将刚性搜索计划转向闭环资源控制，在可扩展的大语言模型推理方面取得了显著进展。其主要意义在于：

无需训练的高效性：它在无需微调、专用奖励模型或额外训练数据的情况下实现了最先进的结果。
动态适应：它有效解决了推理的阶段依赖性，基于路径分歧的实证观察，早期将计算分配给探索，晚期分配给利用。
弥合差距：它为存在性–选择性差距提供了原则性解决方案，确保正确路径的存在能转化为被选中的正确答案。

作者将 HyPER 定位为与学习验证器正交，建议将他们的动态策略与过程奖励模型（PRMs）结合仍是未来研究的一个有前景的方向。代码已公开，以促进测试时扩展的进一步研究。