🤖 AI

PETS: A Principled Framework Towards Optimal Trajectory Allocation for Efficient Test-Time Self-Consistency

该论文介绍了 PETS，这是一个通过将轨迹分配建模为基于一种新型自一致性率的优化问题，从而优化测试时自一致性的原则性框架，在离线和在线设置中均实现了显著的预算缩减和性能提升，优于均匀分配。

原作者： Zhangyi Liu, Huaizhi Qu, Xiaowei Yin, He Sun, Yanjun Han, Tianlong Chen, Zhun Deng

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhangyi Liu, Huaizhi Qu, Xiaowei Yin, He Sun, Yanjun Han, Tianlong Chen, Zhun Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图批改一叠难题数学试卷的老师。你有一个有限的时间（你的“预算”）来检查答案。

在过去，处理这种问题的标准方法是对每一道题都投入完全相同的时间。如果你有 100 分钟来做 10 道题，你就会在每道题上花 10 分钟。这被称为“均匀分配”（uniform allocation）。

但问题在于，有些题目很简单（比如“2+2等于几？”），而有些题目则非常难（比如“证明这个复杂的定理”）。在简单的题目上花 10 分钟是一种浪费，而在难题上只花 10 分钟可能又不够得到正确答案。

这篇论文介绍了 PETS（原则性且高效的测试时自一致性，Principally and Efficient Test-Time Self-Consistency），它是一个智能系统，充当了 AI 模型超级高效的资源管理者。它不再对所有问题一视同敬之，而是通过计算问题的“难度”，给予其恰到好处的“思考时间”（或采样预算），以获得最佳结果。

以下是它的工作原理，分为几个简单的概念：

1. 核心理念：“众包” AI 的思考过程

当 AI 尝试解决一个问题时，它不仅仅给出一个答案。它可以生成许多不同的“推理路径”（就像询问 10 个不同的人来获取意见）。

旧方法： 不管问题简单还是困难，都询问 10 个人。
PETS 方法： 简单问题问 2 个人，难题则问 20 个人。

论文将这种方法称为自一致性（Self-Consistency）。如果你询问足够多的人，出现次数最多的那个答案通常就是正确的。PETS 的目标是使用尽可能少的总问题数，来获得这个“多数票”。

2. 两种场景：“规划师”与“交警”

论文讨论了两种不同的情况：

场景 A：离线规划器（“规划师”）
想象你在开始批改之前，面前已经摆好了整叠试卷。

PETS 如何运作： 它审视整个试卷堆，估算哪些题目很棘手，并制定一个总计划。它会说：“第 1 题很简单，给它 5 分钟。第 5 题很难，给它 20 分钟。”
类比： 这就像一位众包经理在给工人分配任务。如果任务简单，他只分配一名工人；如果任务复杂，他会分配整个团队。论文表明，通过将 AI 的推理路径视为人类工人，他们可以利用现有的数学理论来保证时间利用的最优化。

场景 B：在线流式处理（“交警”）
想象问题正在一个接一个地到来，就像车辆经过收费站一样，你必须在不知道下一辆车是什么的情况下，立即决定如何检查每一辆车。

PETS 如何运作： 它无法预知未来，因此使用了一个“热身”技巧。当新问题到达时，它先向 AI 请求四个快速猜测，以获取一个关于题目难度的“感觉（vibe）”。根据这四个猜测，它会立即做出决定：“这看起来很简单，我给它一个小预算，”或者“这看起来很难，我给它一个大预算。”
类比： 这就像一位指挥交通的交警。他们不知道会有多少车过来，但他们可以通过观察前几辆车来估算交通流量，并实时调整绿灯时长。

3. 结果：事半功倍

研究人员在非常困难的数学和科学基准测试（如 GPQA 和 AIME）上测试了该系统。

重大胜利： PETS 达到了与旧有的“均匀”方法相同（或更好）的准确度，但在离线设置中节省了高达 75% 的资源，在在线设置中节省了 55%。
隐喻： 如果说旧方法是用花园水管去填满一个游泳池，那么 PETS 就是只在需要水的地方使用高压消防栓，从而在极短的时间内填满泳池。

4. 为什么这很重要（根据论文所述）

论文声称，通过在数学上定义 AI 的“一致性程度”，他们创建了一个不需要额外训练或人类反馈就能运行的系统。它仅仅通过观察 AI 自身的答案，就能决定投入多少精力。

简而言之： PETS 阻止了 AI 在简单问题上浪费能量，并确保它在难题上投入足够的精力，从而在无需重新训练的情况下，让 AI 变得更聪明、更快速。

技术摘要：PETS（原则性且高效的测试时自一致性）

1. 问题陈述

测试时缩放方法（尤其是通过多数投票聚合多个推理轨迹的自一致性方法）显著提升了大语言模型（LLM）的推理性能。然而，在所有查询中盲目应用统一的采样预算在计算上是非常低效的。现有的动态分配预算的方法通常依赖于启发式信号（例如，轨迹级置信度或 LLM 预测的难度），这些信号缺乏理论保证，或者依赖于可能存在误设定且会产生额外训练成本的外部奖励模型。

本文解决的核心挑战是在有限的总预算下实现样本高效的测试时自一致性。目标是设计一个原则性的框架，在不依赖辅助监督的情况下，在一组问题中分配推理轨迹，以最大化与“无限预算”多数投票的聚合一致性。

2. 方法论：PETS 框架

作者引入了 PETS（Principled and Efficient Test-Time Self-Consistency，原则性且高效的测试时自一致性），这是一个基于优化形式化构建的框架。

核心概念：自一致性率

PETS 的核心是对自一致性率的定义，这是一个新的性能指标，定义为在有限预算 $B$ 下获得的多数投票与总体多数标签（即从无限数量的轨迹中得出的共识）相匹配的概率。

令 $\theta_i$ 表示问题 $q_i$ 未知的答案分布（难度）。
自一致性率 $SC(q_i; B)$ 衡量了有限预算投票恢复无限预算真实值 $y^\infty_i$ 的可能性。
目标是在固定总预算约束下，最大化问题集的聚合自一致性率。

该框架处理两种不同的信息设置：

A. 离线批处理设置 (Offline Batch Setting)

在这种机制下，整个问题集是预先已知的，允许进行全局优化。

众包联系： 作者建立了轨迹分配与众包中最优预算分配之间的理论联系。推理轨迹被建模为“工人”，而问题被建模为“项目”。
贝叶斯形式化： 该问题被建模为一个有限时界的贝叶斯马尔可夫决策过程（MDP）。系统维护一个关于答案分布（ $\theta_i$ ）的后验分布以及每个问题的置信度权重。
算法： 为了解决难以处理的动态规划问题，PETS-Offline 采用了**乐观知识梯度（Optimistic Knowledge Gradient, OKG）**启发式算法。该算法迭代选择能为终端效用（总自一致性）带来最大预期单步改进的问题。它同时支持标准多数投票和置信度加权聚合。

B. 在线流式设置 (Online Streaming Setting)

在这种机制下，问题按顺序到达，分配决策必须在不知道未来查询的情况下立即做出。

单次策略 (One-Shot Strategy)： 与序列化自适应不同，PETS-Online 通过从小规模训练集（预热阶段）估计问题难度的分布，并解决一个约束优化问题，以确定基于难度水平的预算映射。
离散化： 将连续的难度参数空间离散化为 $K$ 个网格（bins）。一个轻量级的预热程序（抽取 4 个响应）将每个传入的问题分配到特定的难度网格。
贪心优化： 该框架通过解决一个整数规划问题，将预算分配给具有最高自一致性边际收益的网格，确保策略在计算上高效且具有理论依据。

3. 主要贡献

原则性指标： 引入了自一致性率，为有限预算推理提供了一个严谨的目标，该目标与无限采样的理论极限保持一致。
离线-在线统一：
- 离线： 首次建立了自一致性轨迹分配与众包文献之间的联系，利用贝叶斯自适应分配（OKG）来最大化预期收益。
- 在线： 提出了一种新型的单次分配策略，通过估计难度分布并解决约束优化问题来动态确定每个问题的预算。
理论保证： 该方法提供了样本高效分配策略的理论保证，而不依赖于外部奖励模型或启发式难度预测器。

4. 实验结果

作者在具有挑战性的推理基准测试（GPQA-Diamond, AIME 2024/2025, HMMT, BRUMO）上使用多种 LLM（Qwen3, GPT-oss, Qwen-Long）对 PETS 进行了评估。

效率： PETS 一致地优于统一分配和置信度引导的基线。
- 离线： 在 GPQA 上，相比于统一分配，PETS 在减少高达 75% 的采样预算的情况下，实现了完美的自一致性 (1.0)。
- 在线： 在保持完美自一致性的同时，减少了高达 55% 的预算。
准确性： 通过更快地达到总体多数，PETS 将效率提升转化为更高的准确性。在许多情况下，即使在 PETS 首次达到完全一致性的轨迹计数处进行评估，PETS 也达到了比统一基线更高的准确性。
鲁棒性： 在线变体非常接近“Oracle”变体（该变体可以访问潜在难度参数）的表现，验证了预热估计程序的有效性。
开销： 与昂贵的离线 OKG 分配器相比，在线预测器增加的墙钟时间开销极小（仅几秒钟），使其适用于流式部署。

5. 重要性与主张

本文声称 PETS 为基于启发式的测试时缩放提供了一个具有原则性的理论替代方案。通过利用自一致性的内在结构而非外部监督，它在保持或提高准确性的同时，实现了显著的计算节省（高达 75% 的预算减少）。

作者指出一个局限性：如果总体多数是系统性错误的（即模型在特定主题上持续产生幻觉），那么额外的采样带来的收益很小。然而，在提高与模型自身共识一致性的范围内，PETS 提供了一个严谨且高效的资源分配框架。该工作表明，未来的研究方向可以是训练模型在生成之前直接从输入预测问题难度，而不是依赖于预热采样阶段。