💬 NLP

Small RL Controller, Large Language Model: RL-Guided Adaptive Sampling for Test-Time Scaling

本文提出了一种轻量级的、基于强化学习的控制器，该控制器将自适应采样建模为一个马尔可夫决策过程，以动态平衡大语言模型的回答正确性、延迟和计算成本，从而实现比现有启发式方法更优越的权衡。

原作者： Runpeng Dai, Tong Zheng, Rui Liu, Chengsong Huang, Hongtu Zhu

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Runpeng Dai, Tong Zheng, Rui Liu, Chengsong Huang, Hongtu Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个非常棘手的数学难题。你有一个非常聪明但价格昂贵的 AI 助手（大语言模型），它可以为你提供答案。

问题所在：“猜测过多”的困境
通常，为了得到正确答案，你会让 AI 生成 32 个不同的猜测，然后从中挑选出现次数最多的那个。这虽然有效，但就像为了吃一片披萨而订了 32 份披萨一样。这既慢（高延迟），又费钱（高计算成本）。

一些现有的方法试图变得更聪明。它们会说：“好吧，让我们先生成一个猜测，检查一下我们是否足够自信，如果需要，再多要一个。”但这些方法就像是在使用一本死板的规则手册：“如果置信度达到 95%，就停止。”它们并不真正“理解”情况，只是在执行清单。有时它们停止得太早（导致错误答案），有时又继续运行太久（浪费金钱）。

解决方案：“智能经理”（强化学习引导的采样）
这篇论文介绍了一种名为 RL-Guided Sampling（强化学习引导采样） 的新系统。你可以把它想象成雇佣了一个微型、超快速的经理（一个小型的 AI 控制器）来监督整个猜测过程。

这个“经理”是如何工作的：

游戏计划 (MDP)： 作者设置了一个游戏，让经理逐轮做出决策。
- 状态 (State)： 经理观察 AI 已经生成的答案堆。它不需要知道具体的数学题是什么，也不需要知道 AI 的置信度有多高。它只需要观察统计数据：“有多少人说了‘10’？有多少人说了‘20’？大家的答案是五花八门的，还是开始趋于一致了？”
- 动作 (Action)： 基于这些统计数据，经理有两个选择：
  - 停止： “好了，我们已经达成共识了。让我们选出胜者并回家吧。”
  - 继续： “我们还没搞清楚。让我们现在再向 AI 要 2 个、4 个，或者甚至更多的猜测。”
- 奖励 (Reward)： 经理被训练成一个称职的老板。如果最终答案是正确的，它会得到一个“击掌”（奖励）；但它每多等一秒钟（延迟）或每多订一个猜测（成本），都会受到一个“皱眉”（惩罚）。
在实践中学习 (强化学习)： 经理并非天生就懂得规则。它通过玩成千上万次游戏来学习。起初，它可能会浪费很多猜测。但慢慢地，它学会了完美的平衡策略：“对于这类混乱的问题，我需要 10 个猜测。对于那个简单的题目，4 个就够了。”

为什么这很特别？

它是轻量级的： 这个经理非常小。它小到可以在普通的计算机处理器（CPU）上运行，而不需要昂贵的图形处理器（GPU）。
它是非侵入性的： 它不需要窥探 AI 的大脑内部（比如查看隐藏的置信度分数）。它只需观察最终的答案，就像一个统计票数的裁判一样。
它是自适应的： 与以往死板的规则手册不同，这个经理学会了一种灵活的策略。它知道什么时候该激进，什么时候该保守。

实验结果
当研究人员用这个“智能经理”与旧方法进行对比测试时：

它节省了大约 30% 到 65% 的总猜测次数。
它将系统必须等待和检查（轮数）的次数减少了 3 到 4 倍。
它在做到这一切的同时，并没有降低最终答案的准确性。事实上，由于它不会过早停止，它往往能得到更多正确的答案。

大局观
把旧的方法想象成一个司机，要么始终以恒定的慢速行驶，要么无论交通情况如何都在每个红灯前停下。而这种新方法就像一个智能 GPS，它会观察交通状况、时间以及目的地，并告诉司机何时加速，何时停下，从而在到达目的地时节省燃料和时间。

该论文声称，这种方法在不同类型的数学问题上都表现出色，而且即使你用一种类型的 AI 来训练经理，再去管理另一种更强大的 AI，它依然有效。这是一种简单、高效的方法，能让你在不浪费资源的情况下，充分利用昂贵的 AI 模型。

技术摘要：用于测试时扩展的强化学习引导自适应采样

问题陈述
测试时扩展（Test-time scaling）已成为在无需额外训练的情况下增强大语言模型（LLM）推理能力的关键技术。诸如自一致性（Self-Consistency, SC）、思维树（Tree-of-Thoughts）和 Best-of-N 采样等方法，通过分配更多的推理时间计算量来提高答案质量。然而，这些收益会带来在总计算量和延迟方面的巨大成本。现有的自适应采样方法，如自适应自一致性（Adaptive Self-Consistency, ASC）和早期停止自一致性（Early-Stopping Self-Consistency, ESC），试图通过动态决定何时停止采样来缓解这些成本。然而，这些方法存在显著局限性：它们通常依赖于人工设计的启发式规则或分布假设，需要辅助信号（例如内部模型置信度、隐藏状态或问题难度），而这些信号可能并不可用，且会对标准的推理流水线产生侵入性。因此，需要一种轻量级、有原则的方法，能够在不要求辅助特征或干预模型的情况下，平衡答案正确性、延迟和计算成本。

方法论
作者提出了 RL-Guided Sampling（强化学习引导采样），该框架将自适应采样建模为一个有限时界的马尔可夫决策过程（MDP）。

MDP 建模：
- 状态 ( $s_t$ )： 状态仅由当前采样答案池 ( $D_t$ ) 的统计数据构建。它包括当前前 $K$ 个最频繁出现的答案类别的计数、已生成的样本总数以及这些计数的熵。至关重要的是，该状态不依赖于特定查询的信息或模型的内部信号。
- 动作 ( $a_t$ )： 在每一轮中，控制器从一个离散集合中选择一个动作：要么停止采样（动作 0），要么并行生成特定数量的候选答案（动作 $k_1, k_2, \dots$ ）。
- 奖励函数： 奖励平衡了最终答案质量与推理成本。
  - 步进惩罚： 每一轮额外的采样（ $\lambda_{lat}$ ）和每一个新生成的样本（ $\lambda_{comp}$ ）都会产生惩罚。
  - 终止奖励： 在终止时（由控制器停止或达到最大预算），模型根据多数投票答案的正确性获得奖励。目标正确性 ( $y^\star$ ) 被定义为如果采样持续到最大预算 $N$ 时所能获得的多数投票结果，从而使奖励与真实标签解耦。
- 优化： 控制器使用近端策略优化（PPO）进行训练，以最大化期望累积奖励。作者指出，该目标可以解释为对约束优化问题的拉格朗日松弛，其目标是在满足延迟和计算预算的前提下最大化准确率。
架构与部署：
控制器是一个轻量级的四层多层感知器（MLP）。它仅需最终生成的答案即可运行，具有非侵入性，并可部署在 CPU 上。它不需要对底层 LLM 进行微调。

核心贡献

用于自适应采样的 MDP 建模： 本文引入了一种将自适应采样建模为 MDP 的新颖方法，从启发式规则转向学习到的策略，从而显式地处理性能与成本之间的权衡。
轻量级且非侵入性的设计： 该方法纯粹依赖于采样答案池的统计数据，不需要辅助信号（如置信度分数），也不需要修改 LLM 的推理过程。控制器足够小，可以在 CPU 上进行训练和部署。
理论解释： 作者提供了其 RL 目标与约束优化之间的理论联系，表明加权奖励函数充当了在严格资源约束下最大化准确率的拉格朗日松弛。
泛化能力： 该框架展示了强大的迁移能力，即在一种数据集或模型（如 Qwen-3-0.6B）上训练的策略可以应用于不同的基准测试，甚至可以应用于不同且更强大的模型（如 GPT-4.1-nano），且性能下降极小。

实验结果
该方法在三个数学推理基准测试（AIME24, AIME25, HMMT 2025）上使用多种 LLM 采样器（Qwen-3 系列和 GPT-4.1-nano）进行了评估。

相对于基准方法的性能： 与 ASC 和 ESC 等强基准相比，RL-Guided Sampling 实现了更优的权衡：
- 对比 ASC： 在保持相当准确率的同时，减少了约 3–4 倍的采样轮数和约 30% 的总样本量。这解决了 ASC 顺序采样带来的高延迟瓶颈。
- 对比 ESC： 减少了约 33% 的总样本需求和约 10% 的采样轮数，并通过避免过度激进的早期停止实现了更高的准确率。
- 对比 SC： 虽然所有自适应方法都比固定预算的 SC 减少了总样本量，但 RL-Guided Sampling 在实现这一点的同时，其采样轮数明显少于 ASC，且比 ESC 更高效。
缩放行为： 缩放曲线表明，在各种参数设置下，RL-Guided Sampling 始终优于基准方法，能够以相同或更少的样本/轮数提供更高的准确率。
资源分配： 分析显示，学习到的策略直观地将更多样本分配给具有较高答案熵（多样性）的查询，这符合通过更多样本来收敛至可靠多数结论的需求。
消融研究： 研究发现，“运行中多数派”（Running Majority，即在最大预算 $N$ 时的多数投票）目标优于使用“真实标签”（Real Label），后者由于引入噪声并阻碍了通用停止准则的学习，从而导致性能下降。

意义与主张
本文声称，RL-Guided Sampling 提供了一种有原则、轻量级的替代方案，用于现有的自适应采样方法。通过将问题建模为 MDP 并通过 RL 训练小型控制器，该方法有效地平衡了答案正确性、延迟和计算成本，且无需对 LLM 进行侵入性修改，也无需访问其内部状态。作者强调，该方法对于实际部署特别有价值，因为它可以基于廉价的开源模型进行训练，并将其迁移到更强大的专有或闭源系统上，以降低其推理成本。这项工作是迈向基于 RL 的自适应采样的初步尝试，未来方向建议包括引入更丰富的状态信号和真实的成本度量。

技术摘要：用于测试时扩展的强化学习引导自适应采样

类似论文