Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations

这是一篇关于自适应测试时计算分配与动态上下文示例演化（Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations）的论文技术总结。

1. 研究背景与问题定义 (Problem)

背景：
大语言模型（LLM）的性能提升传统上依赖于训练时的扩展（增加模型参数量或数据量）。近年来，测试时扩展（Test-Time Scaling）成为一种有效替代方案，即在推理阶段分配更多计算资源（如生成多个候选回答并选择最佳者），而无需修改模型参数。

现有方法的局限性：
尽管测试时扩展（如 Best-of-N、自一致性等）有效，但大多数现有方法存在两个主要缺陷：

1. 静态生成分布：无论问题难度如何，模型始终从固定的条件分布 $p(\cdot|x)$ 中采样。对于困难问题，如果正确答案在基础分布中概率极低，单纯增加采样次数往往收益递减。
2. 缺乏自适应的分布调整：现有的自适应计算分配方法（如根据难度分配采样次数）通常只决定“分配多少计算”，而不改变“如何生成”。它们没有利用已解决的测试样本作为上下文来动态调整后续生成的分布。

核心问题：
如何设计一个统一的框架，既能自适应地分配计算资源（决定在哪些问题上花费更多计算），又能动态调整生成分布（利用已生成的成功样本作为上下文示例，引导模型在推理阶段自我改进），从而在更低的计算成本下获得更高的性能？

---

2. 方法论 (Methodology)

作者提出了一种两阶段的自适应测试时计算分配框架，核心思想是利用自进化上下文学习（Self-Evolving In-Context Learning, ICL）。该方法完全在推理时运行，不修改模型参数。

2.1 核心流程

算法分为两个阶段：

1. **预热阶段 **(Warm-up Phase)：

   • 目的：快速识别简单问题，构建初始的“问题 - 回答”示例池（$D_{test}$）。
   • 操作：对测试集中的每个问题，使用固定的少量采样次数（如 $K$ 次）进行零样本（Zero-shot）生成。
   • 筛选：一旦某个问题生成了正确答案（通过奖励模型或真值验证），该问题即被标记为“已解决”并从后续计算中移除。
   • 产出：收集所有已解决问题的正确回答，形成初始的演示池 $D_{test}$。

2. **自适应分布采样阶段 **(Adaptive Distribution Sampling)：

   • 目标：集中计算资源解决剩余未解决的问题，并动态改变生成策略。
   • 动态上下文构建：对于当前待解决的问题 $x$，利用语义相似度（如余弦相似度）从 $D_{test}$ 中检索最相似的 $P$ 个已解决问题及其正确回答，构建上下文提示（Prompt）。
   • 分布演化：模型不再从基础分布 $p(\cdot|x)$ 采样，而是从条件分布 $p(\cdot|x, \Pi(x))$ 采样，其中 $\Pi(x)$ 是基于相似邻居构建的上下文提示。
   • 迭代更新：随着更多问题被解决，$D_{test}$ 不断扩充，后续问题的上下文示例也随之更新，形成“自我进化”的引导机制。

2.2 算法逻辑

• 输入：测试集 $S$，语言模型 $p$，奖励函数 $r$。
• 循环：在每一轮中，仅对未解决的问题生成新回答。
• 关键创新：将“计算分配”（决定解决哪些难问题）与“分布调整”（利用已解问题作为 Few-shot 示例）统一在一个推理循环中。

---

3. 关键贡献 (Key Contributions)

1. 统一视角：首次提出将测试时计算分配与生成分布的动态调整相结合。不仅决定“在哪里花钱”（分配计算），还决定“怎么花钱”（通过 ICL 改变采样分布）。
2. 自进化 ICL 机制：提出了一种无需外部训练数据或辅助模型的轻量级机制，利用测试集内部已解决的样本作为动态示例，实时引导模型生成。
3. 高效性：证明了通过分布调整，可以在显著减少推理 Token 消耗（即更少的采样次数）的情况下，达到甚至超越传统均匀采样或静态自适应采样的性能。
4. 模块化设计：框架具有通用性，可兼容不同的采样策略（如温度调整）和分配策略。

---

4. 实验结果 (Results)

作者在多个基准测试（MATH-500, LiveCodeBench, MinervaMath, GPQA-Diamond, Reasoning Gym）和多种模型（Gemini 系列、GPT-4.1 Mini, GPT-5 Nano）上进行了评估。

• 性能提升：
  • 在几乎所有基准测试中，该方法（Ours (Adpt)）的覆盖率（Coverage）均显著优于均匀采样（Unif）和仅做计算分配的自适应方法（Elim）。
  • 特别是在数学推理和代码生成任务中，性能提升明显。
• 计算效率：
  • Token 效率：该方法在达到相同或更高准确率时，消耗的总输出 Token 数量显著低于基线方法。这是因为分布调整提高了单次采样的成功率，减少了在困难问题上的无效长文本生成。
  • 早期收益：性能提升在测试时扩展的早期阶段（前几轮）即显现，表明资源分配更加高效，而非依赖后期的过度采样。
• 消融实验：
  • 动态 vs 静态：使用动态演进的示例池比使用固定示例池效果更好。
  • 语义匹配 vs 随机：基于语义相似度的示例选择（Ours (Adpt)）显著优于随机选择示例（Ours (Rand)），证明了结构化提示构建的重要性。
  • 鲁棒性：即使在奖励模型存在噪声或数据集高度异构的情况下，方法依然保持稳健。

---

5. 意义与影响 (Significance)

1. 推理成本优化：随着 LLM 推理成本成为部署的关键瓶颈，该方法提供了一种在不增加模型参数量的前提下，通过更智能的推理策略来降低 Token 消耗的有效途径。
2. 推理时行为的可塑性：研究证明了 LLM 在推理阶段的行为具有高度的可塑性。通过精心设计的上下文（即使是来自测试集自身的样本），可以显著改变模型的采样分布，使其更倾向于生成正确答案。
3. 无需训练：该方法完全基于推理时的上下文学习，无需额外的微调或训练，适用于各种闭源和开源模型，具有极高的实用价值。
4. 未来方向：为未来的测试时扩展研究提供了新范式，即未来的扩展策略应同时考虑“计算量的分配”和“生成分布的演化”，而不仅仅是增加采样次数。

总结：
这篇论文提出了一种创新的测试时计算框架，通过利用已解决的测试样本作为动态上下文示例，实现了计算资源的自适应分配和生成分布的实时演化。实验表明，该方法在数学、代码和推理任务中，能以更低的计算成本（更少的 Token）实现比现有方法更高的准确率，为大语言模型的高效推理部署提供了重要的技术路径。