以下是用通俗易懂的语言和生动的类比，对论文《不要浪费你的推演：回收搜索经验以实现高效的测试时扩展》的解读。
核心难题：人工智能的“健忘症”
想象一下，你正在尝试解决一个极其复杂的迷宫。你派出了 100 名不同的探险者（即人工智能的“推演”或尝试）去寻找出口。
- 旧方法（当前的人工智能搜索）： 每名探险者都从起点出发，撞上一堵墙，掉头，然后尝试另一条路。当他们遇到死胡同时，就放弃了。下一名探险者从头开始，撞上同一堵墙，陷入同一个死胡同。他们甚至可能发现第一条探险者找到的捷径，但必须从头重新发现它。
- 浪费之处： 人工智能正在浪费巨大的能量（计算能力），去重新推导它已经知道的事实，重新走过它已知行不通的路径。这就像一名学生参加了一次考试，失败了，然后不看之前的错题或笔记，直接参加完全相同的考试。
解决方案：“回收搜索经验”（RSE）
作者提出了一种名为回收搜索经验（Recycling Search Experience, RSE）的新策略。你可以将其想象为给探险者们提供一张共享的、动态更新的地图，每经过一轮探索后，这张地图就会得到更新。
RSE 不再将每一次尝试视为一次性的试验，而是将其视为一种累积的团队协作。其工作原理分为三个简单的步骤：
1. “蒸馏”（做笔记）
当一批探险者完成探索后，人工智能不会直接丢弃他们原始且杂乱的日志。相反，它像一位聪明的编辑，在混乱中梳理并写出两份具体的清单：
- “好消息”清单（正面经验）： “嘿，我们发现在喷泉处左转是死胡同，但直行可以到达一座桥。”这些是已验证的事实和捷径。
- “坏消息”清单（负面经验）： “不要进入黑暗隧道；那里通向一个深坑。”这些是已知的死胡同和需要避免的逻辑陷阱。
2. “共享银行”（记忆库）
这些清单被存储在一个共享经验银行中。这并非一堆杂乱无章的纸张，而是一个经过筛选、组织有序的数据库。人工智能使用“去重”过滤器，确保不会重复记录相同的笔记（例如，它不会把“不要左转”列出十次；它只保留一条清晰的警告）。
3. “引导式搜索”（使用地图）
当下一批探险者出发时，他们不再从零开始。他们会拿到这份共享银行。
- 如果看到“好消息”笔记，他们就可以跳过通往桥梁的漫长路程，直接前往（从而缩短工作路径）。
- 如果看到“坏消息”笔记，他们会立即远离黑暗隧道（从而剪除死胡同）。
为何这是颠覆性的变革
论文声称，这种方法比旧方法高效得多。
- 类比： 想象一下试图在干草堆里找到一根特定的针。
- 旧方法： 你派 100 个人盲目挖掘。他们都挖了同样的地方，错过了针，然后精疲力竭。
- RSE 方法： 前 10 个人挖掘，发现了一些不是针的泥土，并标记了这些地点。接下来的 10 个人被告知：“不要在这里挖。”他们还发现了一个可能是针的地方并做了标记。下一组人跳过那些糟糕的地点，专注于有希望的区域。
- 结果： 你能够更快地找到答案，并消耗更少的能量，因为你不再在已经犯过的错误上浪费时间。
论文的实际发现
研究人员在极难的数学问题（如国际数学奥林匹克 IMO 或 HMMT 等高水平竞赛中的题目）、编程挑战以及复杂的规划任务（如规划多日行程）上测试了这种方法。
- 更好的结果： 使用 RSE 的人工智能比那些仅仅试图“更努力地思考”或“尝试更多次”却不共享笔记的其他方法获得了更高的分数。
- 适用于难题： 它在解决其他方法陷入僵局或放弃的最难题时表现尤为出色。
- 无需额外训练： 最棒的是，人工智能不需要重新训练。它只是改变了在测试期间如何搜索答案，利用其内部自我评估工作的能力。
核心结论
该论文认为，智能不仅仅在于更努力地尝试，更在于记住你所学到的东西。 通过将“一次性”的尝试转化为“累积”的记忆，人工智能停止在死胡同和重复发现上浪费能量，从而在不依赖更大硬件的情况下变得更聪明、更高效。
技术摘要：勿浪费你的 rollout：通过复用搜索经验实现高效的测试时扩展
问题陈述
当前的测试时扩展（Test-Time Scaling, TTS）策略通过分配额外的推理计算资源来增强大语言模型（LLM）的推理能力，但其存在一个根本性的低效问题：信息浪费。现有的范式——无论是并行采样、顺序优化还是基于树的搜索——通常将单个 rollout（推理轨迹）视为一次性样本。一旦某次尝试完成或被丢弃，该轨迹中包含的宝贵中间洞察、已验证的命题以及识别出的失败模式实际上就被浪费了。
这种“无记忆”的方法导致了巨大的计算冗余。模型反复推导其他 rollout 中已经发现的结论，并重新陷入已知的死胡同，未能利用搜索过程中产生的累积知识。本文认为，要最大化测试时计算的潜力，不仅需要增加 rollout 的数量，更需要通过将有用的尝试转化为累积的、经验引导的过程，来优化探索的质量。
方法论：复用搜索经验（RSE）
为了解决这一低效问题，作者提出了复用搜索经验（Recycling Search Experience, RSE），这是一种自引导的、无需训练的推理策略。RSE 将测试时搜索重新定义为一系列孤立的尝试，转变为一个累积过程，其中先前轨迹中的宝贵洞察被提炼并复用，以引导后续的探索。
该方法通过三个协同组件运作：
批处理经验引导搜索：
与其采用不稳定的实时同步或受限于上下文窗口的纯顺序优化，RSE 将 rollout 预算划分为 R 轮。在每一轮 r 中，模型并行生成 Kr 条轨迹。在每一轮开始之前，全局**经验库（Experience Bank）**被序列化并注入提示词中，确保批次中的所有 rollout 都从包含先前轮次累积知识的同步状态开始。
自引导经验提炼：
与其拼接原始、冗长的推理链（这可能导致上下文溢出和噪声），RSE 采用轻量级的提示步骤，将每条完成的轨迹提炼为结构化的离散项。这一过程利用模型内在的自我评估能力，无需外部监督：
- 正面经验（Epos）： 提取已验证的命题、引理或中间结论，作为“真理锚点”以绕过冗余推导。
- 负面经验（Eneg）： 识别关键陷阱、策略死胡同或逻辑谬误，作为“负面约束”以剪枝搜索空间。
语义经验去重：
为防止上下文爆炸并保持高信息密度，RSE 采用语义去重策略。新提炼的经验使用相似度阈值（τ）与现有库进行比较。仅添加语义上独特的项，过滤掉重复的洞察，确保经验库成为一组多样化的可操作指导，而非冗余列表。
主要贡献
本文概述了三项主要贡献：
- RSE 框架： 提出了一种无需训练的策略，通过复用 rollout 级别的经验，将测试时搜索转化为累积的、经验引导的过程。
- 理论分析： 形式化分析表明，RSE 在样本效率上优于独立采样。作者证明，在可靠的经验提取下，RSE 找到正确解的概率不低于独立采样，并且在需要多个中间结论的复杂任务中具有获得指数级提升的潜力。此外，作者还针对经验提取不完美的情景提供了有界退化结果。
- 实证验证： 在多样化的基准测试和模型家族上进行了广泛实验，显示出相对于强基线的一致性能提升。
实验结果
作者在具有挑战性的数学推理基准（HMMT24、HMMT25、IMO-Bench、HLE-Math-text）上评估了 RSE，并将评估扩展到了代码生成（LiveCodeBench-v6）、专家级问答（GPQA-Diamond）和长视野规划（TravelPlanner）。
- 性能优越性： 在所有测试模型（Qwen3-30B、Qwen3-4B、Phi-4、DeepSeek-V3.2）上，RSE 的表现始终优于包括标准采样、多数投票、Self-Refine 以及并发方法 PaCoRe 在内的基线。例如，在 HMMT25 上使用 Qwen3-30B 模型时，RSE 在第 3 次迭代达到了 83.9% 的 Pass@1，超过了 PaCoRe（80.2%）和 Self-Refine（72.6%）。
- 扩展动态： 与表现出早期饱和的基线（例如 PaCoRe 因“以验证为中心”的瓶颈而在第 3 次迭代达到上限）不同，RSE 表现出延迟收敛，并在后续迭代中持续获得性能提升，表明其具有更高的实证上限。
- 计算效率： 在计算成本（FLOPs）与准确率方面，RSE 确立了更优的帕累托前沿。与简单的聚合或基于验证的拼接相比，RSE 在单位计算量下实现了更高的准确率提升。
- 泛化性： 该方法被证明在数学之外同样有效。值得注意的是，在 TravelPlanner 任务中，PaCoRe 因上下文过载而崩溃至 0.00% 的通过率，而 RSE 达到了 34.44% 的通过率，展示了其处理开放-ended 规划任务的能力，此类任务中共识投票并不适用。
意义与主张
本文主张，RSE 代表了测试时扩展的范式转变。通过将 rollout 视为可复用经验的来源而非一次性样本，RSE 解决了当前“无记忆”搜索的系统性低效问题。
- 效率： 作者认为，当前 TTS 的主要瓶颈并非缺乏计算资源，而是缺乏系统性的机制来累积和复用 rollout 级别的经验。RSE 弥合了这一差距，使模型能够将计算力集中在解决方案空间中充满希望且未探索的区域，而不是重新推导已知事实或重访死胡同。
- 自引导性质： RSE 的关键意义在于它不需要外部奖励模型、真实标签或架构变更。它完全依赖于模型批判和提炼自身推理的能力，使其适用于通用的搜索环境。
- 理论根基： 这项工作为“检查点”有效中间结论的直觉提供了理论基础，即允许后续 rollout 建立在碎片化的部分成功之上，从而显著降低与复杂推理链相关的概率衰减。
总之，本文提出，要最大化测试时计算的潜力，需要通过经验复用优化探索质量，将孤立的尝试转化为累积的、智能的搜索过程。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。