🤖 AI

The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows

本文介绍了 ReASearch，这是一个统一的框架，其中单个推理驱动型智能体能够自主管理提示词、程序和机器学习工作流的整个优化过程，有效地内化了复杂的搜索策略，并在多种任务中超越了专门化系统。

原作者： Junbo Li, Boyi Liu, Canwen Xu, Yite Wang, Yuxiong He, Zhangyang Wang, Qiang Liu, Zhewei Yao

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Junbo Li, Boyi Liu, Canwen Xu, Yite Wang, Yuxiong He, Zhangyang Wang, Qiang Liu, Zhewei Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人解谜题、写诗或者训练一个电子游戏角色去获胜。在人工智能的世界里，这被称为“优化”（optimization）。通常情况下，人类扮演着场边严厉教练的角色。他们设计一套僵化的游戏计划：“试试这个，再试试那个，如果失败了，就回去尝试别的。”机器人（即大语言模型）仅仅是一个玩家，盲目地遵循指令进行微小的改动，而人类教练则决定着宏观的策略。但如果机器人也能成为教练呢？如果它能观察记分牌，弄清楚自己为什么输了，决定改变游戏的规则，甚至意识到自己陷入了困境并需要一个全新的方法——全靠它自己呢？这篇论文探讨的正是一个这样的问题：一个智能的 AI 智能体（agent）能否在没有人类编写的脚本告诉它如何思考的情况下，学会自主管理其寻找最优解的过程？

这项研究背后的研究人员在 COLM 2026 会议上介绍了名为 ReASearch 的新系统。你可以把它想象成递给机器人一把瑞士军刀，而不仅仅是一把锤子。在过去，AI 优化器就像一条拥有固定传送带的工厂流水线：由人类设计的算法决定下一个要测试哪个候选方案、投入多少时间以及何时放弃。AI 的唯一工作就是对当前的方案进行细微的修改。ReASearch 则颠覆了这一局面。它给了 AI 智能体一套工具——比如用于运行代码的 Python 解释器、用于记录过往错误的记忆文件，以及运行实验的能力——然后让智能体自行决定一切。智能体会问自己：“我应该先在小样本上测试这个想法吗？我是不是又犯了同样的错误？我应该放弃当前的计划，回到之前尝试过的更好的方案上吗？”这个智能体不仅仅是在瞎猜，它在整个过程中进行推理，并在过程中构建策略。

团队在 14 个不同的挑战中测试了这个“自我教练”型智能体，这些挑战涵盖了从微调文本提示词以使其更聪明，到进化计算机程序以解决数学难题，甚至优化机器学习训练工作流。结果令人惊讶地强大。在许多情况下，ReASearch 击败了由人类专家构建、带有特定硬编码规则的专门系统。例如，在名为“圆堆积”（Circle Packing，即将圆尽可能紧密地放入正方形中）的任务中，该智能体发现的解决方案比人类之前发现的最佳已知结果还要好。在其他任务中，它将性能提升了 2% 到惊人的 40% 不等。

真正令人着迷的是这个智能体是如何做到的。研究人员发现，尽管没有人教它，该智能体自然而然地开始表现得像一位经验丰富的科学家或国际象棋大师。它开始在投入使用有潜力的想法之前进行“双重检查”。它学会了当新路径导致死路时，将方案“回退”到早期更安全的版本。它开始保留一份“经验教训”日志，以避免重复同样的错误。最令人印象深刻的是，它发现有时你需要结合两种不同的技术来解决问题，而这种发现通常需要深厚的人类洞察力。论文表明，当你给 AI 提供合适的工具并让它通过推理来处理过程时，它可以内化复杂的搜索策略，而我们此前认为这些策略需要人类设计的算法来管理。事实证明，优化器不需要是一个独立的、僵化的控制器；优化器本身就可以是智能体。

技术摘要：优化器即智能体 (ReASearch)

问题陈述

优化基于文本的制品——特别是系统提示词、程序和机器学习（ML）工作流——仍然是现代人工智能面临的核心挑战。传统方法通常依赖于外部、手工设计的算法控制器（例如，进化搜索、多臂老虎机、贝叶斯优化或文本梯度）来管理搜索策略。在这些框架中，大语言模型（LLM）仅作为无状态的“变异器”或“提议生成器”，在预定义的僵化循环内执行局部编辑。作者指出，这种分离留下了一个根本性的问题未被解决：一个单一的推理智能体可以内化多少搜索策略？

方法论：ReASearch

本文介绍了 ReASearch（推理驱动的智能体搜索），这是一个统一的、“轻控制器”框架，它将一个使用工具的 LLM 智能体完全置于优化循环的主导地位。ReASearch 并不依赖于外部的数学元启发式算法来指导探索、预算分配和候选选择，而是将整个优化过程暴露为一组由智能体自主调用的工具。

核心架构

统一智能体循环： 系统采用单一的任务无关智能体脚手架。该智能体接收包含领域指导和当前优化状态的系统提示词，以及其交互历史。
基于工具的接口： 所有优化操作都被封装为工具。智能体根据其推理决定下一步调用哪个工具。关键工具包括：
- 执行与分析： python_exec 允许智能体编写分析脚本、计算统计数据并以编程方式诊断失败模式。
- 评估： 领域特定工具（例如 validate_candidate、run_experiment、evaluate）允许智能体测试假设。
- 编辑： 诸如 edit_code 或 edit_train_file 之类的工具将更改路由至子智能体，以保持主智能体的上下文整洁。
- 记忆： 一个持久化的 lessons.md 文件和上下文压缩机制使智能体能够在跨越上下文窗口的长程视野中保留洞察（什么有效、什么失败了以及下一步该尝试什么）。
领域自适应： 通过仅改变可用的工具和系统提示词，相同的智能体脚手架被应用于三个不同的领域：
1. 提示词优化： 智能体自适应地采样训练小批量（minibatches）、在验证集上评估候选者（使用聚合指标以防止过拟合），并诊断失败模式。
2. 程序进化： 智能体迭代修改针对单实例硬问题（如 ARC-AGI-2、圆堆积问题）的代码，利用子智能体进行代码编辑和验证，同时保持用于假设形成的持久推理上下文。
3. ML 工作流优化： 智能体修改训练脚本、运行限时实验，并分析训练曲线以诊断瓶颈（例如学习率调度、架构选择、正则化）。

涌现行为

论文观察到，通常通过显式控制器实现的复杂搜索行为，从智能体的推理过程中自然涌现，而无需硬编码：

双重验证： 在提交昂贵的验证之前，先在额外的样本上重新检查潜在收益。
假设驱动的修订： 基于积累的证据形成结构化假设并进行测试。
基于回溯的恢复： 当路径失败时，会有意识地回退到早期的、已知的良好分支，而不是盲目继续。
自适应探索： 根据预算约束和观察到的方差调整搜索策略。

核心贡献

统一框架： ReASearch 将基于文本的优化视为一个序列化推理问题，证明了单一的智能体设计可以优化提示词、程序和 ML 工作流。
性能提升： 在 14 个不同的任务中，ReASearch 在相同的计算预算内始终能达到或超过专门的先进系统（如 GEPA、AdaEvolve、Claude Code）。增益范围为相对于强领域特定基线 2% 到 40%。
人类水平的发现： 在圆堆积（Circle Packing）和海尔布隆三角形（Heilbronn Triangle）等特定任务中，ReASearch 发现了超越此前人类已知最佳结果的解。
内化的搜索逻辑： 该工作表明，前沿的工具使用型智能体可以内化很大一部分此前委托给外部数学元启发式算法的搜索逻辑，包括候选验证、因果诊断和自适应探索。

实验结果

作者在三个类别中将 ReASearch 与专门的基线进行了对比评估：

提示词优化： 在 AIME、GSM8K、HotpotQA 和 Terminal-Bench 2.0 上，ReASch 超越了 GEPA。例如，在 Terminal-Bench 2.0 上，它实现了 53.33% 的准确率，而 GEPA 为 42.22%。智能体成功构建了结构化的任务理解，并根据完整的优化历史而非仅仅是峰值验证分数来选择最终提示词。
程序进化：
- 圆堆积（Circle Packing）： ReASearch 取得了（例如 $n=32$ 时为 2.940）匹配或略微超过人类已知最佳结果（2.939）的成绩，显著优于 AdaEvolve。
- 海尔布隆三角形（Heilbronn Triangle）： 智能体识别出了数学对称性（D4 对称性）以压缩搜索空间，在基线失败的情况下取得了近乎最优的结果（ $n=12$ 时为 0.03260）。
- ARC-AGI-2： ReASearch 实现了 50.0% 的测试准确率（Sonnet 4.6），相比 AdaEvolve 的 12.5% 提升了 4 倍，这是通过迭代分析来推导转换规则而非进行暴力搜索实现的。
ML 工作流优化： 与 Claude Code（AutoResearch 设置）相比，ReASearch 在 IMG-100 (83.99% vs 78.59%)、Atari Q*bert (4500 vs 1250 reward) 和 MuJoCo (5267 vs 3986 reward) 中表现出明显的优势。值得注意的是，在 Kaggle 加密货币预测任务中，ReASearch 在 15 次实验内将排行榜排名从 第 36 名提升至第 6 名，而基线则处于停滞状态。

重要性与主张

论文认为，推理不仅可以用于解决任务，本身也可以成为强大的开放式搜索引擎。 ReASearch 的意义在于它证明了“优化器”不需要是一个单独的、手工设计的算法控制器。相反，一个配备适当工具的单一推理驱动型智能体可以内化复杂的搜索策略——例如预算管理、失败诊断和策略调整——而这些策略此前属于外部元启发式算法的领域。

作者声称，这种方法提供了一种更灵活且可能更强大的范式，在这种范式下，智能体积累经验、对因果失败进行推理以及在长程视野内调整策略的能力，会导致在多种模态下实现更卓越的性能。这项工作表明，未来“搜索者”与“求解者”之间的界限将会消失，智能体将同时扮演这两个角色。