💻 computer science

ReCreate: Reasoning and Creating Domain Agents Driven by Experience

本文介绍了 ReCreate，这是一种经验驱动的框架，它通过“智能体即优化器”的范式，利用交互历史自动生成并适配特定领域智能体，其性能优于人工设计的方法及现有的自动化方法。

原作者： Zhezheng Hao, Hong Wang, Jian Luo, Jianqing Zhang, Yuyan Zhou, Qiang Lin, Can Wang, Hande Dong, Jiawei Chen

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhezheng Hao, Hong Wang, Jian Luo, Jianqing Zhang, Yuyan Zhou, Qiang Lin, Can Wang, Hande Dong, Jiawei Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于ReCreate论文的解读，已用通俗易懂的语言和日常类比进行翻译。

核心难题：构建机器人是一项繁重的工作

想象一下，你想构建一个专门修理坏车的机器人，另一个用来烤完美的蛋糕，还有一个用来解决数学谜题。目前，每当你需要一个新的机器人来执行新任务时，人类专家都必须坐下来，为其编写一份非常详细的操作手册（称为“脚手架”）。他们必须明确告诉机器人如何思考、使用什么工具以及采取哪些步骤。

这既缓慢又昂贵，且难以扩展。如果你想要一个能胜任 100 种不同工作的机器人，你就需要 100 份由人类编写的手册。

旧方法：猜测与检查

一些研究人员曾尝试自动化这一过程。他们构建了一个“元机器人”来尝试编写这些手册。但旧方法就像玩“热或冷”的游戏。

元机器人编写一份手册。
它测试机器人。
它得到一个分数（例如：“你答对了 60%"）。
这个分数是唯一的反馈。它并没有说明机器人为什么失败。是工具选错了？是漏掉了步骤？还是看错了文件？

因为元机器人不知道失败的原因，它只能盲目猜测，尝试数百万次随机修改，直到碰巧成功。这消耗了大量的算力和资金。

新方法：ReCreate（“经验驱动”的机制）

这篇论文的作者提出了ReCreate。ReCreate 不再仅仅关注最终分数，而是像一位资深技师那样，观察机器人的工作过程，精准定位其 stumbling（绊倒）之处，并据此修复手册。

可以这样理解：

旧方法： 你参加了一次考试，得了"C"，老师只说：“下次更努力点。”你不知道哪些题做错了，也不知道原因。
ReCreate： 你参加了一次考试，得了"C"，老师调出了你考试过程的录像。他们指出你困惑的具体时刻，说：“啊，你没有仔细阅读说明，”然后重写操作手册，以防止下次再犯同样的错误。

ReCreate 如何运作（三大魔法工具）

ReCreate 使用一个特殊的“优化智能体”（一种超级智能 AI），通过三个步骤来改进机器人的手册：

1. 侦探（经验存储与检索）
当机器人失败时，ReCreate 不会直接丢弃这次尝试。它会保存整个“电影”：机器人思考了什么、点击了哪些工具、在哪里卡住了。

类比： 想象一位侦探，他不仅查看犯罪现场，还能调取嫌疑人的完整日记、通话记录和监控录像。当机器人失败时，ReCreate 会搜索这本“日记”，找出事情出错的精确时刻。

2. 编辑（推理与创造的协同）
一旦“侦探”发现了问题，“编辑”就会介入。它阅读证据并决定如何修复手册。

类比： 如果机器人总是忘记检查文件是否为空，“编辑”不会只说“做得更好”。它会在手册中添加一条具体的新规则：“打开文件前，务必检查是否为空。”或者，如果机器人反复进行枯燥的数学计算，“编辑”就会编写一个新的“工具”（脚本）来自动完成这些计算。

3. 教师（分层更新）
这是最重要的一环。有时，机器人学会了一个只适用于单个特定谜题的技巧。ReCreate 确保机器人不会“死磕”这一个技巧。它会审视许多不同的失败案例，并问：“这是一次性错误，还是一个模式？”

类比： 如果一个学生因为忘记进位而在数学考试中失利，老师不会只告诉他“那次考试要做得更好”。老师会意识到该学生存在模式性的忘记进位问题，并更新学生的整个学习指南，加入一条关于进位的永久规则。ReCreate 将具体的修复转化为适用于整个领域的通用规则。

结果：从种子到大师

该论文在四个不同的领域测试了 ReCreate：

软件工程： 修复代码中的错误（如 GitHub）。
数据科学： 清理数据并制作图表。
数学： 解决复杂的数学问题。
数字助理： 管理应用程序和数字任务。

他们从一个非常基础、几乎为空的手册（“种子”）开始。

结果： ReCreate 将这些微小、薄弱的手册进化成了强大、专业的智能体。
分数： 在几乎所有测试中，由 ReCreate 创建的智能体表现优于由人类专家设计的智能体。它们的表现也优于其他试图自动构建智能体的 AI 方法。

为什么这很重要（根据论文所述）

该论文声称，通过让 AI 从其自身的“经验”（即其行为的详细日志）中学习，而不仅仅依赖最终分数，我们可以自动为任何工作构建专门的机器人。这比旧的“猜测与检查”方法更便宜、更快速，并能创造出更智能的智能体。

简而言之： ReCreate 是一个系统，它通过向 AI 智能体详细展示其自身的错误来教导它们，然后重写它们的操作手册，以确保它们永不再犯同样的错误。它将“试错”的黑盒变成了清晰、逻辑化的改进白盒。

以下是论文《ReCreate：由经验驱动的推理与领域智能体构建》的详细技术总结。

1. 问题定义

本文探讨了领域智能体构建的挑战：即从最少的种子信息出发，自动构建针对特定现实领域（如软件工程、数据科学、数学）的专用大语言模型（LLM）智能体。

当前局限： 大多数实用智能体均由人工设计。由于不同领域需要不同的知识、先验和工作流，这种方式劳动密集且难以扩展。
现有自动化的局限： 近期的自动化智能体生成方法（如 ADAS、AgentSquare）将智能体构建视为黑盒优化问题。它们仅依赖最终性能指标（如通过/失败率）来指导更新。
- 盲目性： 它们缺乏对智能体为何失败的洞察，导致低效的试错。
- 成本： 它们需要对每个候选架构进行大规模评估，导致高昂的计算和财务成本。
- 过拟合： 它们往往难以从特定的任务实例泛化到更广泛的领域模式。

2. 方法论：ReCreate 框架

ReCreate 提出了一种白盒、经验驱动的优化范式。它不依赖标量分数，而是利用完整的交互经验（执行轨迹、环境状态、日志和评估结果）来迭代优化智能体架构。

核心设计：智能体即优化器

ReCreate 引入了一种智能体即优化器的设计，其中"ReCreate-Agent"（一个元智能体）充当自主工程师。它检查任务智能体的执行历史，诊断失败原因，并编辑智能体的架构。该框架包含三个关键组件：

经验存储与检索机制：
- 存储完整的交互片段（轨迹、执行输出、评估日志以及代码库等环境上下文）。
- 使用证据检索器对关键事件（错误、失败的测试）进行索引。这使得 ReCreate-Agent 能够直接跳转到相关上下文，而非线性处理海量日志，从而实现按需检查。
推理 - 创造协同流水线：
- 推理（检查）： ReCreate-Agent 分析检索到的证据，以确定成功或失败的根本原因（例如：缺失验证步骤、工具使用低效、工作流顺序错误）。
- 创造（修改）： 基于诊断，智能体决定编辑哪个架构组件。架构被分解为四个可编辑模块：
  - 角色与目标： 系统指令和领域先验。
  - 流程与策略： 推理工作流和终止标准。
  - 行动与工具： 可用工具和脚本。
  - 记忆与检索： 记忆管理策略。
- 一个创建路由器引导智能体根据具体证据选择合适的编辑操作（例如：“添加规则”、“创建新工具”、“修改工作流”）。
从局部到领域的分层更新：
- 实例级： 智能体为特定任务生成候选更新（ $\Delta A$ ），并附带理由。这些更新被缓冲而非立即应用。
- 领域级： 一个综合步骤聚合这些实例级提案，以提取可复用的领域模式。这过滤掉了特定任务的噪声并防止过拟合，确保最终架构能在整个领域内泛化。

工作流程（算法 1）

从领域信息（ $I$ ）初始化最小架构（ $A_0$ ）。
在一批开发任务上运行智能体。
收集交互经验（ $\tau$ 、执行结果、评估结果）。
ReCreate-Agent 检查失败/成功情况并提出局部更新。
将局部更新综合为全局领域更新。
重复直到收敛或达到最大迭代次数。

3. 主要贡献

ReCreate 框架： 一个新颖的框架，将智能体构建从黑盒指标优化转变为白盒、经验驱动的推理。
智能体即优化器范式： 一种设计，使 LLM 能够通过解释执行轨迹和环境状态来自适应地调试和进化其他智能体，而不仅仅是优化提示词。
全面评估： 在 4 个领域（软件工程、数据科学、数学、数字助理）的 13 个基准测试中展示了卓越的性能，优于人工设计的智能体和现有的自动生成方法。

4. 实验结果

作者使用 gpt-5-mini 作为任务智能体，claude-4.5-opus 作为 ReCreate-Agent 对 ReCreate 进行了评估。

性能提升：
- ReCreate 在所有领域中始终优于人工设计的架构和自进化基线（如 LIVE、OPRO、ExpeL）。
- 平均提升： 在软件工程（SWE）中比第二名高出 6.55%，在数据科学（DS）中高出 6.60%，在数学中高出 4.01%，在数字助理中高出 2.63%。
- 与生成方法的比较： 比自动化生成方法（ADAS、AgentSquare）平均高出 7%，突显了利用丰富的交互经验优于标量分数的价值。
成本效率：
- 与 ADAS 相比，ReCreate 将优化成本降低了 36% 至 82%。这是通过利用交互经验中的丰富信号更快收敛实现的，需要更少的迭代次数和更小的开发集（仅需约 20 个样本）。
消融研究：
- 经验组件： 移除完整轨迹导致了最大的性能下降，证明逐步推理轨迹对于诊断至关重要。
- 推理能力： 使用较弱的 ReCreate-Agent（gpt-5-mini）在大多数领域未能超越人工设计，表明强大的推理能力对于解释经验和生成有效编辑至关重要。
- 分层更新： 移除领域级综合（DOMUPD）导致了过拟合和较低的泛化能力。

5. 意义与影响

专家知识的自动化： ReCreate 证明了 LLM 可以自动化设计专用智能体架构这一劳动密集型过程，有可能在创建特定领域工作流方面取代人类专家。
优化范式的转变： 它将该领域从“通过提示进行优化”（静态、线性）转变为“通过行动进行优化”（动态、检查 - 推理 - 优化循环）。
泛化性： 该框架与领域无关。它成功地从最少的种子信息出发，创建了针对软件工程（修复 GitHub 问题）、数据科学（生成代码）和数学问题的专用智能体。
可扩展性： 通过利用经验驱动的更新，ReCreate 提供了一条可扩展的路径，用于构建适用于手动工程不可行的开放世界场景的鲁棒智能体。

总之，ReCreate 确立了交互经验是比单纯性能指标更丰富、更有效的智能体构建信号，使得自动合成高性能、专用智能体成为可能，这些智能体能够媲美甚至超越人工设计的解决方案。