Efficient Agentic Reasoning Through Self-Regulated Simulative Planning
本文提出 SR²AM，这是一个通过分解决策过程为模拟规划、反应式执行以及一种能够动态决定规划时机与深度的学习式自我调节机制，从而提升智能体推理效率的框架，其以远少于大型模型的推理令牌实现了具有竞争力的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试解决一个非常棘手的谜题，比如在网上查找某个特定事实，或解决一道复杂的数学题。你有一位非常聪明的助手（一个 AI 智能体）来帮助你。
长期以来，构建这些助手的标准方法是告诉它们：“尽你所能地思考，直到得出答案。”
这就像告诉一名学生：“继续在你的笔记本上写，直到你弄明白为止。”问题在于，学生可能会写下漫无边际的思绪，浪费时间和精力，最终仍然答错。他们不知道何时该停止思考并直接行动，也不知道何时该停止行动并开始思考。他们只是不停地继续，希望答案会神奇地出现。
这篇论文的作者，SR2AM，表示：“不，那样效率太低了。我们需要教会 AI 三种不同的技能，并让它们像一个组织良好的团队那样协同工作。”
以下是他们使用一个简单类比所做的分解：侦探、战略家和经理。
三人团队系统
论文提出，与其让一个大脑同时处理所有事情，不如将工作拆分为三个具体角色：
1. 侦探（系统 I：反应式执行）
- 他们做什么： 这是“动手”的工人。他们负责实际的搜索、阅读网页、编写代码或输入最终答案。
- 类比： 把他们想象成在犯罪现场四处走动的侦探，收集指纹并与证人交谈。他们反应迅速，擅长处理眼前的细节。
2. 战略家（系统 II：模拟规划）
- 他们做什么： 这是“如果……会怎样”的思考者。在侦探迈出一步之前，战略家会设想未来。他们会说：“如果我们搜索这个特定词汇，很可能会找到那个页面。如果我们点击那个链接，可能会找到答案。”他们在脑海中构建未来的地图。
- 类比： 这就像国际象棋棋手向前看三步。他们尚未移动棋子，而是在脑海中模拟棋局，以判断这步棋是否明智。这能防止侦探走进死胡同。
3. 经理（系统 III：自我调节）
- 他们做什么： 这是决定何时使用战略家的老板。经理审视当前情况并问道：“我们需要提前规划，还是只需继续做我们正在做的事？”
- 类比： 想象你在开车。
- 如果你在一条笔直空旷的高速公路上，经理会说：“继续开就行”（无需规划）。
- 如果你看到复杂的十字路口或暴风雨即将来临，经理会说：“停下！拿出地图规划路线”（激活战略家）。
- 如果没有经理，汽车可能会为每一个转弯都试图拿出地图，从而浪费时间，或者在暴风雨来袭时却从未拿出地图。
他们是如何构建的（"SR2AM"模型）
研究人员构建了一个名为SR2AM的 AI，让它学会成为这个三人团队。他们并没有只是告诉 AI“更努力地思考”，而是教会它：
- 决定： “我现在需要规划吗？”（经理）。
- 规划： “如果需要，让我们模拟接下来的几步并预测会发生什么。”（战略家）。
- 行动： “好的，让我们执行第一步。”（侦探）。
他们通过两种方法训练了这个 AI：
- v0.1： 他们使用各种不同的 AI 工具来扮演这些角色，并记录了结果。
- v1.0： 他们考察了现有智能 AI 模型如何解决问题，并“重写”了它们的思维过程，使其包含清晰的规划步骤。
他们的发现（结果）
论文声称，这种“三人团队”方法比旧的“只是更努力思考”的方法要好得多。
- 更聪明，而非更喧闹： 旧的 AI 模型会写出大量文本（token）来解决问题，常常在自己的思绪中迷失。而新的 SR2AM 模型在解决相同问题时，使用的字数减少了 25% 到 95%。
- 更高的准确率： 尽管使用的字数更少，但它们得出正确答案的频率与那些更大的 AI 模型（有些计算能力是它们的 10 到 100 倍）一样高，甚至更高。
- 更好的规划，而非更多的规划： 当他们使用强化学习（一种 AI 从奖励中学习的方法）时，AI 并没有开始更频繁地进行规划。相反，它学会了更长远地规划。它意识到，当它决定进行规划时，应该展望更远的未来以避免错误。
核心启示
论文认为，当前 AI 模型变得如此昂贵且缓慢的原因，是它们试图将所有内容都塞进一团混乱的思绪中。通过将决定何时思考、规划未来和执行工作分离开来，AI 的效率会大大提高。
这就像是一个学生在慌乱地胡乱 scribble 笔记一小时（低效）与一个学生停下来快速列个提纲、检查地图，然后开始写文章（高效）之间的区别。论文表明，教会 AI 成为后一种学生，效果非凡。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。