Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds
本文通过受控实验挑战了自我进化智能体技能能够持续提升的观点，证明了持续的技能进化实际上是一个稀疏且经过验证过滤的搜索过程，它高度依赖于反馈动态以及特定的模型-基准测试交互，而非来自额外精炼轮次的持续增益。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个超级聪明的机器人助手，它能做很多了不起的事情，比如解决数学题或编写代码。但有时，它也会犯错。在人工智能的世界里，有一个流行的概念叫做“自我进化”（self-evolving）。人们梦想着，机器人不仅仅是修复一次错误，而是能从错误中学习，为自己写下一条新的规则，并永远记住这条规则。这就像一个学生，在数学考试不及格后，在笔记本里写了一份新的学习指南，从而帮助他在下次考试中取得优异成绩，而不需要老师来重塑他的大脑。
但这里有一个大问题：这真的有效吗？观察每一次尝试（包括好的和坏的）是否能让机器人学得更好？或者，只观察失败以找出问题所在是否更聪明？又或者，仅仅通过投入更多的计算能力来反复尝试同一项任务，是否比尝试写下一条永久性的新规则更好？这篇论文深入探讨了这些问题，旨在看看“自我进化”究竟是灵丹妙药，还是仅仅在做徒劳无功的努力。
伟大的机器人技能猎寻
研究人员设计了一个大规模实验，观察这些 AI 智能体究竟是如何学习的。他们把 AI 视为一个正在尝试提升“技能等级”的游戏角色。他们给了 AI 三种不同的学习游戏玩法的方式：
- “常规”视角： AI 既能看到它的胜利，也能看到它的失败。
- “仅失败”视角： AI 只看它的错误。
- “仅成功”视角： AI 只看它的胜利。
他们在 14 个不同的场景中运行了这项实验，使用了三种不同的强大 AI 模型和五种不同类型的挑战，范围从回答常识问题到处理复杂的电子表格。
惊喜：进化是稀有且挑剔的
最大的冲击是什么？进化是极其罕见的。 在 388 次尝试创造更优技能的过程中，只有 55 次真正产生了一个通过严格测试的、截然不同且更优的版本。这就像尝试烤 388 次完美的蛋糕，最后只有 55 个蛋糕比原始配方更好。
更令人惊讶的是，“仅成功”视角完全失败了。在主研究中，零个改进后的技能来自于仅观察胜利。AI 需要看到失败，才能弄清楚该修复什么。事实上，研究人员决定保留的 11 个最佳技能中，每一个都来自于包含至少一些失败情况的视角。
“搜索” vs. “稳步攀升”
许多人曾认为，如果只是让 AI 进行更多轮次的尝试，它就会像爬梯子一样稳步提升。论文指出，这种想法是错误的。相反，这个过程更像是在黑暗的洞穴中寻找隐藏的宝藏。
有时，AI 在第一次尝试时就能找到一项伟大的新技能。有时，它会在尝试许多行不通的想法后徘徊很久，直到在第 9 轮突然撞见一个绝佳的解决方案。但通常情况下，AI 会直接撞墙并停止进步。研究人员发现，等待更多轮次并不保证能获得更好的技能；它只会消耗更多的时间和金钱。
“魔术戏法”对比
研究人员还询问：编写一个永久性的新技能，是否真的比使用额外的计算能力多次尝试同一项任务更好？
他们将“进化”出的技能与另外两种方法进行了对比：
- 并行采样（Parallel Sampling）： 同时进行多次任务尝试，并挑选出最好的答案。
- 序列优化（Sequential Refinement）： 尝试任务，查看结果，然后根据结果再次尝试。
结果褒贬不一。对于一个名为 SearchQA 的常识问答游戏，其“进化”出的技能仅比“多次尝试”的方法略好一点。AI 的新规则主要在于如何漂亮地格式化答案，而这通过几次猜测就能实现。
然而，对于一个名为 SpreadsheetBench 的电子表格挑战，差异却非常巨大。进化出的技能比最好的“多次尝试”方法高出了 30.96 分。为什么呢？因为电子表格任务需要一个复杂的、多步骤的工作流（例如检查文件、运行脚本、保存并验证）。你不能仅仅靠“猜”来完成这个任务；你需要一条永久性的、写下来的规则才能做对。
总结
那么，结论是什么？自我进化的 AI 技能并不是一种稳步、自动的升级。它们更像是一种稀疏的、碰运气的搜索，高度依赖于特定的 AI 模型和特定的任务。
如果你想让你的 AI 擅长处理复杂的、多步骤的任务（如处理电子表格），教它从失败中学习并写下永久性的规则将是一个改变游戏规则的举措。但如果任务很简单，或者只需要一个更好的答案格式，你完全可以通过给 AI 更多的时间去尝试、再尝试、再尝试，来获得同样好的结果。这篇论文表明，我们不应期待奇迹；相反，我们应该将自我进化视为一种针对特定任务进行精细筛选的工具搜索。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。