Self-Play Meets Skill Evolution: Self-Evolving Search Agents that Pose, Solve, and Remember
本文介绍了 SESA，一种自我进化的搜索智能体，它建立了一个双向循环，将具有信息量的失败案例提炼为进化的技能记忆以引导求解器，而求解器反过来又塑造挑战者的题目生成，从而实现任务分布与过程知识的协同进化，以提升在多个问答基准测试中的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人玩一款复杂的电子游戏，但你既没有规则手册，也没有可以练习的关卡列表。相反，机器人必须在过程中不断发明自己的关卡。这被称为“自我博弈”（Self-Play）的一个科学领域，其中人工智能（AI）既是学生，也是老师。AI 的“老师”部分创造一个谜题，而“学生”部分则尝试解决它。如果学生做对了，就得一分；如果做错了，他们会从错误中吸取一点教训，然后再次尝试。
通常，当这些 AI 学生犯错时，他们会在当下学习，但一旦进入下一个谜题，就会忘记那个具体的教训。这就像是学骑自行车，摔倒了，爬起来，然后立刻忘记了自己为什么摔倒。另一种方法叫做“技能记忆”（Skill Memory），就像保留一个物理笔记本，把学到的每一个技巧都记下来。但通常，这个笔记本里填满了来自旧的、固定的游戏的教训，而这些游戏并不是机器人主动选择去玩的。研究人员一直提出的重大问题是：如果机器人能发明自己的高难度关卡，从自己特定的失败中学习，并将这些教训写进一本随着它变得更聪明而不断变化的笔记本里，会发生什么呢？
这正是论文《自我博弈遇见技能进化》（Self-Play Meets Skill Evolution）所探讨的内容。作者引入了一个名为 SESA（自我进化技能增强智能体）的新系统。把 SESA 想象成一个有两个截然不同的性格在协作的机器人：“挑战者”和“求解者”。挑战者是一个制造麻烦的人，负责发明刁钻的问题；求解者则是试图利用搜索引擎寻找答案的侦探。
这里有一个神奇的戏法：当求解者无法回答一个问题时，SESA 并不会直接丢弃这个失败，而是将这个错误转化为一张“技能卡”。想象一张便利贴，上面写着：“嘿，下次当你看到关于出生在布拉格的王子的问题时，记得检查他是否有特定的家族姓氏，否则你可能会感到困惑！”求解者在尝试新问题之前会阅读这些便利贴。
但让 SESA 脱颖而出的巧妙之处在于：挑战者（那个制造麻烦的人）看不见这些便利贴。挑战者只知道求解者答对了还是答错了。这创造了一个公平的游戏。如果求解者因为有了便利贴而变得更厉害，挑战者就会意识到：“噢，我的问题太简单了！”并开始设计更难的问题。这迫使求解者学习更高级的技能，进而导致更难的问题产生，形成一个循环，让 AI 靠自身力量变得越来越聪明。
研究人员发现这个系统效果非常好。他们在七种不同类型的刁钻问题上进行了测试，从简单的常识到需要连接多个信息片段的复杂谜题。他们发现，与那种仅仅是丢弃错误的标准方法相比，Sessa 将 AI 的准确率提高了约 1.2 到 3.2 个百分点。更有趣的是，他们发现 AI 确实把教训“学”得很好，以至于即使不看便利贴，也能正确解决问题。然而，拥有这些笔记仍然能给它带来微小的额外提升，就像拥有一份你其实不需要但忍不住想瞄一眼的参考资料。
这篇论文表明，这种“进化记忆”不仅仅是最终测试中的一个花哨技巧；它实际上改变了 AI 在训练期间的学习方式。通过将失败转化为可重用的技能，并将其反馈到学习过程中，SESA 创建了一个自我改进的循环。作者认为，这种方法比仅仅死记硬背固定数据集中的教训更好，因为它能适应 AI 当前的技能水平，不断将它推向能力的极限。简而言之，SESA 证明了，比起一个只会走向下一个问题的学生，一个能记住自己的错误并利用它们来构建更美好未来的 AI，显然是一个更聪明的学生。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。