PACEvolve++: Improving Test-time Learning for Evolutionary Search Agents
PACEvolve++ 引入了一种面向进化搜索智能体的强化学习框架，该框架利用可训练顾问与前沿模型将战略假设选择与实现过程解耦，并采用相位自适应训练策略，以在多样化的工程与科学任务中实现更快的收敛速度及稳定的测试时学习。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试发明一种全新的、超高效的机器。你拥有一个天才但略显混乱的“创意生成器”（一个较小的 AI），以及一位技艺高超的“大师建造者”（一个强大的 AI）。
在以往大多数试图自动化这一发明过程的尝试中，同一个 AI 被迫同时承担两项工作：既要提出创意，又要建造机器。如果机器无法运行，AI 就无法判断是创意本身糟糕，还是建造者犯了错误。这就像因为施工队用错了砖块导致屋顶漏水，却去责怪建筑师一样。
PACEvolve++ 是一个新系统，它通过分离角色并教导“创意生成器”在工作过程中如何变得更聪明来解决这一问题。以下是其工作原理的简明拆解：
1. 双团队策略
PACEvolve++ 不再让一个 AI 包揽所有工作，而是采用两人团队：
- 顾问（战略家）： 这是一个较小且可训练的 AI。它的唯一任务是审视当前最佳的机器，构思新创意，预测哪些具有新颖性，并挑选下一个最佳尝试方案。它学习的是“尝试什么”。
- 前沿模型（建造者）： 这是一个庞大且强大的 AI，本身已非常擅长编程。它采纳顾问选定的创意，并将其转化为实际可运行的代码。它负责“如何建造”的繁重工作。
通过这种分离，系统可以训练顾问提升策略能力，而无需担心代码是否完美。如果代码失败，那是建造问题，而非策略问题。
2. “阶段自适应”教练
最大的挑战在于，随着你越来越接近完美解，“游戏”规则也在发生变化。论文指出，你需要根据搜索进程的不同阶段，对顾问采取不同的指导方式。
阶段一：狂野探索（早期游戏）
- 情境： 你刚刚开始。创意五花八门——有些疯狂，有些平庸，有些则极具 brilliance。
- 指导： 系统告诉顾问：“观察整个创意群体。哪些总体上优于平均水平？尝试寻找新的方向！”
- 类比： 想象一名侦察兵正在寻找新的营地。在开始时，他们撒开大网，审视许多不同的山谷和山丘。教练奖励他们发现任何有希望的区域，即使那还不是绝对最好的。
阶段二：精细调整（后期游戏）
- 情境： 你已经找到了一个绝佳地点，但现在只是在尝试削减几英寸的高度或改善视野。创意之间的差异微乎其微。
- 指导： 系统改变了规则。它不再问“哪个创意优于平均水平？”，而是开始问“这个特定创意是否真正推动了‘最佳可能’记录的突破？”
- 类比： 现在，侦察兵站在他们找到的最佳山丘上。教练不再关心“好”山丘，只在乎侦察兵是否找到了一个严格优于当前冠军的地点。如果新地点只是“还行”，则不予奖励。这防止了系统因微小且无意义的差异而感到困惑。
3. 为何这很重要
过去，试图进化解决方案的 AI 系统经常陷入停滞或崩溃，因为它们试图从头到尾使用同一种“指导”方法。
- 如果在太晚的时候使用“早期游戏”规则，AI 会被微小差异搞糊涂并陷入混乱（不稳定性）。
- 如果在太早的时候使用“后期游戏”规则，AI 会放弃探索，只是重复相同的安全创意（陷入停滞）。
PACEvolve++ 随着搜索的推进自动切换其指导风格。它始于鼓励广泛探索，并平滑过渡到仅奖励那些真正打破记录的微小改进。
结果
作者在三个困难的现实世界工程任务中测试了该方法：
- 平衡计算机工作负载： 确保不同的计算机芯片均匀分担任务。
- 推荐系统： 改进应用程序向用户推荐下一个视频或产品的方式。
- 蛋白质设计： 预测改变蛋白质结构如何影响其功能。
在所有三个案例中，PACEvolve++ 都比以往的方法更快地找到了更优的解决方案。它不仅仅找到了一个好的答案；它更快、更稳定地找到了最佳答案，且系统在此过程中没有崩溃或陷入困惑。
简而言之： PACEvolve++ 是一种教导 AI 如何发明的更聪明的方法。它将工作分配给战略家和建造者，并根据情境需求，恰如其分地将教学风格从“去探索”转变为“完善细节”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。