ATLAS: Scaffold-Free Algorithm Synthesis by LLMs via Embedding-Guided Quality-Diversity Search
ATLAS 是一个无支架、由嵌入引导的质量多样性框架，它通过动态重构组件和控制流，并利用误差调节修复和基于相似性的存档来导航广阔的设计空间并发现多样化且高性能的解，从而使大语言模型能够自主合成用于组合优化的完整算法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
优化是现代生活背后静默的引擎。它是寻找复杂任务最佳排列组合的数学艺术，无论是为了节省燃料而规划送货卡车的路线，还是为了按时完成工作而安排工厂机器的调度，亦或是分配员工班次以避免冲突。几十年来，解决这些问题需要人类专家手工设计引导搜索过程的规则和逻辑。这些专家会设计一个僵化的框架，即一个固定的步骤骨架，然后用巧妙的启发式算法（或经验法则）来填充这个骨架的具体部分。虽然这种方法很有效，但这意味着计算机始终在一个由人类绘制的框框内工作，无法想象一种本质上不同的组织工作的方式。
最近，人工智能开始改变这一动态。大型语言模型——即那些能够撰写论文或回答问题的技术——已经展示出它们也能编写代码来解决这些优化难题。早期的尝试要求这些模型仅编写谜题的一个部分，例如选择下一个项目的特定规则，而将其余结构留给人类设计师。但一种新的思维方式表明，如果我们让人工智能从头开始设计整台机器，它可能会发现人类专家永远无法构想出的解决方案。然而，挑战在于，给予计算机完全的自由是危险的；如果没有护栏，它很容易生成导致崩溃、忽略规则或陷入死循环的代码。现在，一组研究人员开发出一种方法来应对这种危险，允许人工智能从零开始发明完整且可运行的算法，并借此发现足以媲美人类设计之最优系统的解决方案。
由丹尼尔·亚兹达尼（Danial Yazdani）及其在皇家墨尔本理工大学（RMIT University）及其他机构的同事领导的研究小组，创建了一个名为 ATLAS 的系统。这个名字代表“基于存档的三层算法合成”（Archive-based Three-Layer Algorithm Synthesis），但其功能更简单：它是一个无脚手架的环境，人工智能可以在其中自由构建完整的优化算法，而无需任何预设结构。在传统方法中，人类提供一个骨架——一套固定的步骤，如“从这里开始，检查这个，然后做那个”——而人工智能仅负责填补空白。ATLAS 完全移除了这个骨架。人类仅提供问题陈述，例如“在遵守车辆容量限制的同时最小化行驶距离”，以及一个关于计算机如何接收数据并返回答案的简单规则。除此之外，从内部逻辑到控制流，全部由人工智能负责。
这种自由创造了一个广阔而混乱的景观。由于没有固定结构，人工智能可以生成数百万种解决问题的方法，但其中许多尝试将会失败。代码可能会崩溃，输出格式可能错误，或者解法可能会违反规则。为了管理这种情况，研究人员构建了一个类似于严格质量控制检查员的系统。当人工智能生成新算法时，系统会针对一组测试问题运行该算法。如果算法崩溃或产生错误结果，系统并不会简单地将其丢弃。相反，它会分析失败的具体原因——是内存溢出、超时，还是产生了不可能的解——并将特定的错误信息反馈给人工智能。人工智能随后利用这些反馈来重写代码，尝试修复特定的缺陷。这种基于错误的修复过程将失败转化为学习机会，使系统能够从在其他方法中会导致搜索终止的错误中恢复过来。
为了防止搜索陷入单一且平庸的解，ATLAS 使用了一种受自然界保持多样性启发的方法。在许多优化搜索中，系统会迅速收敛于一个“好”答案并停止寻找其他方案，从而可能错过隐藏在不同搜索空间中的更优解。ATLAS 通过将其成功的算法组织进一个语义地图来避免这一点。它利用代码含义的数学表示将相似的算法归为一类，并将截然不同的组分开。系统维护着一个由目前发现的最佳算法组成的多元化集合，确保它能持续探索不同的解空间区域，而不是坍缩到单一的设计中。这使其能够同时保留多个具有竞争力的方案，尽管这些方案彼此之间看起来可能大相径庭，但表现同样出色。
研究人员在四类极具挑战性的问题上测试了这种方法：配送车辆路由、工厂作业调度以及设施选址。他们将 ATLAS 与几种其他方法进行了对比，包括那些仅允许人工智能设计人类框架中单个组件的方法，以及一个虽然让人工智能设计整个算法但缺乏智能多样性保持系统的版本。结果非常明确。ATLAS 一贯优于那些依赖人类设计骨架的方法。它也击败了缺乏多样性系统的全算法合成版本，证明了保持广泛的解的多样性对于寻找最佳结果至关重要。最令人印象深刻的是，ATLAS 发明的算法足以与经过专家多年精炼的最强人类设计算法相媲美。在某些情况下，人工智能生成的解在统计学上与人类的最优努力不分伯仲，在其他情况下甚至略胜一筹。
一个最引人注目的发现不仅是人工智能可以找到好的解，而且它找到了许多不同类型的优解。当研究人员检查最终的算法集合时，他们看到了丰富的结构多样性。有些采用了贪婪算法，即在每一步都做出局部最优选择。另一些则采用了复杂的混合方法，结合了不同的策略，比如模拟冷却过程以跳出局部陷阱，或使用记忆机制以避免重复错误。该系统不仅仅找到了解决问题的单一“最佳”方式，它还发现了一系列独特的、高性能的策略组合。这表明，可能算法的空间比此前认为的要丰富得多，通过移除人类的约束，人工智能可以有效地探索这个空间。
这项研究表明，自动化设计的未来可能在于这种无脚手架的合成。通过让人工智能对解的逻辑承担全部责任，并为其提供一个稳健的系统来处理错误和维持多样性，研究人员可以解锁解决复杂问题的新途径。这项工作并不声称人类专家已过时；相反，它表明当人类提供问题，而人工智能被赋予发明方法的方法自由时，结果可以变得异常强大。研究人员指出，虽然目前的系统非常有效，但在微调生成算法的数值设置方面仍有改进空间。然而，其核心成就依然成立：一个能够自主合成完整、可运行的优化算法，并在完全自由的混沌中寻找秩序与卓越的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。