💻 computer science

Automating Parent Selection Configuration in Genetic Programming with Agentic AI

本文表明，一种利用大语言模型和检索增强生成（RAG）的智能体 AI 框架可以有效地自动化遗传编程中父代选择算法的设计与实现，并在符号回归任务中取得与 $\epsilon$ -lexicase 等既有方法相当的竞争性性能。

原作者： Jose Guadalupe Hernandez, Jui-Hsuan Chang, Anil Kumar Saini, Xi Li, Jason H. Moore

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Jose Guadalupe Hernandez, Jui-Hsuan Chang, Anil Kumar Saini, Xi Li, Jason H. Moore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能的广袤版图中，一个被称为进化计算（evolutionary computing）的特定分支模仿了自然界演化生命的方式。想象一个计算机程序，它并不遵循人类编写的僵化指令集，而是创建一群数字候选者，测试它们解决问题的能力，然后通过让表现最好的个体进行“繁殖”来创造下一代。这种被称为遗传编程（genetic programming）的过程非常强大，因为它能够发现人类可能永远无法构思出的复杂解决方案。然而，为了让这种数字进化得以运作，计算机需要一种方法来决定哪些候选者可以进行繁殖。这种决策被称为亲本选择（parent selection）。如果计算机选择了错误的亲本，整个种群可能会停滞不前或无法改进。传统上，人类必须手动设计这些选择规则，这项任务需要深厚的专业知识，并且往往涉及大量的试错。研究人员现在提出的问题是，一种能够像人类专家一样进行推理和查阅信息的新型人工智能，是否可以使这一困难的设计过程自动化。

一个研究小组通过构建一个专门设计的数字智能体（digital agent）来测试这个想法，该智能体旨在处理亲本选择的工作。他们并没有要求该智能体从零开始发明一种全新的亲本选择方法，而是让它识别出最佳的现有方法，然后编写实现该方法的计算机代码。为此，他们为该智能体提供了一个关于亲本选择的科学论文库，使其能够像人类研究人员一样检索相关知识。该智能体的任务非常明确：观察问题，决定哪种选择方法效果最好，然后生成一个可以插入遗传编程系统的功能性 Python 程序。他们使用一种被称为符号回归（symbolic regression）的问题类型来测试这一设置，在这种问题中，计算机必须找到一个符合一组数据点的数学公式。这是此类系统的常见测试平台，因为这要求计算机在没有被告知关系的情况下，自行发现数字之间的关系。

研究人员进行了一系列实验，以观察不同版本的智能体表现如何。他们将一个仅依赖于初始训练所学知识的标准大语言模型，与一个能够进行逐步思考的智能体，以及一个既能思考又能在其精选论文库中查找信息的智能体进行了对比。结果是具有启发性的。当模型仅依靠其内部知识时，它们几乎总是会选择一种非常基础且常见的方法，称为锦标赛选择（tournament selection），即随机挑选几个候选者，其中表现最好的获胜。这是一个安全且熟悉的选项。然而，当智能体被允许在库中查找信息时，它们的行为发生了剧烈变化。这些智能体开始识别并实现一种更高级的方法，称为 epsilon-lexicase 选择法。这种方法更加细致；它不仅仅看单一的总分，而是根据候选者在特定个体数据点上的表现来进行评估，从而实现更具多样性且通常更有效的进化。

研究发现，检索信息的能力对于引导智能体走向这些更好的方法至关重要，但它本身并不能保证成功。所使用的特定人工智能模型类型与它们拥有的工具同样重要。其中一个特定的模型在结合了查找信息的能力后，能够持续生成正确的、复杂的选择算法，并且表现得与固定的、由人类设计的版本一样好，甚至更好。这一特定设置能够以极高的准确度编写实现复杂的 epsilon-lexicase 方法的代码，并使用统计方法来确定选择的严格程度。在针对六个不同现实世界数据问题的直接对决测试中，这个自动化智能体产生的结果与最好的、由人类设计的选择方法在统计学上是无法区分的，并且显著优于基础的锦标赛选择法。

然而，研究人员也发现，这种自动化尚未达到完美。虽然最佳的设置运行可靠，但其他模型与工具的组合有时会生成看起来正确但无法运行的代码，或者生成的算法由于数学细节错误而表现不佳。研究表明，仅仅拥有知识库并不意味着人工智能会自动成为专家；底层的模型必须能够正确解释这些信息并将其转化为可运行的代码。研究人员得出结论，虽然智能体人工智能（agentic artificial intelligence）在自动化这些进化系统的设计方面展现出巨大的潜力，但它目前是一种只有在与正确的模型和细致的监督相结合时才能发挥最佳作用的工具。这项工作展示了显著的进步，证明了机器可以开始将复杂的领域知识转化为可执行的组件，从而有可能减轻长期以来阻碍这些强大计算工具普及的人工设计重担。

技术摘要：利用智能体 AI 实现遗传编程中父代选择配置的自动化

问题陈述
遗传编程（GP）通过允许定制表示、选择机制和变异算子，为符号回归（SR）提供了显著的灵活性。然而，这种灵活性也带来了一个由相互依赖的算法和参数选择构成的庞大设计空间，需要大量的专业知识才能进行有效配置。这一障碍阻碍了 GP 的广泛应用。虽然智能体人工智能（Agentic AI）已被提议作为一种通过扩展具有推理和工具使用能力的语言大模型（LLM）来自动化复杂设计任务的机制，但其在识别并实现特定且有效的 GP 组件方面的可行性在很大程度上仍未得到充分探索。本研究调查了一个智能体 AI 框架是否能够自主识别并实现遗传编程系统中的父代选择算法，而无需人工干预。

方法论
作者提出了一个结合了 LLM 与检索增强生成（RAG）的智能体框架，旨在自动化选择并实现父代选择算法。该框架利用经过精选的父代选择文献语料库来为智能体的推理提供依据。

框架架构： 系统采用了一个专门的智能体，该智能体接收一个将其角色定义为 GP 专家的提示词。智能体执行两项任务：(1) 识别合适的父代选择算法；(2) 将其实现为一个具有特定签名（selection(fitnesses)）的 Python 函数。智能体在一个迭代推理循环中运行，自主决定是依赖内部知识还是调用 RAG 工具从向量数据库中检索相关的文献。
实验设置： 研究使用了来自 UCI 机器学习库的六个真实世界符号回归问题。使用了一个标准的 GP 系统（基于 DEAP 实现），其中仅父代选择过程是变化的。
消融研究（实验 1）： 作者评估了四种 LLM 类型（gpt-4o, gpt-4.1 mini, gpt-5 mini, 和 gpt-oss 20b）在三种配置下的表现：
1. LLM： 采用零样本提示（zero-shot prompting）的独立模型。
2. ANR（无检索智能体）： 不带 RAG 工具的智能体工作流。
3. AR（检索智能体）： 带有 RAG 的完整智能体框架。
  指标包括执行成功率、分类成功率（报告的算法族与人工验证结果的一致性）、代码相似度以及下游性能（测试集均方误差 MSE）。
基准评估（实验 2）： 将实验 1 中表现最佳的配置与固定的、手工实现的锦标赛选择（Tournament Selection，规模为 3）和半动态 $\epsilon$ -lexicase 选择（使用绝对中值偏差 MAD 来确定 $\epsilon$ ）进行了基准测试。

关键结果

RAG 与推理的影响： RAG 模块和智能体推理的引入显著影响了生成的算法类型。对于 gpt-4o 和 gpt-4.1 mini 等模型，独立的 LLM 和 ANR 配置仅生成锦标赛选择。相比之下，AR 配置将输出转向了 $\epsilon$ -lexicase。然而，这种转变并未统一提升下游性能；对于某些模型（例如 gpt-4o），AR 配置由于参数化不当（例如使用固定的 $\epsilon$ 值而非基于 MAD 的阈值）导致性能显著下降。
模型依赖性： 框架的有效性高度依赖于底层 LLM。gpt-5 mini 模型展现出一种独特的能力：它经常在没有检索的情况下生成 $\epsilon$ -lexicase 算法，在生成的算法中占比达 85.7%。在配备 RAG 后（5 mini–AR），它能稳定生成成熟的 $\epsilon$ -lexicase 实现，主要采用基于 MAD 的 $\epsilon$ 阈值以及动态或半动态变体。
性能： 5 mini–AR 配置在所有六个 SR 问题上的下游性能均达到了与固定的、基于 MAD 的半动态 $\epsilon$ -lexicase 实现相当的水平。它通常优于锦标赛选择。值得注意的是，尽管 5 mini–AR 为每个重复实验生成了独立的实现，但其性能仍能与固定参考实现保持竞争优势，尽管在特定案例（如 Housing 和 Yacht 数据集）中表现出较高的方差。
有效性与相似度： 大多数配置的执行成功率都很高。然而，分类成功率（正确识别特定变体，如静态 vs 动态 $\epsilon$ -lexicase）存在差异。AR 配置有时会降低分类成功率，因为检索到的信息会导致更复杂的实现，而这些实现偶尔会被误分类。

意义与主张
本文声称，智能体 AI 展示了将领域知识转化为生成进化系统可执行组件的潜力。具体而言，研究证明了：

智能体框架可以成功实现父代选择的自动化配置，从简单的辅助功能跨越到算法组件的自主生成。
RAG 的集成对于引导 LLM 朝向成熟且有效的算法族（如 $\epsilon$ -lexicase）至关重要，而这些算法在零样本设置下可能不会被优先考虑，尽管最终实现的质量高度取决于 LLM 的内部知识及其解释检索上下文的能力。
5 mini–AR 配置作为一个概念验证，证明智能体系统可以生成与专家定义的固定实现具有竞争力的父代选择算法。

作者保持了审慎的态度，指出虽然该框架是迈向自动化 GP 设计的一步，但目前它仅隔离了父代选择，尚未根据其下游性能对生成的算法进行闭环验证或修正。他们强调，未来的工作必须解决生成实现的可靠性问题，并将该框架扩展到其他 GP 组件。

类似论文