🤖 machine learning

GAE: Graph-Augmented Evolution for Scientific Discovery via Reinforcement Optimization

本文提出了 GAE，这是一个通过集成用于结构感知程序表示的图神经网络、用于定向父代与变异选择的强化学习，以及用于将大语言模型变异算子与高适应度结构编辑进行动态对齐的在线 GRPO 微调，从而通过增强用于科学发现的进化程序搜索，来实现发现闭式物理方程的最先进性能的新型框架。

原作者： Xuanzhou Chen, Taoli Cheng

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuanzhou Chen, Taoli Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人写出一个完美的物理方程，来解释一个摇晃、弹跳的弹簧是如何运动的。你有一个超级聪明的机器人作家（大语言模型，简称 LLM），它能够猜出新的方程，但它有点像是在黑暗中投掷飞镖：有时能射中靶心，但大多数时候只是在随机乱投。

长期以来，科学家们一直试图通过让这个机器人进行猜测、检查猜测是否正确并保留最好的结果来帮助它。但论文《GAE：用于科学发现的图增强进化》（GAE: Graph-Augmented Evolution for Scientific Discovery）指出，这种旧方法存在三个大问题，就像是在迷宫中导航时：戴着眼罩、拿着一张只告诉你“你错了”却没告诉你离正确有多近的地图，以及一个永远不会更新的指南针。

三个大问题（以及为什么旧方法会失败）

首先是“眼罩”。旧方法在选择要改进的前代方程时完全是随机的，仅仅看最终得分。它们不看方程的“形状”。这就像是仅仅因为上一道菜的味道还可以就去改进食谱，却没意识到新食谱需要的是加盐而不是加糖。

其次是“坏地图”。当机器人尝试一个新方程时，计算机必须运行一个庞大且缓慢的模拟程序来查看它是否有效。如果新方程几乎正确但还不完全对，旧系统就会直接把它扔掉。这就像是一个老师给一个数学题做对了 99% 的学生打了个“不及格”，忽略了学生其实已经非常接近正确答案这一事实。这浪费了所有关于如何进步的微小线索。

第三是“卡住的指南针”。机器人的猜测新方程的方式从不改变。即使它学到了这些技巧对于这个特定的谜题并不奏效，它仍然会沿用同样的旧套路。

GAE 解决方案：一个聪明、自我进化的团队

作者构建了一个名为 GAE（图增强进化）的新系统来解决这三个问题。他们不仅仅是微调了旧系统；他们给了机器人一个大脑、一个教练和一种即时学习的方法。

“变形金刚”大脑（图/Graph）： GAE 不仅仅将方程视为文本，而是将每个方程转化为一个展示数学部分如何连接的彩色 3D 地图（即“计算图”）。这让系统能够“看到”结构。这就像是在观察一座乐高城堡，不仅看到成品，还能看到具体是哪些积木支撑起了塔楼。
“聪明教练”（RL 元控制器/RL Meta-Controller）： 这是一个特殊的 AI 教练，它观察着“变形金刚”地图。它不再随机挑选父代方程，而是观察地图并说：“嘿，这个方程在结构上与上次表现最好的那个很相似。让我们去微调那一个吧。”它引导机器人进行更有可能的修改，将随机猜测转变为有方向的搜索。
“即时导师”（在线微调/Online Fine-Tuning）： 这是最酷的部分。每当机器人尝试一批新方程时，系统都会立即更新机器人自己的大脑。如果机器人做出了一个好的猜测，系统会说：“做得好，多做这类尝试！”如果做出了坏的猜测，它会说：“停止这样做。”这就像机器人是在寻找物理方程的过程中，一边寻找一边学习如何写出更好的方程，而不是等到一天结束再去学习。

大考：摇晃的弹簧

为了测试这个新系统是否有效，作者将其置于一个棘手的测试中：寻找一个“非线性阻尼振荡器”的精确数学公式。想象一下，这是一个弹簧，它不仅仅是上下弹跳；它在移动时会变得更重，以奇怪的方式减速，并受到外力的推动。这是一个非常复杂、混乱的现实世界物理问题。

他们将 GAE 与其他顶尖方法进行了对比，包括那些使用了同样聪明的机器人作家但没有配备这种新教练系统的系统。

结果： GAE 不仅仅是赢了，它简直是碾压了竞争对手。在这些模拟中，GAE 找到的方程具有极高的准确度。
数据： 论文使用一个叫做 “log10 NMSE” 的数值来报告误差。数值越低越好。最好的先前方法（如 OpenEvolve）得分在 -3.14 或 -5.87 左右。然而，GAE 找到了一个得分为 -7.24 的解（甚至在复杂的、未见过的测试数据上达到了 -7.45）。
这意味着什么？ 得分 -7.24 意味着误差大约为 5.7 × 10⁻⁸。这是一个极其微小的数字。这意味着 GAE 找到的方程几乎完美地匹配了弹簧真实的物理特性。

“神奇”方程

GAE 找到的最佳方程并非简单的直线。它是一个复杂的、美丽的公式，包含了：

线性力（基础的弹跳）。
二次方和三次方力（奇怪的非线性弹跳）。
依赖速度的阻尼（弹簧如何减速）。
随时间变化的力（外部的推力）。
甚至还有一些位置、速度和时间交织在一起的复杂相互作用项。

作者展示了这个方程符合物理逻辑。它正确识别出弹簧具有“线性回复力”（它想要回到中间）、“三次非线性”（它以特定方式变硬）以及“二次方阻力”（对抗运动的空气阻力）。

GAE 不是什么

重要的是要了解这篇论文没有声称什么。作者谨慎地指出，这种方法依赖于一种特定的查看代码的方式（Python 的“抽象语法树/Abstract Syntax Trees”）。如果你尝试在不改变“变形金刚”大脑的情况下将此系统用于另一种编程语言，它将无法开箱即用。此外，虽然结果令人惊叹，但它们是基于特定物理问题的计算机模拟。论文表明这是一个强大的新方向，但它并不声称已经解决了所有科学发现问题。

总结

简而言之，GAE 将科学发现这一混沌、随机的过程转变为一个专注、自我进化的旅程。通过赋予 AI 一种“看见”其思想结构的方式，通过一个教练来挑选最佳起点，并通过从每一次尝试中学习，它发现了一个其他方法错过的近乎完美的物理方程。这是迈向一个未来的重要一步——在那个未来，AI 不仅仅是在猜测，而是真正学会了如何发现自然法则。

技术摘要：GAE（基于图增强进化与强化优化的科学发现）

1. 问题陈述

本文探讨了当前大语言模型（LLM）引导的进化搜索在自动化科学发现中的局限性。尽管像 FunSearch 和 AlphaEvolve 这样的框架已经在发现新算法和数学对象方面取得了成功，但作者指出，阻碍其在复杂程序空间中进行有效搜索存在三个根本性的瓶颈：

奖励稀疏性（Reward Sparsity）： 在程序搜索（例如符号回归）中，适应度评估需要完整的执行或数值积分。搜索过程通常仅根据子程序是否在 MAP-Elites 存档的特定单元格中严格优于现有的程序来接收二进制信号（改进或未改进）。这丢弃了关于具有结构意义或接近最优程序的细粒度关系信息，使种群缩减为一系列稀疏的改进事件。
无信息的父代选择（Uninformed Parent Selection）： 现有方法通常根据适应度排名进行随机多样性采样，将种群视为无结构的程序集合。这忽略了种群内大量的结构信息。由于缺乏对局部结构相似性的利用，微小的变异会导致不可预测的行为变化，从而使搜索变成一种很大程度上是随机的探索，而非有引导的精炼。
静态变异算子（Static Mutation Operators）： 在当前的方法中，负责生成代码变异的 LLM 在整个搜索过程中是固定的。系统无论累积了多少搜索经验，都只是从一个静态的、预训练的结构变换分布中进行采样，无法根据进化的种群需求调整变异策略。

2. 方法论：GAE 框架

作者提出了 GAE（图增强进化） 框架，该框架通过构建在 OpenEvolve 基座之上的紧密耦合的三支柱架构解决了上述瓶颈。该系统通过将随机搜索转化为有向的、自我改进的轨迹来运行。

A. 关系图神经网络（GNN）编码器

GAE 并非将程序视为原始文本，而是利用静态抽象语法树（AST）分析将每个候选程序解析为类型化计算图。

图表示： 节点代表数学运算或变量，边编码数据流。
嵌入（Embedding）： 关系 GNN 处理这些图以生成结构感知的嵌入（ $z \in \mathbb{R}^d$ ）。
在线微调： 编码器在带有代理得分的合成程序上进行预训练，并在进化过程中持续微调。每隔 $K$ 代，它都会通过均方误差（MSE）损失进行更新，将嵌入回归到观测到的评估奖励，从而使模型能够追踪高适应度程序的演化分布。

B. RL 优化的元控制器（离散 SAC）

为了解决无信息的父代选择和静态变异方向问题，GAE 采用了**离散软行为者-评论家（Discrete Soft Actor-Critic, SAC）**元控制器。

状态（State）： 选定父代程序的 GNN 嵌入。
动作（Action）： 动作空间由编码了变异类型、目标节点 ID 和参数索引的离散元组组成。
策略（Policy）： 控制器学习根据父代的结构嵌入和奖励历史来选择最优变异方向的策略。
奖励信号： 控制器基于复合奖励进行训练，包括：
1. 任务得分： 最佳子代的截断适应度。
2. 新颖性： 子代嵌入与当前种群的距离（鼓励探索）。
3. 复杂度惩罚： 对过度 AST 节点数量的惩罚。
  这使得系统能够动态选择最优父代和变异方向，而不是依赖盲目采样。

C. 在线 GRPO 微调循环

为了克服静态变异算子，GAE 实现了一个在线的**群体相对策略优化（Group Relative Policy Optimization, GRPO）**循环，用于在测试时微调 LLM 变异算子。

过程： 对于选定的父代，LLM 生成一组 $G$ 个子代。
优势计算： 每个子代的优势是相对于父代真实评估得分（ $R_{child} - R_{parent}$ ）计算的，并经过该组标准差的归一化。
更新： LLM 权重使用带有针对参考模型的 KL 惩罚的 PPO-clip 代理目标进行更新。这使模型的生成分布与高适应度结构编辑保持一致，且不会中断进化循环。

3. 核心贡献

统一解决瓶颈： GAE 是第一个在单个进化循环中同时解决奖励稀疏性、无信息父代选择和静态变异算子的框架。
结构感知进化： 通过利用关系 GNN 将程序解析为类型化计算图，该框架使搜索过程能够利用局部结构相似性，引导变异向一致的功能精炼迈进。
自适应变异策略： 集成在线 GRPO 循环允许变异算子（LLM）在搜索过程中实现自我改进，使其生成分布适应于实现高适应度所需的特定结构编辑。
离散 SAC 元控制器： 引入了平衡任务改进、新颖性和复杂度的学习选择器，确保搜索既有方向性又具多样性。

4. 实验结果

作者在 LLM-SR 基准测试中的**非线性振荡器（Nonlinear Oscillators）**任务上评估了 GAE，这是一个涉及复杂非线性微分方程的挑战性符号回归问题。

性能： GAE 始终达到或超过了静态 LLM 驱动的基准（OpenEvolve, PACEvolve, ShinkaEvolve）以及非 LLM 基准（uDSR）。
- 分布内（ID）： GAE 实现了平均 $\log_{10}$ NMSE 为 -6.87，最佳值为 -7.24，显著优于 OpenEvolve (Qwen: -3.88) 和 PACEvolve (-5.80)。
- 分布外（OOD）： GAE 展示了卓越的泛化能力，最佳 $\log_{10}$ NMSE 为 -7.45，而 PACEvolve 为 -6.10。
效率： 该方法在 150 次迭代内发现了目标方程的近精确符号形式，在前 20 次迭代中表现出快速提升，随后保持稳步增长。
发现： GAE 发现的最佳程序正确识别了线性恢复力、二次/三次/四次非线性、速度相关阻尼以及时间相关强迫项，且与基准模型相比，其结构更为紧凑且准确。

5. 重要性与主张

本文声称 GAE 代表了 LLM 驱动进化算法的一次根本性的方法论进步。通过引入由关系图编码器驱动的动态、结构感知范式以及在线强化优化，该框架将进化搜索从一个很大程度上是随机的过程转变为一个有向的、自我改进的轨迹。

作者认为，这项工作对于扩展 AI 以应对高度复杂的科学问题至关重要，因为在这些问题中，搜索空间巨大且评估成本极高。其直接影响体现在能够从复杂的观测数据中自动发现可解释的闭式数学模型。论文最后指出，该方法论为构建能够解决理论物理、流体力学和复杂系统工程等多方面问题的更全面的科学智能体系统奠定了技术基础。

承认的局限性：
作者指出，该方法依赖于源自 Python AST 的图表示，这编码了领域特定的归纳偏置。扩展到其他语言或领域需要重新设计节点类型和关系。此外，图引导策略学习的收益取决于评估机制是否足够昂贵，以证明 GNN 和强化优化开销的合理性。