🤖 machine learning

Bayesian Symbolic Regression with Entropic Reinforcement Learning

本文介绍了 ERRLESS，一种可扩展的贝叶斯符号回归方法，该方法利用熵正则化强化学习从代数表达式的后验分布中进行采样，从而实现有效的确定性量化，并在 Feynman 等基准测试上产生具有竞争力的、可解释性的结果。

原作者： Oussama Boussif, Mohammed Mahfoud, Younesse Kaddar, Moksh Jain, Sida Li, Damiano Fornasiere, Xiaoyin Chen, Yoshua Bengio, Esmeralda S. Whitammer

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Oussama Boussif, Mohammed Mahfoud, Younesse Kaddar, Moksh Jain, Sida Li, Damiano Fornasiere, Xiaoyin Chen, Yoshua Bengio, Esmeralda S. Whitammer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜题的侦探，但你寻找的不是失踪的人，而是试图找到解释世界运作方式的隐藏数学规则。这就是**符号回归（Symbolic Regression）**的工作。标准的数学工具就像是一个只能调整既有西装纽扣的裁缝（微调既定公式中的数字），而符号回归则像是一位大师级裁缝，能够从零开始发明全新的西装，将不同的面料（加法、正弦函数或平方根等数学运算）缝合在一起，以完美契合数据。

然而，现实世界的数据是杂乱无章的。它们充满噪声，就像充满了静电干扰的无线电信号；而且数据稀缺，就像试图仅凭三个音符就猜出整首歌的旋律。如果你只找到一个“最佳”公式，你可能会被这些静电干扰所蒙蔽。这正是**贝叶斯思维（Bayesian thinking）**发挥作用的地方。贝斯侦探不会只押注于一个答案，而是保留着一整个可能的理论库，并根据每个理论与线索的契合程度为其分配概率。这使得他们能够说：“我相当确定是这个公式，但也有很小的可能性是另一个，”这在数据稀缺时至关重要。长久以来的挑战在于：如何高效地在无限的可能公式库中进行搜索，从而找到正确的概率组合而不至于迷失方向？

于是，ERRLESS 登场了。这是由 Oussama Boussif 及其同事提出的一种新方法，它将这种搜索过程比作一场电子游戏。想象一个机器人正在学习搭建复杂的乐高结构，但它不仅仅是尝试搭建一座完美的塔，而是学习如何搭建许多不同的塔，并理解在给定线索的情况下，哪些塔最可能是“真实”的结构。研究人员将他们的这种方法称为 ERRLESS（基于熵正则化的强化学习进行表达式结构采样）。

以下是它在现实世界的数据中是如何运作的：团队训练了一个神经网络（一种人工智能）来充当“建造者”。这个建造者并不只是盲目猜测；它会逐步构建数学表达式，就像逐字逐句地组建句子一样。但有一个限制条件：建造者必须遵循严格的物理规则。正如你不能把“米”和“秒”相加来得到有意义的结果一样，AI 被编程为拒绝任何违反物理单位定律的数学组合。这是通过一种“自底向上”的方法实现的，即 AI 先构建小的、有效的部件，然后再将它们拼接在一起，确保每一步在移动之前都符合逻辑。

AI 通过**强化学习（Reinforcement Learning）进行学习，这就像是用零食训练狗狗。每当 AI 构建出一个符合数据的公式时，它就会得到一份“奖励”（即零食）。但巧妙之处在于：研究人员并不只是想让 AI 找到单一的最佳公式。他们希望 AI 能够探索整个“库”中的可能性。为此，他们使用了一种名为最大熵强化学习（Maximum-Entropy Reinforcement Learning）**的技术。你可以把它想象成告诉 AI：“不要只寻找一条最佳路径；要尽可能多地探索不同的路径，但要确保你更频繁地访问那些最有希望的路径。”这确保了 AI 不会困在某一个想法上，而是学会了理解所有可能公式的完整“地图”。

结果非常令人振奋。在 Feynman 符号回归数据库（由传奇物理学家理查德·费曼收集的 100 个物理公式组成的著名集合）上的测试中，ERRLESS 的表现与现有的顶尖方法不相上下。它能够找到短小、易读且准确度与其它算法发现的复杂公式同样高的公式。更重要的是，因为它捕捉到了不确定性（贝叶斯视角），它能更好地处理噪声数据。在数据稀缺且充满噪声的测试中，ERRLESS 生成的“后验预测均值”（一种所有最佳猜测的平均值）比领先的竞争对手 PySIPS 更准确。PySIPS 有时会被一些离谱且不太可能的猜测所误导，从而导致其平均值发生偏差，而 ERRLESS 则能让其猜测保持在合理的范围内，提供更可靠的预测。

该论文还强调，ERRLESS 的速度极快。不像其他方法必须反复停止并微调公式中的数字（这是一个缓慢且计算成本高昂的过程），ERRLESS 能够同时学会预测公式的结构以及其中的数值。这使得它比许多对手快了一个数量级。

然而，作者也谨慎地表示，这并不是解决所有问题的万灵药。他们指出，虽然 ERRLESS 在对可能答案的分布进行建模方面表现出色，但在处理极其复杂的靶向表达式时仍可能遇到困难。他们还提到，该方法依赖于一组特定的数学算子，未来的工作可能涉及教 AI 发明自己的算子，或者将这些思想应用于微分方程。

简而言之，这篇论文表明，通过将物理规则与智能的、具有探索性的 AI 训练方法相结合，我们可以构建出一个系统，它不仅能找到一个公式，而且能理解可能公式的全貌。这是向着让机器不再仅仅是处理数字，而是真正理解支配我们宇宙之法则的不确定性与美感的方向迈出的一步。

技术摘要：基于熵正则化强化学习的贝叶斯符号回归 (ERRLESS)

问题陈述

符号回归 (Symbolic Regression, SR) 旨在发现一个能够将输入映射到输出的代数表达式，该表达式通常由从算子库中构建的抽象语法树 (AST) 表示。虽然标准的 SR 算法侧重于寻找单个“最佳拟合”的表达式（通常是在复杂度与拟合度之间进行权衡），但这种点估计无法捕捉认识不确定性 (epistemic uncertainty)。在以数据稀缺和噪声为特征的科学场景中，单一的表达式可能是不可靠的，而由数据匮乏引起的不确定性往往被掩盖了。

现有的贝叶斯 SR 方法试图通过定义关于表达式结构和参数的先验，从而在给定数据下诱导出后验分布。然而，依赖于可逆跳跃马尔可夫链蒙特卡洛 (Reversible-Jump MCMC) 或序列蒙特卡洛 (SMC) 的传统方法通常依赖于手工设计的提议分布 (proposal distributions)，且在扩展性方面计算成本极高。

方法论：ERRLESS

作者提出了 ERRLESS（用于表达式结构采样的熵正则化强化学习），这是一个通过基于最大熵强化学习 (Maximum-Entropy RL) 训练神经策略来摊销 (amortize) 采样过程的可扩展框架。

1. 自底向上的生成环境

与大多数使用自顶向下生成（先采样算子再采样操作数）的深度 SR 方法不同，ERRLESS 采用了**自底向上（后序遍历）**的生成过程。

序列决策： 表达式树作为一个标记 (token) 序列（逆波兰表示法）被生成。策略逐个采样标记。
约束强制执行： 这种自底向上的方法允许立即执行约束。由于操作数（叶节点）先于算子被指定，因此在添加新算子之前，可以检查其维度有效性（物理单位兼容性）和结构有效性（例如，防止冗余组合如 $\sqrt{x^2}$ 或嵌套三角函数）。
状态空间： 环境追踪当前的局部序列，确保仅采样有效的后续序列，从而有效地剪枝搜索空间。

2. 最大熵强化学习

其核心创新是将贝益斯 SR 任务建模为一个 RL 问题，目标是从后验分布 $p(T, \theta, \sigma | D)$ 中进行采样。

奖励函数： 奖励 $R(T, \theta, \sigma)$ 被定义为未归一化的对数后验：
$R(T, \theta, \sigma) = \log P(T) + \log p(\theta, \sigma | T) + \sum_{i=1}^N \log \mathcal{N}(y_i; f_{T,\theta}(x_i), \sigma^2)$
目标： 策略 $\pi_\phi$ 的训练目标是最大化熵正则化目标：
$\max_\phi \left( \mathbb{E}_{(T,\theta,\sigma) \sim \pi_\phi}[R(T, \theta, \sigma)] + H[\pi_\phi] \right)$
最大化该目标旨在最小化学习到的策略与真实后验之间的 Kullback-Leibler (KL) 散度。
训练算法： 作者利用了 轨迹平衡 (Trajectory Balance, TB) 目标，这是生成流网络 (GFlowNets) 的核心损失函数。这使得离策 (off-policy) 训练成为可能，即策略可以从由行为策略生成的轨迹回放缓冲中学习，优化初始状态与终止奖励之间的路径一致性。

3. 策略架构

该策略由基于 Transformer 的架构进行参数化：

输入： 迄今为止生成的标记序列。
头部 (Heads)： 网络输出三个不同的分布：
1. 动作头部 (Action Head)： 下一个标记（算子、变量、常量或终止符）的 Logits。
2. 常量头部 (Constant Head)： 用于采样实值常量 $\theta$ 的高斯混合模型 (GMM) 参数。
3. 噪声头部 (Noise Head)： 用于采样噪声方差 $\sigma$ 的对数正态混合模型参数。

核心贡献

新颖的生成过程： 一种自底向上的 SR 环境，能够将维度分析和结构约束直接集成到生成过程中，显著减少了搜索空间。
端到端贝叶斯公式化： 首个将贝叶斯 SR（包括标量参数推断）建模为单一策略学习问题的方案，利用最大熵 RL，避免了显式的逐个候选常量拟合。
可扩展的后验采样： 一种能够高效地从表达式及其参数的后验分布中进行采样的有效方法，实现了不确定性量化。

实验结果

作者在三个基准数据集上评估了 ERRLESS：合成数据集、Feynman 符号回归数据库以及 Blackbox 基准。

后验建模准确度（合成数据）： 与 PySIPS（一种 SMC 基准）相比，ERRLESS 生成的后验预测均值具有显著更高的决定系数 ( $R^2$ )。PySIPS 在处理后验均值时经常失败，因为发散样本的尾部主导了平均值，而 ERRLESS 则产生了有限且行为良好的后验样本。
Feynman 基准： ERRLESS 取得了 0.924 的竞争性 AUC 分数，优于其他基于 RL 的方法如 DSR (0.873) 和 PhySO (0.893)，以及贝叶斯基准 BSR (0.702)。它在不同噪声水平 ( $\gamma \in \{0.001, 0.01, 0.1\}$ ) 下表现出卓越的鲁棒性。
复杂度 vs. 准确度： 虽然领先的进化算法有时能达到很高的拟合分数，但它们往往会产生过于复杂的表达式。ERRLESS 保持了良好的权衡，能够生成简短且具有解释性的表达式。
效率： ERRLESS 比大多数基于学习的竞争对手快一个数量级。这种加速归功于参数优化的摊销；神经策略直接学习采样参数，消除了其他方法所需的内部优化循环（如最小二乘拟合）。

意义与主张

论文声称 ERRLESS 成功弥合了符号回归的可解释性与贝叶斯推断的不确定性量化之间的鸿沟。通过利用最大熵 RL，该方法避免了传统 MCMC/SMC 方法的计算瓶颈，同时提供了完整的后验分布而非单一的点估计。

作者强调，在数据稀缺且多噪的场景下，贝叶斯的视角尤为重要，此时 ERRLESS 的后验预测均值优于单点估计。这项工作证明，学习一个能够同时采样表达式结构及其参数的策略是可行的，这为实现能够显式建模不确定性的自动化科学发现提供了一条可扩展的路径。

作者注明的局限性： 在面对高度复杂的目标表达式时，性能可能会下降。建议未来的工作可以通过调节温度参数来更好地平衡复杂度与准确度，并扩展该方法以实现对数据集或算子库的摊销。