🤖 machine learning

Deep Variational Inference Symbolic Regression

本文介绍了深度变分推断符号回归（DVISR），它是深度符号回归的一种变分贝叶斯扩展，通过推断表达式树及其常数的后验分布，从而实现可扩展且具备不确定性感知能力的符号回归。

原作者： James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正试图解开一个谜团：你有一堆线索（数据点），你的目标是找到那个能精确解释这些线索如何相互关联的数学公式。

符号回归就是这场侦探游戏的名称。与标准回归不同，标准回归强迫你猜测公式的具体形状（比如“它必须是一条直线”或“它必须是一条曲线”），而符号回归则说：“我们尚不知道形状是什么。让我们尝试数学符号（加、减、乘、sin、log）的任何组合，直到找到那个能完美契合线索的公式。”

旧式侦探的问题

这篇论文讨论了人们迄今为止尝试解决这场游戏的两种主要方式：

“最佳猜测”侦探（深度符号回归或 DSR）： 这种方法使用智能 AI（神经网络）来生成公式。它会尝试成千上万个公式，并挑选出那个最符合数据的单一“最佳”公式。
- 缺陷： 它只给你一个单一答案。如果数据充满噪声或杂乱无章，侦探可能会选错公式，却对此 100% 自信，即使它是错的。它无法告诉你它有多不确定。
“慢而稳”侦探（MCMC）： 这是一种传统的贝叶斯方法。它不挑选一个获胜者，而是试图描绘出每一个可能公式为正确答案的概率。它为你呈现了一幅完整的图景，展示了不确定性。
- 缺陷： 它极其缓慢。随着可能公式的数量增长（这种情况发生得很快），这位侦探会陷入交通拥堵，无法完成工作。

新解决方案：DVISR

作者引入了DVISR（深度变分推断符号回归）。将其想象为一位超级强化、快进模式的侦探，它结合了 AI 的速度与贝叶斯方法的不确定性检查功能。

以下是它的工作原理，使用了一个富有创意的类比：

1. 公式的“无限图书馆”

想象一座图书馆，里面收藏着你所能写出的每一个可能的数学公式。其中大多数公式都是胡言乱语（比如 sin(x) + 999），只有少数是精妙绝伦的。

旧式 DSR 走进图书馆，抓起一本书，检查它是否契合，如果是目前为止最好的，它就保留那本书，扔掉其余的。
DVISR 走进图书馆，试图构建整座图书馆的心智地图。它不只是挑选一本书；它学习哪些书可能是答案，哪些书不太可能。

2. “魔法指南针”（奖励系统）

在旧的 AI 方法中，计算机仅仅因为“接近”数据而获得奖励。
在 DVISR 中，计算机被赋予了一个新的、更复杂的指南针，称为ELBO（证据下界）。

它不再仅仅说“这个公式拟合得很好”，而是说：“这个公式拟合得很好，而且它不过于复杂，而且它与我们要已有的信念一致。”
通过遵循这个指南针，AI 学会了近似整个可能性的地图，而不仅仅是单一的峰值。

3. “变形常数”

在数学公式中，你经常有需要调整的数值（常数），比如 2x 中的 2。

旧式 DSR 将这些数字视为固定的旋钮。它找到一个公式，然后花费额外时间转动旋钮以获得完美的数字。
DVISR 将这些数字视为云团。它不是猜测一个具体的数字（例如“它正好是 2.5"），而是猜测一个分布（例如“它很可能在 2.4 到 2.6 之间”）。它同时学习公式中每个数字的云团形状。

他们证明了什么？

作者进行了实验，以验证他们的新侦探是否真的有效：

简单案例： 他们给 AI 出了简单的谜题（比如 y = x 的平方）。
- 结果： AI 成功构建了一张与“真实”答案完美匹配的地图。它不仅找到了正确的公式，还正确计算了该公式正确的概率，与理论数学完全吻合。
“大图书馆”测试： 他们让可能公式的图书馆变得越来越大。
- 结果： 随着图书馆变得巨大，AI 的地图变得稍微不那么完美（它无法捕捉每一个细微差别），但对于较小的问题，它仍然运作得相当不错。
- 局限： 论文承认，如果公式变得太长且复杂，AI 就会开始挣扎，就像旧式的慢速侦探一样。

核心结论

这篇论文提出了一种新工具，使计算机不仅能够为一组数据找到最佳的数学方程，还能量化其自身的不确定性。

DVISR 不再说“答案绝对是 y = x^2"，而是可以说：“答案最可能是 y = x^2，但也有一小部分可能是 y = x^2 + 0.1，并且我们有 95% 的把握数字 0.1 介于 0 和 0.2 之间。”

作者总结道，虽然这是使 AI 更加透明和可靠的重要一步，但在能够广泛应用于各个领域之前，它仍需变得更快，并能够处理更大、更现实的问题。他们已经建造了引擎；现在需要让它驶上高速公路。

技术摘要：深度变分推断符号回归（DVISR）

问题陈述

符号回归（SR）旨在无需先验假设函数形式的情况下，发现自变量与因变量之间显式且可解释的数学关系。虽然遗传编程（GP）和深度符号回归（DSR）等传统方法能够成功识别出单一的最佳拟合表达式，但它们缺乏推断候选模型概率分布的能力。这一局限性阻碍了不确定性的量化，而在处理噪声或有限的现实世界数据时，不确定性量化至关重要。

现有的贝叶斯方法，如马尔可夫链蒙特卡洛（MCMC），虽然能够从后验分布中准确采样，但在高维空间中的可扩展性较差，且计算速度远慢于变分方法。相反，变分推断（VI）提供了更快、更具可扩展性的替代方案，但在符号回归中的应用却十分有限。以往尝试的变分符号回归受限于多项式神经网络或表达式空间的子集，这是由于计算上的不可行性。因此，亟需一种可扩展的变分贝叶斯方法，能够推断表达式树及其相关常数的后验分布。

方法论

作者提出了深度变分推断符号回归（DVISR），这是深度符号回归（DSR）算法的变分贝叶斯扩展。DVISR 利用循环神经网络（RNN）生成符号表达式，并采用 REINFORCE 策略梯度方法进行优化。

关键架构与算法修改

常数分布：与 DSR 通过独立程序在下游优化常数不同，DVISR 扩展了 RNN 的输出，使其包含常数值的正态分布参数（均值和方差）。当采样到常数令牌时，其值即从该学习到的分布中抽取。
增强的输入上下文：为了辅助 RNN 进行采样，网络接收前一个令牌、父令牌和兄弟令牌（如果存在）作为输入，以及之前采样的常数值。这解决了 DSR 中网络可能无法“看到”所有先前令牌的局限性。
奖励函数与目标：
- DSR：最大化基于归一化均方根误差（NRMSE）的奖励，该奖励由压缩函数界定，以寻找单一最佳模型。
- DVISR：用**证据下界（ELBO）**的被积函数替换 NRMSE 奖励。奖励函数定义为：
  $R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$
  其中 $\mathcal{L}_\theta$ 是似然函数， $p(f)$ 是先验分布， $q_\phi(f)$ 是变分分布。
- 通过 REINFORCE 最大化该奖励，DVISR 间接最小化了变分分布 $q_\phi(f)$ 与真实后验 $p(f|X, y)$ 之间的 Kullback-Leibler（KL）散度。
似然计算：表达式 $f$ 的似然值计算为其令牌和常数似然值的乘积，条件是所有先前采样的令牌和常数。

主要贡献

新颖算法：提出了 DVISR，这是首个在完整符号回归空间（包括表达式树和连续常数参数）上执行变分推断的算法。
后验恢复：证明了 DVISR 能够在简单设置下正确收敛至真实后验，无论是否包含常数令牌。
可扩展性分析：考察了随着表达式空间大小增加，DVISR 性能如何下降，并确定了当前架构的局限性。

实验结果

作者进行了实验以验证 DVISR 的收敛性和可扩展性。

1. 收敛至真实后验（无常数）

在使用由 $y=x_0^2$ 、 $y=x_0$ 和 $y=0.5$ 生成的数据进行的简单实验中，令牌库受到限制，模型空间较小且有限。

结果：ELBO 收敛至证据的对数，KL 散度趋近于零。
验证：表 1 显示，在 10 次运行中，中位变分概率与真实后验值在八位小数上完全匹配。

2. 含常数的收敛

实验在库中包含了常数令牌（ $c$ ），允许生成如 $x_0 \cdot c$ 之类的表达式。

方法：通过使用数值积分器对常数进行边缘化处理，计算真实后验。
结果：表 2 表明，表达式树的变分分布收敛至精确的真实后验（对常数进行边缘化后），精度达到八位小数。

3. 可扩展性

作者将最大表达式大小从 1 个令牌变化至 12 个令牌，以测试可扩展性。

发现：随着最大表达式大小的增加，真实后验与变分分布之间的估计 KL 散度也随之增加。
局限性：由于在该规模下计算证据的计算难度，未进行超过 12 个令牌的实验。这表明虽然 DVISR 适用于小空间，但随着搜索空间的扩大，其性能会下降。

意义与主张

该论文将 DVISR 定位为迈向可扩展贝叶斯符号回归的重要一步，该方法能够提供完整符号模型的不确定性量化。

可解释性与不确定性：通过推断后验分布而非单一的点估计，DVISR 解决了某些回归模型的“黑盒”性质，并考虑了噪声和数据局限性。
超越 MCMC 的进展：它为贝叶斯符号回归提供了一种比 MCMC 更快的替代方案，后者通常速度缓慢且难以应对高维问题。
适度的范围：作者承认当前的局限性，包括表达式规模较小、自变量数量较少以及缺乏真实世界数据集。他们并未声称在复杂的现实世界问题上具有立竿见影的优越性，但认为 DVISR 建立了一个基础框架。
未来方向：论文建议未来的工作可以通过超参数扫描、先进架构（如 Transformer）或更复杂的强化学习算法（如 PPO）来提高可扩展性。