💻 计算机科学

Symbolic Regression Using Synergistic Basis Functions

本文介绍了协同基函数回归（Synergistic Basis Functions Regression, SBFR），这是一种非进化符号回归方法，它通过动态生成并选择协同基函数，以紧凑的特征表示实现具有竞争力的预测性能，在显著超越基准模型准确性的同时，消除了对高计算成本进化搜索的需求。

原作者： Hamide Sarvary Karizaky, Mohammad Mehdi Ebadzadeh

发布于 2026-10-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hamide Sarvary Karizaky, Mohammad Mehdi Ebadzadeh

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数据科学领域，研究人员不断试图寻找连接一组数字与另一组数字之间的隐藏规则。想象一下，你有一份输入列表，比如蛋糕的原料，以及一份结果列表，比如蛋糕上升的高度。目标是写出那条将原料转化为结果的精确数学配方。这被称为回归。对于简单的问题，一条直线可能就足够了，但现实世界很少如此简单。通常，这种关系是扭曲且纠缠在一起的，需要复杂的公式来准确描述它。

几十年来，科学家们一直使用一种称为符号回归（symbolic regression）的方法来解决这个问题。这些计算机程序并非仅仅是在猜测公式，而是在一个庞大的可能数学表达式库中进行搜索，以找到最符合数据的那个。这种方法的一个巨大优势在于，最终答案是一个人类可以阅读并理解的清晰、书面化的方程。然而，寻找那个完美的方程就像是在一个不断增长的草堆中寻找一根特定的针。这种传统方法的过程类似于进化，即数千个候选公式在许多代中进行竞争、变异和繁殖。虽然这行得通，但它极其缓慢且计算成本高昂，往往需要大量的计算能力才能找到一个可能并不必要的复杂解。

伊朗阿米尔卡比尔理工大学的一组研究人员提出了一种不同的方法来应对这一问题。他们引入了一种名为协同基函数回归（Synergistic Basis Functions Regression，简称 SBFR）的新方法，该方法完全跳过了缓慢的进化搜索过程。与其让数千个公式相互争斗，不如像工匠仔细挑选并组装单个工具一样，逐步构建解决方案。其核心思想是生成候选的数学部分，即基函数，然后测试它们如何协同工作。研究人员意识到，一个数学部分本身可能看起来并无大用，但当它与合适的伙伴结合时，它就能变得异常强大。这种概念被称为“协同作用”：整体大于部分之和。

研究人员将他们的系统设计得像一个动态编辑器。它从一个空的工具集开始，并使用一种能够创建多样化结构的标准方法来生成新的数学表达式。对于它创建的每一个新表达式，系统都会提出两个问题。首先，如果我们只是将这个新部件添加到当前的集合中，它是否能改进模型？其次，如果我们将这个新部件与我们现有的部件之一进行替换，它是否能做得更好？系统会测量两种情况下预测准确度的提升程度。如果添加新部件有助于提升，则将其保留；如果用它替换现有部件能使模型变得更好，则丢弃旧部件并进行替换。这个过程不断重复，持续精炼数学工具的集合，直到模型变得尽可能准确且紧凑为止。

为了测试这种新方法是否有效，研究人员将其应用于九个不同的数据集，范围涵盖了旨在测试数学能力的合成问题，到涉及混凝土强度和房产价格等现实世界的数据。他们将这个新系统与包括传统的进化方法和标准机器学习模型在内的十三种方法进行了对比。结果显示，这种新方法非常有效。与标准方法相比，使用这种新方法构建的模型平均减少了约百分之四十的预测误差。它们还使模型的解释能力提高了百分之二十以上。至关重要的是，新方法在实现这些成果时，并不需要进化搜索那样沉重的计算成本。上下文。

或许最令人震惊的发现是，新系统在保持模型简洁性方面表现出的高效。虽然一些传统方法会产生包含数百甚至数千个数学项的模型，使得人类难以解释，但新方法通常仅选择四到十二个部件来构建一个有效的模型。这使得最终的方程不仅准确，而且短小到足以被轻松理解和检查。研究人员发现，当新方法与一种被称为“随机森林”（Random Forest）的特定机器学习算法相结合时，能达到准确性与简洁性的最佳平衡，该算法在选定的数学部件基础上充当最终的决策者。

这项研究还强调，该方法的成功取决于数学部件如何相互协作。一个在孤立状态下显得微弱的部件，在与合适的邻居配对时可能会成为明星球员。通过关注这些合作关系而非仅仅关注单个部件的强度，该系统避免了冗余或无用公式的堆积。这种方法证明了它是传统暴力进化方法的有效替代方案，提供了一种从复杂数据中发现清晰数学规则的方法，且无需巨大的计算开销。这项工作表明，通过思考数据特征如何相互作用并相互支持，我们可以为未来构建更智能、更简洁且更易于理解的模型。

技术摘要：基于协同基函数的符号回归

问题陈述

符号回归（Symbolic Regression, SR）旨在发现输入变量与连续目标值之间的显式数学关系，而不预设特定的函数形式。虽然 SR 与人工神经网络（ANN）等“黑盒”模型相比具有更优越的可解释性，但它面临着由于搜索空间巨大且复杂而带来的严峻挑战。传统的进化方法，特别是遗传规划（Genetic Programming, GP），通常存在计算成本高、收敛慢以及容易产生不必要的复杂表示（即“膨胀”现象）的问题。此外，现有的非进化方法在基函数选择方面往往表现不佳，因为它们频繁地根据候选函数的个体预测贡献而非其与现有特征组合时的协同或增益效应来评估函数。这种疏忽可能导致表示冗余，并错失发现有价值的函数组合的机会。

方法论：协同基函数回归 (SBFR)

本文提出了一种名为协同基函数回归 (Synergistic Basis Functions Regression, SBFR) 的非进化框架，旨在构建紧凑且可解释的符号模型。与进化整个表达式种群的 GP 不同，SBFR 通过迭代生成并选择单个基函数，这些基函数是基于其在已有特征集合中的回归贡献进行筛选的。

核心机制

候选生成：
SBFR 使用渐进式半高半低法 (Ramped Half-and-Half, RHH) 生成候选符号基函数（以树状结构表示）。该方法结合了“全树 (full)”和“增长 (grow)”策略，利用预定义的函数集（如 $+$ , $-$, $\times$ , $\div$ ）和端点（输入变量及随机常数）生成具有多样化结构和深度的表达式。
基于协同效应的选择：
SBFR 并非仅根据函数的独立性能进行选择，而是通过两个互补的指标来评估候选函数相对于当前已选特征集 ( $FV$ ) 的表现：
- 增加协同度 ( $S_{Add}$ )： 衡量将候选函数添加到当前特征集时，均方根误差 (RMSE) 的相对降低程度。
- 替换协同度 ( $S_{Rep}$ )： 衡量用候选函数替换现有基函数时，RMSE 的相对降低程度。
只有当改进程度超过预设阈值 (improvethreshold) 时，候选函数才会被接受。算法通过添加新函数或在替换效果更佳时替换现有函数，动态更新特征集。
模型无关框架：
SBFR 被设计为模型无关的。构建的符号基函数作为下游回归模型的转换特征。在实验中，作者使用包括线性回归 (Ridge)、支持向量回归 (SVR)、K-最近邻 (KNN)、决策树 (DT)、随机森林 (RF) 和多层感知器 (MLP) 在内的多种下游学习器对 SBFR 进行了评估。
停止准则：
迭代过程在达到最大尝试次数、连续若干次评估未观察到显著改进或达到目标误差 (RMSE = 0) 时终止。

主要贡献

作者确定了三个主要贡献：

将协同效应扩展至回归领域： 本研究将此前应用于分类领域的协同特征构建概念扩展到了符号回归领域，从而提出了非进化的 SBFR 框架。
动态选择策略： 引入了一种动态选择机制，通过显式评估候选函数的协同贡献来保留互补的基函数并减少冗余，从而避免了对基于种群的进化搜索的需求。
全面评估： 在九个基准回归数据集（包括合成和真实世界数据）上对 SBFR 进行了严格评估，并将其与 13 种基准方法进行了对比，评估了其预测性能和模型紧凑性。

实验结果

研究在九个数据集（Concrete, Pollen, RatPol2D, Real Estate, Toxicity, X05Y1Z15, bm1, bm4, 和 keijzer5）上对 SBFR 进行了评估。结果将其与常规回归器及最先进的 SR 方法（包括 GSGP、M3GP、EvoF 等 GP 变体，以及 FFX 等非进化方法）进行了比较。

预测性能

误差降低： 在九个数据集中，基于 SBFR 的配置相比其对应的基准回归器，在 RMSE 上实现了平均 40.14% 的相对降低，在平均绝对误差 (MAE) 上实现了 41.53% 的相对降低。
$R^2$ 提升： 决定系数 ( $R^2$ ) 平均相对提升了 21.56%。
统计显著性： SBFR-RF（下游为随机森林）配置在 RMSE 方面的平均排名（3.78）位居第二，在统计学上与表现最优的进化方法 EvoF（排名 2.89）相当，但显著优于其基准随机森林（排名 5.22）。
指标一致性： SBFR-RF 在 MAE 和 $R^2$ 指标上也保持了强劲的表现，始终优于其基准模型，并能与顶尖的进化方法竞争。

模型紧凑性与可解释性

特征维度： SBFR 的一个关键优势在于其生成的特征空间非常紧凑。虽然 GSGP 和 EvoF 等进化方法通常会产生数百个特征（例如 GSGP 的中位数 >600 个特征），但 SBFR 变体通常仅保留 4–12 个基函数（取决于下游模型和数据集）。
紧凑性排名： SBFR-SVR 在特征空间紧凑性方面取得了最佳平均排名 (2.44)，紧随其后的是 SBFR-RF (2.56)。
权衡： 文中指出存在一种权衡：SBFR-SVR 提供最紧凑的表示，但其预测性能略逊于 SBFR-RF。SBFR-RF 被强调为在预测精度和特征紧凑性之间提供了最理想的平衡。

案例分析

在 RatPol2D 数据集上的一个说明性示例显示，SBFR-RF 构建了八个符号基函数。这些函数包括简单的线性变换（如 $3x_0$ ）和非线性交互项（如 $x_0(x_1 - x_0)$ ），展示了其创建能够捕捉复杂关系的显式、可解释数学表达式的能力。

重要性与主张

本文声称，SBFR 通过使用协同引导的迭代基函数选择过程，解决了进化型 SR 计算成本高昂的问题。这项工作的意义在于：

高效性： 它避免了评估大规模候选表达式所带来的高昂计算成本。
可解释性： 它产生了比进化方法生成的庞大特征集更紧凑、更容易理解的符号表示。
有效性： 研究证明，通过显式评估函数的协同贡献，可以获得比仅依赖个体特征选择或标准进化搜索更好的预测性能和更紧凑的模型。

作者总结道，SBFR 为符号回归提供了一种可行的非进化替代方案，通过与随机森林等集成学习器结合，成功实现了预测性能、模型紧凑性和可解释性之间的平衡。