🤖 machine learning

Enhancing Generalization in Evolutionary Feature Construction for Symbolic Regression through Vicinal Jensen Gap Minimization

本文提出了一种用于符号回归的进化特征构建框架，该框架通过将动态最小化邻域詹森间隙（vicinal Jensen gap）作为正则项，并结合噪声估计与流形侵入检测，从而增强泛化能力，以有效控制在不同数据集上的过拟合问题。

原作者： Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人学会“不作弊”地学习

想象一下，你正在试图教一个机器人（一种被称为遗传编程的算法）如何根据一组线索（数据）来预测天气或股票价格。这个机器人非常聪明且富有创造力；它可以发明自己的复杂公式来解决问题。

然而，这个机器人有一个坏习惯：过拟合（Overfitting）。

把过拟合想象成一个学生，他完美地背下了某次特定练习考试的所有答案，但在真正的考试中却失败了，因为他并没有理解其中的概念，他只是死记硬背了练习题中的噪声和怪癖。在数据的世界里，这意味着机器人学习的是训练数据中的“噪声”（随机误差），而不是真实的模式。

这篇论文介绍了一种新方法，旨在教机器人成为一个“优秀的学习者”，而不仅仅是一个“背诵者”。他们将这种方法称为近邻詹森间隙最小化（Vicinal Jensen Gap Minimization）。

问题所在：为什么“死记硬背”很糟糕

过去，科学家们试图通过强制机器人保持公式简短和简单（比如限制文章的字数）来防止其死记硬背。但作者发现，一篇短文可能依然是胡言乱语，而一篇长文也可以是精彩绝伦的。规模并不是唯一重要的因素；平滑度和逻辑性更为重要。

解决方案：“邻居测试”

作者意识到，一个好的模型不应该仅仅在它见过的精确数据点上表现正确；它在这些点的“邻居”身上也应该是正确的。

想象你在森林中行走。如果你在某个特定位置看到一棵树，你会预期附近的树看起来也大体相似。如果你迈出一小步，那棵树突然变成了一根香蕉，这就很奇怪。一个好的模型应该是“平滑”的——输入的微小变化应该导致输出的微小、逻辑性的变化。

为了测试这一点，研究人员使用了两个主要技巧来创建“虚假”的邻居数据：

“手抖”技巧（噪声扰动）： 他们取一个数据点并加入一点随机的“抖动”，就像轻微晃动相机一样。如果机器人的答案随着这种微小的晃动而发生剧烈变化，说明它过于敏感（过拟合）。
“奶昔”技巧（混合/Mixup）： 他们将两个数据点（比如一个红苹果和一个绿苹果）混合在一起，创造出一个“新”的数据点（一个略带橙色的苹果）。他们会检查机器人对这个“橙色苹果”的预测是否基于红苹果和绿苹果的逻辑。

秘诀：将问题一分为二

该论文最大的突破在于一个数学证明，它表明我们可以将机器人的学习目标拆分为两个独立的组成部分：

“准确度”得分： 机器人对真实数据的预测有多好？（我们希望这个分数高）。
“平滑度”得分（詹森间隙）： 当我们在“虚假”的邻居数据上测试时，机器人的表现有多奇怪？（我们希望这个分数低）。

类比：
想象你在给学生评分。

旧方法： 你只看他们的期末考试成绩。如果得了100分，你就让他们通过。（但他们可能是作弊或死记硬背了）。
新方法（本论文）： 你给他们两个成绩。
1. 成绩 A： 他们在真实问题上的表现如何？
2. 成绩 B： 他们在经过我们稍微修改数字后的“陷阱”版本问题上的表现如何？
- 如果他们拿到了完美的成绩 A，但成绩 B 很糟糕，你就知道他们在作弊（过拟合）。
- 本论文创建了一个公式，能够完美平衡这两个成绩。

适应环境（噪声估计）

作者注意到，有些数据集是“多噪”的（充满错误），而有些则是“干净”的。

类比： 想象你在试图听一场对话。
- 在一个安静的图书馆（低噪声）里，你可以仔细聆听每一个词。
- 在一场摇滚演唱会（高噪声）中，你需要忽略背景噪音，专注于主旋律。

论文创建了一个“噪声检测器”。如果数据很混乱（像摇滚演唱会），机器人会自动对“平滑度”得分变得更加严格，以忽略噪声。如果数据很干净，它则会专注于捕捉细节。这一切都是自动完成的，无需人工干预。

“流形入侵”守护者

有时，当你混合两个数据点（“奶昔”技巧）时，你可能会无意中创造出一个在现实世界中并不存在的虚假数据点。

类比： 如果你把“热咖啡”和“冰块”混合，你会得到温水。但如果你把“火焰”和“雪花”混合，你可能会得到一个“燃烧的雪花”，这在现实中是不存在的。

论文增加了一个流形入侵检测器（Manifold Intrusion Detector）。这就像是一个保安，负责检查“虚假”的数据点。如果保安看到了“燃烧的雪花”（一个违反物理定律/逻辑的虚假点），他们就会将其剔除，以免让机器人感到困惑。

实验中发生了什么？

团队在 58 个不同的真实世界数据集（如预测房价、化学浓度等）上测试了这种新方法。

结果： 新方法（VJM-GP）在预测新的、未见过的数据方面，比旧方法表现得更好。
对比： 它击败了 15 种流行的机器学习算法，包括标准的遗传编程、深度学习模型和决策树。
权衡： 新方法需要稍长的时间进行训练（就像为了考试而更努力地学习），但结果更加可靠，且最终生成的公式通常更简单，也更容易被人类理解。

总结

这篇论文教会了机器人停止死记硬背，转而开始理解。通过将学习过程拆分为“准确度”和“平滑度”，并通过根据数据的混乱程度自动调整对机器人的严格程度，作者创建了一个能够构建更好、更可靠模型的系统，这些模型在面对新情况时不会崩溃。

技术摘要：通过最小化邻域詹森间隙增强进化特征构建的泛化能力

问题陈述

基于遗传编程（GP）的特征构建已成为符号回归中一种强大的自动化机器学习技术。然而，一个限制其广泛应用性的持久挑战是过拟ment（过拟合）。虽然 GP 方法通常在训练数据上表现出色，但构建的特征往往无法泛化到未见数据。传统的过拟合控制方法（如调节模型规模的简约压力）已被证明不足以表征现代进化模型的复杂度。此外，现有的理论指标（如 VC 维或 Rademacher 复杂度）在深度学习启发的情境下往往无法准确预测泛化性能。此外，将近邻风险最小化（VRM）——一种在深度学习中通过数据增强来减轻过拟合的成功技术——直接应用于 GP 回归存在问题，因为标准的 VRM 假设目标标签在微小扰动下保持稳定，而这一假设在目标值是连续变量的回归任务中往往失效。

方法论

本文提出了一个通过将**近邻风险（Vicinal Risk）**分解为经验损失组件和正则化项来增强泛化能力的框架。这种分解允许独立优化训练准确性和模型平滑度。

1. 近邻风险的理论分解

作者证明了近邻风险受经验风险和取决于数据增强策略的正则化项之和的约束：

噪声扰动： 如果近邻样本是通过噪声扰动（例如高斯噪声）合成的，则正则化项是一个有限差分（Finite Difference）。它惩罚函数输出对输入微小变化的剧烈反应。
Mixup 数据增强： 如果近邻样本是使用 Mixup 方法（输入和标签的线性插值）合成的，则正则化项是近邻詹森间隙（Vicinal Jensen Gap）。该项定义为 $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$ ，它惩罚凸性和凹性，促进相邻数据点之间的局部线性。

作者认为，分解风险优于优化原始近邻风险，因为这可以实现：

灵活的权衡： 对经验损失与平滑度之间的平衡进行精细控制。
准确的误差估计： 确保经验损失是在原始数据而非受污染的增强样本上精确计算的。
验证损失集成： 使能够使用交叉验证损失（而非仅仅是经验损失）作为主要的准确性指标。

2. 提出的算法 (VJM-GP)

作者引入了 基于近邻詹森间隙最小化的遗传编程 (VJM-GP)，这是一个同时优化以下内容的进化特征构建框架：

经验损失： 通过留一交叉验证（LOOCV）进行测量，以确保鲁棒性。
正则化项： 近邻詹森间隙（或有限差分）。

该算法的关键组件包括：

多目标优化： 使用带有拥挤距离的非支配排序来进化解的帕累托前沿（Pareto front），从而平衡交叉验证损失和正则化项。
噪声估计策略： 由于数据集的噪声水平各异，作者提出了一种动态策略来调整正则化权重 ( $\tau$ )。他们使用极端随机树（Extra Trees）在该数据集上的 $R^2$ 分数来估计噪声；较高的噪声水平会触发更强的正则化权重，以防止拟合噪声。
流形入侵检测： 为了解决 Mixup 生成的样本可能落在真实数据流形之外（从而产生不切实际的样本）的问题，作者提出了一个检测机制。如果合成样本的标签（由在原始数据上训练的 Extra Trees 模型预测）与父代样本的线性插值偏差显著，则丢弃该样本。这可以防止詹森间隙最小化过度惩罚高度非线性区域中的有效模型。

核心贡献

理论分解： 本文推导了上界，表明基于扰动的 VRM 分解为经验风险和有限差分，而基于 Mixup 的 VRM 则分解为经验风险和近邻詹森间隙。
正则化 GP 框架： 提出了一种新型 GP 框架 (VJM-GP)，它同时优化交叉验证损失和近邻詹隙，比传统的复杂度度量能更有效地控制过拟合。
自适应正则化： 引入了一种噪声估计策略，根据数据集特征动态调整正则化强度，避免在低噪声场景下过度惩罚。
流形入侵缓解： 提出了一种检测策略来过滤掉不切实际的增强样本，确保正则化项反映真实的底层数据流形几何结构。

实验结果

所提方法在来自 Penn Machine Learning Benchmark (PMLB) 的 58 个真实世界回归数据集上进行了评估。

正则化器的比较： 研究发现，近邻詹森间隙是一种比有限差分更有效的正则化器，在 15 个数据集上表现优于后者，仅在 5 个数据集上表现较差。
与复杂度度量的比较： VJM-GP 在测试 $R^2$ 分数方面显著优于标准 GP 和其他七种复杂度控制方法（包括简约压力、Tikhonov 正则化、Rademacher 复杂度以及 P-VRM）。与标准 GP 相比，它在 36 个数据集上实现了更优的泛化性能。
与基准方法的比较： 将 VJM-GP 与 15 种最先进的符号回归和机器学习算法（包括 XGBoost 和 ExcelFormer）进行了对比。它在样本量有限的情况下表现出竞争优势或卓越性能，同时保持了比梯度提升方法显著更小的模型规模。
消融研究：
- 流形入侵检测： 去除该策略导致在 6 个数据集上的测试性能下降，证实了其必要性。
- 噪声估计： 与固定权重相比，自适应加权策略显著提高了 12 个数据集上的性能，验证了动态正则化的必要性。
标签噪声： 在含有噪声标签的实验中，VJM-GP 展示了比标准 GP 和 P-VRM 更强的鲁棒性。

意义与主张

本文声称，所提出的近邻风险分解为进化特征构建中的过拟合问题提供了更深层的理论理解。通过将经验损失与正则化项分离，该方法能够实现对模型复杂度的更细致控制，其关注点在于函数复杂度（平滑度和线性度）而非仅仅是语法复杂度（树的大小）。

作者断言，他们的方法使 GP 能够在符号回归任务中（特别是在数据稀缺或有噪声的情况下）达到顶尖性能。他们强调，有效的过拟合控制需要平衡准确性和平滑度，而盲目减小模型规模是不够的。这项工作表明，所提出的框架可以集成到其他进化算法中，并有可能在未来被应用于基于深度学习的符号回归方法。