🤖 machine learning

Adaptive Protection for Evolutionary Feature Construction in Symbolic Regression with Application to Credit Classification

本文提出了一种自适应保护机制，该机制利用特征重要性指标在演化符号回归过程中有选择地保留有价值的构建特征，从而防止关键遗传物质的丢失，并显著提高回归和分类任务的解质量。

原作者： Hengzhe Zhang, Qi Chen, Bing Xue, Lean Yu, Wolfgang Banzhaf, Mengjie Zhang

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Hengzhe Zhang, Qi Chen, Bing Xue, Lean Yu, Wolfgang Banzhaf, Mengjie Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在尝试为一道新菜发明完美食谱的厨师。你的储藏室里装满了基础食材（原始数据），你的目标是将它们混合在一起，创造出美味佳肴（一个预测未来的数学模型）。在计算机科学领域，这被称为符号回归（Symbolic Regression）。与其仅仅遵循固定的食谱，计算机使用了一种叫做**进化特征构建（Evolutionary Feature Construction）**的方法。你可以把它想象成一场混乱的烹饪秀：计算机尝试成千上万种随机的食材组合，品尝它们，并保留那些味道好的组合。随着时间的推移，它通过混合并变异那些成功的食谱，从而“进化”出更好的食谱。

然而，这里有一个陷阱。在这个混乱的厨房里，计算机的工具（称为遗传算子）有时会不小心把你刚刚做出的完美、美味的酱汁给切碎，仅仅是为了尝试一种新的组合。这就像是一个副厨师为了看看新口味是否可行，就把一个完美的蛋糕砸碎了，结果却毁掉了蛋糕且没能找到更好的东西。这篇论文正是针对这个问题。它引入了一个聪明的“安全网”，保护你已经发现的最佳食材和酱汁，确保在计算机继续实验其余部分时，这些珍贵的发现不会被意外破坏。研究人员在包含 98 个不同数据谜题的海量库以及真实的信用卡申请数据上测试了该方法，以观察这个安全网是否能帮助计算机更快地找到更好的答案。

问题所在：那个“乱砸东西的厨师”

在符号回归的世界里，计算机试图找到最能解释一组数据的数学公式。为了实现这一目标，它们经常使用进化特征构建。想象一下计算机正在用积木搭建一座塔。它从简单的积木（原始数据）开始，尝试以新的方式将它们粘合在一起，以构建复杂的结构（新特征）。

计算机使用一种类似于生物进化的过程：它创建了一群这样的积木塔，检查哪些塔最坚固（最擅长预测数据），然后将它们混合。它从一个塔中取出一块，并将其与另一个塔的一部分进行交换（交叉），或者随机改变一个积木（变异）。目标是找到终极之塔。

但问题在于：有时，计算机会发现一个非常强大、稳定的积木结构——一个让塔变得非常坚固的“构建模块”。当计算机尝试混合和匹配时，它可能会不小心破坏这个完美的积木，用一个较弱的积木来替换它。这就像一位大师级建筑师花费数小时完善了一块完美的砖，却被一个笨手笨脚的助手撞落了桌子，并换上了一块松脆的石头。论文指出，现有的方法往往缺乏一种保护这些珍贵的、辛苦获得的发现免于在混合过程中被意外砸碎的方法。

解决方案：智能护盾

作者提出了一个聪明的解决方案，称为自适应保护机制（Adaptive Protection Mechanism）。你可以把它想象成一个缠绕在计算机构建模块周围的魔法护盾。

以下是其运作方式的通俗解释：

品味测试： 在计算机开始混合和砸碎积木之前，它会品尝每一个积木结构，以判断其重要程度。它使用一个“评分”来决定每个积木的价值。有些积木超级重要（就像汤里的秘密香料），而有些则不太关键。
护盾： 随后，计算机会对这些积木施加护盾。但这不是一种一刀切的护盾。积木越重要，护盾就越厚。
- 如果一个积木超级重要，护盾就会非常厚。如果计算机在混合过程中试图砸碎它，护盾会撑住，并将积木恢复到完美状态。
- 如果一个积木不太重要，护盾就会很薄或不存在。计算机可以自由地砸碎、改变或替换它，以看看能否找到更好的东西。
结果： 通过这种方式，计算机既能保护其最好的发现，又能保留实验其余部分的自由。这就像一位厨师保护着秘制酱汁，同时又能自由地尝试沙拉里的新蔬菜。

研究发现

研究人员在 98 个不同的基准数据集（可以理解为计算机需要解决的 98 个不同的谜题）上测试了这个想法。他们还在两个真实的信贷分类数据集（确定一个人是否可能偿还贷款）上进行了测试。

它有效吗？ 有效。论文表明，与不使用护盾相比，使用这种自适应护盾一致地提高了解决方案的质量。计算机找到了更好的公式，并做出了更准确的预测。
它比单纯减慢速度更好吗？ 研究人员问道：“这仅仅是因为我们减少了变化吗？”他们发现，仅仅减少变化的次数（变异）效果并不如预期。这种“智能护盾”更好，因为它知道要保护什么，而不仅仅是保护多少。
“品味测试”重要吗？ 他们尝试了计算重要性得分的不同方法（例如检查食谱的成分或口味的变化程度）。他们发现，虽然不同的方法都有效，但该方法具有鲁棒性——无论使用哪种具体的“品味测试”，它都能表现良好。

为什么这很重要

这篇论文表明，通过赋予计算机一种在混乱的进化过程中“记住”并保护其最佳想法的能力，我们可以构建出更好的模型，用于从预测天气模式到评估信用风险的各个领域。该方法不需要计算机停止实验；它只是让实验变得更聪明。作者发现，这种方法适用于不同类型的计算机学习器（如决策树和线性模型），这表明它是一个通用的工具，适合任何试图教计算机在杂乱数据中寻找模式的人。

简而言之，论文证明了，如果你想让计算机进化出完美的解决方案，你不应该只是让它随机砸碎一切。你需要给它一种方法，让它在寻找更伟大的事物时，依然能够握紧手中的好东西。

技术摘要：用于符号回归中进化特征构建的自适应保护机制

问题陈述

进化特征构建（EFC）旨在通过自动发现输入特征的有信息量的变换来增强预测模型。虽然遗传编程（GP）能有效进化这些变换，但一个根本性的挑战仍然存在：如何在保留有用的“构建模块”（高性能的特征变换）与生成新组合之间取得平衡。标准的遗传算子（如变异和交叉）往往会无意中破坏已有的有价值特征。修改或移除一个重要的特征可能会导致解的质量下降，因为即使后代引入了其他有用的特征，也会由于替换了一个高效的构建模块而导致性能退化。现有方法通常缺乏明确且通用的机制来保护这些关键组件，而不要求重新设计遗传算子。

方法论

本文提出了一个嵌入在通用保护框架内的自适应保护机制（APM）。该机制旨在与任意遗传算子（例如标准子树交叉和变异）以及各种基学习器兼容。

核心工作流

进化过程遵循世代框架，包含以下关键阶段：

初始化与评估： 初始化一个种群，其中每个个体由一组特征变换树组成。通过在构建的特征上训练基学习器（如岭回归、随机决策树或逻辑回归）来评估每个个体。适应度由 $R^2$ （回归）或 AUC（分类）决定。
特征重要性计算： 在评估后，计算每个个体内每个构建特征（树）的重要性（ $I_j$ $I_{j}$ ）。本文评估了三种不同的方法以展示其通用性：
- 内置系数： 使用线性模型的绝对系数或决策树的杂质减少量（impurity decrease）。
- SHAP 值： 使用平均绝对 Shapley 值来衡量在特征子集中的边际贡献。
- 边际贡献： 通过测量移除特定特征并重新拟合模型时 $R^2$ 的下降量来衡量。
自适应保护（创新点）：
- 在进行遗传操作（交叉/变异）之前，保存个体的原始树。
- 应用操作后，计算每个树 $j$ 的保护分数（ $s_j$ ）： $s_j = m_{protect} \cdot \tilde{I}_j$ ，其中 $\tilde{I}_j$ 是归一化后的重要性， $m_{protect}$ 是可调的保护系数。
- 采样一个均匀分布的随机变量 $u \sim U(0,1)$ 。如果 $u < s_j$ ，则将修改后的树恢复到其原始保存状态。
- 逻辑： 高度重要的特征具有更高的被恢复（保护）的概率，而不太重要的特征则保持自由，可以被修改或替换，从而允许搜索新的组合。

实验设置

数据集： 来自 PMLB 的 98 个回归基准数据集以及两个信用分类数据集（澳大利亚和德国信用数据）。
基学习器： 岭回归、随机决策树和逻辑回归。
指标： 回归任务使用 $R^2$ ，分类任务使用 AUC。统计显著性通过 Wilcoxon 符号秩检验进行测试。

核心贡献

通用自适应保护机制： 本文引入了一种根据重要性得分选择性保留构建特征的机制。与通常需要重新设计遗传算子的以往方法不同，该方法封装在现有算子之外，为重要特征提供了更强的保护，同时在不重要的特征中保持多样性。
跨指标与学习器的通用性： 研究系统地比较了多种特征重要性计算方法（系数、SHAP、边际贡献），并证明了该机制在不同基学习器（线性模型、决策树和分类模型）下的鲁棒性。
经验验证： 在 98 个回归数据集上的广泛实验表明，与没有保护的基线方法相比，该方法一致地提高了解的质量。该方法也在信用分类任务上得到了验证，证明了其在纯符号回归之外的适用性。

结果

性能提升： 与无保护的基线方法相比，所提出的机制在 98 个回归数据集上始终能提高解的质量（更高的 $R^2$ 和 AUC）。
鲁棒性： 无论使用哪种特定的特征重要性指标或基学习器，该方法均表现出有效性。
信用分类： 对澳大利亚和德国信用数据集的实验证实，该方法能有效地扩展到分类问题，提升在现实金融背景下的搜索效率。

意义与主张

作者声称，自适应保护机制解决了进化特征构建中的一个关键差距：即由于破坏性遗传算子导致的宝贵遗传物质的丢失。通过利用特征重要性指标来引导恢复，该方法确保了高质量构建模块的可靠保留，其可靠性高于标准的进化过程。

本文将这项工作定位为一种“通用”解决方案，使用户无需受限于特定的遗传算子或模型类型。作者声称，它提供了一种更具自适应性的精英主义形式，这种形式是在特征（构建模块）层面而非个体层面进行操作，从而在保留种群中最有价值组件的同时，仍允许进化搜索探索新的特征组合。研究结论指出，该机制为增强进化符号回归和特征构建的性能提供了一种稳健且与算子无关的方法。