🤖 machine learning

EMA-FS: Accelerating GBDT Training via Gain-Informed Feature Screening

该论文提出了 EMA-FS，一种针对 GBDT 训练的算法级优化方案，它通过基于特征历史分裂增益的指数移动平均值来动态筛选特征，从而加速直方图构建，在保持与 LightGBM 完全兼容的同时，在稠密数据集上实现了显著的加速并提升了模型性能。

原作者： Yan Song

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yan Song

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解重大谜团的侦探（训练机器学习模型），你需要通过询问成千上万名证人（数据点）关于数百个潜在线索（特征）的情况来破案。

在**梯度提升决策树（GBDT）**的世界里——这是一种计算机学习数据的一种流行方式——侦探把大部分时间都花在做一件特定的任务上：构建“线索直方图”。

把这个直方图想象成一个巨大的文件柜，侦探通过它来对每一位证人关于每一条线索的陈述进行分类，从而找到将嫌疑人划分为“有罪”和“无罪”群体的最佳方式。研究表明，这个归档过程占据了侦探处理案件总时间的约 70%。

问题所在：“随机筛选”的错误

为了提高速度，侦探们传统上使用了一种名为**随机特征子采样（Random Feature Subsampling）**的捷径。想象一下侦探决定：“我太忙了，没时间看所有的 500 个线索，所以我这一轮只随机挑选 30% 的线索来看。”

问题在于，这就像是用抛硬币的方式来决定忽略哪些线索。你可能会因为某个线索恰好落在堆叠的最底层而被误删掉最重要的线索（即“冒烟的枪/关键证据”），同时却因为运气好而保留了一个毫无用处的线索（比如“嫌疑人戴了一顶帽子”）。这种做法虽然节省了时间，但往往会破坏调查的准确性。

解决方案：EMA-FS（“智能过滤器”）

作者提出了一种名为 EMA-FS（指数移动平均特征筛选）的新方法。它不再是抛硬币，而是像一个具备记忆能力的智能过滤器。

以下是它的工作步骤：

热身阶段（前几棵树）：
在调查的前几个回合中，侦探会查看每一个线索，以观察哪些线索实际上是有用的。此时他们还不进行过滤；他们只是在收集数据。
记忆库（EMA）：
随着侦探的工作进行，他们会为每个线索保留一份运行中的“计分卡”。如果一个线索在早期帮助解决了部分案件，它就会获得高分；如果一个线索毫无用处，它就会得到低分。
- “指数移动平均（EMA）”技巧： 这是核心秘诀。计分卡并不仅仅是永久地累加分数。它更侧重于记住近期的历史，而不是遥远的过去。如果一个线索在开始时表现出色，但后来变得毫无用处，它的分数会自然衰减。这使得系统能够随着调查的进展调整策略，如果“最佳”线索发生了变化。
筛选阶段（Top-K 选择）：
热身结束后，侦探会查看计分卡。他们会说：“好吧，我只为得分最高的前 30% 的线索构建我的文件柜。”
- 结果： 侦探忽略了那些持续表现平庸或无用的 70% 的线索。因为他们不再为这些无用的线索构建文件柜，工作速度提升了 2 到 3 倍。

为什么它比随机猜测更好

随机筛选： 可能会扔掉“关键证据”并保留那顶“帽子”。
EMA-FS： 知道“关键证据”很重要并将其保留，同时能自信地扔掉那顶“帽子”，因为它在历史上一直毫无用处。

“随机性”的转折（S-EMA-FS）

作者还创建了一个更灵活的版本，称为 S-EMA-FS。

确定性 EMA-FS： “我只看前 30% 的线索。”（非常严格，非常快）。
S-EMA-FS： “我主要看排名靠前的线索，但我也会给得分较低的线索一个被选中的微小随机机会。”
- 为什么要这样做？ 这就像一支运动队。如果你总是选择那三名明星球员，球队会变得非常容易被预测，并且可能会错过新的策略。通过偶尔让“替补队员”（得分较低的线索）上场，球队可以保持多样性和创造力，这实际上可以让最终结果更准确，同时依然保持高效。

它在何时有效？（边界条件）

论文非常诚实地说明了这种技巧在何时有效以及何时失效：

它在以下情况表现出色： 当你拥有大量线索（特征），且其中许多是“噪声”（无用信息）时。
- 例子： 在拥有 400 多个特征的金融欺诈检测中，这种方法使训练速度提升了 1.45 倍，且几乎没有损失准确性。在合成测试中，它比以前快了 2.6 倍。
- 加分项： 有时，通过移除这些“噪声”线索，模型反而能更好地识别欺诈，因为它不再被垃圾数据所干扰。
它在以下情况失效：
1. 数据极其稀疏： 想象一个 90% 的线索都缺失的数据集（例如 Bosch 工业数据集）。在这种情况下，计算机本身就已经足够聪明，可以自动跳过缺失的部分。添加过滤器并不会节省额外的处理时间，因为计算机已经在忽略那些空白处了。
2. 线索太少： 如果你总共只有 30 个线索，选出 30% 意味着只剩下 9 个。这不足以破解谜团，而且节省的时间也微乎其微。

总结

作者仅用约 120 行代码 就将这个系统集成到了流行的 LightGBM 软件（许多数据科学家使用的工具）中。这是一个“即插即用”的升级。

你可以把它想象成给你的侦探配备了一个智能助手，这个助手观察着调查过程，学习哪些线索重要，然后在侦探开始分类之前，就悄悄地把垃圾扔掉。其结果是：调查速度更快，且往往能比之前更好地破解案件，仅仅是因为它停止在噪声上浪费时间。

技术摘要：EMA-FS 与 S-EMA-FS

问题陈述

梯度提升决策树（GBDT），特别是在 LightGBM 等框架中，在训练过程中面临着显著的计算瓶颈：构建每特征直方图（per-feature histograms）的过程。性能分析显示，直方图构建消耗了约 65–70% 的实际训练时间，这主要是由内存带宽饱和而非计算复杂度驱动的。

现有的加速方法，例如随机特征子采样（feature_fraction），通过在每棵树中丢弃随机的特征子集来降低这一成本。然而，这种方法是“无信息的”；它对高增益（具有预测性）和低增益（噪声）特征一视同仁，这往往导致在应用激进的采样率时出现不必要的准确度下降。此外，在高维数据集上，LightGBM 列采样器（column sampler）带来的开销有时会抵消随机子采样带来的速度收益。

方法论

1. 基于 EMA 的特征筛选 (EMA-FS)

作者提出了 EMA-FS，这是一种算法层面的优化，它将直方图构建限制在按历史预测效用排序的特征子集内。

机制： 该算法维护一个指数移动平均（EMA），用于记录每个特征在各次提升迭代中观察到的最大分裂增益（maximum split gain）。
阶段：
- 预热阶段（Warmup Phase）： 在前 $W$ 棵树（默认为 5）中，评估所有特征以建立初始增益估计。
- 筛选阶段（Screening Phase）： 对于随后的树，根据其 EMA 增益值对特征进行排序。仅选择排名前 $K$ 的特征（其中 $K = \lceil r \cdot F \rceil$ ，且 $r$ 为保留比例）用于直方图构建和分裂寻找。
设计决策：
- 逐树选择（Per-Tree Selection）： 特征是在树级别而非节点级别进行选择的。这对于保持与 LightGBM “直方图减法技巧”（histogram subtraction trick）的兼容性至关重要，因为该技巧要求兄弟节点共享相同的特征集。
- EMA 追踪： 使用 EMA（平滑参数 $\alpha=0.3$ ）而非累积和，以便模型能够适应随着梯度景观演变而产生的特征重要性变化。
- 确定性： 该过程是确定性的，确保在相同参数下实现比特级一致的结果。

2. 随机 EMA-FS (S-EMA-FS)

为了解决确定性 Top- $K$ 选择所固有的缺乏集成多样性的问题，作者引入了 S-EMA-FS。

机制： 不再是确定性地选择前 $K$ 个特征，而是通过增益加权的无放回随机采样进行特征选择。
集中参数 ( $\beta$ )： 参数 $\beta \ge 0$ $β \geq 0$ 控制着利用（选择高增益特征）与探索（维持多样性）之间的权衡。
- $\beta = 0$ ：均匀随机采样（等同于标准的 feature_fraction）。
- $\beta \to \infty$ ：确定性 Top- $K$ 选择（等同于 EMA-FS）。
- 中间值允许存在一个光谱，其中高增益特征受到青睐，但低增益特征仍保留被选中的非零概率。
统一性： S-EMA-FS 将确定性特征筛选与随机子采样统一到了一个参数化的框架中。

核心贡献

算法创新： 引入了 EMA-FS，这是一种增益驱动的筛选方法，它在不修改核心直方图或分裂查找程序的情况下，按比例降低了直方图构建的成本。
随机泛化： 提出了 S-EMA-FS，它统一了确定性筛选和随机子采样，将增益感知的选择与驱动随机森林准确度的集成多样性结合在一起。
实现： 在 LightGBM 中进行了完整的集成，涵盖了所有六种树学习器类型（串行、GPU、特征并行、数据并行、投票并行和线性树）。该实现增加了约 120 行 C++ 代码，并且完全向下兼容。
全面评估： 在包含 7 个数据集（包括两个包含 200 万样本的大规模合成欺诈基准测试）的广泛测试中进行了验证，这些数据集涵盖了多种领域（金融、广告、工业质量控制）和特征特性（稠密 vs 稀疏）。

实验结果

评估针对的数据集特征数量从 29 到 968 不等。

在稠密、高维数据上的表现：
- 在一个 合成基准测试（500 个特征） 中，EMA-FS 在 30% 保留率下实现了 2.61 倍加速。值得注意的是，在 70% 保留率下，它比基准模型提高了 0.11 点 AUC，证明了通过过滤噪声特征实现的隐式正则化作用。
- 在 IEEE-CIS 欺诈检测（432 个特征） 中，EMA-FS 在 30% 保留率下实现了 1.45 倍加速。关键在于，在相同比例下，随机子采样由于列采样器的开销反而比基准模型更慢（0.86 倍），而 EMA-FS 轻量级的掩码过滤避免了这种惩罚。
- 在 FraudDense（200 万样本，500 个稠密特征） 上，S-EMA-FS 在实现 1.34 倍加速 的同时，同时提升了 0.004 的 AUC。
在稀疏数据上的表现：
- 在 Bosch 数据集（968 个特征，>90% 缺失） 上，EMA-FS 提供的加速微乎其微（~1.01 倍）。论文将其归因于 LightGBM 现有的 MultiValSparseBin 优化，该优化已经跳过了空值，使得特征筛选对降低成本的效果不明显。
在低维数据上的表现：
- 在特征少于 50 个的数据集（如具有 29 个特征的信用卡欺诈数据集）上，筛选空间不足以在不造成显著准确度损失的情况下产生明显的加速效果。
S-EMA-FS 与基准对比：
- 在混合密度和高维数据上，S-EMA-FS 一致优于随机子采样，通常能同时实现速度和准确度的提升（例如，在 IEEE-CIS 上实现 +0.002 AUC 和 1.21 倍加速）。
- 参数 $\beta$ 有效地控制了速度与准确度之间的帕累托前沿（Pareto frontier），较低的 $\beta$ 保留了多样性，而较高的 $\beta$ 则专注于信号。

重要性与主张

论文声称，EMA-FS 和 S-EMA-FS 提供了一种原则性的方法来加速 GBDT 训练，特别是针对金融风险控制和欺诈检测中常见的稠密、中高维度数据集（100–500+ 特征）。

效率： 该方法降低了直方图构建这一主要成本，且无需修改核心直方图减法逻辑或数据结构。
准确度： 通过利用历史增益信息，该方法避免了随机子采样的准确度陷阱。S-EMA-FS 通过随机丢弃噪声特征并保持集成多样性，进一步引入了“隐式正则化”。
可扩展性： 在数据并行训练中，该方法按比例减少了网络通信量（ReduceScatter），从而提供了复合型的加速效果。
局限性： 作者明确指出，该方法对于极度稀疏的数据（由于稀疏分箱已优化性能）和低维数据（由于特征数过少无法进行有效筛选）是无效的。

这项工作被呈现为 LightGBM 用户的一种实用的、即插即用的优化方案，通过六个直观的参数进行控制，能够在不牺牲模型性能的前提下，显著缩短生产环境中的训练时间。