A Leakage-Free Stacked Ensemble Method for Multiclass Classification

想象一下，你正试图教一台计算机仅通过照片就能识别不同类型的动物。这是机器学习领域一个经典的谜题，被称为“多分类”（multiclass classification）。这就像是要求一名学生不仅要将一袋混合的弹珠分类为“红色”和“蓝色”，还要同时将其分类为“红色”、“蓝色”、“绿色”、“黄色”、“紫色”等等。麻烦在于，有些弹珠看起来极其相似，而且有时你有一大堆红色的，却只有很少量的绿色的。

为了解决这个问题，科学家们经常使用“集成学习”（ensemble learning），这是一种高级说法，意为“与其只问一位专家，不如请一个专家委员会”。想象一下一个评审团：一位擅长发现流畅、流动形状的模式（像一位画家），而另一位擅长遵循严格、循序渐进的规则（像一位侦探）。如果你让他们投票，通常会得到比只问一个人更好的答案。然而，这些委员会的形成方式中隐藏着一个狡猾的陷阱。如果评委们在训练期间被允许偷看答案，他们可能会开始“作弊”，通过背诵答案而不是真正学习模式来获得高分。这被称为“数据泄漏”（data leakage），它会让计算机在教室里看起来超级聪明，但在现实世界中表现糟糕。

这篇论文介绍了一种构建这种委员会的新方法，称为 LFS-FRAME。作者 S. P. Sharmila 和 Aruna Tiwari 创建了一个结合了两种截然不同的“计算机大脑”的系统：一种基于 Kolmogorov-Arnold 网络 (KAN) —— 它们像是平滑、流动的艺术家，擅长理解复杂的曲线；另一种基于 XGBoost —— 它是遵循规则的侦探，擅长做出锐利、清晰的决策。他们方法的魔力不仅在于混合了这两者，更在于如何训练它们。他们使用了一种严格的“折外”（out-of-fold）策略，这就像是确保评委们在练习时使用的是他们从未见过的题目，这样他们就无法作弊。这确保了当最终的“首席法官”（元分类器）结合他们的投票时，其依据的是诚实且无偏见的意见。

研究人员在一个具有挑战性的数据集上测试了这个新系统，该数据集涉及 16 种隐藏在计算机内存中的恶意软件（计算机病毒）类别。他们发现，与以往的方法相比，他们的“无泄漏”团队在处理这些棘手的类别方面表现得显著更好。当类别数量增加导致旧技术准确率下降时，LFS-FRAME 依然保持强劲。在 16 个类别的测试中，该方法达到了 81.74% 的准确率；而在观察更广泛的 4 个类别组时，它达到了 89.85%。这表明，通过保持训练过程的诚实并结合平滑学习与基于规则的学习，我们可以构建出更可靠的分类计算机。

问题所在：作弊的委员会

为了理解为什么这篇论文很重要，让我们来看看它所解决的问题。在机器学习的世界里，“堆叠”（stacking）是一种流行的技术，即你从几个不同的模型中获取预测结果，并将它们输入到一个最终的模型中以做出最终决定。想象一下这是一支运动队，其中有前锋、后卫和守门员。你问他们：“我们应该选谁入队？”然后教练（元学习器）根据他们的回答做出最终决定。

问题在于，如果教练是利用球员们在练习期间给出的答案来进行训练的，就会出现问题。如果球员们在练习时使用的题目与教练测试他们的题目完全相同，他们可能只是在背诵答案。这就是“数据泄漏”。教练认为这支队伍是天才，因为他们在练习测试中得了 100% 的分数，但当他们面对带有新问题的真实比赛时，却败得很惨。

作者认为，许多现有的堆叠方法都存在这个问题。它们让基础模型看到了它们本该预测的数据，这夸大了得分并给了虚假的安全感。这在“多分类”问题中尤其危险，因为这类问题有许多类别需要选择。如果系统在作弊，它在识别 4 种恶意软件时可能表现出色，但在要求区分 16 种时就会崩溃。

解决方案：“不准偷看”规则

论文提出了 LFS-FRAME（无泄漏堆叠框架）。核心思想简单而强大：任何模型都不允许看到它正在预测的数据。

他们通过一种称为 折外（Out-of-Fold, OOF）训练 的技术来实现这一点。想象你有一副扑克牌（你的数据），并将其分成 5 堆（折/folds）。

1. 你取 4 堆来训练你的模型。
2. 你把第 5 堆藏在盒子里。
3. 你要求模型对隐藏的第 5 堆进行预测。由于它们之前没见过这些牌，它们的预测是诚实的。
4. 你重复这个过程，轮流隐藏不同的那一堆，直到每一张牌都经过了一个不知道它即将到来的模型的预测。

这些“诚实”的预测随后被用于训练最终的“首席法官”（元分类器）。因为首席法官是在由从未见过特定数据点的模型所做的预测基础上进行训练的，所以不存在作弊行为。系统学会了如何结合其成员的优势，而不是依赖于背诵的答案。

团队：艺术家与侦探

作者不仅修复了训练方法，还挑选了一个非常特定的模型团队来协同工作。他们意识到，不同的问题需要不同类型的思考方式。

• 艺术家 (KAN)： 他们使用了 Kolkovmogorov-Arnold 网络 (KANs)。把 KANs 想象成非常擅长理解平滑、流动关系的艺术家。它们可以观察变量如何随着连续曲线一起变化。它们擅长捕捉“大局观”和复杂的非线性模式。然而，它们有时在处理剧烈、突然的变化或非常具体的规则时会遇到困难。
• 侦探 (XGBoost)： 他们使用了 XGBoost，这是一种基于决策树的强大工具。把 XGBoost 想象成一个遵循严格清单规则的侦探：“如果门开了，检查窗户；如果窗户破了，报警。”它非常擅长做出锐利、清晰的决策，并处理特定的、基于规则的模式。

通过结合艺术家和侦探，该系统得到了两者的精华。KAN 处理数据的平滑、复杂的曲线，而 XGBoost 处理锐利、清晰的边界。“首席法官”学习如何权衡艺术家的直觉与侦探的规则，以做出最佳的最终判断。

结果：证明其有效性

作者在一个名为 CIC-MalMem-2022 的数据集上测试了他们的新系统，该数据集包含来自计算机攻击的内存数据。他们创建了两个版本的测试：一个是 4 类（较宽泛的类别），另一个是 16 类（非常具体的子类别）。

他们将 LFS-FRAME 与之前使用过的方法进行了对比，例如：

• HyStack Ensemble：一种之前的堆叠方法。
• Hybrid CNN-BiLSTM：一种深度学习方法。
• SMOTE-DNN：一种尝试平衡数据的方法。
• 带有超参数调优的随机森林 (Random Forest with Hyperparameter Tuning)：一种经典的基于规则的方法。

以下是他们的发现：

• 在 4 类测试中： 新方法实现了 89.85% 的准确率。这略高于随机森林方法（得分为 89.07%），并且显著优于深度学习方法。
• 在 16 类测试中（最难的部分）： 这是其他方法开始崩溃的地方。随着类别数量增加，其他方法的准确率大幅下降。
  • HyStack 方法从 4 类时的 85.04% 下降到了 70.29%。
  • 随机森林方法从 89.07% 下降到了 68.2%。
  • 深度学习方法也表现挣扎，跌入了 60-70% 的区间。
  • 然而，LFS-FRAME 稳住了阵脚。它在 16 类测试中实现了 81.74% 的准确率。

作者认为，他们的方法之所以成功，原因有二。首先，通过防止数据泄漏，他们确保了系统是在学习模式而非背诵答案。其次，通过将 KAN 的平滑学习与 XGBoost 的规则强度相结合，他们创建了一个能够处理 16 个类别复杂性的系统，而不会感到困惑。

为什么这很重要

论文总结道，这种方法为处理复杂的分类问题提供了一种更可靠的方式。在现实世界中，特别是在恶意软件不断变化的网络安全领域，你不能容忍一个在实验室里看起来很聪明、但在实战中却失败的系统。通过使用“无泄漏”策略，作者提供了一个能够给出模型实际表现水平的诚实框架。

虽然由于需要进行多次额外的步骤（在不同的子集上多次训练模型）以确保没有数据泄漏，该方法需要更多的计算能力，但作者认为这种成本是值得的。它防止了困扰其他方法的“过度乐观”的结果，并产生了一个鲁棒、具有泛化能力且准备好应对现实世界的系统。研究表明，对于困难的多分类问题，在严格诚实的训练环境中结合不同类型的学习风格是一个制胜策略。