🤖 machine learning

Mitigating The Effect of Class Imbalance in Data with Hierarchical and Dependable Structure

本文提出了一种层次感知型 RoBERTa 框架，该框架利用可学习的父类嵌入来有效缓解 CWE 漏洞分类中的类别不平衡问题，并证明了引入层次结构的效果优于传统的过采样技术（后者往往会降低模型性能）。

原作者： Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名正在试图整理一大堆关于计算机安全漏洞线索的侦探。这些漏洞被组织在一个名为**通用弱点枚举（CWE）**的巨大家族树中。在树的最顶端是宽泛的类别，比如“基础”（Base，即大局观）；随着你向下移动，分支变得越来越具体，最后延伸到微小的、罕见的叶片，如“复合型”（Compound）或“支柱型”（Pillar）。

问题在于？侦探的证据袋完全是不平衡的。对于那些庞大、常见的类别，有数百条线索；但对于那些罕见、特定的类别，却只有寥寥数条。这就像一个图书馆，有 500 本关于“水果”的书，但只有 5 本关于“火龙果”的书。如果你试图教一台计算机来分类，它会变得很懒，每次都直接猜“水果”，因为那是它见得最多的。

“伪造线索”实验（行不通的方法）

为了解决这个问题，许多专家尝试了一种叫做**过采样（oversampling）**的技巧。他们提取了那些稀有的线索，并试图发明新的、虚假的线索，让数量看起来相等。他们使用了两种流行的策略：SMOTE 和 ADASYN。

你可以把这想象成一位厨师试图让汤的味道闻起来更有稀有香料的气息。他不是去寻找更多真实的香料，而是将两粒现有的香料颗粒混合在一起，并寄希望于这种新的混合物尝起来是地道的。

该论文在不同类型的“侦探”（计算机模型）上测试了这一点：

老派侦探（随机森林 Random Forest 和支持向量机 SVM）： 这些模型就像是观察简单事实列表的侦探。当喂给它们这些虚假的混合香料时，它们得到了微小的提升。随机森林的准确率从 0.65 提升到了 0.69，而支持向量机（SVM）则稳定在 0.71–0.72 左右。这确实有帮助，但并不多。
高科技侦探（CNN 和 BiGRU）： 这些是更聪明的深度学习模型，它们理解单词是如何流动的。当研究人员把这些虚假的混合香料喂给它们时，结果简直是一场灾难。在使用 SMOTE 时，CNN 的准确率从 0.71 暴跌至 0.55；使用 ADASYN 时则降至 0.51。BiGRU 也从 0.70 跌落至 0.53 和 0.44。

为什么？ 论文认为，这些高科技模型就像是能分辨出真实香料与虚假混合物的厨师。当你把两个不同的计算机“单词”混合在一起制造出一个虚假的单词时，你破坏了家族树的规则。你可能会创造出一个声称是“基础”（Base）类别的“变体”（Variant），但这个虚假的混合物实际上并不尊重其父子关系。这就像试图通过混合“苹果”和“香蕉”来制造“火龙果”。结果并不是火龙果，而是一个让侦探感到困惑的混乱产物。

“家族树”方案（真正奏效的方法）

他们没有制造虚假线索，而是构建了一个新的侦探：层级感知 RoBERTa（Hierarchy-Aware RoBERTa）。

想象一下，这个侦探口袋里揣着一张特殊的家族树地图。他们不仅阅读线索，还会查看地图，心想：“等等，如果这个线索属于‘基础’类，那么答案必须与那个父级相关。”

该模型的工作原理如下：

它读取漏洞的文本描述（使用强大的工具 SecureBERT）。
它从家族树中获取一个“父级 ID”（比如知道这条线索属于“基础”分支）。
它将文本阅读内容与地图位置相结合，做出最终判断。

结果：
这个新侦探完全不需要任何虚假线索。它在没有任何数据增强的情况下，实现了 0.76 的加权 F1 分数。

与标准的 BERT 模型相比，后者的得分是 0.74。
最重要的是，看看稀有的“类别”（Class）这一项。标准的 BERT 模型在该稀有组别的 F1 分数仅为 0.49。而新的“层级感知”模型将其提升到了 0.60。

核心结论

该论文表明，当你拥有一个结构化的家族树数据时，试图通过混合现有部分来“伪造”更多数据（过采样）是一个坏主意。这对于简单的模型或许还行，但会破坏更先进的模型。

相反，最好的方法是从一开始就教会模型尊重家族树的结构。通过给模型一张包含父子关系的“地图”，它能比仅仅用合成噪声填充训练数据更好地处理那些稀有且棘手的案例。

然而，作者也谨慎地指出，即使是他们最好的侦探，在面对极其罕见的类别（如“复合型”和“支柱型”，分别只有 8 个和 5 个样本）时仍然感到吃力。对于这些极度稀少的组别，所有模型的 F1 分数始终保持为 0.00，这表明当几乎没有任何数据时，即使有家族树地图也无法破解谜团。

技术摘要：缓解具有层级与依赖结构的类别不平衡效应

问题陈述

使用通用弱点枚举（CWE）分类法对网络安全漏洞进行分类面临两个主要挑战：极端的类别不平衡以及弱点类别之间强大的层级依赖关系。CWE 分类法将弱点组织为不同的抽象层级（基础层 Base、类 Class、支柱 Pillar、变体 Variant、复合层 Compound），其中高层节点代表宽泛的概念，而底层节点则代表具体的细节。在实践中，少数几种弱点类型占据了语料库的主导地位，而罕见但高影响力的类别则显著代表性不足。

虽然基于 Transformer 的编码器（如 BERT 和 RoBERTa）已成为 CWE 文本分类的强力基准模型，但由于类别不平衡，它们在处理稀有类别时表现挣扎。此外，CWE 标签具有显式的父子依赖关系（例如，“变体”始终是“基础”的子类），这意味着高层抽象层级的误分类会向下级联。传统的处理不平衡的方法，如随机过采样、欠采样以及合成生成技术（如合成少数类过采样技术 SMOTE 和自适应合成采样 ADASYN），虽然被广泛采用，但它们在处理具有层级结构的文本嵌入时的有效性在很大程度上仍未得到充分探索。具体而言，目前尚不清楚在高维嵌入空间中的线性插值是否遵循了 CWE 层级的结构约束。

方法论

本研究评估了不同数据增强条件下的多种模型，并提出了一种将层级结构直接集成到学习过程中的新颖架构。

1. 实验基准与过采样

作者对在不平衡的层级 CWE 数据集上的机器学习（随机森林、SVM）、深度学习（CNN、BiGRU）和 Transformer（BERT）模型进行了实证评估。

过采样： SMOTE 和 ADASYN 仅应用于训练集。SMOTE 通过 $k$ -邻居=2 将所有类别均衡至 393 个样本；而 ADASYN 则将合成重点放在更难的边界区域，以实现近乎对等的计数。
模型：
- 经典机器学习： 随机森林（100 棵树）和 SVM（线性核）。
- 深度学习： CNN（128 个滤波器，卷积核大小为 [4,6,6]）和 BiGRU（128 维隐藏层）。
- Transformer： BERT-base（uncased）以及提出的层次感知 RoBERTa（Hierarchy-Aware RoBERTa）。
- 训练： 所有深度学习模型均以 8 的批次大小（batch size）进行 15 个轮次（epochs）的训练。

2. 提出的方法：层次感知 RoBERTa

论文引入了一个 层次感知 RoBERTa 框架，通过可学习的父类嵌入显式地整合了 CWE 结构信息。

架构： 该模型利用预训练的 SecureBERT 编码器从输入文本生成 768 维的 [CLS] 表示。
层级注入： 引入了一个 24 维的可学习父类嵌入，用于捕捉粗粒度的结构关系。该嵌入与网络进行联合训练。
融合： 语义表示（ $h_{cls}$ ）与层级上下文（ $h_p$ ）通过拼接进行融合： $h_f = [h_{cls}, h_p]$ 。
分类： 融合后的表示经过 Dropout（0.3）正则化后，传递给线性分类头以输出 Logits。
公式化： 该任务不再被视为独立预测 $P(Y_{child}|X_{text})$ ，而被构建为一个条件概率问题 $P(Y_{child}|X_{text}, Y_{parent})$ ，利用“父类 ID”作为结构先验。

核心贡献

实证评估： 本研究对在不平衡层级 CWE 数据集上应用 SMOTE 和 ADASYN 重采样的 ML、DL 和 Transformer 模型进行了全面的评估。
合成插值分析： 作者证明了高维嵌入空间中的合成插值违反了固有的父子约束。虽然这些方法对经典机器学习模型有微小的收益，但它们一致地降低了深度学习架构的性能。
层次感知模型： 引入了层次感知 RoBERTa 模型，通过可学习的父类嵌入注入 CWE 结构先验，实现了语义内容与层级结构的端到端联合建模。
性能提升： 提出的模型在无需数据增强的情况下实现了 0.76 的加权 F1 分数，优于所有基准模型。值得注意的是，它将“类（Class）”类别的 F1 分数从 BERT 基准的 0.49 提升到了 0.60。

结果

过采样影响：
- 经典机器学习： SMOTE 和 ADASYN 为随机森林提供了微弱但正向的改进（准确率从 0.65 提升至 0.69），而 SVM 的准确率保持在 0.71–0.72 左右稳定。
- 深度学习： 过采样一致地降低了性能。Vanilla CNN 的准确率从 0.71 分别降至 0.55（SMOTE）和 0.51（ADASYN）。BiGRU 则分别从 0.70 降至 0.53 和 0.44。
- Transformer： BERT 在无增强情况下达到了 0.74 的准确率。提出的层次感知 RoBERTa 达到了最高的 0.76 准确率。
逐类性能：
- 提出的模型实现了最高的加权 F1 分数（0.76），高于 BERT（0.73）、CNN（0.68 基准）和 BiGRU（0.69 基准）。
- 在少数类类别中观察到了显著增益；例如，“类（Class）”类别的 F1 分数从 0.49（BERT）提升至 0.60（层次感知 RoBERTa）。
- 极其稀疏的类别（复合层 Compound 和支柱 Pillar）在所有模型中 F1 均为 0.00，凸显了在严重数据稀疏情况下的监督学习极限。

意义与主张

论文认为，层级感知表示学习是处理结构化漏洞分类比过采样更具原则性的替代方案。作者声称，合成插值技术（SMOTE/ADASYN）在此领域失效的原因在于：

它们产生的样本在高维上下文空间中缺乏语言连贯性。
它们违反了 CWE 分类法的结构依赖关系（例如，“变体”不能脱离“基础”而存在），从而产生了使模型感到困惑的结构无效嵌入。
它们将样本视为平坦特征空间中的独立实体，忽略了 CWE 具有树状结构的图特性，即错误会从父类向子类级联。

通过通过可学习嵌入显式建模父子关系，该框架强制执行了结构一致性，并在不引入合成数据生成的噪声的情况下，提高了对少数类及语义相关类的辨别能力。

局限性

作者谦逊地承认了以下几点局限性：

推理依赖性： 模型假设在推理期间可以获得父级元数据，这符合由粗到精的流水线，但可能不适用于所有场景。
静态层级： 层级被视为固定的；鉴于 CWE 分类法的持续更新，模型在不重新训练的情况下可能无法推广到新的或重新排列的节点。
层级范围： 模型仅捕获直接父级信息，忽略了多跳祖先、兄弟关系和树深度，这限制了其在像“复合层（Compound）”和“支柱（Pillar）”这样深层嵌套类别上的表现。
参数开销： 可学习的父类嵌入增加了适度的参数开销，这可能会阻碍扩展到极大规模的分类体系。
领域特定性： 该方法仅在 CWE 领域内进行了评估，其在其他层级任务中的泛化能力尚未得到实证验证。