🤖 machine learning

MARGIN: Margin-Aware Regularized Geometry for Imbalanced Vulnerability Detection

本文提出了 MARGIN，一种基于度量的框架，通过利用自适应边界度量学习和超球体原型建模来纠正嵌入空间中的几何失真，从而解决软件漏洞检测中的频率与难度不平衡问题，进而在不平衡数据集上实现更优越的分类性能和鲁棒性。

原作者： Yuteng Zhang, Huifang Ma, Jiahui Wei, Qingqing Li, Yafei Yang

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuteng Zhang, Huifang Ma, Jiahui Wei, Qingqing Li, Yafei Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《MARGIN：面向不平衡漏洞检测的边界感知正则化几何》的通俗解释，辅以日常类比。

核心问题：“拥挤的房间”与“害羞的访客”

想象一下，你正在教一个机器人识别计算机代码中的安全漏洞。你向它展示了成千上万个示例，但训练数据存在两个大问题：

频率不平衡（人群与害羞的访客）：
你展示给机器人的代码中，绝大多数是“安全”的（无漏洞）。而在“不安全”的代码中，某些类型的漏洞（如 SQL 注入）出现了数千次，而其他罕见且危险的漏洞仅出现寥寥数次。
- 类比： 想象一个教室，90% 的学生穿着红衬衫，只有少数人穿着蓝衬衫。如果你让老师识别蓝衬衫，他们很可能会因为红色太常见而猜所有人都穿的是红衬衫。机器人因此会对常见漏洞产生偏见，而忽略罕见漏洞。
难度不平衡（简单的拼图与杂乱的拼图）：
即使每种漏洞类型的数量相等，有些漏洞也很容易识别（它们看起来都很相似），而另一些则很杂乱，每次出现的样子都不同。
- 类比： 想象教人识别动物。“狗”很容易，因为它们看起来都差不多。但“变色龙”很难，因为它们不断改变颜色和形状。如果机器人试图同时学习这两者，它会被杂乱的“变色龙”类漏洞搞糊涂，导致无法正确掌握它们。

旧方法：一把钝锤子

以前的方法试图通过简单地告诉机器人“多关注罕见漏洞！”或“别太信任常见漏洞！”来解决这个问题。

缺陷： 论文指出，这就像试图用一把钝锤子去整理杂乱的房间。它不理解机器人为什么会困惑，也没有审视机器人理解的形状。

新想法：MARGIN（智能整理者）

作者提出了一种名为MARGIN的新方法。他们不只是改变规则，而是改变了机器人在其大脑中组织信息的几何结构（形状和布局）。

以下是 MARGIN 的工作原理，分步说明：

1. 超球体（巨大的球）

想象机器人的大脑是一个巨大的、不可见的球体（超球体）。每一段代码都被转化为这个球体表面上的一个点。

目标： 所有“安全”代码的点应聚集在一个角落。所有"SQL 注入”的点应聚集在另一个角落，依此类推。
问题： 由于前述的不平衡，“罕见漏洞”的点散布在各地，而“常见漏洞”的点占据了太多空间，将罕见点挤了出去。

2. 沃罗诺伊单元（领地地图）

想象在球体上画线，将其划分为不同的领地。每个领地属于一种特定的漏洞类型。如果一个代码点落在"SQL 注入”的领地内，机器人就会说：“那是 SQL 注入。”

问题： 在旧方法中，“罕见漏洞”的领地巨大且杂乱，因为点很分散。而“常见漏洞”的领地则紧凑整齐。这导致机器人在边界处容易出错。

3. “畸变区域”（重叠区）

当罕见漏洞过于分散时，它们的点会溢出到其他漏洞的领地中。

类比： 想象一个混乱的派对，“蓝衬衫”群体过于分散，以至于其中一些人站在了“红衬衫”区域。机器人感到困惑，误以为蓝衬衫其实是红衬衫。这种混乱被称为畸变区域。

4. MARGIN 解决方案（自适应围栏）

MARGIN 通过为每组点建立智能、灵活的围栏来解决这个问题。

动态围栏： 它不使用一刀切的围栏。
- 对于杂乱、罕见的漏洞，它构建稍大且更灵活的围栏，以捕捉所有分散的点，但会将它们收紧，防止它们溢出到其他领地。
- 对于紧凑、常见的漏洞，它保持围栏紧贴。
结果： 机器人学会让“罕见漏洞”的点靠近其自身的中心，并远离“常见漏洞”的点。它将杂乱的点与其特定领地对齐，消除了重叠（即畸变）。

为何重要（结果）

作者在包含数千个真实软件漏洞的真实世界数据集（BigVul、MegaVul、ReposVul）上测试了 MARGIN。

更高的准确率： MARGIN consistently 击败了其他顶级方法。它在发现其他机器人遗漏的罕见、危险漏洞方面表现优异。
稳定性： 它不仅仅是运气好；它创建了一个非常有序、结构化的“大脑”，其中不同类型的漏洞被清晰分离。
可解释性： 由于该方法基于几何（形状和距离），我们实际上可以看到并理解机器人为何做出这些决策。它不是“黑盒”，而是一张组织良好的地图。

一句话总结

MARGIN 是一种通过几何地图组织漏洞来教导计算机发现软件漏洞的新方法，它利用灵活、定制大小的边界，确保罕见且困难的漏洞不会淹没在常见漏洞的人群中。

技术摘要：MARGIN——面向不平衡漏洞检测的边际感知正则化几何方法

1. 问题陈述

本文解决了现实场景中软件漏洞检测的关键挑战，即深度学习模型面临两种截然不同但相互加剧的数据不平衡形式：

频率不平衡：漏洞数据集呈现出严重的长尾分布。少数常见弱点枚举（CWE）类别（如 CWE-79、CWE-89）占据了数据的主导地位，而许多其他类别（如 CWE-400、CWE-98）则极为罕见。标准损失函数同等对待所有样本，导致模型偏向多数类而忽视少数类漏洞。
难度不平衡：除频率外，不同的 CWE 类别具有不同的固有学习难度。具有高结构多样性的漏洞（例如 CWE-119，包含栈/堆溢出和差一错误）在特征表示中表现出高类内方差，使其比具有重复模式的漏洞（例如 CWE-415）更难学习。

作者认为，现有方法主要通过重采样或重加权来解决频率不平衡，但未能考虑难度不平衡。他们从嵌入几何视角重新解读这些问题，观察到这两种不平衡都会在超球面表示空间中引起几何畸变。具体而言，少数类或困难类无法紧密收敛于其原型周围，导致其概率质量区域侵入其他类别的 Voronoi 单元。这种“畸变区域”会导致误分类和不稳定的决策边界。

2. 方法论：MARGIN

所提出的框架 MARGIN（面向不平衡漏洞检测的边际感知正则化几何，Margin-Aware Regularized Geometry for Imbalanced Vulnerability DetectioN）是一种基于度量的方法，在单位超球面上运行以学习判别性漏洞表示。它将自适应边际学习与超球面原型建模相结合。

核心组件：

超球面嵌入空间：
该方法利用余弦 Softmax 损失，其中特征和分类器权重经过 $\ell_2$ 归一化，置于单位超球面 $S^{d-1}$ 上。类别由原型表示，目标是在保持角度分离的同时，将样本嵌入与其对应的原点对齐。
基于 vMF 分布的几何建模：
为了量化类别分布的集中度，作者使用 von Mises–Fisher (vMF) 分布对嵌入进行建模。集中度参数 $\kappa_i$ 估计样本围绕类均值聚类的紧密程度。
- Voronoi 单元：在理想的平衡条件下（神经崩溃），类别形成等角紧帧（ETF）结构，将球面划分为相等的 Voronoi 单元。
- 畸变区域：在不平衡设置下，类别的概率质量（由其 vMF 顶角 $\theta^{vMF}_i$ 定义）通常超过其对应的 Voronoi 单元（ $\theta^{cell}$ ）。该质量侵入其他类别决策区域的区域构成了“畸变区域”，直接导致假阳性和假阴性。
自适应边际机制：
为了减少畸变区域，MARGIN 为每个类别引入动态角度边际 $m_i$ 。
- 边际是根据类别的 vMF 顶角与理想 Voronoi 顶角之间的差值计算的： $m_i = \max(\frac{\theta^{vMF}_i - \theta^{cell}}{2}, \dots)$ 。
- 该机制动态调整约束：高离散度（高难度或低频率）的类别获得更大的边际，以强制其概率质量回到其 Voronoi 单元内，而紧凑的类别则获得较小的边际。
浓度感知 Logits 缩放：
该框架包含针对类别浓度 $\kappa_i$ 自适应调整的 logits 缩放因子 $s_i$ 。
- 低浓度（高方差、难以学习）的类别被分配较大的缩放因子，以锐化其决策边界并放大梯度信号。
- 高浓度的类别被分配较小的因子，以防止其在训练过程中占据主导地位。
- 这是通过对数浓度空间中的软排名策略实现的。
基于几何中位数的推理：
在推理过程中，MARGIN 通过计算每个类别归一化训练嵌入的几何中位数来构建数据驱动的原型，而不是仅仅依赖学习到的权重向量。这提供了更能反映经验特征分布的更鲁棒的原型。

3. 主要贡献

本文概述了三项主要贡献：

不平衡的几何重释：作者重新审视了频率和难度不平衡，通过嵌入几何的视角分析其影响。他们证明，这些不平衡表现为类别条件概率质量区域与其理想 Voronoi 决策区域之间的错位。
MARGIN 框架：他们提出了一个统一的度量学习框架，同时缓解这两种不平衡。通过整合自适应边际（使概率质量与 Voronoi 单元对齐）和浓度感知缩放（平衡梯度贡献），MARGIN 在不需复杂重采样的情况下稳定了决策边界。
实证验证：在公共数据集（BigVul、MegaVul、ReposVul）上的广泛实验表明，MARGIN 始终优于强大的基线模型，包括基于图的方法（ReVeal、LIVABLE）和最近的表示学习模型（HCL-VC、CLeVeR），特别是在细粒度 CWE 分类和稀有类别上。

4. 实验结果

评估在三个具有不同规模和长尾分布的数据集上进行。主要发现包括：

性能提升：MARGIN 在所有数据集上均取得了最先进的结果。在 BigVul 上，其二分类 F1 达到 86.57%，CWE 分类的宏平均 F1 达到 70.72%，在宏平均 F1 上比次优基线（CLeVeR）高出 7 个百分点以上。
稀有类别的鲁棒性：在呈现严重不平衡的 MegaVul 数据集中，MARGIN 实现了 51.06% 的二分类 F1 和 34.65% 的宏平均 F1，显著优于那些在处理稀有 CWE 类型时表现挣扎的基线。
消融研究：移除自适应边际或自适应 logits 缩放会导致性能下降，证实了这两种机制都是必不可少的。边际具体改善了精确率和召回率之间的平衡，而缩放则稳定了少数类的学习动态。
几何分析：案例研究表明，MARGIN 成功减少了“畸变区域”（通过 FPR/FNR 动态测量），并推动嵌入空间向稳定、分离良好的 ETF 结构发展，这通过改进的聚类指标（NMI、ARI）和降低的 Gram 矩阵条件数得到了证实。

5. 意义与主张

本文主张 MARGIN 为漏洞检测中的不平衡提供了原则性的几何解释。通过显式建模嵌入空间并正则化几何以使概率质量与决策区域对齐，该方法不仅提高了分类准确性，还增强了模型的鲁棒性和可解释性。

作者强调，他们的方法解决了不平衡设置中偏差的根本原因——嵌入空间的几何畸变，而不是仅仅通过数据重加权来治疗症状。他们指出，虽然当前的评估由于数据可用性仅限于 C/C++ 数据集，但该几何框架与骨干网络无关，理论上适用于其他语言。这项工作弥合了实际不平衡处理与理论流形学习之间的差距，为安全关键的漏洞检测系统提供了更稳定的基础。