🤖 machine learning

Self-Supervised Representations for Binary Program Clustering: From Empirical Study to Retrieval-Augmented Learning

本文首次对用于二进制程序聚类的自监督与表格表示学习进行了系统性研究，确定了 VIME 是一种新的最先进方法，并提出了 VIME-R，这是一种显著提升了恶意软件聚类性能的检索增强变体。

原作者： Martin Mocko, Daniela Chudá

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Martin Mocko, Daniela Chudá

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一座巨大且繁忙的城市，每天都有数以百万计的新“数字居民”抵达。大多数是友好的邻居，但也有一些是试图偷窃、破坏或制造混乱的狡猾入侵者。这些入侵者被称为恶意软件（malware）。仅在 2024 年，就有超过 8000 万个这样的新成员出现。为了维护城市的安全，保安人员（网络安全专家）需要将这些数百万个文件进行分类。如果他们能识别出某个新文件属于某个已知“坏人”的同一个“家族”，他们就能瞬间拦截威胁。这个分类过程被称为聚类（clustering）。

通常情况下，如果你有一份列出名字（标签）并告知身份的名单，分类会很容易。但在现实世界中，保安们经常必须面对一大堆没有任何名字的神秘文件。这正是**自监督学习（Self-Supervised Learning, SSL）和表格表示学习（Tabular Representation Learning, TRL）**发挥作用的地方。你可以把 SSL 想象成一名学生，通过观察同一物体的两张略有不同的照片，并在没有老师告诉答案的情况下，猜出它们是同一个东西。而 TRL 则是专门教计算机理解“电子表格数据”（即由数字组成的行与列），而不是图片或文本的艺术。研究人员一直提出的核心问题是：我们能否仅仅通过观察这些数字，就教会计算机将这些神秘的恶意软件文件归类到完美的家族中，而无需任何人类教师的帮助？

神秘文件的谜团

在这项研究中，研究员 Martin Mocko 和 Daniela Chudá 决定扮演侦探的角色，处理一大堆数字文件。他们想看看现代 AI 技术（通常用于识别照片中的猫或理解句子）是否可以被重新利用，用于将恶意软件文件分组。他们使用了两个巨大的、公开的 Windows 文件数据集，分别叫做 Ember 和 Bodmas。这些数据集就像巨大的图书馆，包含了数十万个文件，每个文件都由一组长长的数字（特征）来描述，这些数字就像是它们的指纹。

研究人员将他们的调查分为两个阶段，就像一部两部曲的推理小说。

第一阶段：“如果……会怎样”测试
首先，他们想知道绝对可能的最高分是多少。想象一下，如果老师给了 AI 一份标准答案。他们采用了专门为图像设计的著名 AI 模型（如 BYOL、SimSiam、Barlow Twins 和 VICReg），并强迫它们通过比较那些它们已知属于同一个家族的文件来进行学习。这是一项“监督式”测试，旨在看看上限能达到多高。

结果喜忧参半。BYOL 和 SimSiam 表现得像是超级英雄。在获得答案钥匙后，它们的表现几乎与完全监督的模型（即知道每一个家族名称的模型）一样出色，在通用类别上的“同质性”（Homogeneity，衡量分组纯度的指标）接近 99%，在特定家族上的得分超过 84%。然而，Barlow Twins 和 VICReg 则表现糟糕，甚至不如最简单的基准方法。事实证明，并非所有的“聪明”AI 模型在从图片转向电子表格时都同样聪明。

第二阶段：真正的挑战
接下来，研究人员拿走了答案钥匙。这是现实世界的情况：AI 必须在不知道任何家族名称的情况下对文件进行分类。他们将第一阶段中最优秀的模型与专门为电子表格数据设计的较新方法（如 VIME、SCARF 和 SwitchTab）进行了对比测试。

在这里，那些旧的基于图像的模型（BYOL 和 SimSiam）在被迫使用针对电子表格设计的“破坏（corruption）”技巧时显得力不从心。它们无法击败简单的基准方法。但是 VIME（数值填补与掩码估计）脱颖而出。它的工作原理是随机隐藏文件数据的某些部分，并尝试猜测缺失的部分，从而在此过程中学习模式。VIME 证明了自己是新的冠军，它击败了强大的传统基准方法（如 PCA 和自动编码器），并创下了新的技术领先记录（state-of-the-art）。

转折点：VIME-R
研究人员并没有就此止步。他们注意到 VIME 在猜测缺失数据时，是看向整个库中的随机文件。但如果它只观察那些与正在研究的文件非常相似的文件呢？他们发明了 VIME-R（检索增强型）。与其从整个人群中进行猜测，VIME-R 会询问：“谁是与这个文件最相似的 100 个邻居？”并利用它们的数据来填补空白。

这个简单的改变成为了游戏规则的改变者。VIME-R 不仅击败了其他无监督方法；在 Ember 数据集上，它甚至超过了在特定测试中表现最好的监督模型 SimSiam 所建立的“监督天花板”。虽然一个完全监督的 MLP 分类器在 Bodmas 数据集上得分更高，但在 Ember 上，VIME-R 实现了 77.48% 的家族同质性，超过了 SimSiam 的 76.53%。这意味着，通过使用一种聪明的“邻里”策略，这种无监督 AI 学习到的恶意软件家族分组能力，竟然比那个在特定语境下被明确告知了家族名称的监督模型还要好！

这对未来意味着什么

该论文表明，虽然一些流行的 AI 模型（如 Barlow Twins 和 VICReg）可能不是处理恶意软件电子表格的正确工具，但其他模型（如 BYOL 和 SimSiam）具有巨大的潜力，前提是我们能找到为它们创造正确的“文件对”的方法。

最重要的是，这项研究证明了**检索增强学习（retrieval-augmented learning）**是一个强大的新方向。通过教 AI 向其最近的邻居学习，而不是向整个世界学习，我们可以在不需要昂贵的人类标签的情况下，获得极其准确的结果。研究人员发现，与之前最好的方法相比，VIME-R 将聚类质量提升了 2.7% 到 5.8%。

虽然这项研究局限于静态特征（即观察文件的蓝图而非观察其运行过程）以及特定的数据集，但其结果释放了一个强烈的信号。它们表明，只要运用正确的技巧，计算机就可以自主学习并组织混乱的恶意软件世界，从而潜在地帮助保安人员比以往更快地发现新威胁。这些方法的代码将被公开，邀请他人基于这一发现进行进一步的研究。

技术摘要：用于二进制程序聚类的自监督表示学习

问题陈述

本文探讨了二进制程序聚类这一关键挑战，其定义为在没有先验标签知识的情况下，对所有传入的可执行文件（包括恶意软件和良性程序）进行聚类的任务。这与传统的恶意软件聚类不同，后者通常仅关注恶意样本。其目标是提高聚类质量，以辅助威胁发现、家族分析以及创建压缩的代表性数据集。

核心难点在于表格数据领域（具体为从 Windows PE 二进制文件提取的静态特征）。尽管自监督学习（SSL）和表格表示学习（TRL）在计算机视觉和自然语言处理领域已取得突破，但其在二进制程序聚类中的应用仍处于探索阶段。一个主要的障碍是缺乏有效的数据增强策略。与图像或文本不同，表格数据缺乏内在的序列相关性或几何结构，因此无法通过简单的扰动来创建对比式或非对比式 SSL 方法所需的“正样本对”（语义相似的样本）。

研究方法

本研究使用公开的 Ember 和 Bodmas 数据集，分为两个截然不同的实验阶段。主要评估指标是同质性（Homogeneity），分别针对类别标签（恶意 vs 良性）和恶意软件家族标签进行衡量。

第一阶段：建立监督天花板

作者研究了当提供监督正样本对（基于已知恶意软件家族标签生成的样本对）时，流行 SSL 方法的理论性能上限。

测试模型： BYOL、SimSiam、Barlow Twins 和 VICReg。
适配： 通过将 CNN 骨干网络替换为全连接（FC）层，将基于视觉的 SSL 架构适配于表格数据。
配对生成： 基于样本标签确定性地创建正样本对（具有相同家族标签的样本被配对）。
基准： 以在家族标签上训练的多层感知器（MLP）作为完全监督的天花板基准。

第二阶段：纯无监督学习

该阶段评估了在现实场景下（训练期间没有任何标签可用）的方法表现。

TRL 模型： VIME、SCARF 和 SwitchTab。这些方法依赖于数据破坏（掩码和填补特征）而非显式的正样本对生成。
- VIME： 通过从全局经验边缘分布中采样来破坏特征。
- SCARF： 使用类似的破坏策略，但通过 InfoNCE 对比损失进行优化。
- SwitchTab： 使用零破坏（zero-corruption）和非对称自编码器。
SSL 适配： 将第一阶段表现最好的 SSL 模型（BYOL 和 SimSiam）进行重新评估，使用 VIME 的破坏策略作为数据增强的代理。
基准： 包括 PCA、自编码器（Autoencoders）和 UMAP 在内的强无监督基准。

创新提议：VIME-R

受第二阶段结果的启发，作者提出了 VIME-R（结合检索的数值填补与掩码估计）。

动机： 标准 VIME 使用来自全局边缘分布的特征进行破坏，这可能会通过混合语义相距甚远的样本而引入噪声。
机制： VIME-R 限制了破坏池。它不再从全局分布中采样，而是从目标样本的 $k$ -近邻（其中 $k=100$ ）的局部经验边缘分布中采样破坏后的特征值。
目标： 生成更具信息量的训练对，在不依赖标签的情况下保留数据的局部流形结构。

关键结果

第一阶段：监督天花板

性能差距： 当在监督样本对上训练时，BYOL 和 SimSiam 达到了与完全监督 MLP 相当的性能。
- 在 Bodmas 上：BYOL 实现了 99.42% 的类别同质性和 84.92% 的家族同质性。
- 在 Ember 上：BYOL 实现了 91.36% 的类别同质性和 75.87% 的家族同质性。
表现欠佳者： Barlow Twins 和 VICReg 表现显著较差，在 Bodmas 数据集上未能超越强基准（PCA/自编码器），并表现出高方差。
天花板确立： 本研究为使用监督配对学习的二进制程序聚类确立了约 99% 类别同质性和约 85% 家族同质性的性能天花板。

第二阶段：无监督性能

TRL 优势： VIME 建立了无监督二进制程序聚类的新的最先进水平（SOTA），超越了 PCA、自编码器和 UMAP。
- 在 Bodmas 上：VIME 实现了 87.85%（最大值）的类别同质性和 80.87%（平均值）的家族同质性。
- 在 Ember 上：VIME 实现了 66.80% 的类别同质性和 74.36% 的家族同质性。
SSL 在无监督模式下的失效： 当 BYOL 和 SimSiam 被迫使用 VIME 的破坏策略（作为正样本对的替代）时，它们未能达到 PCA 等无监督基准的性能，这证实了这些 SSL 方法需要特定的、高质量的正样本对才能有效发挥作用。
与监督水平的差距： VIME（无监督）非常接近监督天花板。在 Ember 上，VIME 的家族同质性（74.36%）仅比第一阶段的监督 SimSiam 天花板（76.53%）低 2.2%。

VIME-R 结果

SOTA 突破： VIME-R 在 VIME 的基础上进一步提升，取得了新的 SOTA 结果。
- Bodmas： 相比 VIME 提升了 2.96% 的家族同质性（83.83% vs 80.87%）。
- Ember： 相比 VIME 提升了 3.9% 的家族同质性（77.48% vs 74.36%）。
超越监督： 值得注意的是，在 Ember 数据集上，VIME-R 的家族同质性（77.48%）超过了第一阶段由 SimSiam 建立的监督天花板（76.53%）。

贡献与意义

本文声称具有以下贡献：

首次系统性调查： 这是首个专门针对二进制程序聚类任务系统性评估 SSL 和 TRL 方法的研究。
性能天花板： 它为使用监督配对学习的二进制程序聚类建立了一个定量性能天花板，为未来的增强策略提供了基准。
新的 SOTA： 它证明了无监督 TRL 方法（特别是 VIME）可以优于强大的传统基准（PCA、自编码器、UMAP），并接近监督性能水平。
检索增强学习： 提出的 VIME-R 引入了一种新型的检索增强破坏策略。论文指出，这种方法架起了领域无关破坏与监督学习之间的桥梁，证明了局部感知增强可以产生优于通过显式家族标签监督获得的表示。

结论

研究结论认为，虽然标准的基于视觉的 SSL 方法在缺乏定制化数据增强时表现挣扎，但表格表示学习（TRL）为恶意软件分析提供了一条可行的路径。具体而言，检索增强破坏策略（VIME-R）代表了一个充满前景的方向，它使无监督模型能够实现足以媲美甚至超过完全监督基准的聚类质量，从而实现家族层级的辨别。作者强调，这种方法对于标签稀缺的自动化恶意软件分析任务特别具有价值。