🤖 machine learning

Contrastive Learning and Correlation Clustering for Sequences of Network Telescope Data

本文提出了一种基于 Transformer 的对比学习方法，用于在没有语义标注的情况下对网络流记录序列进行嵌入和聚类，并证明了其在识别互联网扫描器之间的关系以及泛化至未见来源方面的有效性。

原作者： Jannik Presberger, Alexander Männel, Maynard Koch, Thomas C. Schmidt, Matthias Wählisch, Bjoern Andres

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Jannik Presberger, Alexander Männel, Maynard Koch, Thomas C. Schmidt, Matthias Wählisch, Bjoern Andres

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一座巨大的、混乱的城市，数以百万计的人（计算机）不断地向彼此发送信件（数据包）。大多数信件都是普通的邮件。但有时，会出现一些“扫描器”——就像那些激进的推销员或安全测试人员——他们敲响城市里的每一扇门，看看哪些门是没锁的。

问题在于，这些推销员太多了，而且各不相同。有些人敲门很快，有些人很慢，有些人使用不同的工具。试图手动搞清楚哪个推销员属于哪家公司是不可能的，因为他们没有名牌（标签），而且这座城市太大了，无法时刻监视每一个人。

这篇论文提出了一种巧妙的方法来解决这个问题，即使用一个“智能镜子”和一个“分组游戏”。

智能镜子（Transformer 模型）

研究人员构建了一个特殊的计算机程序（Transformer 模型），它充当了一个智能镜子的角色。它不看信件的内容，而是观察特定推销员敲门的“模式”。

它是如何学习的： 通常，要教会计算机识别模式，你需要一个老师来告诉你：“这是推销员 A，那是推啦员 B。”但在这里，并没有老师。
这个窍门： 该程序使用了一种叫做**对比学习（Contrastive Learning）**的技术。想象你有一堆照片。你告诉计算机：“拿两张同一个人的照片（即使他们戴着不同的帽子或站在不同的位置），并在你的脑海中让它们看起来非常相似。拿不同人的照片，并让它们看起来截然不同。”
结果： 计算机学会了根据每个推销员的敲门习惯来创建“指纹”，而无需被告知他们是谁。它学会了“在 5 秒钟内敲 100 扇门”是一种特定的风格，而“在 1 分钟内敲 10 扇门”是另一种风格。

分组游戏（相关聚类）

一旦计算机创建了这些指纹，研究人员就会玩一个叫做**相关聚类（Correlation Clustering）**的游戏。

目标： 他们想要根据指纹的相似程度，将所有的推销员进行分类。
挑战： 他们不知道应该有多少个组，也不知道每个组的大小。
解决方案： 算法会观察指纹之间的“距离”。如果两个推销员的指纹非常相似，算法就会说：“把他们放在同一个房间里。”如果他们不同，算法就会把他们放在不同的房间。它会自动完成这一切，在不需要预设组数的情况下找到自然的簇。

他们的发现

研究人员在一个庞大的互联网流量数据集上测试了这一点（就像观察整个城市一小时一样）。结果如下：

识别同一个人： 当他们向计算机展示来自同一个推销员（在训练期间未曾见过）的两组不同的敲门模式时，计算机正确地将它们识别为“相似”。它知道他们是同一个人，尽管这些模式并不完全一致。
识别不同的人： 当他们展示来自不同推销员的模式时，计算机正确地识别出它们是“不同”的。
按“公司”分组： 最令人兴奋的部分是，当他们根据这些指纹对推销员进行分组时，这些组别与研究人员已知的真实世界扫描器公司（如 Censys 或 Shodan）相匹配。尽管计算机从未被告知这些公司的名字，但它自然地将“Censys”的推销员归为一类，并将“Shodan”的推销员归为另一类。

难点（“灰色地带”）

论文指出，分组并不完美。有时，来自不同公司的推销员看起来如此相似（也许是因为他们使用了相同的工具或敲了相同的门），以至于计算机产生了困惑并将他们混淆了。这表明，虽然计算机学到了很多东西，但“指纹”并不是一张完美的身份证；它捕捉的是攻击的“风格”，而这种风格在不同群体之间有时会发生重叠。

核心结论

这篇论文表明，你只需要通过观察行为，就能教会计算机理解互联网扫描器的“个性”，而无需人类先对数据进行标注。通过使用智能镜子来学习相似性，并使用分组游戏来进行分类，他们可以自动将混乱的互联网流量组织成有意义的组别，从而帮助安全专家发现以前无法看到的模式。

简而言之： 他们教会了计算机如何通过倾听敲门的节奏，来识别“谁在敲门”以及“谁属于哪个帮派”，而无需被告知这些帮派的名字。

技术摘要：用于网络望远镜数据序列的对比学习与相关性聚类

问题陈述
本文旨在解决在网络望远镜产生的庞大、异构且大量缺乏标签的数据中，分析互联网扫描器活动所面临的挑战。传统的网络扫描检测方法通常依赖于人工设计的统计模型、启发式算法或监督学习，而这些方法都存在显著的局性。监督学习方法受限于高质量标注的稀缺性以及扫描行为的动态特性（即使在同一组织背景下，行为也会发生变化）。现有的无监督表示学习方法（例如基于 Word2Vec 的 IP2Vec 或 DarkVec）往往将嵌入与特定训练数据绑定，限制了其泛化到未见来源的能力，也难以在没有合成数据增强的情况下捕捉语义关系。本研究探讨的核心问题是：是否可以在完全无监督、无需预训练或标注的情况下，利用对比学习来估计序列之间具有语义意义的成对关系。

方法论
作者提出了一个结合了基于 Transformer 的架构、对比学习和相关性聚类的框架：

数据预处理： 从 UCSD 网络望远镜收集的网络流记录（源 IP、目的 IP、端口、协议、时间戳）按源 IP 进行分组。这些记录按时间顺序排序，并被分割成固定长度的子序列（每段包含 128 条记录）。
Transformer 编码器模型：
- 记录嵌入（Record Embedding）： 通过分别处理其组成部分来嵌入单个记录。IP 地址的各个字节被嵌入到 $\mathbb{R}^8$ 中以捕捉 IP 空间的结构。目的端口、协议和对数缩放的时间差分别被嵌入到 $\mathbb{R}^{16}$ 、 $\mathbb{R}^4$ 和 $\mathbb{R}^{16}$ 中。随后将这些向量拼接并通过线性层映射为一个 128 维的向量。
- 序列编码（Sequence Encoding）： 标准的 Transformer 编码器（4 层，4 个注意力头）处理记录嵌入序列，以捕捉依赖关系。通过均值池化生成固定大小的序列表示，该表示进一步通过投影头产生最终的序列嵌入。
对比学习目标：
- 模型使用 NT-Xent 损失函数（归一化温度缩放交叉熵）进行训练。
- 正样本对（Positive Pairs）： 定义为来自相同源 IP 地址的不同子序列。这利用了自然发生的连贯性，而非合成数据增强。
- 负样本对（Negative Pairs）： 定义为来自不同源 IP 地址的子序列。
- 采样策略： 为了处理源 IP 活动的长尾分布，采用了加权采样策略，其中选择某个源的概率与该源记录数的 $\alpha$ 次方（ $\alpha=0.5$ ）成正比，从而平衡频繁出现和不频繁出现的源的影响。
相关性聚类（Correlation Clustering）：
- 为了根据学习到的相似性对序列进行分组，作者提出了一个相关性聚类问题。与度量聚类（如 k-means）不同，该方法不需要对聚类数量或大小进行先验假设。
- 定义了一个基于余弦相似度的代价函数，并通过偏移参数 $\delta$ 来区分相似对与不相似对。
- 该问题通过一种贪婪的加法边收缩算法进行局部求解。

关键结果
实验在基于 UCSD 望远镜的数据集上进行，包括训练数据、来自已见源的未见序列，以及来自未见源的未见序列。

源辨别能力（Source Discrimination）： 模型成功学习到了源特定的信息。来自相同源 IP 的序列表现出显著更高的余弦相似度（已见源的平均值 $\approx$ 0.93，未见源的平均值 $\approx$ 0.89），而来自不同源的序列相似度则较低（分别为平均 $\approx$ 0.03 和 $\approx$ 0.02）。这一结果对于未在训练期间见过的源序列同样成立。
与标注的语义一致性： 当针对稀疏的扫描器网络标注（如 Censys, Shodan）进行评估时，来自同一扫描器网络的序列表现出比不同网络间更高的类内相似度。然而，这种分离程度不如源身份识别那样明显，且类内分布呈双峰分布。作者将其归因于扫描器网络并非完美的同质化群体，且不同的基础设施可能采用相似的扫描策略。
聚类性能： 应用于学习到的嵌入的相关性聚类取得了高性能。在包含 50% 未标注背景流量的测试集上，恢复扫描器网络组的加权 F1 分数分别为 0.913（来自已见源的未见序列）和 0.917（来自未见源的未见序列）。
泛化能力： 学习到的表示能够有效地泛化到未见的源和未见的序列，这证明了该模型捕捉的是扫描器行为的结构属性，而非仅仅是记忆特定的 IP 地址。

意义与主张
本文声称，对比学习可以从极少预处理的网络流序列中提取出具有语义意义的结构，且无需任何监督。其主要意义在于：

纯粹从原始数据中恢复源特定的信息和与扫描器相关的结构。
即使在存在大量未标注背景流量的情况下，也能对扫描器活动进行探索性分析和聚类。
能够泛化到先前未见的源和行为，解决了监督学习方法的关键局限性。

作者保持了谦逊的基调，指出所使用的扫描器标注是稀疏且粗粒度的。他们承认，类内与类间相似度的重叠分布表明，嵌入空间中存在尚未被现有标注完全捕捉的结构。因此，这项工作被呈现为一种探索性的研究，旨在验证无监督表示学习用于网络流量分析的可行性，同时也强调了进一步研究的必要性，以更深入地理解嵌入空间内的语义结构。