💻 computer science

MambaNetBurst: Direct Byte-level Network Traffic Classification without Tokenization or Pretraining

MambaNetBurst 是一种紧凑且无需分词器的网络流量分类器，它利用 Mamba-2 骨干网络直接在原始数据包字节上执行端到端监督分类，在无需分词、打补丁或自监督预训练的情况下，于多种基准测试中实现了具有竞争力的性能。

原作者： Gayan K. Kulatilleke, Siamak Layeghy, Mahsa Baktashmotlagh, Marius Portmann

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Gayan K. Kulatilleke, Siamak Layeghy, Mahsa Baktashmotlagh, Marius Portmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名在繁忙机场工作的安保人员，正试图判断走进大门的旅客属于哪一类。

旧方法（“摘要”方法）
大多数现代安全系统试图通过提取旅客行程的长篇详细报告并对其进行摘要来提高效率。它们可能会说：“这个人走了 500 步，穿着蓝衬衫，提着红包。”为了节省时间，它们会丢弃关于“如何”行走的具体细节或织物的确切纹理。在计算机网络领域，这被称为分词（tokenization）或打补丁（patching）。它们将原始数据（“字节”）切碎成块，进行摘要，然后将该摘要输入到一个庞大且昂贵的 AI 模型中。

此外，这些模型通常需要先经过一个“训练营”。在能够分类流量之前，它们必须花费数周时间阅读数百万条网络日志，且没有任何答案，试图自行猜测模式（这被称为预训练）。只有经过这种昂贵且耗时的训练营后，它们才能开始执行识别黑客或识别应用程序的实际工作。

新方法：MambaNetBurst
这篇论文介绍了一种名为MambaNetBurst的新型安保人员，它采用不同的方式行事。它不是对旅客进行摘要，而是查看旅客最初几步的原始、未编辑的视频流。

以下是其工作原理及独特之处的简单分解：

1. 无需摘要，只需原始字节

想象一下你试图识别一首歌。旧方法可能是听一段 10 秒的剪辑，然后说：“这听起来像摇滚乐。”而 MambaNetBurst 则聆听最初几秒的精确、原始声波。

主张：作者发现，你不需要切碎数据或对其进行摘要。通过将原始“字节”（0 和 1）直接输入 AI，它可以发现微小但至关重要的细节——例如头部中的特定模式或负载中的微小故障——这些细节在摘要数据时往往会丢失。
类比：这就像阅读一本书。旧方法阅读的是别人写的“读书报告”。MambaNetBurst 则阅读页面上的实际文字。

2. 无需“训练营”

大多数用于网络安全的 AI 模型就像那些需要在参加期末考试前学习数年的学生。它们阅读数百万本书（预训练）以学习互联网的语言。

主张：MambaNetBurst 完全跳过了训练营。它直接进入期末考试。它通过查看已提供答案的示例（监督学习）来直接学习分类流量。
结果：这节省了巨大的时间和计算能力。你不需要超级计算机来训练它；一张标准显卡就足够了。

3. "Mamba-2"引擎

该系统的核心是一种名为Mamba-2的新型 AI 架构。

旧引擎（Transformer）：将其想象成一位必须阅读图书馆里每一本书才能找到特定句子的图书管理员。它很强大，但随着图书馆（数据）变大，它会变得非常缓慢且昂贵。
Mamba-1 引擎：这是一位更快的图书管理员，可以线性地扫描书籍。
Mamba-2 引擎：这是图书管理员超级高效的表亲。它使用一种巧妙的技巧（称为“结构化状态空间对偶”）来极快地处理信息，就像一条高速传送带。
- 局限：与更灵活的哥哥（Mamba-1）相比，Mamba-2 在处理信息的方式上略显“僵化”。
- 惊喜：论文发现，对于网络流量而言，这种僵化实际上是一件好事。它像一位严格的老师，防止 AI 被噪声混淆。它更简单、更快，且同样准确。

4. "Burst"（突发）策略

该系统并不试图分析整个连接的生命周期（这可能长达数小时）。相反，它查看一个"突发"——即最初几个数据包（就像对话的前 5 秒）。

发现：事实证明，关于应用程序在做什么（或者它是否是恶意软件）的最重要线索，恰恰发生在最初阶段。通过专注于这个短而高分辨率的窗口，模型保持了快速和准确。

主要结论

作者在六个不同的现实世界挑战中测试了该方法，从识别加密移动应用程序到发现 Tor 流量和恶意软件。以下是他们的发现：

不要模糊画面：如果你试图通过“下采样”（模糊）数据使其变小，AI 的工作表现会大打折扣。你需要高分辨率的原始细节。
小即是美：你不需要一个巨大、深层的大脑。一个紧凑、浅层的模型就完全足够了。
速度与智能：Mamba-2 不仅训练速度更快（比旧版本快高达 60%），而且占用内存更少。它达到了既聪明又高效的“甜蜜点”。
无需预训练：最令人惊讶的结果是，你不需要其他人使用的昂贵预训练阶段。你可以直接在任务上训练模型，其效果与那些庞大、经过预训练的巨头一样好。

简而言之：
MambaNetBurst 就像一名不需要学位、不需要先阅读图书馆书籍、也不需要总结证据的安保人员。它只需查看网络连接最初几秒的原始高清画面，就能瞬间知道发生了什么。与目前使用的复杂系统相比，它更快、更便宜，而且出乎意料地更准确。

技术摘要：MambaNetBurst

问题陈述

网络流量分类与入侵检测对网络安全至关重要，然而最先进的方法通常依赖于复杂且资源密集型的流程。当前主导方法通常涉及：

重型预训练：在微调之前，利用自监督目标（如掩码语言建模、下一词元预测）在大规模数据集上进行训练，这既昂贵又耗时。
早期聚合：为了高效处理长输入序列，现有模型通常应用分词、分块或步长采样。这种下采样可能会稀释对准确威胁检测至关重要的细粒度字节级结构信息（例如协议头、负载签名）。
架构低效性：基于 Transformer 的架构虽然强大，但存在二次注意力复杂度，或者即使采用线性注意力变体也需要重型前馈层，这使得它们对原始字节序列而言计算成本高昂。

该论文认为这些复杂性可能是不必要的。它质疑直接对原始数据包字节进行建模是否能消除对预训练、工程化表示或早期下采样的需求，特别是在利用高效的状态空间模型（SSM）时。

方法论：MambaNetBurst

作者提出了MambaNetBurst，这是一个基于Mamba-2骨干网络的紧凑、无分词器、字节级序列分类器。其架构运作如下：

输入构建：模型通过选择前 $n$ 个数据包（默认 $n=5$ ）来处理网络流。从每个数据包中保留前 $m$ 个字节（默认 $m=320$ ），形成一个固定长度的 1600 字节突发序列。这保留了数据包边界，并专注于信息丰富的头部和初始负载。
无分词器嵌入：与将字节映射到子词元的方法不同，MambaNetBurst 将原始字节值（0–255）直接映射到可学习的嵌入向量（ $d_{model}=256$ ）。一个轻量级的双层 MLP 将这些嵌入投影以丰富局部特征，然后再进行序列建模。
序列建模：附加了可学习的 [CLS] 标记和位置嵌入的字节序列，由一组残差预归一化的Mamba-2 块堆栈进行处理。
- Mamba-2 specifics：模型利用结构化状态空间对偶性（SSD），将核心计算重构为对 GEMM 友好的操作。关键的是，Mamba-2 采用受限的转移矩阵（ $A = \alpha I$ ，即标量乘以单位矩阵），而不是 Mamba-1 中使用的灵活对角矩阵。
分类：[CLS] 标记的最终隐藏状态通过线性层和 Softmax 进行端到端的监督分类。
无预训练：该模型完全通过监督交叉熵损失进行训练，绕过了任何自监督预训练阶段。

主要贡献

首个直接字节到分类的 Mamba-2：MambaNetBurst 是首个将 Mamba-2 直接应用于原始网络数据包字节以进行流量分类的工作，无需分词、分块或预训练。
受限动力学的验证：论文证明，Mamba-2 的受限转移结构（标量 $\times$ 单位矩阵）不仅足以进行数据包字节建模，而且作为一种有益的正则化器，与更灵活的 Mamba-1 相比，提高了跨数据集的一致性。
消除预训练：该研究证明，判别性流量表示可以在完全监督的设置中直接从原始字节中学习，从而消除了文献中主导的昂贵两阶段（预训练 + 微调）流程的需求。
全面的消融实验：作者对嵌入策略、位置编码、步长采样、模型深度和状态大小进行了广泛分析，揭示保留字节级时间分辨率至关重要，且中等大小的状态（ $d_{state}=16-64$ ）已足够。

实验结果

该模型在六个公开基准上进行了评估，涵盖加密移动应用识别、VPN/Tor 流量、恶意软件分类和 IoT 攻击。

性能：MambaNetBurst 取得了持续强劲的结果，通常优于或匹配显著更重、经过预训练的基线模型（例如 ET-BERT、YaTC、NetMamba）。
- 在 ISCXTor2016 上，其宏观 F1 分数达到 0.9990，超过了 NetMamba（0.9986）和 ET-BERT（0.9967）。
- 在 USTC-TFC2016（恶意软件）上，其宏观 F1 分数达到 0.9954，优于 NetMamba（0.9957）和 ET-BERT（0.9910）。
- 在 CrossPlatform（Android/iOS）上，其宏观 F1 分数分别为 0.9824 和 0.9851，与预训练 Transformer 相当或更优。
效率：
- 训练速度：与 Mamba-1 相比，Mamba-2 在反向传播中实现了 30–60% 的加速，且比使用 FlashAttention-2 的线性 Transformer 推理速度显著更快。
- 内存：其 GPU 内存占用量比 Transformer 变体少 2–4 倍，使得在商用硬件（例如 RTX 3090）上能够使用更大的批量大小。
消融实验洞察：
- 步长采样有害：早期下采样（步长采样）导致了最显著的性能下降，证实了细粒度字节顺序至关重要。
- Mamba-2 与 Mamba-1：Mamba-2 在跨数据集的平均性能表现更好且方差更低，表明其约束起到了隐式正则化的作用。
- 深度与大小：中等深度（4 层）和状态大小（16–64）已足够；将状态大小增加到 128 反而降低了性能，表明对于这种模态，巨大的潜在记忆是不必要的。

意义与主张

该论文主张 MambaNetBurst 为网络流量分析建立了一种新的、实用的范式：

直接学习的可行性：它挑战了昂贵预训练流程对于最先进流量分类是必要的假设。研究表明，利用紧凑 SSM 进行直接的、未稀释的字节到分类学习非常有效。
效率与可部署性：通过避免预训练并利用 Mamba-2 的硬件效率，该方法提供了一种更简单、更快且更易部署的解决方案，特别适用于资源受限的环境或需要频繁重新训练的场景（例如 NIDS）。
字节级建模的鲁棒性：结果表明，保留数据包字节的原生分辨率比最大化潜在动力系统的灵活性或早期聚合数据更为重要。

作者总结道，这项工作为网络安全中的字节级 SSM 开辟了有前景的方向，为当前主导该领域的复杂、预训练密集型流程提供了一种更简单的替代方案。