Neurosymbolic Learning for Advanced Persistent Threat Detection under Extreme Class Imbalance

本文提出了一种结合优化 BERT 模型与逻辑张量网络的神经符号架构，通过高效特征编码、分层分类及自适应采样策略，在极端类别不平衡下实现了针对无线物联网高级持续性威胁的高性能、可解释且具备操作可行性的检测。

要点

这篇文章介绍了一种新的“智能安保系统”，专门用来保护物联网（比如智能家居、智慧城市里的各种联网设备）免受一种非常狡猾、隐蔽的超级黑客攻击（称为 APT，高级持续性威胁）。

为了让你更容易理解，我们可以把整个系统想象成一个拥有“超级直觉”和“严谨逻辑”的顶级侦探团队。

1. 面临的难题：大海捞针与“黑箱”

• 大海捞针（极度不平衡）： 在物联网网络里，98% 以上的流量都是正常的（比如你开灯、看视频），只有不到 2% 是黑客攻击。而且黑客非常聪明，他们会伪装成正常流量。这就好比在一亿粒白米里找几粒黑米，普通的电脑程序很容易因为“白米太多”而忽略黑米，或者为了“猜对大多数”而把黑米也当成白米。
• 黑箱问题（无法解释）： 传统的 AI 就像一个“黑箱”，它告诉你“这是黑客”，但说不出为什么。这就好比保安说“我觉得这人可疑”，却拿不出证据。在安全领域，如果不知道原因，我们就无法信任它，也无法改进策略。

2. 核心方案：神经符号学习（Neurosymbolic Learning）

为了解决这两个问题，作者设计了一个**“双管齐下”的侦探搭档**，他们叫 BERT 和 LTN。

🕵️‍♂️ 搭档一：BERT（超级直觉的“老练侦探”）

• 角色： 这是一个基于大语言模型（像 ChatGPT 那种技术）的神经网络。
• 能力： 它擅长**“看感觉”**。它把网络数据当成句子来读，能敏锐地捕捉到那些细微的、反常的模式。比如，它发现“这个数据包的大小和发送时间有点奇怪，虽然看起来像正常流量，但组合起来很不对劲”。
• 比喻： 就像一位在街上混迹多年的老侦探，看一眼路人的眼神和步态，就能直觉地感觉到“这人不对劲”，哪怕他穿着正常的衣服。

🧠 搭档二：LTN（严谨逻辑的“法理专家”）

• 角色： 这是一个逻辑张量网络，代表符号逻辑。
• 能力： 它擅长**“讲道理”**。它不靠直觉，而是靠明确的规则。比如，它定义了一条规则：“如果‘发送的数据量’很大，且‘端口’很陌生，那么这就是‘数据窃取’。”
• 比喻： 就像一位严谨的法官或法医。当老侦探说“这人可疑”时，法官会要求：“请列出证据。根据规则 A 和规则 B，他的行为确实符合‘盗窃’的定义。”

🤝 他们如何合作？
这两个搭档不是各干各的，而是一起训练。

1. 老侦探（BERT） 发现异常。
2. 法官（LTN） 用逻辑规则去验证这个异常，并告诉老侦探：“你刚才注意到的那个‘奇怪的眼神’（特征），确实符合‘盗窃’的逻辑定义。”
3. 结果： 系统不仅抓得准（因为结合了直觉和逻辑），而且能解释（因为法官能说出具体是哪条规则触发了警报）。

3. 聪明的策略：分两步走（层级分类）

面对“一亿粒米里找几粒黑米”的难题，系统没有试图一次性把所有米都分类，而是采用了**“漏斗式”策略**：

• 第一步（守门员）： 先快速判断“这是好人还是坏人？”（二分类）。这一步非常严格，只要有一点点怀疑，就标记为“可疑”。这解决了“漏网之鱼”的问题。
• 第二步（专家会诊）： 只有被标记为“可疑”的流量，才会进入第二步，由专家详细分析：“这具体是哪种黑客？”（是正在侦察？还是在偷数据？还是横向移动？）。
• 比喻： 就像机场安检。
  • 第一步： 所有旅客过安检门（只要响铃，就拦下）。
  • 第二步： 只有被拦下的人，才需要脱鞋、开包、接受更详细的询问（具体是哪种违规行为）。
  • 好处： 这样既不会让安检员累死（不用对每个好人做详细检查），又能确保坏人无处遁形。

4. 训练技巧：让 AI 学会“重视少数派”

因为黑客样本太少，普通的 AI 会“偷懒”，只学怎么识别好人。作者用了特殊的**“加权惩罚”**机制：

• 比喻： 想象老师在教学生。如果学生把“好人”认错了，老师只是轻轻拍一下（惩罚小）；但如果学生把“坏人”认成了“好人”（漏掉了坏人），老师会狠狠批评（惩罚大）。
• 这样，AI 就会拼命学习如何识别那些稀有的黑客，而不是只盯着常见的正常流量。

5. 最终成绩：既快又准，还能“自证清白”

在真实的测试数据（SCVIC-APT2021）上，这个系统表现惊人：

• 准确率极高： 在识别“是否有攻击”这一项上，准确率达到了 95.27%。
• 误报极低： 它很少冤枉好人，误报率只有 0.14%（这意味着在 1000 次警报中，只有 1-2 次是误报）。这对于自动化的系统至关重要，否则保安会被假警报累垮。
• 可解释性： 最重要的是，系统能统计证明它关注的特征（比如数据包大小、时间间隔）确实是黑客留下的真实痕迹，而不是瞎猜。这让安全专家可以完全信任它的判断。

总结

这篇论文提出了一种**“直觉 + 逻辑”的混合智能系统，专门用来在海量正常的网络流量中，精准地揪出那些伪装成好人的超级黑客。它不仅抓得准、不扰民，还能像人类专家一样说出抓人的理由**，是未来物联网安全领域的一次重要突破。

技术摘要

论文技术总结：基于神经符号学习的 IoT 网络 APT 检测

1. 研究背景与问题定义 (Problem)

随着物联网（IoT）设备在智慧城市和关键基础设施中的广泛部署，网络攻击面显著扩大。高级持续性威胁（APTs）利用无线通信协议，通过多阶段（如初始入侵、侦察、横向移动、数据窃取等）的协同攻击长期潜伏，对 IoT 环境构成严重威胁。

当前检测面临两大核心挑战：

• 极端的类别不平衡 (Extreme Class Imbalance)： 正常流量占比极高（SCVIC-APT2021 数据集中正常流量占 98.35%），而攻击样本极其稀缺。传统的深度学习模型倾向于优化整体准确率，导致对罕见攻击类别的识别能力极差。
• 缺乏可解释性 (Lack of Explainability)： 现有的基于深度学习（如 CNN、LSTM、Transformer）的入侵检测系统（IDS）通常是“黑盒”模型。在自主部署场景下，缺乏对决策逻辑的透明解释，使得安全分析师难以验证警报、理解攻击模式或制定缓解策略。

2. 方法论 (Methodology)

本文提出了一种神经符号架构（Neurosymbolic Architecture），将基于 BERT 的神经网络模式识别能力与基于逻辑张量网络（LTN）的符号逻辑推理能力相结合，专门针对 IoT 网络流量中的 APT 检测进行了优化。

A. 数据预处理与特征工程

• 数据集： 使用 SCVIC-APT2021 数据集，包含 31.5 万条记录，涵盖 5 种 APT 阶段（初始入侵、侦察、横向移动、Pivoting、数据窃取）。
• 特征选择： 从原始 84 个特征中，通过共识特征选择（随机森林、Extra Trees、互信息、F 检验）和统计验证（t 检验），最终保留12 个最具判别力的特征。
• 数据编码： 将表格状的流量数据转换为 BERT 兼容的序列。每个特征被投影为 768 维的密集向量，并添加 [CLS] 和 [SEP] 标记，形成 14 个 Token 的序列，以保留时间依赖性和语义信息。

B. 核心架构：BERT-LTN 神经符号模型
模型采用并行双路径设计：

1. 神经组件 (Neural Path - BERT)：
   • 利用预训练的 bert-base-uncased 模型处理特征序列。
   • 通过多头注意力机制学习流量统计、时间模式和协议行为之间的复杂交互。
   • 可解释性机制 1： 提取注意力权重（Attention Weights），量化每个特征对最终分类决策的贡献度（特征归因）。
2. 符号组件 (Symbolic Path - LTN)：
   • 直接处理归一化的 12 个特征，构建 16 个可学习的逻辑谓词（Logical Predicates）。
   • 每个谓词代表一个可解释的领域概念（如“大流量前向传输”、“异常端口活动”）。
   • 通过可学习的注意力向量筛选相关特征，计算谓词的满足度（0-1 之间）。
   • 可解释性机制 2 & 3： 输出谓词的满足度及每个谓词对最终决策的权重，提供基于逻辑规则的推理路径。

C. 分层分类策略 (Hierarchical Classification)
为了解决极端不平衡问题，设计了两阶段分层分类：

• 阶段 1（二分类）： 区分“正常”与“攻击”。使用 Focal Loss 处理 98.35% : 1.65 的极端不平衡，专注于减少漏报。
• 阶段 2（多分类）： 仅对阶段 1 判定为“攻击”的样本进行细分，识别具体的 APT 阶段（5 类）。由于过滤了正常流量，此阶段的不平衡程度大幅降低，使用加权交叉熵损失。

D. 多目标训练
总损失函数由三部分组成：
$$L_{total} = \alpha L_b + \beta L_a + \gamma L_l$$

• $L_b$：阶段 1 的 Focal Loss（侧重难分类样本）。
• $L_a$：阶段 2 的加权交叉熵（针对稀有攻击类别赋予更高权重）。
• $L_l$：逻辑一致性损失，强制 LTN 的符号推理结果与真实标签一致，确保符号推理不是“幻觉”。

3. 主要贡献 (Key Contributions)

1. 首个基于 Transformer 的可解释 IoT IDS： 提出了将 BERT 与 LTN 统一的神经符号框架，在训练过程中直接集成可解释性，而非事后解释（Post-hoc）。
2. 架构级解决类别不平衡： 创新性地采用分层二阶段分类，避免了 SMOTE 等合成数据方法带来的模式模糊问题，同时通过 Focal Loss 和加权采样处理极端不平衡。
3. 统计验证的可解释性： 提供了严格的统计证据，证明模型关注的特征（注意力权重）在攻击和正常流量间存在显著差异（75% 的特征具有统计显著性），确保了决策逻辑基于真实的攻击特征而非学习伪影。

4. 实验结果 (Results)

在 SCVIC-APT2021 数据集上的评估结果如下：

• 二分类性能（检测能力）：
  • F1 分数： 95.27%
  • 误报率 (FPR)： 0.14%（极低，对于自主部署至关重要）
  • 正常流量召回率： 99.86%
• 多分类性能（APT 阶段识别）：
  • 宏观 F1 分数 (Macro F1)： 76.75%
  • 尽管在极稀有的“数据窃取”类别上表现较低（F1 40.86%），但整体性能优于其他非可解释的基线模型。
• 对比分析：
  • 相比纯 BERT（Macro F1 0.39）、聚类+BERT 等基线，神经符号方法显著提升了性能。
  • 虽然比部分非可解释的 SOTA 方法（如 ACM, PKI）的 Macro F1 略低（82% vs 76.75%），但本文模型提供了统计验证的内在可解释性，且误报率极低，更适合实际自主部署。
• 可解释性验证：
  • 对 100 个测试样本的分析显示，75% 的特征在攻击和正常流量间的注意力权重差异具有统计显著性（p < 0.05），证明了模型关注的是真实的攻击签名。

5. 意义与结论 (Significance)

• 操作可行性： 该研究证明了在极度不平衡的 IoT 环境中，可以构建既高性能又高可信的 IDS。极低的误报率（0.14%）使其适用于需要自主决策且无人工干预的场景。
• 信任与透明度： 通过神经符号方法，将“黑盒”深度学习转化为“白盒”逻辑推理，使安全分析师能够理解模型为何做出特定判断（例如：基于 PSH 标志异常和流量体积判定横向移动），这对于建立自动化安全系统的信任至关重要。
• 未来方向： 当前模型参数量较大（1.1 亿），未来计划通过模型蒸馏和压缩技术，使其能部署在资源受限的 IoT 网关设备上。

总结： 本文成功解决了一个长期存在的矛盾——如何在数据极度不平衡且需要高度可解释性的 IoT 安全场景中，利用深度学习实现高精度的 APT 检测。其提出的 BERT-LTN 分层架构为构建下一代可信、自主的网络安全系统提供了新的范式。