💻 computer science

What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule

本文提出了一种无需决策规则的评估框架，该框架将检测器表征物理过程的能力与其阈值校准分离，揭示了传统的指标（如 ROC-AUC）可能会掩盖不同网络物理系统基准测试和异常检测器之间显著的性能差异及不同的失效模式。

原作者： Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Peiran Shi, Jian Xiang, Xiang Zhang, Chenglong Fu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名在大型高科技工厂里的保安，那里有机器人正在组装汽车，还有化学品在混合。你的工作是观察流水线上发生的任何异常情况。如果机械臂移动得太快，或者阀门在不该开启的时候开启了，你需要立即知道。在科学领域，这被称为信息物理系统（Cyber-Physical System, CPS）。这是计算机代码与现实物理世界交汇的地方。但棘手的部分在于：有时工厂只是经历了一个“糟糕的一天”。机器在震动，温度在波动，传感器也变得有些不稳定。你如何区分这是一个无害的小故障，还是一个试图搞破坏的黑客在进行隐蔽攻击？

长期以来，科学家们一直试图通过构建“异常检测器”来解决这个问题。把这些检测器想象成超级智能的摄像头，它们观察着工厂。它们学习什么是“正常”，并在看到异常时大喊“警报！”。但问题在于，我们测试这些摄像头的方法出了问题。通常，我们只看最终结果：警报响了吗？有没有漏掉任何东西？这就像评价一个学生时，只看他是否举手，而不检查他是否真的理解了问题。这篇论文指出，我们需要在摄像头根据规则决定何时尖叫之前，先观察这台摄像头到底“看到了”什么。

双阶段侦探

这篇论文的作者们——来自北卡罗来纳大学夏洛特分校的一个团队——决定不再仅仅根据检测器的最终“尖叫声”（警报）来评分。相反，他们将每个检测器视为一个两步走的过程，就像侦探破案一样。

第一阶段：证据收集者。
想象一名侦探正在观察犯罪现场。他们不会立刻大喊“罪犯！”。首先，他们要收集线索。他们测量鞋上的泥土、房间的温度和时钟的时间。在论文的语言中，这就是残差表示（residual representation）。检测器获取工厂的数据，并计算“实际发生的情况”与“应该发生的情况”之间的“差距”。如果机械臂移动了5英寸，但计算机预期是4英寸，那么“残差”（差距）就是1英寸。这个阶段的核心在于收集原始证据。

第二阶段：决策者。
一旦侦探掌握了线索，他们就必须做出决定：这是一起犯罪吗？也许他们有一条规则：“如果泥土超过2英寸，就报警。”这就是报警规则（alarm rule）。它是一个阈值。如果差距足够大，你就尖叫；如果差距很小，你就忽略它。

论文指出的核心问题是，大多数科学家只关注第二阶段的最终结果。他们说：“哦，检测器A的成功率是90%，而检测器B是80%。”但这就像是在说两个侦探同样优秀，仅仅因为他们抓住了相同数量的罪犯，却不去询问他们是如何发现罪犯的。也许检测器A拥有极佳的线索，但用于报警的规则很糟糕；也许检测器B虽然线索很差，但因为报警门槛设得太低而侥幸成功。

新的观察方式：“能量”计

为了解决这个问题，作者发明了一种衡量检测器的新方法。他们创建了一个名为**归一化残差能量（Normalized Residual Energy）**的工具。

你可以把它想象成一个“怪异度计”。与其只问“你尖叫了吗？”，不如问：“在你决定尖叫之前，证据看起来有多怪异？”他们测量的是“现实世界”与“预期世界”之间差距的“能量”。如果工厂运行正常，能量就很低。如果黑客在干扰阀门，能量就会激增。

这个计量的妙处在于，它不在乎“尖叫规则”。它只测量原始证据。作者发现，这个能量计与一个数学概念——**库尔贝克-莱布勒散度（Kullback–Leibler divergence, KL divergence）**有着特殊的联系。简单来说，这是一种衡量两个事物差异程度的方法。就像是在测量一个“正常的”工厂日与一个“被黑客攻击的”工厂日听起来有多么不同。通过使用这个能量计，作者可以在不受决策规则干扰的情况下，观察到证据的“真相”。

他们的发现：伟大的侦探置换

该团队在三个著名的工厂测试平台（SWaT、WADI 和 HAI）上测试了五种不同类型的检测器（例如 GDN、FuSAGNet、TranAD 等）。这些平台就像是不同“关卡”的游戏，每个关卡都有自己的布局和攻击类型。

以下是他们的发现，而且非常令人惊讶：

“分数”的谎言： 两个检测器的最终得分（如 F1 分数或 ROC-AUC）可能几乎相同，但当我们观察原始证据时，它们完全不同。一个可能拥有出色的证据但报警规则很差，而另一个可能证据薄弱但规则很幸运。论文显示，在 SWaT 测试平台上，即使两个检测器的整体排名相似，在使用标准规则时，它们的报警成功率差异可能超过十倍（一个数量级）！
“一刀切”的迷思： 你可能会认为一个在第一关（SWaT）表现优秀的检测器，在第二关（WADI）也会表现出色。作者发现这并非事实。一个名为 TranAD 的检测器在 HAI 测试平台上表现最佳，但在 SWaT 上却垫底。与此同时，NSIBF 是 WADI 的王者，却在 HAI 上表现最差。事实证明，不同的工厂需要不同的“眼睛”。
“稀释”问题： 一些检测器会同时观察整个工厂，将所有数据汇总在一起。作者发现，在 WADI 测试平台上，这样做是个坏主意。如果黑客只破坏大型工厂中的一个微小阀门，而检测器观察的是整个工厂，那么这个微小的信号会被来自工厂其他部分的正常、平淡的数据所“稀释”（冲淡）。信号会在噪声中消失。但那些专注于观察工厂特定较小部分（如仅针对传感器）的检测器，却能清晰地捕捉到攻击。
“漂移”陷阱： 有时，检测器错过攻击并不是因为它本身不好，而是因为工厂发生了变化。如果工厂在测试期间的运行方式与训练期间略有不同（比如机器正在预热），“正常”的基准就会发生偏移。作者发现，一些检测器的失败是因为它们的“正常”参考基准正在发生漂移，导致攻击看起来像是正常的噪声。

这为什么重要

这篇论文并不只是在说“检测器 X 更好”。它更像是一个医生的诊断工具。如果一名患者（检测器）生病了，你不能只说“他们病了”，你需要知道“为什么”。是由于“眼睛”（第一阶段）看不见疾病？还是由于“大脑”（第二阶段）反应太慢？或者是由于患者的身体已经发生了如此大的变化，以至于旧的医疗图表不再适用？

通过将“证据收集”与“决策制定”分离，作者展示了报警失败可能源于多个不同的环节：

证据薄弱： 检测器根本无法察觉到攻击。
阈值错误： 检测器看到了攻击，但设置的报警门槛过高。
漂移： 工厂发生了变化，检测器对“正常”的记忆已经过时。
稀释： 攻击信号太小，在宏观视角中丢失了。

总结

这篇论文表明，我们不应仅通过最终的报警铃声来评判网络安全检测器。相反，我们应该观察“残差能量”——即它们收集到的原始、未经处理的证据。作者展示了当你这样做时，检测器的排名会发生彻底改变，你最终也能理解检测器为何失败。这是一种从仅仅“计数报警”向理解机器“视觉能力”的转变。

这项研究并不是发明了一个新的检测器来赢取奖项；它发明了一种新的评判现有检测器的方法。而它们给出的成绩单非常明确：如果你想知道一个检测器是否真正优秀，你必须在它决定尖叫之前，先看看它看到了什么。

技术摘要：独立于决策规则的 CPS 异常检测器评估

1. 问题陈述

网络物理系统（CPS）依赖异常检测器作为对抗传感器和执行器遥测操纵的最后一道防线。然而，对这些检测器的标准评估存在缺陷，因为它混淆了两个截然不同的组件：

第一阶段（表示）： 将观测值映射到残差信号（例如预测误差、重构误差或不变性违规）的过程，该信号代表了观测行为与预期正常行为之间的差距。
第二阶段（决策规则）： 通过阈值、平滑处理或顺序检验（如 CUSUM）将残差映射为二进制报警的过程。

目前的基准测试通常在单一操作点报告精确率（precision）、召回率（recall）和 F1 分数。这些指标混合了残差表示的质量与决策规则的校准度。因此，较低的 F1 分数无法区分漏报是由以下哪种原因导致的：

残差证据微弱（攻击对模型而言是不可见的）。
训练-测试漂移（正常分布在训练与测试之间发生了偏移）。
维度稀释（局部攻击在跨所有通道聚合证据时被掩盖）。
阈值校准不佳（证据存在，但报警规则未能提取出来）。

当比较异构检测器（例如图预测器与不变性检查器）时，这一问题会更加严重，因为它们的残差存在于不同的空间中，并配以独立调优的决策规则。

2. 方法论

作者提出了一种无需决策规则的评估框架，该框架将 CPS 异常检测器视为一个两阶段流水线，并直接评估第一阶段。

两阶段分解

第一阶段 ( $\phi$ )： 将观测窗口映射到残差向量 $r_t$ 。
第二阶段 ( $\pi$ )： 将残差映射到报警 $a_t$ 。
该框架在应用任何报警规则之前，隔离并评估 $\phi$ 。

残差信息-能量框架

核心指标是归一化残差能量 ( $e_t$ )，定义为残差相对于训练正常参考值的马氏距离平方的一半：
$e_t = \frac{1}{2} (r_t - \mu_0)^\top S_0^{-1} (r_t - \mu_0)$
其中 $\mu_0$ 和 $S_0$ 是从无攻击训练数据中估计出的残差分布的均值和协方差。

理论基础：
在矩匹配高斯视图下，该能量的期望与测试分布与训练正常参考值之间的 Kullback–Leibler (KL) 散度 具有确切的联系。具体而言：
$E[e_t | P] - \frac{p}{2} = D_{KL}(P_G || P_0) + \frac{1}{2} \log \frac{\det S_P}{\det S_0}$
这一恒等式允许能量尺度同时衡量：

攻击分离度： 攻击分布与正常分布的分离程度。
训练-测试漂移： 正常分布偏移的程度。
残差空间结构： 表示的紧凑性。

评估指标

该框架从能量流中导出若干诊断指标：

秩指标（Rank Metrics）： 用于衡量点级分离度的 ROC-AUC 和 pAUC@1%（侧重于低误报率）。
攻击窗口能量： 集成 KL 估计 ( $D_{FULL}$ ) 以及攻击窗口在时长匹配的正常窗口中占主导地位的概率 ( $P_{FULL}$ )。
漂移诊断： 训练-测试漂移 ( $D_{drift}$ ) 和漂移修正后的证据 ( $D_{eff}$ )，用以区分攻击信号与正常分布偏移。
紧凑性： 有效维度 ( $p_{eff}$ ) 与标称维度 ( $p$ ) 的比率，指示残差空间被利用的程度。
受控第二阶段探测： 使用训练正常能量第 99 百分位数的固定阈值作为探测器（ $F1@p99$ ），其目的仅在于观察共享规则能提取多少证据，而非作为主要的排序指标。

3. 实验设置

该框架被统一应用于 五个检测器 跨越 三个 CPS 基准测试，且未进行针对每个检测器的调优：

检测器： GDN、FuSAGNet、TranAD（图/Transformer 预测器）、NSIBF（基于观测器）以及 GeCo（代数不变性）。
基准测试： SWaT（水处理）、WADI（大型水分配系统）和 HAI（电力/锅炉）。
协议： 检测器在无攻击数据上进行训练，并在带标签的攻击轨迹上进行评估。评估过程使用固定协议来估计正常参考（使用 Ledoit–Wolf 收缩协方差）并计算能量指标。

4. 关键结果与发现

研究回答了关于检测失败性质的四个诊断性研究问题 (RQs)：

RQ1：在报警规则之前是否存在攻击证据？

发现： 相似的 ROC-AUC 值可能会掩盖报警性能中数量级的差异。例如，在 SWaT 上，TranAD 的 ROC-AUC 为 0.750，但其 $F1@p99$ 仅为 0.025，而其他具有相似 ROC-AUC 的检测器实现了更高的 F1。这表明残差表示包含了排序信息，但在低误报率区域的分离度较弱。

RQ2：正常残差参考是否稳定？

发现： 训练-测试漂移是失败的主要来源。具有相似攻击排序的检测器表现出截然不同的漂移值。例如，在 SWaT 上，GDN 显示出巨大的漂移 ( $1.9 \times 10^5$ )，而 NSIBF 的漂移极小 ( $6.2 \times 10^2$ )。高漂移降低了固定阈值的裕量，解释了即使模型“正确”也会发生漏报的情况。

RQ3：证据是在残差空间中表达还是被稀释了？

发现： 残差空间的选择决定了哪些攻击是可见的。在 WADI 上，局部攻击被 NSIBF（它对传感器创新子空间进行评分）成功检测，但被全观测检测器漏掉。跨所有通道聚合证据的过程稀释了局部信号。这解释了为什么排名在不同测试床之间会发生变化：NSIBF 在 WADI 上排名第一，但在 HAI 上排名垫底；而 TranAD 在 HAI 上排名第一，在 SWaT 上排名垫底。

RQ4：第二阶段规则是否提取了可用证据？

发现： 受控的第二阶段探测显示，类似的漏报可能源于不同的原因。一些失败是由于残差证据微弱（攻击几乎不改变残差），另一些是由于漂移主导的证据（攻击能量 < 漂移），还有一些是由于阈值提取失败（证据存在但固定阈值未能捕捉）。

5. 意义与贡献

本文声称有四个主要贡献：

决策规则无关的评估对象： 它将第一阶段残差表示的评估与报警规则分离，使得研究人员可以在应用任何阈值或平滑处理之前，询问是否存在攻击证据。
残差信息-能量尺度： 它引入了一个具有确切 KL 散度解释的归一化残差能量指标，提供了一个通用的尺度，用于比较处于不同残差空间中的异构检测器（图、Transformer、观测器、不变性检测器）。
失效归因诊断： 它提供了一套指标来区分特定的失效模式：弱证据、参考不稳定、维度稀释以及第二阶段校准失败。这使评估超越了单一的排行榜数字，转变为一种诊断工具。
统一的跨检测器研究： 它证明了检测器排名在不同测试床之间无法可靠地转移，并且相似的报警级失败往往具有不同的潜在原因（例如，是需要重新设计表示还是稳定参考）。

结论：
作者认为，CPS 中的检测失败是多维度的。通过将残差表示与决策规则分离，所提出的框架揭示了“检测失败”并非一个单一的概念。它可以源于检测器无法感知攻击、正常基准的不稳定性、高维空间中的信号稀释，或是报警策略对证据提取的次优性。这种方法能够实现更具针对性的改进，例如针对局部攻击重新设计表示，或针对漂移稳定化参考，而不是仅仅简单地调整阈值。