A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

在现代世界的隐秘层级中，数十亿台智能设备——从工厂传感器到家用恒温器——正在不断地相互通信。这个庞大的网络被称为物联网（Internet of Things），它是我们数字基础设施的神经系统。但正如任何神经系统一样，它也容易受到干扰。黑客可以发送微妙且经过计算的信号，旨在欺骗监控这些设备的安防软件，使危险的攻击看起来像是无害的背景噪声。多年来，安全专家一直依赖人工智能来识别这些入侵者。然而，一个新问题出现了：当这些人工智能系统标记出威胁时，它们通常会解释做出该判断的“原因”。关键的问题在于，当人工智能正受到积极欺骗时，其解释是否依然保持诚实。如果黑客能诱骗系统忽略一次攻击，那么系统的解释也会变成谎言，还是依然指向真相？

来自达福迪尔国际大学（Daffodil International University）的一个研究小组着手测试这些人工智能解释在遭受攻击时的诚实度和可靠性。他们专注于两种用于解释人工智能决策的流行方法，即被称为 SHAP 和 LIME 的工具。这些工具就像聚光灯一样，通过高亮显示网络信号的哪些部分（例如数据包的大小或连接的持续时间）导致了人工智能发出警报。研究人员想知道，当输入数据被黑客微妙地篡改时，这些聚光灯是会保持稳定和准确，还是会发生摇摆并指向错误的方向。为了获得真正可靠的答案，他们避免了仅测试一个人工智能模型的常见错误。相反，他们训练了二十个相同安全系统的不同版本，每个版本都从略微不同的随机设置开始，以确保他们的发现并非仅仅是某次特定训练过程中的偶然巧合。

研究人员使用来自两个主要网络流量集合的真实世界数据，对这些系统进行了严格的一系列测试。他们模拟了三种类型的攻击：一种是广泛且不受限制的攻击，它会以现实网络无法产生的形式改变数据；一种是更具现实感的攻击，仅改变攻击者可以控制的数值；以及一种高度受限的攻击，它遵循数据包构建的所有物理规则。他们发现，那些产生不可能的数据值（如具有分数字节的数据包）的不受限攻击大多是虚假警报。当研究人员迫使这些不可能的记录看起来像真实的、有效的数据时，针对神经网络模型的攻击成功率大幅下降。然而，工作机制不同的基于树的模型（tree-based models）则更容易受到这些看似合理的诡计的影响。

最令人震惊的发现涉及到了解释本身。当人工智能模型受到攻击时，SHAP 方法能够持续提供忠实且稳定的解释，即使在决策发生变化时，也能始终如一地反映模型的行为。相比之下，LIME 方法被证明远不够可靠。在受到攻击时，LIME 的解释往往会发生偏移，其变化程度与系统正常运行时几乎一致，这表明其变化大多是随机噪声，而非对攻击的真实反映。事实上，在二十次不同训练过程的所有对比中，SHAP 在准确性和稳定性方面都优于 LIME。研究人员还发现，安全系统“报警阈值”（即决定发出警报的临界点）的选择比模型本身更为重要。一个被调校得非常敏感的系统可能会捕捉到几乎所有的攻击，但也会产生如此多的误报，导致安全团队应接不暇；而一个更严格的设置虽然能减少噪音，但也可能漏掉攻击。

或许最令人清醒的发现是，没有任何单一的安全系统是不可战胜的。在其中一个数据集上，即使是最先进的神经网络，也可能被一个仅仅通过在数据包中添加额外填充数据的黑客彻底愚弄——这种技术成本极低，却能完全绕过防御，模型对此类攻击的检测率最高仅为 3%。基于树的模型虽然更具鲁棒性，但针对其结构设计的巧妙且具有针对性的攻击，仍能在很大程度上规避防御。这项研究得出结论：虽然我们可以构建能够解释自身推理过程的人工智能系统，但这些解释的可靠程度取决于系统抵御操纵的能力。该研究为未来如何测试这些系统提供了清晰的路线图，强调我们不能仅仅看简单的准确率评分，还必须考察当系统面临真实压力时，其解释能力的表现如何。我们用来理解数字防御的工具，必须与防御本身一样具有韧性。