Bridging Explanation and Operations: A Systematic Review and Taxonomy of XAI-Enabled Cybersecurity Detection
本系统综述综合了 2020 年至 2026 年间可解释人工智能（XAI）赋能的网络安全检测研究，旨在识别评估与鲁棒性方面的关键空白，并提出一个多维分类法和结构化研究议程，以指导开发值得信赖且在操作上有效的防御系统。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字防御领域，安全团队不再仅仅依赖于已知不良行为的静态列表来捕捉攻击者。相反，他们转向了人工智能——这种系统通过学习海量的网络流量来识别预示着入侵的模式。这些系统在发现威胁方面表现得极其出色，往往能识别出人类专家可能忽略的复杂攻击。然而，这种力量伴随着代价：最先进的学习系统运作起来就像“黑盒”一样。它们可以告诉安全分析师某个事件是危险的，却无法轻易解释原因。在一个误报会浪费宝贵时间、而漏掉威胁则可能导致灾难的领域中，了解决策背后的逻辑与决策本身同样重要。这种对透明度的需求催生了一个被称为“可解释人工智能”（XAI）的领域，其目标是打开这个黑盒，展示机器决策背后的逻辑。
来自塞浦路斯、挪威和希腊大学的研究小组最近致力于绘制该领域在网络安全方面的现状图谱。他们对 2020 年至 2026 年间发表的数百项研究进行了大规模的系统性综述，探讨了这些解释工具是如何被用于保护网络、设备和工业系统的。他们的研究题为《弥合解释与运营》（Bridging Explanation and Operations），不仅列举了新技术，还剖析了这些工具在现实世界中是如何被构建、测试和使用的。研究人员发现，尽管技术取得了显著进步，但仍然存在一个关键差距：即生成解释的能力与足以在实时安全中心据此采取行动的信任度之间的差距。
研究人员检查了涵盖广泛数字战场的研究，从守护企业网络的入侵检测系统，到保护智能工厂和物联网设备的传感器。他们将发现结果整理成一个清晰的框架，从四个主要领域进行观察：正在解决的具体安全问题类型、用于解决问题的学习架构、所选的决策解释方法，以及如何评估结果。呈现出的景象是由一种特定方法所主导的。大多数研究者采用一种高精度、复杂的机器学习模型，并在其完成工作后，附加一个独立的工具来解释其决策。这被称为“事后法”（post-hoc method），即解释就像在房子盖好后涂上一层油漆一样被添加上去。执行这项工作的最常用工具是两种特定的技术，它们通过计算哪些数据点对最终决策最为重要来进行分析。虽然这种方法允许实现高精度，但研究人员指出，它往往将解释视为一种事后补充，而非系统设计的核心组成部分。
该综述还强调了这些系统在测试方面存在的显著失衡。在所分析的大多数研究中，研究人员几乎完全专注于系统检测攻击的效果，使用诸如准确率和错误率之类的标准指标。极少有研究进一步测试解释本身的质量。研究人员指出，一个解释看起来可能很有说服力，但在本质上可能是错误的、不稳定的，或者容易被聪明的攻击者欺骗。他们发现，诸如解释的“稳定性”（即对于相似的攻击是否给出相同的理由）以及“抗操纵性”等属性很少被衡量。在网络安全这种高风险的环境中，对手会积极尝试愚弄检测系统，因此，一个可以被操纵的解释是一种危险的隐患。论文表明，该领域目前过于关注证明检测器是否有效，而不够关注证明解释是否值得信赖。
另一个重大发现涉及这些工具在人类安全分析师中的实际应用。综述显示，虽然许多论文通过制作色彩丰富的图表来展示为何触发警报，但很少有研究实际测试过这些视觉效果是否能帮助人类分析师做出更好的决策或更快的决策。研究人员观察到，在现实世界的安全运营中心，分析师被大量警报淹没，必须做出快速判断。一个在技术上正确但过于复杂或处理缓慢的解释，非但不能减轻负担，反而会增加负担。研究发现，当前的研究往往未能考虑到人类用户的认知负荷，也未能考虑到生成解释所需的时间，而这在威胁发生的实时过程中至关重要。
作者还指出，该领域过度依赖一小套标准数据集来测试这些系统。虽然这些共享数据集允许研究人员比较结果，但综述表明，这种做法可能会制造一种虚假的安全感。在这些特定的、广为人知的数据集上表现完美的系统，在面对真实且不可预测的网络环境时往往会陷入困境。研究人员认为，为了使这些工具真正发挥作用，必须在现实条件下进行测试，包括数据不完美或环境不断变化的场景。他们还呼吁开展更多关于“将解释能力内置于模型初始阶段”而非“后期添加”的系统研究，因为这可能会带来更可靠、更稳健的安全工具。
最终，这一全面的综述为数字防御的未来提供了路线图。它证实了虽然我们在教机器寻找威胁方面取得了巨大进步，但我们尚未完全解决如何教机器以一种人类可以信任并有效利用的方式进行自我解释的问题。研究人员得出结论，下一步不仅是构建更聪明的检测器，而是要构建一个让解释本身像检测过程一样安全、稳定且可靠的系统。通过将重点从单纯生成解释转向针对现实世界威胁和人类需求进行严格验证，该领域可以迈向一个人工智能成为保护我们数字世界时，真正透明且可靠的合作伙伴的未来。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。