ICS Cybersecurity Datasets: A Systematic Meta-Review of Coverage, Evaluation Practice, and Structural Gaps
本文对从18项研究中识别出的83个工业控制系统（ICS）网络安全数据集进行了系统的元综述，揭示了诸如架构浅层化和演进压缩等削弱当前评估实践的关键结构性缺陷，并提出了一个旨在通过改进语料库构建、基准测试和数据治理来解决这些不足的协调研究议程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：维持着我们的电网运转、水处理厂洁净以及工厂运行的那些无形的数字指令，正面临着持续不断的威胁。这些被称为工业控制系统（ICS）的系统，是现代文明的神经系统。多年来，研究人员一直试图构建数字免疫系统，以便在网络攻击造成物理破坏之前将其识别并阻止。为了训练这些数字防御者，科学家们依赖于庞大的数据库——即正常运行的记录和模拟攻击的记录。人们曾寄希望于通过将这些记录输入计算机程序，使程序能够学会识别黑客入侵的细微迹象。然而，对这些数据库进行的全面审视表明了一个令人不安的现实：这个训练场从根本上说是破碎的。
来自挪威、希腊和西班牙大学的一个研究小组最近决定退后一步，对这些数据收集领域的整个格局进行审查。他们并没有测试新的算法或构建新的模拟器，而是对研究本身进行了一次大规模审计。他们收集了 2019 年至 2026 年间发表的 18 项主要研究，这些研究共同描述了用于训练和测试安全系统的 83 个不同数据集。通过将这些信息组织成一个统一的框架，他们发现研究人员可获得的数据不仅是不完整的，而且在结构上存在偏差，这使得我们很难完全验证我们的防御措施是否有效。
研究人员发现，绝大多数数据收集都集中在攻击的一个非常特定的后期阶段。大约 85% 的数据集仅展示了当攻击者已经闯入并正试图破坏系统（例如关闭阀门或停止电机）时发生的情况。缺失的是攻击者最初是如何到达那里的过程。网络入侵的早期阶段——黑客可能正在悄悄扫描网络、窃取密码，或从企业办公网络向工业控制室进行横向移动——在数据中几乎完全缺席。事实上，只有约 8% 的数据集捕捉到了攻击从业务侧跨越到物理控制侧的完整旅程。这意味着，正在接受训练的数字防御者就像是那些只练习过如何在房子烧起来之后灭火的消防员，却从未学会如何识别在走廊里点火的纵火犯。
问题不仅在于攻击的时机。数据也未能展示最关键的物理机械部分。工业系统通常被描述为一个层级结构，顶层管理业务运营，底层直接控制物理传感器和电机。研究人员发现，数据高度集中在监控系统的中间层。而实际进行物理作业的最底层，在数据收集中实际上是隐形的。由于缺乏来自这些现场设备的记录，研究人员无法构建能够理解攻击所带来的真实物理后果的安全系统。此外，大多数数据来自模拟环境或实验室测试平台，而非真实的、运行中的工业工厂。虽然这些模拟很有用，但它们往往缺乏现实世界操作中那种杂乱、不可预测的噪声，从而在安全系统所学习的内容与现实情况之间造成了鸿沟。
最令人惊讶的发现涉及这些数据收集如何被用于测试安全系统。研究人员发现，用于评估成功的方法往往存在缺陷。在许多情况下，数据被随机拆分为训练集和测试集，这可能会导致信息泄露。因为工业数据是一个连续的流，当前一时刻与下一时刻紧密相关，随机打乱数据会导致测试程序利用它本不该知道的“未来”模式。这导致了性能指标的虚高，使安全系统看起来比实际效果要好得多。此外，用于标记什么是攻击以及什么是正常的标签往往过于模糊。许多数据集使用的标签涵盖了很长的一段时间，而不是精确指出攻击何时开始和结束，这使得判断系统是及早还是延迟检测到了威胁变得不可能。
该团队得出结论，当前的研究正陷入一种狭隘性的循环。数据太浅，无法教会系统理解攻击的全貌；数据太模拟，无法为现实世界做好准备；数据标注也太差，无法衡量其真正的性能。他们认为，如果训练数据仍然如此有限，仅仅开发更好的算法是解决不了问题的。相反，他们提议开展协调一致的努力，以构建覆盖整个攻击时间线、包含最低层物理机械记录以及来自真实运行环境的新型数据集。他们还呼吁制定更严格的规则来测试这些数据集，确保安全系统能够在实时且符合现实条件的条件下评估其检测威胁的能力。在这些结构性差距被填补之前，我们对工业网络安全防御能力的信心充其量只是一种幻觉，因为基准性能的声明往往受限于获取这些性能的数据集的结构属性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。