Modular Semantic Schema Mapping for Heterogeneous Security Syslogs: Deployability and Cross-Vendor Robustness
本文提出了一种用于将异构安全日志映射到统一模式的模块化三阶段流水线，并通过对韩国教育领域数据的广泛评估证明，将结构规范化与局部及基于代理的语义匹配器相结合，在显著提高映射准确性的同时，也揭示了不同厂商环境下精度与部署延迟之间的关键权衡。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代组织的数字神经系统中，安全团队依赖于被称为系统日志的自动化报告流。这些日志是防火墙、服务器和网络设备在监测威胁时留下的数字足迹。为了让安全团队从这股信息洪流中理出头绪，他们需要将这些报告翻译成一种统一的语言。想象一下，一个房间里的人正试图讨论一场火灾，但一个人称之为“烈焰”，另一个人称之为“大火”，第三个人称之为“热事件”，而且他们描述位置时使用的街道名称和建筑编号也各不相同。如果没有共同的词汇，对话就会失败。在网络安全领域，这种共同的词汇被称为模式（schema）。当来自不同制造商的不同安全产品生成日志时，它们往往会为相同的基本概念使用各自独特的名称和结构，从而创造出一个混乱的障碍，阻碍自动化系统对数据的有效分析。
韩国弘济大学的一个研究小组通过开发一种新方法来解决这一问题，旨在将这些冲突的安全报告翻译成一种通用语言。他们的工作重点是韩国庞大的教育机构网络，那里有来自各种供应商的数千种不同的安全设备，每天产生数百万条警报。研究人员发现，仅仅试图让一个人工智能模型一次性解决整个翻译问题既低效，在现实应用中也往往不切实际。相反，他们将任务分解为一个包含三个步骤的过程，就像一条专门的流水线。首先，他们清理杂乱的字段名称和结构；第二，他们使用匹配工具来寻找正确的含义；第三，他们对匹配结果进行评分，以决定结果的可信度。这种模块化的方法允许安全团队根据自己的特定需求选择合适的工具，从而在速度与准确性之间取得平衡。
他们解决方案的核心在于在进行分析之前对数据进行组织的新方式。研究人员创建了一种他们称为“标准化映射对象”（Normalized Mapping Object）的标准格式。可以将其想象为将一份复杂的、手写的笔记重写为一份严格的三部分表格：项目名称、该项内容的类型以及它在系统层级结构中的位置。通过强制要求每一项数据都符合这种严苛的结构，研究人员消除了因不同制造商使用不同名称来指代同一事物而导致的困惑。他们在基于数百份描述学校和大学所用安全设备日志的文档的大规模数据集上测试了这种方法。该数据集包含一千个源字段和一千个目标字段，代表了安全分析师必须管理的复杂连接网络。
当他们将这种标准化格式应用于其匹配工具时，结果立竿见影且意义重大。他们测试了两种不同类型的匹配引擎：一种是在计算机上使用紧凑、高效的模型运行的本地模型，另一种是使用更强大的云端人工智能代理。在没有这种新标准格式的情况下，本地模型只能在约一半的情况下正确识别出匹配项。有了这种新格式，其准确率跃升至百分之七十以上。强大的云端代理也得到了提升，从大约百分之七十八上升到了百分之八十五以上。这证明了他们工作的价值不仅在于匹配工具本身，更在于他们准备数据的方式。标准化格式降低了简单工具和复杂工具的工作难度。
研究人员随后对比了两种匹配引擎，以观察哪一个更适合真实的安全性操作。云端代理在寻找单一最佳匹配方面略胜一筹，其准确率约为百分之八十六。然而，它的速度极其缓慢，处理单个字段需要近二十六秒。在每分钟都会收到数千条警报的安全中心，这种程度的延迟是无法接受的。相比之下，本地模型要快得多，处理一个字段仅需一点五秒。虽然它在挑选最顶端的匹配项方面准确度稍逊，但它在提供前五个候选名单方面表现出色。事实上，它在提供前五个选项中包含正确答案的频率比那个较慢的代理还要高。这揭示了一个关键的权衡：快速的本地工具几乎能像后者一样为安全分析师提供一份简短的审查名单，但它几乎是瞬间完成，且无需将数据发送到外部服务。
为了确保系统的鲁棒性，研究人员针对现实世界的变化进行了测试，包括使用其独特名称的各种不同供应商。他们重点研究了来自三家不同制造商的网络应用防火墙。即使系统从未见过某个新供应商使用的特定名称，只要存在标准目标，本地模型仍能以约百分之八十三的准确率正确映射字段。当他们尝试利用一个供应商的知识来辅助映射一个完全不同的供应商时，准确率仍保持在百分之七十八左右的高水平。这表明该系统能够应对市场中不断出现的新设备和不同命名规范的复杂现实。研究人员还测量了每个步骤所需的时间，证实了本地方法足以在标准办公硬件上运行，而无需依赖昂贵的云服务。
该研究得出结论，对于每种情况，并不存在一种单一的“最佳”解决方案。相反，最佳方法取决于安全团队的具体约束条件。如果优先考虑寻找绝对完美的匹配且对速度没有要求，那么强大的云端代理是更好的选择。然而，对于大多数需要快速处理数据并将其保留在自身安全网络内的安全运营中心而言，本地模型提供了一个极具吸引力的替代方案。它提供了高水平的准确性，特别是当分析师愿意查看一份简短的候选名单时，并且它能以实现实时监控的速度运行。研究人员提议采用一种混合策略，即由快速的本地模型处理大部分工作，只有在遇到最困难或最不确定的案例时，才将其发送给更慢、更强大的代理。这种方法使组织能够在保持高安全标准的同时，不会被必须管理的庞大数据量和多样性所拖累。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。