A structured event logging framework for language model assisted security event analysis

在数字世界中，计算机采取的每一个动作都会留下痕迹。当用户登录、文件被保存或安全设置被更改时，系统都会记录下该事件。这些被称为“事件日志”的记录，是安全团队了解网络内部发生情况的主要方式。几十年来，分析这些日志的标准方法是将它们输入到专门的软件或由人工分析师进行处理，以寻找暗示威胁的模式。然而，新一代的人工智能工具，特别是大语言模型，已经展现出了自动化这一任务的前景。这些模型经过海量文本训练，能够理解自然语言，这使得它们在理论上非常适合阅读并解读隐藏在安全日志中的故事。然而，一个显著的问题出现了：当这些强大的人工智能工具被要求阅读标准的计算机日志时，它们经常失败。它们会产生不一致的答案，遗漏关键细节，或者捏造从未发生过的事实。这种不可靠性使得它们在现实世界的安全领域中显得十分危险，因为一次错误的判断可能意味着攻击被忽视，或者将无害的行为误判为攻击。

赫德斯菲尔德大学和曼彻斯特大都会大学的研究人员试图通过提出一个不同的问题来解决这一问题。他们并没有试图让人工智能变得更聪明，而是怀疑日志本身是否存在问题。他们假设，计算机目前记录信息的方式对于人工智能来说过于杂乱且过于技术化，导致其难以理解。为了测试这一点，研究团队开发了一种新的计算机记录活动的方式，这种方式是专门为可被语言模型读取而设计的。他们构建了一个工具，可以从计算机系统的各个部分捕获事件，过滤掉噪音，并在数据被分析之前将其重写为清晰、结构化的格式。其结果是一个由计算机承担繁重组织工作、向人工智能呈现清晰连贯故事的系统，而非仅仅呈现一段混乱的代码流。

研究小组通过模拟二十种不同的安全场景（从简单的密码更改到复杂的网络入侵）来测试他们的新方法。他们使用这个新工具记录事件，并将结果与目前行业内使用的标准日志方法进行了对比。当他们将这些日志输入到几种不同的语言模型中时，差异非常显著。使用新格式的模型能够一致地识别出正确的问题并提供相关的解决方案。相比之下，当相同的模型被给予传统的、非结构化的日志时，它们的表现大幅下降。它们难以区分正常活动与潜在威胁，经常无法识别出关键的安全设置已被更改。新格式消除了人工智能需要猜测或解释混乱代码的需求，从而显著提高了准确性。

最显著的发现之一是，由于新系统运作得如此出色，模型很少会编造事实，即所谓的“幻觉”现象。在这次特定的实验中，包括使用传统格式在内的所有测试中，错误率实际上为零。然而，研究人员指出，这一结果可能会受到与其他研究相比使用的日志数量相对较少的因素影响，他们无法在没有更多大规模数据集测试的情况下，明确断定幻向是否已得到永久消除。这表明，人工智能困惑的主要原因并非缺乏智能，而是输入数据的质量低下。通过确保日志从创建之初就是结构化、一致且以纯文本语言编写的，研究人员移除了导致人工智能出错的障碍。该系统还能自动完成关联相关事件的任务。该工具不再等待单独的程序去发现两个不同的日志是在同一时间发生且属于同一次攻击，而是在事件发生时就自动将这些点连接起来。

研究人员还探讨了通过增加更多数据来训练人工智能模型，是否能帮助它们更好地处理旧有的、杂乱的日志。他们发现，即使经过额外的训练，模型在面对传统格式时仍然表现挣扎。然而，在使用新格式时，即使没有任何额外训练，模型的表现也异常出色。这表明，数据的结构比模型训练集的大小更为重要。团队测量了分析日志所需的时间，发现他们的新方法比大多数传统方法都要快得多。虽然像 Sysmon 这样的一些标准工具需要几分钟完成分析，但其他工具处理相同量的信息则需要数小时。这种速度结合高准确性，表明这种新方法使人工智能驱动的安全分析在日常使用中具有实用价值。

这项研究并未声称解决了网络安全中的所有问题，研究人员也承认他们的测试是在单一类型的计算机系统上进行的。他们计划在未来将工作扩展到其他操作系统。然而，核心发现是明确的：如果我们希望人工智能理解数字事件，那么记录数字事件的方式就需要改变。通过将日志格式视为一种沟通工具而非仅仅是技术记录，研究人员在人类机器与人工智能之间架起了一座桥梁。这种视角的转变让人工智能能够发挥其长处——理解语言并寻找模式——而不至于迷失在原始数据的噪音之中。其结果是一种更可靠、更快速、更安全的方式来保护计算机系统，证明了有时提升一个工具的最佳方式不是使其变得更复杂，而是让它接收到的信息更加清晰。