Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering?
本文通过对领域专家的研究，调查了大语言模型在网络入侵检测系统（NIDS）规则工程中的可信度，结果表明，尽管大模型能够生成语法正确的规则，但其语义上的不准确性和幻觉现象限制了其应用，使其仅能承担辅助起草的角色，而非自主生成。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是这座繁忙大都市的安全主管。你的职责是编写“法律”（规则），告诉你的保安（网络入侵检测系统，即 NIDS）究竟该盯着什么看。如果一辆车在单行道上逆行，保安需要一条特定的法律来拦截它；如果小偷试图撬锁，保安需要一条规则来拉响警报。
多年来，编写这些法律一直是一项艰巨的手工活。这需要深入了解城市运作的方式、小偷是如何活动的，以及法律书籍中精确的语法。但随着犯罪演变的速度比以往任何时候都快，人类专家正变得疲惫不堪、应接不暇，并且面临时间不足的问题。
大语言模型（LLMs）登场了。把它们想象成超级聪明、由人工智能驱动的“法律文员”，它们读过了图书馆里的每一本书。这篇论文提出的核心问题是：“我们能否信任这些 AI 文员来编写我们保安所使用的实际法律，还是说它们只会写出一些看起来很完美但实际上毫无意义的废话？”
研究人员并没有仅仅要求 AI 编写规则，而是设置了一项严谨的测试，邀请了 10 名真实的安保专家（即“评委”）来观察会发生什么。以下是他们的发现，通过简单的解释呈现如下：
1. “语法完美，意义错误”的悖论
AI 文员在语法方面表现出色。当被要求编写一条安全规则时，AI 几乎总是能把拼写、标点和结构处理得非常完美。这就像一个学生写出的句子拼写和标点都无懈可击，但内容在现实世界中却毫无逻辑。
- 研究结果： AI 可以编写出计算机接受且不会报错的规则（符合语法规范）。然而，当人类专家审视这些规则时，他们发现这些规则往往过于笼统或存在逻辑缺陷。大约有 12% 的时间，AI 出现了“幻觉”（编造内容），创造出了听起来很正式、但实际上无法抓捕罪犯的规则。
2. 体量决定一切（大脑袋 vs 小脑袋）
研究人员测试了不同规模的 AI 模型。
- 小型模型： 把它们想象成训练不足的实习生。它们几乎完全失败了，甚至连计算机能接受的规则都写不出来。
- 大型模型： 把它们想象成资深教授。它们表现得好得多，在“语法”正确率上达到了 85–90%。
- 症结所在： 即便是这些“教授”也需要大量的帮助。它们经常在初稿阶段出错，需要经过多次修正后，规则才达到可用状态。
3. “过于宽泛”的问题
这是人类专家最大的抱怨点。
- 类比： 想象一名保安因为“有些车可能是偷来的”就拦截每一辆车。这毫无帮助；这会导致交通瘫痪并引发混乱。
- 现实情况： AI 倾向于编写过于宽泛的规则。它不会说“拦截车牌号为 ABC-123 的红色卡车”，而是会说“拦截任何车辆”。专家们表示，这些规则会产生过多的误报（噪音），从而让真正的威胁更难被发现。AI 在处理细节方面表现挣扎，比如无法精准判断具体的流量类型或线索的确切位置。
4. 人类依然是老板
研究人员构建了一个让 AI 充当助手而非老板的系统。他们为专家提供了一个可以与 AI 对话、检查其工作并修正错误的工具。
- 结果： 专家们非常喜欢这个工具用于起草和解释事物。他们认为它易于使用，并能帮助他们更快地理解复杂的规则。
- 信任问题： 然而，没有人信任 AI 可以独立工作。他们将 AI 视为“起草助手”或“拼写检查器”，而不是“规则编写者”。如果 AI 写了一条规则，人类必须从头重写或进行大幅度修改，之后才会将其投入实际系统。
- 结论： 专家们表示：“我们会利用它来提高工作效率，但绝不会让 AI 独自做出最终决定。”
5. “上下文”线索
当给予 AI 更多背景信息（例如一个“概念验证”或攻击样本）时，它的表现会更好。这就像是给法律文员一张罪犯的照片，而不仅仅是一个文字描述。然而，AI 需要拥有“大脑袋”（大型模型）才能处理这些额外的信息而不至于感到困惑。
总结
论文的结论是：虽然 AI 是安全专家的优秀助手——擅长检查语法、解释复杂概念和起草粗略的想法——但它尚未准备好成为安全规则的架构师。
专家们看到了一个未来：AI 帮助他们工作得更快，但他们坚持要保持“人类在环”（human in the loop）。他们希望自己才是那个复核工作的人，因为一旦出错（让黑客进入或阻止合法用户），代价太高，无法将决策权交给机器。
简而言之： AI 是一个能写出完美句子的天才速记员，但它仍然需要一位人类编辑来确保这个故事真的讲得通。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。