🤖 AI

Evaluating LLM Generated Detection Rules in Cybersecurity

本文介绍了一个开源评估框架和基准指标，旨在通过使用留出集方法将大语言模型生成的网络安全检测规则与人工生成的规则进行对比，从而评估其有效性。

原作者： Anna Bertiger, Bobby Filar, Aryan Luthra, Stefano Meschiari, Aiden Mitchell, Sam Scholten, Vivek Sharath

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Anna Bertiger, Bobby Filar, Aryan Luthra, Stefano Meschiari, Aiden Mitchell, Sam Scholten, Vivek Sharath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一座巨大且繁忙的城市，每一封电子邮件都是通过邮政系统传递的一封信件。在这座城市里，有一些坏人试图混入伪造的信件、诈骗信息和伪装成友好便条的病毒。为了阻止他们，我们雇佣了“侦探”来编写特定的规则以识别这些捣蛋鬼。例如，一条规则可能会说：“如果一封信来自可疑地址且带有奇怪的附件，请标记它！”这些规则就是我们数字城市的保安。

长期以来，只有人类侦探才能编写这些规则。他们研究数以千计的信件，学习行业诀窍，并编写精确的指令来抓捕坏人。但最近，一种新型侦探来到了：人工智能（AI）。这些 AI 代理就像是超级快速的学徒，能够阅读指令并在几秒钟内编写自己的规则。大家心中最大的疑问是：这些 AI 学徒真的能胜任这份工作吗？还是说它们只是在编写听起来很聪明、但实际上无法抓住真正的罪犯，或者更糟——开始对着无辜的人大喊“着火了！”的规则？这正是来自 Sublime Security 的研究团队想要解决的谜题。他们想看看 AI 是否能像人类专家一样编写安全规则，如果可以，维持这个 AI 运行需要多少成本。

这篇论文介绍了一种测试这些 AI 侦探的新方法，重点关注一个名为 ADÉ（发音为“Ah-Day”）的特定 AI 代理。ADÉ 的设计目标是观察一封恶意电子邮件，并编写一条规则来捕捉未来类似的恶意邮件。研究人员不仅询问“它是否奏效？”，还建立了一个详细的评分系统来衡量三件事：规则捕捉恶意邮件的能力（准确性）、规则在黑客改变微小细节时失效的可能性（鲁棒性），以及让 AI 编写出一条有效规则所需的资金（经济成本）。

为了测试 ADÉ，研究人员与人类编写的规则玩了一场复杂的“捉迷藏”游戏。他们从 Sublime Security 收藏的优秀人类规则列表中，秘密地从 ADÉ 的记忆中隐藏了一条规则。然后，他们向 ADֶ 展示了一封原本应该被该隐藏规则捕捉到的恶意邮件，并问道：“你能写一条规则来捕捉这个吗？”在 ADÉ 写出规则后，研究人员使用一个包含 45,000 封电子邮件的海量数据库，将它的规则与原始的人类规则进行了对比。

结果呈现出一种令人印象深刻的技能与可以理解的局限性并存的状态。在编写难以被欺骗的规则（鲁棒性）方面，ADÉ 的表现出奇地好，得分几乎与人类专家持平。例如，在涉及隐藏 JavaScript 代码的邮件测试中，ADÉ 编写的规则与人类编写的规则一样难以被绕过。然而，ADÉ 要谨慎得多。人类专家编写的是基于多年经验、旨在捕捉数千封恶意邮件的广泛规则，而 ADÉ 编写的则是基于它所看到的单封邮件的非常狭隘的规则。因此，ADÉ 捕捉到的恶意邮件总量（真阳性）较少，但误报好邮件（假阳性）的情况也少得多。事实上，对于某些测试，ADÉ 的规则实现了零误报，而人类的规则有时会标记一些无辜的信息。

研究还调查了使用 AI 的“成本”。编写规则并不是免费的；每当 AI 尝试编写代码却失败时，运行计算机都需要花钱。研究人员发现，ADÉ 通常只需要 1 到 3 次尝试就能编写出通过技术检查的规则。这转化为非常低的成本，根据任务复杂程度，每条成功规则的成本大约在 1.51 美元到 5.13 美元之间。有趣的是，AI 倾向于比人类作者编写更详细的注释来解释其逻辑，这使得规则更易于阅读。

最终，这篇论文表明，像 ADÉ 这样的 AI 代理正变得有能力编写高质量的安全规则，特别是在避免误报和控制预算方面。然而，它们还没有完全准备好取代人类专家。因为 AI 一次只能看到一封邮件，它很难编写出人类在研究了数千个案例后所创造的那种广泛且具有概括性的规则。研究人员得出结论，虽然 AI 是一个可以高效处理特定任务的强大工具，但最好的安全保障来自于一种伙伴关系：由 AI 处理繁重的规则编写工作，而人类专家则负责引导策略，以确保规则能撒下更广的网来捕捉威胁。

技术摘要：评估网络安全领域中 LLM 生成的检测规则

问题陈述

大语言模型（LLM）与 AI Agent（智能体）在网络安全运营中的集成面临着显著的信任赤字。尽管厂商宣传 Agent 是革命性的技术，但经验丰富的工程师仍持怀疑态度，担心其生成“听起来很有道理的废话”。目前存在一个关键差距，即缺乏标准化的开源指标来评估 LLM 生成的安全规则的有效性。由于缺乏严格的衡量标准，组织无法验证 Agent 是否能胜任人类检测工程师的工作，也无法建立必要的信任，从而在不浪费时间和精力的情况下部署这些工具。此外，现有的代码生成评估方法（如通过单元测试验证功能正确性）和入侵检测方法（如精确率/召回率）并不能完全解决安全规则生成的独特挑战，例如对抗鲁棒性、运营噪声以及迭代生成的经济成本。

方法论

作者提出了一个开源评估框架和基准，旨在衡量 LLM 生成的网络安全规则相对于人类生成基准的质量。该方法采用“留出集”（holdout set）方法，将自主智能体与人类专家进行对比。

智能体：ADÉ

该框架通过 ADÉ（自动化检测工程师）进行演示，这是一个由 Sublime Security 开发的智能体系统。ADÉ 采用模型无关的架构，利用经过精选的检测工程最佳实践、TTP（战术、技术和过程）以及 MQL 文档构建的知识库，并结合动态文件分析、计算机视觉和发件人信誉度等工具。

工作流： ADÉ 接收单个恶意邮件样本，对其进行分析，搜索现有的规则覆盖缺口，并生成候选的 MQL 检测规则。
迭代优化： 与难以处理长上下文漂移的传统智能体不同，ADÉ 采用了闭环反馈机制。它验证语法，针对样本运行规则，并在历史数据中发起威胁狩猎。子智能体会分析这些结果（真阳性、假阳性及鲁棒性）以提供反馈，使 ADÉ 能够迭代优化逻辑直至收敛。

评估指标

该框架从三个不同维度对规则进行评估：

检测准确性：
- 使用了包含约 45,000 封电子邮件（恶意和良性）的标记数据集。
- 计算综合得分（公式 1），该得分是标准精确率与唯一真阳性（Unique TPs，即未被核心馈送中任何其他规则捕获的 TP）精确率的平均值。
- 原理： 在安全领域，独特的检测具有极高的价值，因为它们能提高整体系统的召回率。该框架承认测量假阴性（“未知之未知”）的难度，因此侧重于基于精确率的指标。
语法正确性的经济成本：
- 改编了“通过成本”（cost-to-pass）框架（Erol 等人，2025）来衡量生成有效规则的经济影响。
- 计算 总成本 = （每次尝试的成本）×（尝试次数， $k$ ）。
- 使用 pass@k 指标来确定智能体生成通过验证的语法正确 MQL 规则需要多少次尝试。
鲁棒性（脆弱性）：
- 开发了一个基于奖励（鲁棒模式，如行为指标、模糊匹配）与惩罚（脆弱模式，如对 IP、域名或哈希值的直接字符串匹配）比例的启发式脆弱性得分（ $B \in [0, 100]$ ）。
- 原理： 直接匹配极易被轻微的对抗性规避手段绕过，而行为指标则能提供更具泛化能力的解决方案。最终的鲁棒性得分为 $1 - (B/100)$ 。

核心贡献

本文引入了一个专门针对自主检测规则生成的创新基准框架：

运营可行性流水线： 一个结合了功能正确性与真实世界追溯狩猎（retro-hunting）的端到端评估流程，旨在发现噪声阈值、可维护性及性能护栏。
内置对抗鲁棒性： 一种用于衡量并提供规则脆弱性反馈的特定指标，旨在减少琐碎的对抗性绕过。
开源框架： 作者计划发布该模块化流水线，以实现可重复的研究，并为其他安全规则生成智能体（如 YARA、自定义 DSL）提供标准化的评估。

结果

研究将 ADÉ 生成的规则与来自 Sublime Core Feed 的留出人类编写规则进行了对比，涵盖了 11 个不同的攻击场景（如 BEC、HTML 走私、钓鱼）。

范围 vs. 精确率： 与人类规则相比，ADÉ 的规则在范围上明显较窄，检测到的总消息数和已知真阳性数都较少。这归因于 ADÉ 受限于仅从单个邮件样本进行工作，而人类则是基于大规模数据集中的广泛行为模式来设计规则。
假阳性： ADÉ 生成的规则产生的假阳性显著减少（在测试集中通常为零），这反映了其对威胁宇宙的观察视角较为狭窄。
性能得分：
- 人类规则实现的得分范围为 0.711 至 0.996。
- ADÉ 规则实现的得分范围为 0.557 至 1.000。
- 在若干案例中（例如“含有 JavaScript 的 SVG 文件中的 EML”），ADÉ 取得了比人类基准（0.996）更高的得分（0.998），这得益于其高精确度和唯一 TP。
鲁棒性： 研究发现 ADÉ 和人类规则在脆弱性方面“相当接近”。基础 LLM 成功结合了可用工具，生成的查询在对抗性规避的韧性方面与人类专家相当。
成本效率： pass@k 指标与运行 LLM 的实际美元成本密切相关。ADÉ 通常需要 1–3 次尝试即可生成语法正确的规则，每个规则的成本在 ~ $1.50 到 ~$ 5.13 之间。
定性差异： 与人类作者相比，ADÉ 生成的规则往往带有更详尽、更有帮助的注释，尽管人类规则在覆盖逻辑上更为广泛。

意义与主张

本文声称，该方法提供了一种现实且多维度的 LLM 类安全规则生成器评估方式。通过超越简单的功能正确性，将其扩展到经济成本和对抗鲁棒性，该框架为智能体的运营可行性提供了更全面的视角。

作者谦虚地总结道，虽然由于单样本输入的限制，ADÉ 目前生成的规则在召回率方面比人类专家要窄，但它展示了生成高质量、鲁棒且经济高效规则的能力。该框架作为一个迭代改进的基础，表明未来的工作可以利用这些指标来扩大 ADÉ 的范围，使其在保持精确性和鲁棒性的同时，在召回率上足以媲美人类。本文并不声称 ADÉ 已完全取代人类工程师，而是将其定位为检测工作流中一个可行的、可衡量的组成部分，并且可以进行系统性的改进。