🤖 AI

Retrieval-Augmented LLMs for Security Incident Analysis

本文提出了一种结合目标查询过滤与检索增强生成（RAG）的大语言模型系统，用于高效分析网络安全事件，实验表明该系统在恶意流量和 Active Directory 攻击场景中实现了高召回率与精度，且相比无 RAG 基线显著提升了攻击基础设施识别能力，同时通过模型选择（如 DeepSeek V3）大幅降低了分析成本。

原作者： Xavier Cadet, Aditya Vikram Singh, Harsh Mamania, Edward Koh, Alex Fitts, Dirk Van Bruggen, Simona Boboila, Peter Chin, Alina Oprea

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xavier Cadet, Aditya Vikram Singh, Harsh Mamania, Edward Koh, Alex Fitts, Dirk Van Bruggen, Simona Boboila, Peter Chin, Alina Oprea

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个**“超级安全助手”**的故事，它利用最新的人工智能技术，帮助网络安全专家在海量数据中快速揪出黑客的踪迹。

想象一下，你是一家大公司的**“数字侦探”。每天，你的公司会产生数百万条监控记录（比如谁登录了电脑、谁访问了网站、防火墙发出了什么警报）。这就像是在大海里找一根特定的针**，而且这根针还伪装成了普通的沙子。

传统的做法是：侦探（安全分析师）必须亲自翻看每一张监控录像，累得精疲力竭，还容易漏掉关键线索。

这篇论文提出的新系统，就像给侦探配了一位**“拥有超级记忆力和逻辑推理能力的 AI 助手”**。以下是它的核心工作原理，用通俗的比喻来解释：

1. 核心难题：大海捞针 vs. 直接读海

问题：如果把所有监控录像（原始日志）直接塞给 AI，AI 会“消化不良”。因为数据量太大，超过了 AI 的“大脑容量”（上下文限制），而且里面 99% 都是正常的日常活动（比如员工正常打卡），把真正的黑客行为（那根针）给淹没了。
旧方法：就像让侦探直接去读几百万页的流水账，既慢又容易看走眼。

2. 新系统的“三步走”策略

这个系统采用了RAG（检索增强生成）技术，相当于给 AI 装上了一个“智能过滤器”和“超级索引库”。

第一步：智能过滤（像用筛子筛沙子）

系统不会把整片大海倒给 AI。它先运行一套**“特制筛子”**（查询库）。

比喻：侦探手里有一张“通缉令”（比如：寻找可疑的登录时间、寻找奇怪的域名）。系统先用这些通缉令去海量数据里快速筛选，只把可疑的碎片（比如：某台电脑在半夜疯狂下载文件、某个证书请求了管理员权限）挑出来。
结果：原本几百万条数据，被压缩成了几十条**“高价值情报摘要”**。

第二步：智能拼图（像拼图游戏）

系统把这些筛选出来的“高价值情报”存入一个**“智能图书馆”**（向量数据库）。

比喻：当侦探问 AI：“谁是黑客？”AI 不会瞎猜，而是立刻去图书馆里，根据问题的语义，精准地找到那几块最相关的拼图。
关键点：AI 不仅能看到单块拼图，还能把分散在不同地方的线索拼起来。比如，它发现"A 电脑”在“凌晨 3 点”登录了，同时"B 服务器”收到了"A 电脑”发来的奇怪指令。虽然这两条记录在原始数据里离得很远，但 AI 能把它们关联起来，还原出完整的攻击链条。

第三步：生成报告（像写侦探小说）

AI 根据找到的拼图，用人类能听懂的语言，写出一份**“案件分析报告”**。

输出：它不仅能告诉你“哪台电脑中毒了”，还能告诉你“黑客是怎么进来的”、“用了什么手段”、“接下来该怎么做”。

3. 实验结果：谁最厉害？

研究人员测试了 8 种不同的 AI 模型（包括国外的 Claude、GPT 系列，以及中国的 DeepSeek 等），看看谁在破案中最强。

破案率（召回率）：
- DeepSeek V3 和 Claude Sonnet 4 表现最棒，在 4 个不同的病毒攻击场景中，100% 找出了所有线索，没有漏网之鱼。
- 有趣的是，DeepSeek 不仅找得准，而且便宜得惊人。它的成本只有 Claude 的 1/15（就像买一杯咖啡的钱 vs. 买一顿大餐的钱）。
本地部署：
- 有些公司数据太敏感，不能传给云端。研究也发现，在本地电脑上运行开源模型（如 Llama），虽然慢一点，但也能达到 90% 以上的准确率，且数据不出门，非常安全。
没有“过滤器”行不行？
- 如果直接把原始数据扔给 AI（不用 RAG 技术），AI 就像**“盲人摸象”，只能看到表面（比如知道哪台电脑中毒了），但完全找不到黑客的藏身之处**（如控制服务器、恶意域名）。这证明了“先过滤、再分析”的架构是必须的。

4. 总结：这对我们意味着什么？

这篇论文告诉我们，未来的网络安全不再是靠人海战术去翻日志，而是靠**“聪明的 AI 助手”**：

更精准：AI 能像老练的侦探一样，把分散的线索串联起来，还原完整的犯罪过程。
更省钱：像 DeepSeek 这样的模型，能用极低的成本达到顶尖的破案效果，让中小企业也能用得起高级安全分析。
更快速：以前需要分析师花几小时分析的案件，现在几分钟就能出报告，让防御者能在黑客造成更大破坏前就采取行动。

一句话总结：
这就好比给网络安全团队配了一位**“不知疲倦、过目不忘且逻辑严密的神探”**，它能在几秒钟内从百万条监控录像中，精准锁定黑客的藏身之处，并告诉你该往哪里开枪。

论文技术总结：基于检索增强生成（RAG）的 LLM 安全事件分析系统

1. 研究背景与问题定义 (Problem)

核心挑战：
网络安全运营中心（SOC）面临日益增长的威胁数量和复杂性，但分析师人手不足。传统的基于签名和静态规则的检测机制难以应对未见过的攻击模式（如证书模板滥用、Kerberos 票据伪造等）。现有的机器学习方法多用于警报分类或异常评分，无法提供攻击者行动的时间线重构和叙事性解释。

具体痛点：

数据量过大： 单个安全事件可能产生数百万条日志，远超大语言模型（LLM）的上下文窗口限制。
信噪比低： 日志中混杂着大量正常活动（如常规认证、良性连接），掩盖了真正的攻击信号。
分析耗时： 人工梳理分散在不同来源（IDS 警报、网络流量、认证事件）的证据极其耗时，且 LLM 直接处理原始日志速度慢、成本高。
上下文缺失： 单一日志条目往往无法揭示完整的攻击链，需要跨事件、跨日志源的语义关联推理。

目标：
构建一个智能系统，能够从海量日志中提取相关威胁指标，利用 LLM 进行语义推理，生成可解释的安全事件分析报告，并支持攻击序列重构。

2. 方法论与系统架构 (Methodology)

该系统采用 检索增强生成（RAG） 架构，将传统的日志过滤与 LLM 的推理能力相结合。系统分为两个主要阶段：

2.1 安全上下文提取 (Security Context Extraction)

目标： 在将数据送入 LLM 之前，先通过针对性查询从原始日志中提取关键信息，减少数据量并保留语义关联。
机制：
- IOC 查询库： 预定义一组针对特定攻击类型（如 Active Directory 攻击、恶意软件流量）的查询，关联 MITRE ATT&CK 技术（如 T1649 证书伪造、T1558 Kerberos 票据窃取）。
- 聚合与压缩： 查询不仅提取原始日志，还通过聚合器（Aggregators）将成千上万条事件压缩为具有行为特征的语义块（例如：统计连接数、文件下载量、异常证书请求模式）。
- 向量化： 将提取后的聚合结果进行语义嵌入（Embedding），存入向量数据库，以便快速检索。

2.2 RAG-LLM 分析 (RAG-LLM Analysis)

目标： 利用检索到的上下文增强 LLM 的推理能力，回答取证问题或重构攻击路径。
工作流程：
1. 问题构建： 分析师提出取证问题（如“受感染的主机 IP 是什么？”、“攻击者使用了哪些 C2 服务器？”）。
2. 语义检索： 系统根据问题语义，从向量库中检索最相关的 Top-k 个数据块（Chunks）。
3. 提示工程： 将检索到的证据块、网络拓扑背景（如 IP 段、域名）以及问题本身组装成 Prompt，赋予 LLM“网络安全分析师”的角色。
4. 生成报告： LLM 基于证据生成结构化的事件报告，包括受感染资产、攻击指标（IOCs）、攻击时间线及防御建议。

2.3 设计原则

先过滤后分析： 避免 LLM 处理原始海量数据。
一次嵌入，多次查询： 索引构建一次，支持不同问题和模型重复使用。
供应商无关： 抽象 LLM 接口，支持云端 API（如 Claude, DeepSeek, GPT）和本地部署模型（如 Llama, Cisco）。

## 3. 关键贡献 (Key Contributions)

基于 LLM 的事件分析形式化： 将安全事件分析定义为两个互补任务：
- 结构化问答： 针对特定类型（IP、主机名、用户、域名集）的匹配函数进行取证问答。
- 攻击序列重构： 将离散的取证事件关联为因果叙事，还原攻击者行动路径。
面向安全的 RAG 架构： 设计了专门针对安全数据的检索管道。通过“针对性查询提取指标 + 聚合器压缩模式 + 语义分块保留跨事件关系”，使 LLM 能够识别需要跨源关联的复杂攻击（如通过证书请求与颁发中的 Subject/SAN 不匹配来识别 ESC1 攻击）。
全面的 LLM 供应商评估与成本分析： 评估了 8 种 LLM 配置（包括云端 API 和本地部署），对比了性能、延迟和成本。
开源与可复现性： 发布了查询库、RAG 管道、评估脚本及恶意软件流量场景的详细结果。

4. 实验结果 (Results)

研究在两个场景下进行了评估：恶意软件流量分析（4 个场景）和 Active Directory (AD) 多阶段攻击分析。

4.1 恶意软件流量分析 (Malware Traffic Analysis)

召回率 (Recall)：
- Claude Sonnet 4 和 DeepSeek V3 在所有 4 个恶意软件场景中均达到 100% 的召回率。
- 本地部署模型 Ollama (Llama 3.1:70b) 达到 95%，Cisco Foundation-Sec-8B 达到 90%。
- GPT 系列模型表现参差不齐，在复杂的多阶段攻击（如 IcedID）中召回率较低（60-80%），且存在混淆主机名与用户名的推理错误。
成本效益：
- DeepSeek V3 是性价比最高的选择，单次分析成本仅为 $0.008，比 Claude ($0.12) 便宜 15 倍，且性能相当。
- 本地部署（Ollama）成本最低（仅硬件成本），但处理时间较长（2.5 分钟/事件）。
消融实验 (Ablation Studies)：
- RAG 的必要性： 无 RAG 基线（直接将原始日志送入 LLM）由于上下文窗口限制，只能看到 0.6%-4.3% 的日志，导致完全无法检测到攻击基础设施（如 C2 服务器、恶意域名），召回率为 0%。
- 上下文大小 (k)： 对于 Claude 和 DeepSeek，当检索块数量 $k=7$ 时达到 100% 召回率；GPT-5.2 即使增加上下文也无法修复其固有的推理错误。

4.2 Active Directory 攻击分析 (Active Directory Attack Analysis)

攻击步骤检测： 在 5 分钟滑动窗口分析中，系统达到 100% 精确率 (Precision) 和 82% 召回率 (Recall)。
推理能力： 系统成功识别了 ESC1 证书模板滥用攻击，通过关联“证书请求中的 SAN:Administrator"与“证书颁发中的 Subject:"，推断出权限提升向量，展示了超越简单模式匹配的上下文理解能力。
防御建议： 系统生成的防御建议（如吊销证书、重置 KRBTGT、禁用用户）与专家定义的响应动作高度一致，覆盖率达到 100%。
实时性： 本地部署下，每个 5 分钟窗口的分析耗时约 61 秒（含查询和 LLM 推理），满足实时分析需求。

5. 意义与结论 (Significance & Conclusion)

RAG 是安全分析的关键： 实验证明，没有 RAG 预处理，LLM 无法在海量日志中有效定位攻击基础设施。RAG 不仅解决了上下文限制问题，还通过聚合和语义分块保留了跨事件的逻辑关联。
推理能力优于领域预训练： 通用大模型（如 DeepSeek V3, Claude）在安全推理任务上表现优于专门的安全微调模型（Cisco Foundation-Sec-8B），表明逻辑推理能力比单纯的领域知识预训练对复杂取证任务更重要。
成本与性能的平衡： DeepSeek V3 展示了在保持顶级性能的同时大幅降低成本的潜力，使得大规模自动化安全分析在经济上可行。
人机协作的新范式： 该系统并非完全替代分析师，而是作为认知辅助工具，将分析师从繁琐的数据筛选中解放出来，专注于高价值的决策和响应。

总结： 该论文提出了一种结合针对性查询过滤与 RAG 检索的 LLM 系统，成功解决了安全日志分析中的规模、噪声和上下文限制问题。实验表明，该系统在恶意软件检测和 AD 攻击重构中具有高准确率、高召回率和良好的成本效益，为自动化安全运营提供了切实可行的技术路径。