💻 computer science

An End-to-End Framework for Functionality-Embedded Provenance Graph Construction and Threat Interpretation

本文提出了 Auto-Prov 框架，利用大语言模型从异构日志中自动构建嵌入功能上下文的溯源图，从而提升异常检测性能并生成可解释的攻击总结以辅助分析师调查。

原作者： Kushankur Ghosh, Mehar Klair, Kian Kyars, Euijin Choo, Jörg Sander

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Kushankur Ghosh, Mehar Klair, Kian Kyars, Euijin Choo, Jörg Sander

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Auto-Prov 的新系统，它就像是一个**“超级智能的网络安全侦探助手”**。

为了让你更容易理解，我们可以把计算机系统的运行比作一个繁忙的大型城市，而日志（Logs）就是这座城市里每天产生的海量监控录像、交通记录和电话通话记录。

1. 以前的痛点：侦探太累，线索太乱

现状：
现在的网络安全系统（侦探）需要分析这些海量的记录来找出坏人（黑客）。但是，以前的方法有几个大麻烦：

规则太死板： 以前的侦探是靠人工写“规则书”来工作的。比如：“如果看到 vmtoolsd.exe 这个文件，就标记为进程”。但这就像警察只认识穿红衣服的小偷，一旦小偷换了蓝衣服（系统升级或换了新软件），规则就失效了，侦探就抓不到人了。
看不懂“为什么”： 以前的系统只知道“谁”和“谁”有联系，但不知道“为什么”联系。比如，一个“文档编辑器”突然去连接“网络”，这可能是正常的（用户发文件），也可能是黑客在偷数据。以前的系统分不清这两者的功能意图。
报告太乱： 就算抓到了坏人，生成的报告也是一堆乱码和复杂的图表，普通人类侦探（安全分析师）看得头昏脑涨，不知道重点在哪里。

2. Auto-Prov 的解决方案：给侦探装上“大脑”和“翻译官”

Auto-Prov 利用大型语言模型（LLM，比如现在的 AI 大模型）来解决这些问题。我们可以把它想象成给侦探配了一位全能的 AI 助手。

第一步：自动整理线索（自动构建关系图）

以前的做法： 警察需要 manually（手动）去读每一段监控录像，写下谁和谁说话了。
Auto-Prov 的做法：
1. 自动分类： AI 助手先快速浏览所有录像，自动把长得像的录像归类（比如把“交通记录”和“电话记录”分开）。
2. 智能提取： 它挑选几份典型的录像，让大 AI 读一遍，然后让 AI 自己写一套“提取规则”。
3. 批量处理： 这套规则写好后，就可以自动处理剩下的海量录像，把零散的记录变成一张清晰的**“关系网图”**（也就是论文里说的“溯源图”）。
- 比喻： 就像 AI 先学会了怎么读“交通罚单”，然后自动把所有罚单整理成一张“谁在什么时候去了哪里”的地图，不需要人工一个个去抄写。

第二步：给角色贴上“功能标签”（嵌入功能上下文）

以前的做法： 地图上的节点只写名字，比如 file123。侦探不知道它是干嘛的。
Auto-Prov 的做法：
- 认识的老朋友： 如果 AI 认识这个名字（比如 chrome.exe），它会直接告诉侦探：“这是个浏览器，它的正常工作就是上网。”
- 陌生的新面孔： 如果出现了 AI 没见过的名字（比如系统升级后的新文件），AI 会看它做了什么（行为）。如果它像“浏览器”一样去连接网络，AI 就推断：“虽然我不认识它的名字，但它干的是浏览器的活，所以它也是个浏览器。”
- 比喻： 以前侦探只知道“张三”和“李四”握了手。现在 AI 告诉侦探：“张三是个送外卖的，李四是个开餐厅的。送外卖的去餐厅是正常的，但如果送外卖的去银行金库，那肯定不对劲！”

第三步：生成“人话”报告（攻击总结）

以前的做法： 给分析师一张复杂的蜘蛛网图，上面全是红点。
Auto-Prov 的做法：
- AI 助手把这张复杂的网，翻译成一段自然语言的故事。
- 它还会告诉分析师：“这看起来像是一次‘钓鱼攻击’（APT 战术），因为坏人先假装成正常邮件，然后偷偷下载了文件。”
- 比喻： 就像把几千页的监控录像，总结成一句：“昨晚 8 点，有个穿黑衣服的人假装送快递，骗开了门，然后偷走了保险柜。”

3. 实验结果：真的好用吗？

作者用了很多真实世界的黑客攻击数据（包括 Windows、Linux、浏览器日志等）来测试这个系统。

更准： 在同样的检测器下，用了 Auto-Prov 的图，发现坏人的准确率大大提高了。
更稳： 即使系统升级了，出现了以前没见过的软件，Auto-Prov 也能通过“看行为”来推断它的功能，不会像以前那样直接失效。
更懂人： 生成的报告清晰易懂，能直接告诉分析师黑客可能想干什么（比如“提权”、“数据窃取”）。

总结

Auto-Prov 就是一个让网络安全系统“变聪明”的框架。

它不再依赖死板的人工规则，而是利用 AI 大模型：

自动学习怎么从杂乱的日志里画出关系图；
智能理解每个程序是“好人”还是“坏人”（通过它的功能）；
用大白话把复杂的攻击过程讲给人类听。

这就好比把一位只会死记硬背的初级警员，升级成了一位既懂技术、又懂推理、还能写漂亮结案报告的资深侦探，让网络安全防御变得更加自动化和智能化。

Auto-Prov：端到端功能嵌入溯源图构建与威胁解读框架技术总结

1. 研究背景与问题定义

背景：
高级持续性威胁（APT）具有隐蔽性强、潜伏期长的特点，通常通过融合正常操作来逃避检测。传统的异常检测依赖于溯源图（Provenance Graph），该图将系统日志中的实体（如进程、文件、网络组件）及其因果交互（如读、写、执行）建模为有向图，帮助检测器学习正常行为并识别异常。

现有挑战：
尽管溯源图在理论上有效，但在实际部署中面临三大核心挑战：

构建可扩展性差（Challenge 1）：现有的溯源图构建高度依赖人工编写的正则表达式规则。面对异构（不同平台、格式）且不断演变的系统日志，维护这些规则极其耗时且脆弱，微小的格式变化即可导致规则失效。
缺乏功能上下文（Challenge 2）：现有的异常检测器通常仅使用实体名称的嵌入或粗粒度的类型（如“进程”）作为节点特征。这些特征无法反映实体的功能意图（例如，无法区分“文档编辑器进程”和“服务宿主进程”调用命令行进程的不同语义），导致良性行为与恶意行为难以区分，误报率高。
分析解读困难（Challenge 3）：检测到的警报通常以庞大、复杂的攻击图形式呈现，缺乏自然语言摘要，难以被安全分析师快速理解和调查。

2. 方法论：Auto-Prov 框架

Auto-Prov 是一个自适应的端到端框架，利用大语言模型（LLM）自动构建包含功能上下文的溯源图，并生成可解释的攻击摘要。其核心流程包含五个组件：

2.1 自动日志类型发现 (Automatic Log Type Discovery)

机制：针对日志流的异构性和冗余性，Auto-Prov 采用在线聚类策略。
技术细节：
- 使用 RoBERTa 对日志条目进行编码。
- 利用 Greedy Farthest Point (GFP) 采样策略在时间窗口内选择最具多样性的日志样本，避免处理海量重复数据。
- 使用 DBStream 密度聚类算法对采样日志进行在线聚类，自动识别新的日志格式类型（Log Types）。
- 为每种新发现的类型选择代表性样本，作为后续处理的输入。

2.2 候选溯源提取器 (Candidate Provenance Extractor, CPE)

机制：利用强大的闭源 LLM（如 GPT-4o）作为“教师”，从原始非结构化日志中提取参考溯源信息。
任务分解：CPE 将提取任务分解为四个子任务：
1. 日志摘要：生成描述系统交互的自然语言摘要。
2. 实体类型提取：识别实体及其粗粒度类型。
3. 实体提取：提取参与交互的实体名称/路径。
4. 边提取：推断交互的方向和类型（读/写/执行）。
目的：生成高质量的“候选溯源记录”，作为规则生成的黄金标准（Ground Truth）。

2.3 规则生成器 (Rule Generator)

机制：为了解决直接对海量日志使用大模型计算成本过高的问题，Auto-Prov 将 CPE 的提取行为蒸馏为轻量级的正则表达式（Regex）规则。
技术细节：使用较小的开源 LLM（如 LLaMA-3）根据候选日志及其对应的 CPE 输出，逆向推导出生成正则规则。这些规则被存储在规则数据库中，用于在流式日志上高效地批量提取溯源图。
优势：实现了从“大模型推理”到“规则匹配”的规模化扩展，同时保持了对新日志格式的适应性（发现新类型即更新规则）。

2.4 节点功能增强 (Node Enricher)

机制：解决“缺乏功能上下文”的问题，为图中的节点注入功能标签（如“文档编辑器”、"Microsoft 驱动”）。
双重推断策略：
1. 基于名称的推理：对于已知实体，利用开源 LLM（LLaMA-3）根据其名称、路径结构推断功能标签。
2. 基于行为的推断：对于 LLM 无法识别的新颖实体（标记为 NO LABEL），利用行为分类器。该分类器基于实体在图中的一跳交互模式（如与内核、浏览器、文档的交互频率），通过余弦相似度匹配已知实体的行为特征，从而推断其功能。
结果：生成的溯源图节点不仅包含名称，还嵌入了功能属性，显著提升了检测器的区分能力。

2.5 图助手 (Graph Assistant)

机制：解决“分析解读困难”的问题，将检测到的攻击图转化为自然语言摘要。
流程：
1. 将攻击图的边线性化为自然语言序列（源实体 - 交互 - 目标实体）。
2. 对于未知实体，注入之前推断的功能标签作为上下文。
3. 利用 LLM 生成攻击行为的自然语言描述。
4. 战术映射：将描述与 MITRE ATT&CK 框架中的战术（如“初始访问”、“权限提升”）进行映射，并提供推理依据，辅助分析师调查。

3. 主要贡献

自适应端到端框架：提出了 Auto-Prov，实现了从原始日志到功能增强溯源图的自动化构建，无需人工编写规则。
功能上下文嵌入：提出了一种结合 LLM 推理和行为分类的功能标签推断方法，解决了传统方法无法区分功能相似但意图不同的实体的问题。
可扩展的日志处理：通过“大模型提取 + 规则蒸馏”的架构，成功解决了在海量异构日志流中应用 LLM 的计算瓶颈。
可解释性攻击摘要：开发了将攻击图转化为自然语言并映射到 APT 战术的机制，显著降低了分析师的认知负荷。

4. 实验结果

研究在 THEIA 和 ATLAS 两个包含真实世界 APT 攻击的异构数据集上进行了评估，使用了四种最先进的溯源图检测器（Flash, MAGIC, OCR-APT, Kairos）。

检测性能提升：
- Auto-Prov 在所有检测器上均显著提升了检测性能。在 THEIA 数据集上，平均 AUC-ROC 提升了 0.23；在 ATLAS 上提升了 0.15。
- 攻击检测精度 (ADP) 显著提升，表明 Auto-Prov 能更可靠地检测出隐蔽的、仅产生少量异常节点的攻击。
- 功能特征（Functional Features）的引入是性能提升的关键，单独使用功能特征无法弥补基础图结构的缺陷，但结合 Auto-Prov 生成的高质量图结构后效果最佳。
组件有效性分析：
- 日志聚类：DBStream + RoBERTa 组合在日志类型发现上表现最稳定。
- LLM 选择：GPT-4o 在候选提取任务中表现最好，能跨异构日志恢复完整的交互结构；LLaMA-3 在规则生成和功能推断上表现最佳，且能覆盖绝大多数实体。
- 行为分类器：有效弥补了 LLM 对未知实体功能推断的不足，确保了功能标签的覆盖率。
可解释性评估：
- 战术推理正确性：助手生成的战术映射与 MITRE ATT&CK 定义的一致性很高（ $\alpha_{TC}$ 通常 > 0.8）。
- 鲁棒性：即使对实体名称进行“投毒”（Poisoning，模拟未知实体），助手仍能通过行为分类器推断功能，保持摘要和战术推理的稳定性。

5. 意义与结论

Auto-Prov 解决了当前基于溯源图的异常检测在实际落地中的三大瓶颈：规则维护难、功能上下文缺失、结果不可解释。

技术意义：证明了大语言模型在网络安全日志分析中的潜力，特别是通过“蒸馏”策略实现了 LLM 能力与系统可扩展性的平衡。
应用价值：通过自动构建富含功能语义的溯源图，显著降低了误报率，提高了对隐蔽 APT 攻击的检出率。同时，生成的自然语言摘要和战术映射极大地辅助了安全分析师的调查工作，推动了溯源检测技术从实验室走向实际部署。

局限性：

对于完全新颖且行为模式与已知实体均不相似的实体，功能推断可能失败。
假设日志输入和提示词未被恶意篡改（未考虑提示词注入攻击）。

总体而言，Auto-Prov 为构建自适应、可解释且高效的下一代入侵检测系统提供了重要的技术路径。