💻 computer science

DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction

该论文介绍了 DiagChain，这是一个包含 69 种多样化场景的诊断基准，以及用于评估大语言模型智能体在基于证据的攻击链重构能力的 ECRAG 框架，并揭示了虽然较大的模型在证据排序方面存在困难，但较小的模型则无法进行基础的证据整合，从而强调了进行阶段性评估而非仅评估综合准确性的必要性。

原作者： Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuyang Liu, Yibin Han, Zhenwei Zhang, Kai Chang, Zhiwei Xu, Tian Qiu, Weixian Deng, Jiabao Gao, Xiaolin Peng, Hai Wan, Xibin Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解谜题的侦探，但你的现场不是犯罪现场，而是一个数字犯罪现场。这些“线索”散落在各处：数以百万计的计算机日志、安全警报和系统记录。在网络安全领域，专家们使用大语言模型（LLM）——即经过海量文本训练的超智能 AI 聊天机器人——来充当数字侦探。这些 AI 代理被期望能够阅读这些杂乱的线索，理清发生了什么，并按正确的顺序写下攻击过程的故事。这个过程被称为攻击链重构（attack chain reconstruction）。这就像是试图观看一部被剪碎成数千个随机帧的电影，然后要求某人将这些帧重新按顺序排列，从而讲述完整的故事。

但问题在于：大多数针对这些 AI 侦探的测试只关注它们写出的最终故事。如果故事错了，测试会判定为“失败”，但它不会告诉你为什么。是侦探漏掉了某个线索？还是他们找到了线索却忘了写下来？或者是他们找到了正确的线索，但把顺序放错了？我们需要一种方法，在侦探工作时窥视他们的“大脑”，看看他们究竟在哪里卡住了。这就是新论文 DiagChain 的意义所在。它引入了一个特殊的测试场，其设计目的不仅是为了给最终答案评分，更是为了诊断 AI 侦探在哪个具体步骤中丢失了线索。

该论文的作者——来自清华大学和中车集团的研究人员——构建了一个名为 DiagChain 的新基准测试来解决这个盲点。他们创建了一个名为 MAIN-69 的数据集，其中包含 69 个不同的“犯罪现场”（场景），涵盖了从简单到极其复杂的各种情况。这些场景源自真实的 Linux 日志、Windows 事件和云端警报等现实世界数据。为了使测试更具真实感，他们加入了不同程度的“噪声”——比如在线索中加入无害的背景杂音，以观察 AI 是否会被分散注意力。他们还改变了攻击链的长度，从短促的活动爆发到漫长的渗透过程。

为了测试 AI，他们使用了一种称为 ECRAG（以证据为中心的检索增强生成）的特殊工作流。把这想象成给了 AI 侦探一个放大镜和一个会自动更新的笔记本。AI 必须搜索线索、将它们分组、确定时间线，然后编写故事，同时不断检查自己的工作。研究人员通过五个特定的“健康检查”而非仅仅一个最终成绩来衡量 AI 的表现：

检索（Retrieval）： AI 是否找到了线索？
分组（Grouping）： 它是否将相关的线索放入了正确的“桶”中？
排序（Ordering）： 它是否按正确的时间顺序排列了事件？
落地/溯源（Grounding）： 它是否确实利用找到的线索来支持其故事？
归因差距（Attribution Gap）： 它是否找到了一个线索，看了它，然后在最终报告中却忘了提及它？

结果令人警醒。即使是最智能的 AI 配置，在处理 MAIN-69 数据集中的 849 个参考步骤时，也只能做到在不犯前序错误的情况下完全正确，准确率仅为 39.6%。论文指出，AI 模型的类型对于它们在哪里出错有着很大影响。较小的模型通常在基础环节挣扎：它们能找到线索，但无法将其纳入最终的故事中，本质上是丢弃了证据。而更大、更强大的模型虽然擅长寻找和保留线索，但往往在尝试按正确顺序排列它们时出错。这就像一个小侦探找到了枪，却忘了把它写下来；而一个大侦探找到了枪、指纹和地图，却把抢劫的时间线完全搞混了。

研究人员还测试了如果给予 AI 更多时间或更多的“搜索预算”（允许它查看更多线索）会发生什么。他们发现，仅仅给 AI 更多资源并不能自动解决问题。虽然查看更多线索有助于 AI 发现更多证据，但这并不保证 AI 能正确组织这些证据，也不保证它在最终组装过程中不再出错。事实上，对于某些模型来说，在没有更好策略的情况下查看过多线索反而会让任务变得更难。

最终，该论文认为我们应该停止仅仅盯着最终得分，而应开始诊断整个过程。研究结果表明，单纯扩大 AI 模型规模并不能解决“链条组装”的问题，它只是将瓶颈从“寻找线索”转移到了“组织线索”。为了构建真正可靠的网络安全代理，我们需要设计专门擅长将所获证据编织成连贯、有序且有据可查的故事的系统，而不是仅仅寄希望于更大的模型能自行解决问题。作者提供了他们的代码和数据，以便他人继续测试和改进这些数字侦探。

技术摘要：DiagChain

问题陈述

大语言模型（LLM）智能体正越来越多地被应用于网络安全调查，包括日志检查、工具调用以及对异构遥测数据的推理，以重建攻击链。然而，现有的基准测试主要评估最终输出或聚合准确率。这种方法对中间调查过程的可见性有限，无法区分不同类型的失败，例如证据发现、分组、排序、落地（grounding）或归因。因此，目前的评估仅能提供智能体执行**证据驱动型攻击链重建（Evidence-Grounded Attack Chain Reconstruction）**能力的局部视图。

作者识别了当前领域中的三个具体局限性：

场景覆盖度： 现有数据集很少能同时涵盖多种操作系统、受控噪声水平和多样化的链条长度。
诊断性评估： 聚合得分无法揭示失败源自何处（例如，是在证据发现阶段还是在排序阶段）。
调查工作流： 大多数研究要么孤立地评估交互式工具使用，要么孤立地评估有序链生成，缺乏一种将证据检索与不断演进的结构化工作状态相结合的统一工作流。

研究方法

1. 数据集构建：MAIN-69

为了解决覆盖度限制，作者构建了 MAIN-69，这是一个包含 69 个攻击链场景的数据集。

来源： 该数据集综合了来自 23 个源单元的数据，这些单元衍生自 AutoLabel（Linux 日志）、ExCyTIn-Bench（企业/云告警）和 OTRF Security-Datasets（Windows 主机事件/APT29）。
变体： 每个源都被转化为三种证据剖面：清洁型（Clean）（核心攻击证据）、噪声型（Noisy）（核心证据加上良性/干扰活动）和 原始型（Raw）（广泛的原始 Windows 事件）。
结构： 场景按链条长度进行分类：小型（S，2–5 步）、中型（M，6–15 步）和大型（L，≥16 步）。
地面真值（Ground Truth）： 每个案例都包含一个经过人工验证的“金标准参考包（Gold Reference Package）”，其中包含有序的对抗步骤序列，并映射到特定的证据标识符和实体。该数据集涵盖了 849 个参考步骤和 780 个时间边（temporal edges）。

2. 智能体工作流：ECRAG

论文引入了**以证据为中心的检索增强生成（Evidence-Centric Retrieval-Augmented Generation, ECRAG）**来支持重建过程。与标准 RAG 不同，ECRAG 将证据检索与不断演进的链条结构化表示相结合。

状态： 智能体维护一个状态 $S_t$ ，包括观察到的证据卡片（ $O$ ）、工作链（ $C$ ）和记忆（ $m$ ）。
检索机制： ECRAG 采用三步检索过程：
1. 词法检索： 通过 TF-IDF 排名寻找文档以匹配种子项。
2. 图扩展： 实体扩展检索与种子项共享可见实体的卡片；时间扩展检索同一来源内紧接前后的记录。
3. 重评分： 使用结合了文本相似度、Token 重叠、精确线索匹配和元数据加分的复合得分 ( $r(e)$ ) 对候选对象进行重新排名。
工作流： 智能体迭代查询证据、验证步骤并更新工作链。最终提交要求每一步都必须引用观察到的证据。

3. 诊断性评估指标

DiagChain 没有使用单一的准确率得分，而是采用了五个互补的指标来诊断特定阶段的失败：

检索步骤覆盖率 (Ret.)： 智能体至少观察到至少一个支持性证据项的参考步骤比例。
分组 F1 值 (Grp.)： 衡量证据被划分到连贯步骤中的能力（使用 B3 聚类），该指标独立于检索。
排序准确率 (Ord.)： 可比较的步骤对被放置在正确时间顺序上的比例。
证据落地 F1 值 (Grd.)： 对齐步骤内引用的支持信息的精确度和完整性。
归因缺口率 (Gap)： 被观察到但未包含在最终链条引用中的参考证据的比例。

关键结果

作者在 MAIN-69 上评估了六种 LLM 配置（Qwen-3-32b, DeepSeek-V4-Pro, GLM-5.2, GLM-5.2-T, Llama4-17b-Scout, 和 GPT-5.5）。

整体能力 (RQ1)

无主导模型： 没有哪个模型在所有阶段都表现卓越。GPT-5.5 在检索和排序方面表现出最一致的强度，而 GLM-5.2 变体通常实现了最小的归因缺口。
检索 vs. 组装： 高检索覆盖率并不保证成功的重建。例如，在原始中型链上，Qwen-3-32b 和 DeepSeek-V4-Pro 的检索覆盖率相似（~0.84），但 DeepSeek 的落地表现显著更好（0.64 vs. 0.51）。
长链瓶颈： 较小的模型（Qwen, Llama）在处理长链时的分组能力显著下降（F1 为 0.18–0.25），而较大的模型则保持了较高的分组得分（0.53–0.81）。

失败解剖 (RQ2)

模型规模与失败模式：
- 较小模型： 主要失败于证据保留（Evidence Retention）（E2：已观察但未使用）。它们难以将检索到的证据整合到其输出中。
- 较大模型： 主要失败于全局排序（Global Ordering）（E4：证据排序错误）。它们能成功检索证据，但在正确排序方面存在困难。
噪声与长度的影响： 原始证据剖面增加了“证据未观察到”（E1）的失败情况。长链会将瓶颈从单一的主导错误类型转向排序和组装错误。
发现 vs. 使用： 所有模型都表现出了观察到的证据与引用的证据之间的差距。较小模型的差距最大（例如，Llama4-17b-Scout 观察到了 72% 的金标准证据，但仅引用了 34%），这表明其在将观察转化为归因方面存在弱点。

消融实验与敏感性分析 (RQ3 & RQ4)

脚手架的重要性： 与“仅检索”或“仅 LLM”相比，“全功能脚手架”（检索 + 结构化链记忆 + 反思 + 落地检查）显著提高了排序（0.943）和归后归因（Gap 0.054），尽管在检索覆盖率上略有权衡。
预算敏感性： 增加检索深度 ( $k$ ) 或交互轮数超过一定界限（例如， $k=32$ ，15 轮）并不能持续提高最终的链条质量。过多的轮数会增加 Token 成本并导致排序不稳定，而无法减少归因错误。

意义与主张

论文声称 DiagChain 为网络安全智能体提供了从端到端准确率指标向诊断性评估转变的必要性。

诊断洞察： 该基准测试表明，“更强”的模型并不会消除失败，而是将瓶颈从证据保留转移到了全局链条组织。
可操作的设计： 研究结果表明，提升不同规模模型的网络安全智能体需要不同的策略：较小的模型需要更好的证据集成机制，而较大的模型则需要更好的全局排序和组装逻辑。
可审计性： 通过将证据检索与结构化工作链及显式的落地检查相结合，DiagChain 使重建过程变得可审计，允许研究人员精准定位智能体究竟在哪里以及为何失败（例如，是发现阶段还是归因阶段）。

作者总结道，更大的交互预算并不是解决重建失败的万灵药，强调了需要通过证据感知型的智能体设计和诊断性评估来提高可靠的网络安全调查能力。