DEFENGRAPH: Knowledge Graph-Enhanced LLMs for Blue Team Cyber Defense

技术摘要：DEFENGRAPH

问题陈述
大语言模型（LLMs）在网络安全决策方面展现出了潜力，但在高风险、随时间演进的环境中存在关键局限性。具体而言，它们容易产生幻觉，难以进行时间推理，并且缺乏对特定系统上下文的理解。传统的检索增强生成（RAG）方法依赖于表面层级或基于嵌入的相似度，往往会检索出无关文档（例如，检索出一个 Windows 事件工单来应对 Linux 告警），从而干扰 LLM 的推理过程。此外，网络安全数据的信噪比极低，包含大量良性或误导性的日志（例如，错误的密码输入），标准的知识图谱（KG）检索方法无法有效地过滤这些噪声。核心挑战在于创建一个能够将 LLM 输出锚定在长期领域知识和实时演进的事件上下文中的系统，从而提供忠实的、具备时间感知能力的防御策略。

方法论：DEFENGRAPH 框架
作者提出了 DEFENGRAPH，这是一个双层知识图谱增强的 RAG 框架，旨在为蓝队防御者提供支持。该系统通过以下流程将结构化知识表示与基于 LLM 的生成相结合：

1. 双层知识图谱构建：

   • 静态知识图谱 (SKG)： 编码长期基础设施知识、系统架构、典型的攻击者行为，以及源自网络靶场蓝图和文档的历史防御剧本。
   • 动态知识图谱 (DKG)： 捕获随时间演进的安全事件、攻击者痕迹以及防御者在实战演练期间记录的工单操作。节点包括告警、工单、IP 和文件，边则编码了时间与语义关系。

2. 基于图的检索过程 (GRP)：
   在接收到 SIEM（Wazuh）告警后，系统构建查询图，并使用以下方式从 SKG 和 DKG 中检索相关的子图：

   • 基于语义的三元组匹配 (STM)： 使用预训练语言模型对查询与知识库之间的三元组（实体、关系、实体）进行编码和匹配。
   • 路径传播评分 (PMC)： 聚合来自相邻三元组的特征以计算路径匹配得分，从而识别出最可能的关联路径。
   • 子图组合： 将匹配度最高的路径合并为子图，并通过采样 2 跳邻居来获取周围的上下文环境。

3. 基于 LLM 的上下文过滤与重排序：
   为了解决检索到的子图中固有的噪声问题，DEFENGRAPH 采用了两个由 LLM 驱动的模块：

   • 上下文过滤器 (CF)： 根据特定的告警上下文评估检索到的路径，对最相关的实体和路径进行评分与选择，从而过滤掉无关的“灰色”节点。
   • 推理重排序器 (Reasoning Re-ranker)： 根据路径与告警的相关性及历史知识对其进行重新排序，并引入时间权重分配 (Temporal Weight Assignment)。该机制为在时间上更接近查询的实体分配更高权重，确保系统优先处理近期且正在演进的威胁。

4. 防御活动生成：
   最终经过排序的推理路径被嵌入到 LLM 提示词中，以生成符合人类防御实践的、具备上下文感知能力的缓解策略。

核心贡献

• DEFENGRAPH 框架： 一种新型的时间知识图谱 RAG 框架，它结合了静态领域知识与动态、实时的事件数据，以生成具备上下文感知能力的防御策略。
• ACDC 网络靶场数据集： 构建并发布了一个全面的网络安全数据集，该数据集源自模拟海事港口环境下的红蓝对抗演练。它包含超过 820 万条防火墙日志、610 万条 Wazuh 告警、326 份事件响应工单以及红队痕迹，代表了一个真实、多噪且异构的数据源。
• 性能提升： 实验证明，DEFENGRAPH 显著增强了多种模型（GPT-4o, LLaMA-3, DeepSeek-R1, QWen-3）输出的忠实度和可解释性，生成的防御建议与人类编写的基准真相（ground truth）更加一致。

实验结果
该框架在 ACDC 数据集上使用四种领先的 LLM 进行了评估，并与包括 LLM-only、混合 RAG 和 GraphRAG 在内的基准模型进行了对比。主要发现包括：

• 推理召回率 (RAR)： 在 GPT-4o 上，DEFENGRAPH 将推理召回率从 61.45%（仅使用 SKG）提升至 73.49%（全量模型）。在其他模型上也观察到了类似的提升（例如，LLaMA-3 从 46.99% 提升至 61.45%）。
• 工单动作召回率 (TAR)： 系统恢复了更高比例的真实防御动作。在 GPT-4o 上，TAR 从 52.17% 增加到了 72.46%。
• 精确度与错误率： 虽然精确度（TAP）提升较为温和（GPT-4o 上为 24.49% → 29.24%），但系统保持了较低的错误动作率（低于 4%），其错误主要表现为易于被人类防御者识别的过度反应或误报。
• 冷启动鲁棒性： 在没有先前工单历史的情景下（重置 DKG），系统仍保持了强大的推理能力，尽管动作召回率有所下降，这凸显了动态上下文对于实现精准动作对齐的重要性。
• 消融实验： 结果证实了静态和动态知识图谱都是必不可少的；移除 DKG 会导致 TAR 下降约 20%，而移除 SKG 则会导致约 25% 的下降，这证明了历史结构与实时上下文对于系统的必要性。

意义
本文将 DEFENGRAPH 定位为一种先进的、具备落地能力的、具有时间感知能力的网络安全决策支持方案。不同于以往侧重于入侵检测、攻击追踪或威胁情报结构化的基于知识图谱的系统，DEFENGRAPH 直接针对生成可操作的、与工单对齐的缓解步骤。通过集成双层图谱与基于 LLM 的过滤和重排序，该框架解决了传统 RAG 在多噪、结构化领域中的脆弱性，使 LLM 能够提供既反映静态系统拓扑又反映攻击动态演进的忠实推理。作者断言，这种方法弥合了知识图谱赋能的理解能力与运营层面有效的响应指导之间的鸿沟，为蓝队提供了实用的支持。