From Threat Intelligence to Firewall Rules: Semantic Relations in Hybrid AI Agent and Expert System Architectures

该论文提出了一种结合神经符号方法与多智能体系统的混合架构，通过利用上下位语义关系从网络威胁情报中提取关键信息，自动生成专家系统所需的防火墙规则，从而在保障安全响应可信度的同时显著提升了对网络威胁的缓解效果。

要点

这篇论文讲述了一个关于如何利用人工智能（AI）来自动保护电脑网络的故事。为了让你更容易理解，我们可以把网络安全比作**“城市治安”，把这篇论文的核心技术比作“一位聪明的侦探助手”**。

1. 背景：为什么我们需要这位“侦探助手”？

想象一下，黑客（坏人）就像一群狡猾的小偷，他们总是能找到城市（网络系统）里最薄弱的围墙钻进来。

• 防守者的困境：警察（网络安全专家）必须保护整座城市的所有角落，这太难了。而且，黑客现在也用了 AI 工具，作案速度飞快。
• 情报的重要性：每当发生案件，都会有“犯罪报告”（CTI 报告），里面写着坏人的作案手法、用了什么工具、目标是谁。
• 传统方法的不足：以前的 AI 就像是一个只会死记硬背的实习生，看到报告里有很多专业术语，它往往抓不住重点，或者因为坏人很少见（数据不平衡），它根本学不会怎么识别。

2. 核心创新：给 AI 装上“语义眼镜”

这篇论文提出了一种新方法，让 AI 不仅能“读”报告，还能“懂”报告里的逻辑关系。

• 超义词与下义词（Hypernym-Hyponym）：
  这就好比给 AI 戴上了一副**“分类眼镜”**。
  • 如果报告里说“坏人用了SQL 注入"（下义词，具体的），AI 能立刻联想到这属于"数据库攻击"（超义词，抽象的）。
  • 反之，如果报告提到"网络攻击"，AI 也能知道这可能包含"SQL 注入"。
  • 比喻：就像你看到一只“金毛犬”，你的大脑能立刻知道它属于“狗”，甚至属于“动物”。这种从具体到抽象、从抽象到具体的联想能力，就是论文中提到的“语义关系”。

3. 系统架构：一个“三人侦探小组”

这个系统不是靠一个 AI 单打独斗，而是像一支配合默契的侦探小队（混合智能体系统）：

1. 第一号侦探（LLM 大语言模型）：
   • 任务：阅读那些又长又乱的犯罪报告。
   • 绝招：它不直接翻译，而是先找出报告里的“具体作案手法”（下义词），再归纳成“攻击类别”（超义词）。它像是一个提炼师，把杂乱的文字变成清晰的线索。
2. 第二号侦探（专家系统/CLIPS 引擎）：
   • 任务：把第一号侦探提炼的线索，变成具体的行动指令。
   • 绝招：它是一个严谨的法官。它负责把“数据库攻击”翻译成防火墙能听懂的“法律条文”（防火墙规则代码）。如果第一号侦探看错了，这个法官会进行逻辑校验，防止 AI 产生幻觉（胡编乱造）。
3. 第三号侦探（优化引擎）：
   • 任务：确保生成的规则既准确又有效，能真正挡住坏人。

4. 实验结果：效果如何？

研究人员拿真实的犯罪报告来测试这个系统：

• 比传统方法更聪明：在识别关键信息方面，这个带“分类眼镜”的 AI 比那些只会死记硬背的旧方法（比如简单的关键词匹配）准确率高出了很多（F1 分数提升了约 7%）。
• 更懂“少数派”：网络安全中，很多新型攻击很少见（数据不平衡）。旧 AI 容易忽略这些，但新系统因为懂得“归类”，即使只见过一次某种攻击，也能通过它所属的“类别”认出它。
• 人类专家认可：让真正的网络安全专家来检查 AI 生成的防火墙规则，专家们发现这些规则语法正确、逻辑严密，大家意见很统一。

5. 总结：这对我们意味着什么？

简单来说，这篇论文发明了一套**“自动翻译机”：
它能把人类写的、充满专业术语的网络安全报告**，自动翻译成防火墙能执行的、精确的拦截代码。

• 以前：专家要熬夜读报告，手动写规则，慢且容易出错。
• 现在：AI 像一位经验丰富的老侦探，利用“分类逻辑”快速理解案情，并自动起草好“通缉令”（防火墙规则），让系统能瞬间挡住新的攻击。

一句话总结：
这就好比给网络安全系统装上了一个**“懂行情的智能管家”**，它不仅能读懂坏人的作案手法，还能自动把这种理解变成具体的防御指令，让城市（网络）更安全。

技术摘要

论文技术总结：从威胁情报到防火墙规则——混合 AI 智能体与专家系统架构中的语义关系

1. 研究背景与问题 (Problem)

随着网络攻击日益复杂且自动化程度提高（攻击者利用 AI 辅助），网络防御面临着严重的结构性不对称：攻击者只需突破一点，而防御者需保护整个系统。现有的防御手段（如入侵检测/预防系统 IDS/IPS）在应对快速演变的威胁时存在延迟，且人工配置安全控制（如防火墙规则）既耗时又昂贵。

当前基于 AI 的解决方案存在以下主要痛点：

• 数据复杂性：网络安全威胁情报（CTI）报告通常包含大量噪声和冗长文本，且不同威胁类别间存在严重的数据不平衡问题。
• 语义理解不足：现有的 AI 方法难以自动、准确地从非结构化的 CTI 报告中提取敏感的操作信息，并将其转化为可执行的安全策略或代码。
• 可信度挑战：在安全领域，直接生成代码或决策需要极高的可信度，而纯概率性的生成模型容易产生幻觉（Hallucinations），导致生成的规则无效或危险。

2. 方法论 (Methodology)

本文提出了一种神经 - 符号（Neuro-Symbolic）混合架构，旨在将 CTI 报告自动转化为防火墙过滤规则（CLIPS 代码）。该架构结合了大语言模型（LLM）的语义理解能力与专家系统的确定性推理能力。

核心流程：语义信息流 (Semantic Information Flow, SIF)

系统包含三个主要阶段，由增强型 CoALA 智能体驱动：

1. 语义提取（神经组件）：

   • 利用层级语义关系（Hypernym-Hyponym，即上下位词关系）从 CTI 文本中提取关键信息。
   • 三阶段提示策略：
     1. 提取具体的领域实体（如恶意 IP、URL）。
     2. 将实体抽象为语义类别（利用上下位词关系，例如将具体恶意软件抽象为“恶意软件”这一上位词）。
     3. 基于这些丰富的语义表示，执行特定操作（生成防御策略）。
   • 通过迭代调用 LLM，先检索下位词（Hyponyms），再检索上位词（Hypernyms），以增强对安全事件的理解。

2. 代码生成与模板构建（符号组件）：

   • 利用提取出的上位词构建有效的 CLIPS 模板。CLIPS 是一种基于规则的专家系统语言，用于生成确定性的防火墙规则。
   • 引入专家系统 A作为语法验证层，防止 LLM 的幻觉，确保生成的代码结构正确。

3. 规则细化与验证（专家系统 B）：

   • 细化引擎识别可用的安全控制措施。
   • 利用 CLIPS 规则生成具体的过滤规则（如 iptables 规则）。
   • 进行最终验证，确保规则在语法和逻辑上正确，能够被安全控制设备接受。

技术细节

• 确定性推理：为了在 LLM 中实现确定性，研究采用了固定随机种子、禁用 CuDNN 基准测试、强制贪婪解码（Greedy Decoding）等启发式方法，以减少运行间的变异性。
• 知识表示：采用基于图的知识库来跟踪概念，支持增量更新，优于传统的决策树方法。

3. 关键贡献 (Key Contributions)

1. 基于分类学关系的新提取方法：提出利用**上下位词（Hypernym-Hyponym）**关系从 CTI 报告中提取语义丰富信息。这种方法受自然语言处理任务（如文本蕴含、查询扩展）启发，显著提升了安全事件的语义理解能力，优于传统的直接文本分类。
2. 混合 AI 智能体系统：设计了一个能够映射提取信息到现有防御措施并生成 CLIPS 代码的智能体系统。该系统结合了 LLM 的灵活性与专家系统的严谨性，实现了从威胁描述到防火墙规则的端到端自动化。
3. 深入的实证评估：在信息提取和代码生成两个步骤上进行了全面评估。结果表明，该方法在处理不平衡数据时具有卓越的鲁棒性，F1 分数比基线方法提高了约 7%。

4. 实验结果 (Results)

研究使用了两个数据集：

• Dataset A (CTI-HAL)：81 份人工标注的 CTI 报告，映射到 MITRE ATT&CK 技术。
• Dataset B：来自互联网安全中心（CIS）的 66 个恶意软件条目。

Task A：语义提取与分类性能

• 对比基线：包括静态嵌入（Word2Vec, GloVe）、上下文嵌入（SecureBERT）、传统机器学习（SVM, RF）以及纯 LLM 方法（Chain-of-Thought, Zero-Shot）。
• 主要发现：
  • 提出的基于上下位词的三阶段提示方法在加权 F1 分数（0.329）和 Top-k 准确率（0.968）上均优于所有基线。
  • 相比 Chain-of-Thought (CoT) 方法，该方法在少数类（Minority Classes）上的表现显著提升，解决了数据不平衡问题。
  • 语义检索策略在 BERTScore 和 ROUGE-L 指标上也显示出更高的相关性。

Task B：代码生成与规则有效性

• 评估方式：由网络安全专家对生成的防火墙规则进行定性评估。
• 主要发现：
  • 技术正确性 (Technical Correctness)：Krippendorff's α 达到 +0.5768，表明专家对生成规则的语法正确性有高度共识。
  • CTI 忠实度 (Fidelity to CTI)：评分较高，说明生成的规则准确反映了原始威胁情报。
  • 范围校准 (Scope Calibration)：Spearman 相关性最高，表明规则覆盖范围的相对排序一致。

5. 意义与展望 (Significance & Future Work)

• 理论与实践意义：
  • 证明了在网络安全这种高敏感、高噪声领域，神经 - 符号混合架构比纯概率模型更有效。
  • 通过引入上下位词关系，解决了 CTI 报告中的语义模糊和数据不平衡问题，为自动化威胁响应提供了新的范式。
  • 生成的 CLIPS 代码可直接用于配置防火墙，缩短了从威胁发现到防御部署的时间（MTTD/MTTR）。
• 未来工作：
  • 进一步探索 LLM 在生成过程中的真正确定性机制。
  • 将生成的过滤规则扩展到更广泛的下游应用场景，提升系统的实际部署能力。

总结：该论文成功构建了一个利用语义关系（上下位词）增强 LLM 理解能力，并结合专家系统生成确定性安全规则的混合智能体框架。实验证明，该方法在提取关键威胁信息和生成可执行防火墙规则方面，显著优于现有的传统 AI 和纯 LLM 方法，为自动化网络防御提供了可靠的技术路径。