A Queryable Knowledge Graph of MITRE ATLAS: Cross-Linking Adversarial AI Taxonomies for Grounded Threat Reasoning
本文提出了一种基于 Neo4j 的知识图谱,该图谱将静态的 MITRE ATLAS 文档转化为一个可查询且以大语言模型(LLM)为基础的系统,并将其与 OWASP LLM 应用十大风险进行交叉链接,从而使从业人员能够进行威胁推理、识别 40 个未缓解的生成式 AI 技术,并证明 ATLAS 战术与 OWASP 风险类别之间的正交特性。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你拥有一本由安全专家编写的、极其详尽且庞大的百科全书,名为 MITRE ATLAS。这本书描述了“数字恶棍”攻击人工智能系统的每一种已知方式。它列出了恶棍的目标(战术)、他们的具体手段(技术)、可用的防御措施(缓解措施)以及已经发生的真实攻击案例(案例研究)。
根据这篇论文,问题在于这本百科全书是静态的。它就像一个被锁在玻璃柜里的图书馆:你可以阅读它,但你无法询问管理员:“请展示所有目前尚无防御手段的招数,”或者“将这个特定的攻击与那个特定的弱点联系起来。”你必须手动翻阅页面、交叉引用列表,并寄希望于自己没有遗漏任何信息。
Salwa Makni 的论文讲述了如何将这个锁着的图书馆变成一张活的、互动的地图。
以下是他们工作的拆解,使用了简单的类比:
1. 构建地图(知识图谱)
作者并没有将数据保存在列表或文档中,而是构建了一个数字蜘蛛网(在 Neo4j 中被称为“知识图谱”)。
- 节点(圆点): 每个圆点代表拼图的一块:一个特定的攻击手段、一个恶棍的目标、一种防御策略或一个真实的攻击故事。
- 连线(连接): 连接圆点的线条展示了它们是如何相互关联的。例如,一条线将“LLM 提示词注入”(一种手段)连接到“提示词注入”(一个目标),另一条线将其连接到“输入验证”(一种防御)。
- 为什么这很重要: 在普通的文档中,寻找联系需要阅读;而在这种地图中,你可以瞬间从一个手段“行走”到它的防御,或者观察哪些手段没有任何连线指向任何防御措施。
2. 合并两种不同的语言(交叉链接)
安全团队说着两种不同的语言:
- MITER ATLAS 使用的是“对手战术”(恶棍如何思考和行动)。
- OWASP Top 10 使用的是“应用漏洞”(软件在哪里脆弱)。
作者手动在两个世界之间绘制了桥梁。他们提取了 OWASP 中关于 LLM 风险的 10 个主要类别,并将它们连接到 MITRE ATLAS 中的特定手段。
- 发现: 他们发现这两个列表并不只是在重复彼此;它们是正交的(就像坐标系上的 X 轴和 Y 轴)。一个按恶棍想要做什么来组织,另一个按软件在哪里脆弱来组织。通过将它们连接起来,你获得的是问题的 3D 视图,而不仅仅是一个平面的 2D 列表。
3. “有据可查”的侦探(推理引擎)
作者构建了一个利用 AI(LLM)来回答问题的工具,但有一个严格的规则:AI 不允许凭空捏造。
- 运作方式: 当你问“我该如何阻止这种攻击?”时,AI 不会仅根据其训练内容进行猜测。相反,它表现得像一名图书管理员,首先在地图中查找该攻击的具体 ID 编号,抓取数据库中的确切事实,然后为你进行总结。
- 益处: 如果地图显示“不存在防御措施”,那么 AI 就会说“不存在防御措施”。它不会产生幻觉(编造虚假的解决方案)。每一个答案都带有指向原始来源的“引用标签”,就像研究论文中的脚注一样。
4. 他们的发现(结果)
通过在这个地图上运行查询,作者揭示了一些隐藏在静态文档中的残酷真相:
- 防御差距: 他们发现针对生成式 AI 的 40 个特定手段 目前在文档中记录的防御措施为零。这就像是发现了 40 种新的开锁方式,但目前还没有对应的开锁工具。
- 最佳防御: 他们识别出了哪些防御措施覆盖范围最广。例如,“AI 遥测日志记录”(记录 AI 行为的详细日志)覆盖了 17 种不同的攻击手段,使其成为高优先级的防御措施。
- 正交性: 他们证明了你不能仅仅依靠一个列表(OWASP)来解决另一个列表(ATLAS)的问题。你需要两者结合才能看到全貌。
5. 它是什么(以及它不是什么)
- 它是: 一个工作原型、一个数据库以及一套让安全工程师能够基于硬性数据而非猜测来提出复杂问题并获得答案的工具。
- 它不是: 一个成熟的商业产品(目前还不是)。作者承认这张地图仍在构建中。一些连接(例如为什么某种防御有效)尚未得到充分细化,且“AI 侦探”如果初始问题不够完美,有时也会遗漏某些手段。
- 它不是: 一个修复 AI 安全问题的魔杖。它是一个帮助人类更好地理解现状的工具,以便他们能够构建更好的防御。
简而言之: 这篇论文将一份静态、难以阅读的 AI 威胁列表,转变为一张动态的、可搜索的地图。它连接了两种不同的安全语言,利用 AI 在不撒谎的前提下回答问题,并清晰地指出了我们在对抗 AI 黑客的战斗中,防御到底缺失在哪里。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。