Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning
本文提出了一种智能体框架，该框架从人工智能政策文件中构建知识图谱，以增强基于大语言模型的推理与合规性验证，并证明了知识图谱增强可提升各类推理任务的性能，且由大语言模型发现的模式能够媲美甚至超越形式化本体。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试解决一个庞大而令人困惑的拼图，其中的拼图块是用三种不同语言编写的规则（欧盟《人工智能法案》、NIST 指南和 OWASP 标准）。你有一位非常聪明的助手（大型语言模型，或称 LLM），它读过很多书，但并没有完美地记住这些具体的规则手册。如果你向助手提问，它可能会根据它“认为”自己知道的内容来猜测答案，但它可能会搞错细节，或者凭空捏造（产生幻觉）。
本文介绍了一种帮助这位聪明助手的新方法。研究人员没有仅仅要求助手去记忆，而是专门为这些人工智能规则构建了一个数字文件柜（知识图谱）。
以下是该系统的运作方式，分解为简单步骤：
1. “扫描与分类”团队（构建）
首先，系统将冗长乏味的政策文件拆解为小块、易于管理的片段。然后，它利用一个 AI 智能体读取每个片段，提取重要的“事实”（如具体风险、规则或义务）以及它们之间的联系。
这就像一位图书管理员阅读一本 500 页的规则手册，并制作一套索引卡片。
- “严格”的图书管理员（AIRO 模式）： 这位图书管理员遵循一份非常严格、预先制定的类别清单（如“风险”、“威胁”、“后果”）。他们强制将所有事实归入这些特定的框框中。
- “富有创造力”的图书管理员（开放模式）： 这位图书管理员不使用预先制定的清单。相反，他们会查看文本，并根据内容创建自己的描述性标签（如“数据投毒风险”或“透明度规则”）。
2. “侦探”（检索）
当你提出一个问题（例如：“这段代码是否违反了欧盟《人工智能法案》？”）时，系统不会仅仅让助手去猜测。它会像侦探一样行动：
- 直接路径： 对于简单的问题（如“什么是高风险人工智能系统？”），侦探会迅速找到确切的索引卡片并朗读引文。
- 智能体路径： 对于复杂的问题（如“欧盟规则与 NIST 规则如何协同工作？”），侦探会在文件柜中穿行，遵循卡片之间的联系，收集构建完整答案所需的所有证据。
3. “法官”（评估）
研究人员使用五种不同的 AI 模型（从功能非常强大的到较小、较便宜的）对该系统进行了测试。他们提出了 42 种不同类型的问题，范围从简单的查询到复杂的跨规则推理。
他们比较了三种场景：
- 无帮助： AI 依靠自身记忆作答。
- 严格文件柜： AI 使用“严格”图书管理员的卡片。
- 创意文件柜： AI 使用“富有创造力”图书管理员的卡片。
他们的发现（结果）
- 文件柜总是有帮助： 添加知识图谱改善了所有被测试 AI 模型的答案。AI 变得更加准确，并且关键的是，能够提供规则的确切引文来证明其答案，而不仅仅是猜测。
- “富有创造力”的图书管理员出奇地好： 你可能会认为严格、预先制定的清单（形式本体）会更好。然而，这位即兴创作自己标签的“富有创造力”的图书管理员，表现与严格的那位一样好，有时甚至更好。这表明，让 AI 用自己的语言描述事物，可能比将其强行塞入僵化的框框更有效。
- 规模很重要（针对侦探）： 该系统在“大脑”强大的 AI 模型上表现极佳。然而，对于较小、能力较弱的模型，“智能体路径”（即侦探在图谱中穿行的过程）实际上使情况变得更糟。这就像给一个不懂阅读的孩子一张复杂的地图；他们会迷路。对于较小的模型，最好直接给出答案，而不需要那个复杂的“四处走动”的步骤。
主要启示
本文证明，如果你希望 AI 遵守复杂的安全规则，你不应该仅仅依赖它的记忆。你需要为它提供一份结构化、可搜索的规则地图。有趣的是，你不需要一张完美预先规划好的地图；一张由 AI 根据文本自行构建的地图同样有效。然而，你必须将“读图”任务的复杂度与执行阅读的 AI 的智能水平相匹配。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。