Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning

以下は、Wilder Baldwin と Sepideh Ghanavati による論文「Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning（LLM に基づくポリシー準拠推論のための知識グラフ表現）」の詳細な技術的サマリーです。

1. 問題定義

AI 機能がソフトウェアに急速に統合される中、規制枠組み（EU AI 法、NIST AI RMF、OWASP Top 10 など）は、複雑で重複し、かつ進化し続ける準拠要件を課しています。実務家は、これらの相互参照される義務を手動で navigate することに苦労しています。大規模言語モデル（LLM）は準拠タスクにますます利用されていますが、以下の欠点があります：

• 幻覚（Hallucinations）： 特定のポリシー条項を確実に引用できない。
• 陳腐化した知識： パラメトリック知識は新しい規制の背後に遅れがちである。
• 推論の限界： マルチホップ推論やポリシー間推論を実行するのが困難である。

本論文は、知識グラフ（KGs）を用いて LLM の推論を権威あるポリシーテキストに裏付けさせ、精度、追跡可能性、および準拠検証を向上させる自動化システムの必要性に取り組んでいます。

2. 手法

著者らは、AI ポリシー文書から KG を構築し、適応的検索を用いて質問に回答するエージェント型フレームワークを提案します。このシステムは、4 段階のパイプラインを持つ Model-Context-Protocol（MCP）サーバーとして動作します：

A. 文書チャンキング（スキャンとレビュー）

固定されたトークン数ではなく、チャンキングエージェントが論理構造を保持しながらポリシーテキストを分割する 2 段階のプロセスを使用します：

1. スキャン： スライディングウィンドウが LLM に自然な分割境界（例：条項の末尾）を特定させるようプロンプトします。
2. レビュー： 計画が確認されます。チャンクが大きすぎる場合（>4,000 文字）、エージェントはさらに分割することを提案します。

B. 知識グラフ抽出

抽出エージェントがチャンクを処理して、タイプ付けされたエンティティと関係性を生成します。本研究は、2 つのオントロジースキーマを比較します：

1. クローズドスキーマ（AIRO）： 形式的な**AI リスクオントロジー（AIRO）**に基づいています。EU AI 法および ISO 標準から派生した、定義済みの語彙（7 種類のエンティティ、6 種類のリレーション）を使用します。
2. オープンスキーマ（Emergent）： LLM が定義済みの語彙なしで記述的なスネークケースラベル（例：technical_risk、regulatory_obligation）を割り当て、抽出後に正規化します。

• ポリシー間アライメント： 異なるソース（EU、NIST、OWASP）からのエンティティは、埋め込み類似度（コサイン $\ge$ 0.70）と文字列類似度を用いた Corresponds To エッジを介してリンクされます。

C. 適応的検索と回答合成

ルーティングエージェントが質問を複雑さに基づいて「Direct（直接）」または「Agent（エージェント）」に分類します：

• Direct Path（単純なタスク）： 質問を埋め込み、上位 5 つのエンティティを取得し、1 ホップの隣接ノードを展開して回答を合成します。
• Agent Path（複雑なタスク）： キーワード検索、セマンティック検索、隣接ノード展開、経路探索のためのツールを用いたReAct ループ（最大 7 ステップ）を使用して、グラフをトラバースし、マルチホップ推論を行います。
• 合成： 最終的な LLM 呼び出しには、証拠エンティティ（関係性としてシリアライズ）、生チャンクテキスト、コンテキスト内学習（ICL）の例、およびタスク固有の指示が含まれます。

D. 評価設定

• データセット： 3 つのフレームワーク（EU AI 法、NIST AI RMF、OWASP Top 10）にまたがる 42 のポリシー QA タスク。
• タスクタイプ： T1（エンティティ検索）からT6（ポリシー間推論）までの 6 つのカテゴリ。
• モデル： 3 つのティアにわたる 5 つの LLM（Frontier: gpt-5-mini, gpt-4.1-mini; Mid-range: nemotron:30b, gpt-oss:20b; Small: granite4:micro）。
• 指標： ヒューリスティックスコアリング（単語の重なり、セットマッチ）と、精度、完全性、関連性を評価するLLM-as-Judge（gpt-4.1-mini）。

3. 主要な貢献

1. エージェント型ポリシーフレームワーク： ポリシー由来の KG を構築およびクエリするための完全なエンドツーエンドパイプラインを、統合のために MCP サーバーとして公開。
2. オントロジー比較： 形式的な標準派生オントロジー（AIRO）と、LLM によって発見されたオープンスキーマとの間の厳密な実証的比較。
3. ポリシー間推論ベンチマーク： 独立して作成されたフレームワーク間の概念をマッピングするようモデルに挑戦するタスクタイプ T6の導入（例：OWASP リスクを EU AI 法の要件にリンクさせる）。
4. モデル能力の閾値： エージェント型グラフトラバースが大型モデルには有益だが、小型モデルではパフォーマンスを低下させる閾値の特定。

4. 主要な結果

• KG 拡張によるパフォーマンス向上： KG 拡張された LLM は、5 つのモデルすべてにおいて「No-Context」ベースラインを上回りました。
  • ジャッジスコアの向上： 改善幅は**+0.17 から +0.55**でした。
  • 最高性能モデル： gpt-oss:20b が最大のジャッジ改善（Open KG で +0.55）を示しました。
• スキーマのパフォーマンス：
  • オープン（Emergent）スキーマは、5 つのモデルのうち 3 つにおいて、正式な AIRO スキーマと同等かそれ以上のジャッジスコアを達成しました。
  • オープンスキーマの柔軟性により、期待される回答語彙とよりよく一致する、より豊かで記述的なエンティティ名が可能になりました。
• タスク固有の洞察：
  • T1/T3（検索/属性）： KG がパラメトリックメモリのみから生成できない逐語的なポリシー引用を提供したため、最も大きな改善（+0.11 から +0.40）を示しました。
  • T5（準拠チェック）： KG は、回答を「部分的に準拠」のような曖昧なものから、「はい、第 50 条を引用」のような確定的で引用された判断へと変換しました。
  • T6（ポリシー間）： 最も小さな改善を示しました。成功はポリシー間の語彙の重複に大きく依存しました。用語が異なる場合（例："data poisoning"対"training data bias"）、モデルは苦労しました。
• モデル能力の閾値：
  • 大型モデル： Agent Path（マルチホップトラバース）から恩恵を受け、複雑な推論を改善しました。
  • 小型モデル（例：granite4:micro）： エージェントパスを使用すると複雑なタスク（T4、T6）で苦戦し、パフォーマンスの後退を示しました。これらはDirect Pathのみを使用した場合に最も良好に機能しました。

5. 意義と今後の課題

• 実用的有用性： この研究は、特に引用可能な証拠を提供し、幻覚を軽減するために、LLM を KG に裏付けることが規制準拠にとって不可欠であることを示しています。
• オントロジーの柔軟性： 形式的なオントロジーが優れているという仮定とは対照的に、自然言語クエリとのより良い意味的整合性により、LLM によって発見されたスキーマは QA タスクにおいて同等かそれ以上効果的である可能性があります。
• 戦略的検索： 検索戦略はモデルの能力に基づいて条件付けされるべきであるという知見が示唆されます。小型モデルは、劣化を避けるために複雑なエージェントループを回避し、直接検索を優先すべきです。
• 今後の方向性： 著者らは、パイプラインをソースコード分析（ポリシー KG と並行してコードグラフをトラバース）に拡張し、クロスポリシー語彙ミスマッチのボトルネックを解決するために、埋め込み類似度を超えた高度なエンティティアライメント手法を探求する計画です。

限界： 評価は英語圏の西洋の枠組みに限定されており、小規模な質問セット（42 項目）を使用し、人間の開発者ユーザー調査なしに自動スコアリングに依存しています。