論文「Aegis: From Clues to Verdicts — Graph-Guided Deep Vulnerability Reasoning via Dialectics and Meta-Auditing」の技術的サマリー

本論文は、大規模言語モデル（LLM）を用いた脆弱性検出における「根拠のない推論（ungrounded reasoning）」という根本的な課題を解決するための、新しいマルチエージェントフレームワーク**「Aegis」**を提案するものです。Aegis は、単なるコードパターンのマッチングや断片的な文脈に依存するのではなく、リポジトリ全体のデータフローに基づいた「証拠（Evidence）」を動的に構築し、その証拠に基づいて弁証法とメタ監査を通じて結論を導き出す「証拠に基づく法廷審理」のアプローチを採用しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細を記述します。

1. 問題定義：LLM による脆弱性検出の限界

既存の LLM 基盤の脆弱性検出手法（エージェント対話型や検索拡張生成型）には、以下の根本的な欠陥が存在します。

• 根拠のない推論（Ungrounded Reasoning）: LLM は、リポジトリ全体にまたがる複雑な依存関係（例：呼び出し元関数での入力検証、異なるファイル間でのデータフロー）を考慮せず、孤立したコードスニペットのみを基に推論を行います。
• 文脈の幻覚（Contextual Hallucination）: 根拠となる証拠がないにもかかわらず、LLM は「ありそうな」セキュリティチェックや依存関係を捏造してしまい、誤った結論（偽陽性）を導き出します。
• 既存手法の限界:
  • エージェント対話型: 複数のエージェントが議論を行いますが、共有する証拠が不完全なため、議論が深まるほどに相互に妥協し合い、性能が低下する傾向があります。
  • 検索拡張型（RAG）: 事前定義されたヒューリスティックに基づいてコードを抽出しますが、特定の脆弱性仮説に必要な深い依存関係チェーンを見逃すことが多く、汎用的な知識に依存しすぎています。

これにより、PrimeVul などの厳格なベンチマークにおいて、既存手法は「脆弱性」と「そのパッチ（修正版）」を区別する能力（Pair-wise Discrimination）が極めて低く、誤検知率（FPR）が高止まりしていました。

2. 手法：Aegis のアーキテクチャ

Aegis は、「Clue to Verdict（疑いから結論へ）」という哲学に基づき、4 つの専門エージェントによるパイプラインで構成されています。

2.1 全体フロー

1. Phase I: Clue Discovery（疑いの発見）
   • Clue-Discovery Agent が対象関数をスキャンし、潜在的な異常（Clue）を特定します。
   • ここでは「最悪ケースの汚染仮定（Worst-Case Taint Assumption）」を採用し、外部入力源をすべて汚染されたものとみなして、見逃しを防ぐために高リコール（False Positive 多め）で疑い箇所を抽出します。
2. Phase II: Graph-Guided Context Augmentation（証拠の構築）
   • Context-Augmentation Agent が、特定された各 Clue に対して、リポジトリレベルの**コードプロパティグラフ（CPG）**を用いて、オンデマンドのスライシング（依存関係の追跡）を行います。
   • 関数境界やファイル境界を越えて、特定の Clue に関連するデータフロー（汚染経路や検証ロジック）のみを動的に再構築し、「閉じた事実の基盤（Closed Factual Substrate）」を形成します。これにより、推論の範囲を証拠に限定します。
3. Phase III: Dialectical Verification（弁証法的検証）
   • Verifier Agent が、Phase II で構築された証拠に基づき、単一のエージェント内で「攻撃側（Red Team）」と「防御側（Blue Team）」の両方の論理を構築します。
   • 証拠に含まれる具体的な行番号に基づいて、脆弱性成立の根拠と、安全性の根拠（境界チェック、型制約など）を対立させ、証拠に裏付けられた暫定的な結論を導きます。
4. Phase IV: Meta-Auditing（メタ監査）
   • Audit Agent が Verifier の推論プロセスを独立して審査します。
   • 証拠の範囲外にある主張（Phantom Mitigation）、証拠のない推測（Speculation）、初期の疑いへの固執（Anchoring）、未検証の外部ライブラリへの過信（Over-Trust）などの論理的欠陥を検出します。
   • 重大な論理欠陥が見つかった場合、Audit Agent は拒否権（Veto）を行使し、最終的な結論を覆します。

3. 主要な貢献

1. 新しいフレームワークパラダイム:
   • 脆弱性検出を「根拠のない推論」から「証拠に基づく法廷審理」へと転換しました。疑いの特定（Localization）と、その検証（Verification）を明示的に分離し、閉じた証拠基盤上で推論を行うことで、文脈の幻覚を効果的に抑制します。
2. 動的なグラフ導出コンテキスト拡張:
   • LLM ベースの脆弱性検出において初めて、Clue にアンカーされた需要駆動型のコンテキスト拡張メカニズムを実装しました。CPG 上で動的に依存関係チェーンを再構築するため、CWE 種類に依存せず、リポジトリ固有のデータフローに最適化されます。
3. 最先端（SOTA）のパフォーマンス:
   • 厳密なベンチマーク「PrimeVul」において、ペアごとの正解数（Pair-wise Correct Predictions）で122を達成しました（既存の最良の手法は 96）。これは同ベンチマークで 100 を超えた最初の手法です。
   • 誤検知率（FPR）を、既存の最良の手法と比較して最大**54.40%**削減しました。
   • 特定のタスクへのファインチューニングを一切行わず、サンプルあたりの平均コスト**$0.09**で実現しています。

4. 実験結果と分析

• 性能評価:
  • PrimeVul データセット（435 組の脆弱性/パッチペア）において、Aegis は他のファインチューニングモデルやエージェント対話型手法（VulTrial など）を凌駕しました。
  • 特に、ペアごとの正解数（P-C）と誤検知率（FPR）のバランスが極めて優れており、単に「脆弱性」と判定するだけでなく、パッチとの微妙な意味的差異を正しく識別できることを示しました。
• アブレーション研究:
  • 証拠構築の重要性: Phase I（疑い発見）と Phase II（グラフ導出コンテキスト拡張）の組み合わせが、脆弱性箇所の特定精度を劇的に向上させました（単独の Phase I では 16.3% のリコールが、Phase I+II では 71.3% に向上）。
  • 弁証法と監査の相乗効果: 弁証法構造（Red/Blue 対立）がないと誤検知が増え、監査（Audit）がないと確証バイアスにより誤検知がさらに増加することが示されました。両者が揃うことで初めて高い精度が達成されます。
  • Clue の数（k）の影響: 疑い箇所をすべて処理するのではなく、上位 2 つ（k=2）の疑いのみを処理することで、コストを抑えつつ最高性能を達成できることが示されました。
• 推論の質:
  • メタ監査エージェントは、推論の誤り（特に「証拠の捏造」や「推測」）を 21.4% の頻度で検知・修正し、最終的な精度向上に寄与しました。

5. 意義と結論

Aegis は、LLM を用いたソフトウェアセキュリティ分析において、「推論の複雑さ」よりも「証拠の質」が性能の上限を決めるという重要な知見を提供しました。

• 根本的な解決: 既存の手法が抱えていた「根拠のない推論」という問題を、リポジトリのデータフローに基づいた「閉じた証拠基盤」の構築によって解決しました。
• 実用性: 高コストなファインチューニングや大規模な計算資源を必要とせず、安価かつ高精度に実運用可能なシステムを構築できることを示しました。
• 将来展望: このアプローチは、脆弱性検出だけでなく、法的分析、医療診断、金融監査など、事実確認が不可欠なあらゆる LLM ベースのマルチエージェントシステムに応用可能な設計原則を提供しています。

本論文は、LLM を単なる「推論エンジン」ではなく、厳密な「証拠に基づく検証プロセス」の一部として統合することで、その信頼性を飛躍的に高めうることを実証しました。