CKG-LLM: スマートコントラクトのアクセス制御脆弱性検出のための知識グラフと LLM を活用した手法

本論文は、スマートコントラクトにおけるアクセス制御脆弱性の検出を目的とした新しいフレームワーク**「CKG-LLM」**を提案するものです。従来の静的解析手法や中間表現（AST や CFG など）の限界を克服し、大規模言語モデル（LLM）の推論能力と知識グラフ（KG）の構造化表現を融合させることで、自然言語で記述された脆弱性パターンを自動的に実行可能なクエリに変換し、コードの脆弱箇所を特定する手法を確立しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

• スマートコントラクトの脆弱性: スマートコントラクトは不変であり、デジタル資産を自律的に管理するため、アクセス制御の欠陥は重大かつ不可逆的な資産損失につながります。OWASP ランキングでもアクセス制御は上位に位置し、その重要性が高まっています。
• 既存手法の限界:
  • 従来の解析手法（AST, CFG, SSA 形式など）は、構文構造や制御フローを捉えることはできますが、意味構造や深い論理関係を十分に表現できない場合があります。
  • 知識グラフ（KG）を用いた既存の研究（Hu et al. など）は、構文木（AST）から KG を構築していますが、これだけでは意味的な深みが不足し、また SPARQL クエリ（グラフ問い合わせ言語）の作成には専門的な知識が必要であり、手動でのルール定義やクエリ作成がボトルネックとなっていました。
• 課題: 自然言語で記述された脆弱性パターンを、知識グラフに対して実行可能なクエリに変換するプロセスを自動化し、かつ高精度に行う方法の確立が求められています。

2. 提案手法：CKG-LLM

CKG-LLM は、スマートコントラクトの知識グラフ（CKG）上で動作する、LLM 支援型の脆弱性検出フレームワークです。主な構成要素とフローは以下の通りです。

2.1 スマートコントラクト知識グラフ（CKG）の構築

• 2 層構造:
  1. オントロジー層: Solidity の構文に基づき、Contract, Function, StateVar などのクラス、属性、およびそれらの関係（継承、呼び出しなど）を定義するスキーマ。
  2. インスタンス層: 実際のコントラクトコードから抽出された具体的なノードとエッジ。
• 中間表現の活用: 単なる AST パースに留まらず、Slitherの中間表現（IR）を利用します。これにより、SSA 形式への変換、制御フローの分岐処理、変数のバージョン管理、関数呼び出しや継承関係、ステートメントレベルの実行順序など、より豊かで意味的な情報をグラフに埋め込みます。

2.2 LLM による自然言語からグラフクエリへの変換（NL2GQL）

• 2 段階の Chain-of-Thought (CoT) プロンプト:
  1. 第 1 段階: 自然言語の脆弱性記述（例：「オーナーを変更できるが権限チェックがない関数をリストアップ」）を受け取り、KG スキーマに基づいた構造化された推論（JSON 形式のスロット）を生成します。
  2. 第 2 段階: 第 1 段階の推論結果に基づき、実行可能な SPARQL クエリを生成します。
• プルーニング戦略: LLM のコンテキスト制限を避けるため、アクセス制御に関連する部分グラフのみを抽出・要約してプロンプトに含めます。

2.3 学習と最適化（SFT と RLAF）

• 教師あり微調整（SFT）: Llama-3.1-8B-Instruct をベースモデルとし、LC-QuAD 2.0 データセットなどを用いて、GQL（グラフ問い合わせ言語）生成タスクに特化させて微調整します。
• RLAF（Small Language Model Agent Feedback による強化学習）:
  • 従来の RLHF に加え、小さな言語モデル（SLM: Qwen2.5-3B-Instruct）をエージェントとして導入します。
  • SLM は、生成されたクエリの「形式的妥当性（実行可否）」「意味的一貫性（スキーマや意図との整合性）」「検出精度（脆弱性の特定能力）」の 3 次元で評価を行います。
  • この評価に基づき、**DPO（Direct Preference Optimization）**を用いて LLM を最適化し、高品質なクエリ生成を促します。

3. 主要な貢献

1. 初の LLM 支援 KG 検出フレームワーク: スマートコントラクトの知識グラフにおいて、自然言語記述をグラフクエリに変換し、アクセス制御脆弱性を検出する初のフレームワークを提案しました。
2. SLM 支援の RLAF 手法の導入: 専門的な知識を持つ SLM エージェントからのフィードバックを用いて LLM のクエリ生成を反復的に改善する新しい強化学習アプローチ（RLAF）を開発しました。
3. 高性能な検出パイプライン: Slither IR を活用した意味豊な KG 構築と、DPO による最適化を組み合わせ、既存ツールを上回る検出精度を実現しました。

4. 実験結果

FORGE データセットから抽出された 553 件のスマートコントラクト（CWE-284 関連のアクセス制御欠陥を含む）を用いて評価を行いました。

• 検出精度:
  • ベースライン（Llama 3.1 8B）: F1 スコア 57.8%
  • SFT のみ: F1 スコア 65.5%
  • SFT + DPO (CKG-LLM): F1 スコア 74.9%（精度 73.1%, 再現率 76.8%）
  • DPO による最適化により、誤検出（False Positive）が大幅に減少し、全体的なロバスト性が向上しました。
• 効率性:
  • 既存のアクセス制御検出ツール（Achecker, GPTScan）と比較して、CKG-LLM は**最も短い総検出時間（6248 秒）と平均検出時間（11.3 秒/契約）**を記録しました。
  • Achecker は高い F1 スコア（81.4%）を示しましたが、実行時間が非常に長く、CKG-LLM は精度と効率のバランスにおいて優位性を示しました。

5. 意義と将来展望

• 技術的意義: 知識グラフの構造的利点と LLM の柔軟な推論能力を組み合わせることで、複雑なアクセス制御ロジックの検出を自動化し、専門知識がなくても自然言語で脆弱性検索が可能になりました。
• 実用性: 既存の静的解析ツールや LLM 単体の手法よりも高い精度と効率を両立しており、実際のスマートコントラクト監査プロセスへの導入が期待されます。
• 将来の展望: 整数オーバーフローやリエントランシーなど、他の脆弱性カテゴリへの拡張、および検索拡張生成（RAG）の導入によるスケーラビリティと精度のさらなる向上を計画しています。

総じて、CKG-LLM は、ブロックチェーンセキュリティ分野において、LLM と知識グラフを統合した次世代の脆弱性検出手法としての可能性を強く示唆する研究です。