技術要約：AegisShield – 生成AIによる脅威モデリングの民主化

問題提起

従来の脅威モデリング手法（STRIDE、PASTA、OCTAVEなど）は、特に小規模かつリソースの乏しい組織において、導入に対する大きな障壁に直面しています。これらの障壁には、高い複雑性、膨大な時間、専門知識への依存、そしてクラウド環境、IoT、サイバー物理システム（CPS）といった現代の動的なシステムに対して効果的にスケールできないことが含まれます。MITRE ATT&CKやSTRIDEのようなフレームワークは構造化されたアプローチを提供しますが、それらをマニュアルで実装する場合、アセスメントの不完全さや出力の不一致を招き、「スキルギャップ」が生じます。その結果、ごく一部の組織しか脅威へのカバー範囲に自信を持てない状況となっています。さらに、既存のAIに焦点を当てたフレームワークは、攻撃者の能力に関する非現実的な仮定に基づいているか、あるいはリアルタイムの脅威インテリジェンスの統合に失敗しており、多様で現実世界のシナリオにおける実用的な有用性が制限されています。

手法

本研究では、Design Science Research Methodology (DSRM) を採用し、Streamlitフレームワークを通じてデプロイされた、Pythonベースの生成AI強化型脅威モデリングツールである AegisShield を開発および評価しました。

ツール開発

• アーキテクチャ: AegisShieldは、OpenAIの GPT-4o モデルを、確立されたサイバーセキュリティフレームワーク（STRIDE、MITRE ATT&CK、DREAD）および脅威インテリジェンスソース（National Vulnerability Database [NVD]、AlienVault Open Threat Exchange [OTX]）と統合しています。パフォーマンスを最適化し、APIへの依存を最小限に抑えるため、ツールはMITRE ATT&CKデータを含む ローカルに保存されたSTIX JSONファイル を活用しています。
• プロンプトエンジニアリング: システムは、専門家の意思決定をシミュレートするように設計された構造化されたプロンプトアーキテクチャを利用しています。プロンプトは、一貫性を確保しハルシネーション（幻覚）を抑制するために、JSON形式の出力を強制するように設計されており、以下の5つの主要なコンポーネントをカバーしています。
  1. MITRE ATT&CK マッピング: ローカルに保存されたSTIXデータセットから、関連する戦術（Tactics）、技術（Techniques）、および手順（Procedures）（TTPs）を選択する。
  2. 脅威の特定: システムの説明と 外部コンテキスト（NVDおよびOTXからの既知の脆弱性を含む）に基づき、STRIDEカテゴリ（Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege）にわたる脅威を生成する。
  3. リスクアセスメント: 定量的リスクスコアリングのためにDREADモデル（Damage, Reproducibility, Exploitability, Affected Users, Discoverability）を適用する。
  4. 緩和戦略: 実効性のある対策を生成する。
  5. テストケース: 行動駆動開発（BDD）のためのGherkin構文を用いたテストケースを作成する。
• データ収集: 評価には、ヘルスケア、金融、IoT、5Gなどのドメインにわたる学術文献からの 15の多様なケーススタディ を使用しました。これらの研究は、専門家によって作成されたSTRIDE脅威モデルを提供しています。
• 実験設計:
  • データセット: ツールは、8,100件の脅威（30バッチ × 15ケーススタディ × 1バッチあたり18件の脅威）を生成し、これらを 243件の専門家抽出済み脅威 と比較しました。
  • 指標:
    • 複雑性 (H1): Flesch-Kincaid可読性スコアを用いて測定。
    • 意味的類似性 (H2): stsb-roberta-large Sentence-BERTモデルを用いたコサイン類似性を用いて測定。
    • フレームワークへの適合性 (H3): MITRE ATT&CKのTTPsに正常にマッピングされた脅威の割合によって測定。
  • 統計分析: 非正規分布データに対応するため、可読性については非パラメトリック検定（Mann-Whitney U検定）を使用しました。マッピング成功率については、一標本検定および信頼区間を使用しました。

主な貢献

1. 脅威モデリングの民主化: 本研究は、生成AIが脅威モデリングへの参入障壁を下げ、専用のサイバーセキュリティアーキテクトを欠く組織でも利用可能にすることを実証しています。
2. 標準化と自動化: AegisShieldは、構造化され標準化された脅威アーティファクト（STRIDEの脅威、DREADスコア、緩和策、およびテストケース）の生成を自動化します。これは従来、数日から数週間を要していたプロセスです。
3. 脅威インテリジェンスの統合: 本ツールは、NVDおよびOTXからのデータをプロンプト内に コンテキストに応じた脅威インテリジェンス として組み込んでおり、脅威モデルが特定のシステムコンテキストに関連する既知の脆弱性や新たな脅威を反映することを保証しています。
4. 検証フレームワーク: 本研究は、意味的類似性とフレームワークマッピングの指標を用いて、AIが生成した脅威モデルを専門家のベンチマークと比較して評価するための定量的なフレームワークを確立しています。

結果

15のケーススタディにおけるAegisShieldの評価により、3つの主要な仮説を支持する統計的に有意な結果が得られました。

• H1: 複雑性の低減: AegisShieldが生成した脅威は、専門家が生成した脅威よりも有意に可読性が高かった。
  • 中央値 Flesch-Kaidasスコア: ツール生成（12.7）対 専門家生成（13.5）。
  • 統計的有意性: Mann-Whitney U検定により、有意差（p < 0.001）が確認されました。これは、ツールがカバー範囲を損なうことなく、よりアクセシブルな記述を生成できることを示しています。
• H2: 意味的類似性: ツールは、専門家のモデルと意味的に整合した出力を生成した。
  • 成功率: 15ケーススタディ中14件 において、少なくとも1つのバッチ内の脅威が、50%以上の実行回数でコサイン類似度 ≥ 0.7 を達成しました（統計的に有意、p < 0.05）。
  • 高パフォーマンスのケース: 特定のケース（例：音声ベースのアプリケーション、ソーシャルメディア）では、類似度が0.94に達することもあり、専門家レベルの洞察を複製するモデルの能力を実証しました。
• H3: MITRE ATT&CK マッピング: ツールは確立されたフレームワークへのマッピングに成功した。
  • 全体的な成功率: 生成された8,100件の脅威のうち、85.4% がMITRE ATT&CKのTTPsに正常にマッピングされました。
  • 統計的有意性: この率は80%のベンチマークを統計的に有意に上回りました（p < 0.001）。
  • カテゴリ別の性能: マッピングはSpoofing（94.0%）およびElevation of Privilege（91.6%）で最も高く、Repudiation（73.5%）は、フレームワークが求める技術的な具体性と概念的な性質の乖離により、低い成功率を示しました。

意義と主張

本論文は、AegisShieldがサイバーセキュリティの「民主化」を実現する実行可能なソリューションであることを主張しています。脅威モデリングの初期段階を自動化することで、組織はシニアアーキテクトの雇用や、労働集約的な手動プロセスに伴う法外なコストをかけることなく、セキュア・バイ・デザイン（設計段階からのセキュリティ確保） の原則を採用できるようになります。

本研究は、伝統的な手法は現代のアジャイルな開発ライフサイクルに対して複雑すぎたり遅すぎたりすることが多い一方で、AegisShieldはスケーラブルでコスト効率の高い代替案を提供すると述べています。研究では、ツールが脅威の特定を加速させる（数日から数分へと短縮）だけでなく、意味的な内容やフレームワークへの適合性の観点から、専門家モデルと同等の結果を統計的に生成できることを強調しています。

ただし、著者らは以下の限界についても控えめなトーンで言及しています。

• ドメインの変動性: MITRE ATT&CKのマッピングが十分に定義されていない新興技術（例：IoT、5G）においては、パフォーマンスにばらつきが見られました。
• AIの限界: ツールは基礎となる生成AIモデル（GPT-4o）の能力に依存しており、「ハルシネーション」（発生は稀ですが、未マッピングの脅衛の約1.15%）や学習データの潜在的なバイアスは依然として懸念事項です。
• 範囲: 本研究は事前の脅威モデリングに焦点を当てており、インシデント対応や事後分析についてはテストしていません。

最終的に、本論文は、生成AIを構造化されたフレームワークおよび脅威インテリジェンスと統合することで、脅威モデリングのアクセシビリティと有効性を大幅に向上させ、サイバーセキュリティのエコシステム全体を強化できると結論付けています。