技術要約: SynAT

問題提起

サイバー攻撃はソフトウェアシステムに対して重大な脅威となっており、脆弱性を特定し脅威をモデル化するために、堅牢なセキュリティ知識ベース（CVE、CAPEC、およびファーウェイの社内データベースなど）が必要とされている。しかし、これらの公式リポジトリは情報の公開にタイムラグがあり、ゼロデイ攻撃のような新たなリスクに対してシステムを脆弱な状態に置いている。対照的に、Stack Overflowのようなオンラインの知識共有プラットフォームには、公式の開示に先行して発生することの多い、豊富でリアルタイムなクラウドソースのセキュリティ議論が含まれている。課題は、非構造化されたテキスト形式の議論から、構造化された**アタックツリー（攻撃ツリー）**を直接合成することが困難である点にある。アタックツリーは高度に抽象的な概念図であり、複数の攻撃イベント間の複雑な関係性を推論する必要があるが、クラウドソースのテキストに含まれるノイズや多様性により、このタスクの自動化は容易ではない。

手法: SynAT

本論文では、クラウドソースのセキュリティ投稿からアタックツリーを自動合成する手法として、SynATを提案している。その手法は、以下の3つのステージからなるパイプラインに従う。

1. 文の範囲の限定

セキュリティ投稿に含まれるノイズを軽減するため、SynATはまず、攻撃情報を含む可能性が高い文へと入力を絞り込む。

• 技術: 大規模言語モデル（LLM）と**プロンプト学習（Prompt Learning）**を組み合わせている。
• 実装: 投稿の質問と回答（accepted answer）の中から、アタックツリーを含む可能性のある特定の文（$K$）をLLMに予測させる「穴埋めテスト（Cloze-Testing）」型のプロンプトテンプレートを設計した。
• モデル選定: 実験ではAlbert、T5、GPT-3、ChatGPTを比較した。GPT-3（具体的にはtext-davinci-003）を用いたFix-prompt Tuningが、関連する文の特定において最高の性能（適合率 97.24%、再現率 99.36%）を達成した。

2. イベントと関係の同時抽出

範囲が限定された後、SynATは**遷移ベースのフレームワーク（transition-based framework）**を用いて、攻撃イベントとそれらの論理的関係を同時に抽出する。

• 定義:
  • 攻撃イベント（Attack Event）: トリガー（主動詞）、ターゲット（目的語）、およびインストルメント（道具）で構成される。
  • 関係（Relations）: And（両方の充足が必要）、Or（いずれかの充足で十分）、およびAchievedBy（親子の依存関係）と定義される。
• アーキテクチャ: モデルは、制限された文を一度走査するために、12個の遷移アクション（例：GEN-TRG, RIGHT-SHIFT, O-DELETE）を持つ状態マシンを利用する。
  • 状態（$S$）: トリガー（$\xi$）、引数（$\tau$）、およびバッファ（$\beta$）のスタック、ならびにイベント（$E$）と関係（$R$）の集合を含む。
  • メカニズム: StackLSTMが現在の状態を埋め込み、マルチラベル分類器が次のアクションを予測する。これにより、$O(n)$ の時間計算量を実現している。
• 洗練: 抽出後、システムは**推移的（Transitive）および非対称的（Asymmetric）**なルールを適用し、暗黙的な関係を特定し、ツリー内の循環依存を防ぐ。
• 学習: モデルは、イベント/関係の抽出損失（SSVM）とアクション予測の損失（交差エントロピー）のバランスをとる結合損失関数を用いて微調整される。

3. アタックツリーの合成

抽出されたイベントと関係は、セキュリティ実務家によって設計された3つのヒューリスティック・ルールを用いて、正式なアタックツリー構造へと変換される。

1. 攻撃目標の特定: 最終的なターゲットを表すイベント（例：「セッションの窃取」）がルートノードとなる。
2. 攻撃手法の特定: 中間的なイベントは、「攻撃者は[instrument]を用いて[target]を攻撃する」という形式のメソッドノードとなる。
3. ゲートとレイヤーの構築: AchievedBy 関係がツリーのレイヤーを定義し、And および Or 関係が同一レイヤー内のノード間の論理ゲートを定義する。

主な貢献

• 技術: SynATは、LLMベースのスコープ限定と遷移ベースの同時抽出を組み合わせることで、クラウドソースのセキュリティ投稿からアタックツリーを自動合成する最初の研究である。
• 評価: 5,070件のStack Overflowセキュリティ投稿と2,350件のGitHub Issueレポートを用いた包括的な評価を行った。
• 応用: ファーウェイの内部セキュリティ知識ベースおよび公開データベース（CVE、CAPEC）を強化するための実用的な展開。
• データ: 1,354件のラベル付きアタックツリーとソースコードを含むデータセットを公開。

実験結果

研究では、4つのリサーチクエスチョンにわたり、SynATを最先端のベースライン（Structured-Joint+, Albert, T5, GPT-3, ED3C, MLBiNet等）と比較評価した。

1. アタックツリー合成: SynATは、グラウンドトゥルースに対して最も高い類似性を達成した。平均ハミング距離（AHD）は10.24%、**木編集距離類似度（TEDS）は7.93%**であり、最良のベースラインをそれぞれ8.20%および7.13%上回った。
2. イベント抽出: SynATは平均**F1スコア 80.93%**を達成し、最良のベースラインを8.50%上回った。
3. 関係抽出: SynATは平均**F1スコア 87.81%**を達成し、最良のベースラインを13.59%上回った。
4. 知識ベースの強化:
   • 公開データベース: 合成された121個のツリーのうち、**40.50%**がCVEの開示よりも早い段階でStack Overflow上で提案されており、**16.53%**がCVEに未掲載の潜在的な新しい攻撃として特定された。
   • プライベートデータベース: ファーウェイのデータベースにおいて、合成されたツリーの84.30%が実務家によって受理され、既存のアタックツリー・リポジトリに対して42.32%の増分をもたらした。
   • 人間による評価: 実務家による評価において、SynATのツリーは正確性と適切性の観点から、ベースライン（2.4–3.5）よりも有意に高いスコア（平均 3.8/5）を得た（$p < 0.01$）。
   • パッチ設計: SynATのツリーを統合することで、手動パッチにおける脆弱性修正率（$Fix@10$）が35.14%、自動パッチ（CodeT5）において**25.14%**向上した。

意義と主張

本論文は、SynATが非構造化されたクラウドでの議論と構造化されたセキュリティ知識との間の溝を効果的に埋めるものであると主張している。アタックツリーの抽出を自動化することにより、SynATは公式のセキュリティデータベースにおける決定的なタイムラグに対処し、組織が（ゼロデイ攻撃のような）新たな脅威をより迅速に特定し、軽減することを可能にする。公開（CVE/CAPEC）およびプライベート（ファーウェイ）の両方のコンテキストにおける成功した適用は、この手法がソフトウェアセキュリティ体制を強化するための実用的なツールであることを示している。著者らは、本手法がヒューリスティックなルールやLLMに依存しているものの、遷移ベースの抽出が効率性と高い精度を保証しており、継続的なセキュリティ知識ベースの維持のための実行可能なツールであることを強調している。