Vendor-Conditioned Contrastive Learning for Predicting Organizational Cyber Threat Targets

技術サマリー：TRACE – 組織のサイバー脅威標的を予測するためのベンダー条件付き対比学習

問題定義
サイバー攻撃は甚大な金銭的損害をもたらしており、その世界的コストは 2029 年までに年間 15.6 兆ドルに達すると予測されています。サイバー脅威インテリジェンス（CTI）は、悪意のある actors がエクスプロイトコードや技術を共有するハッカーフォーラムの分析に大きく依存していますが、現在の研究には重要なギャップが存在します。それは、これらのエクスプロイトが「どの特定の組織」を標的としているかを特定することです。先行研究はエクスプロイトの特定、MITRE ATT&CK へのマッピング、またはクロスリンガル検出に焦点を当てており、組織の標的予測に焦点を当てたものは稀です。さらに、既存のモデルはしばしば時間的分布シフトを考慮していません。新しいベンダー、製品、脆弱性が登場するにつれ、エクスプロイト投稿で使用される言語は進化します。過去のデータで訓練されたモデルは、将来の投稿に適用された際に信頼性が低下するパターンを学習する可能性があり、静的な精度ではなく将来を見据えた汎化能力をテストする評価プロトコルが必要とされます。

手法
これらの課題に対処するため、著者らは時間的ドリフトに対する堅牢性を維持しつつ組織の標的を予測するためのフレームワークであるTRACE（Temporal Representation and Classification of Exploits）を提案します。

1. データ構築:

   • 著者らは、ハッカーフォーラム、エクスプロイトデータベース、ダークネットマーケットを含む 35 のソースから 3 世紀（1990 年～2026 年）にわたる 870 万件の投稿を集約したHackerSignal データセットを活用し、大規模なマルチソースコーパスを構築しました。
   • これらから、エクスプロイトに富むソースからの352,866 件の英語投稿のサブセットがエンティティ抽出のために選択されました。
   • 150 以上のベンダーおよび製品名のパターンを含むキュレーションされたガゼット（用語集）を使用して、ベンダー参照を抽出・正規化し、それらを 7 つの組織カテゴリ（例：CMS/オープンソース、エンタープライズソフトウェア、Web プラットフォーム、ネットワーク/IoT、モバイル、ゲーム、データベース）にマッピングしました。
   • このプロセスにより、129,126 サンプルのゴールドスタンダードデータセットが生成されました。
   • 時間的分割: 現実世界の展開をシミュレートし、データリーケージを回避するため、データは時系列で分割されました。2022 年以前の投稿（125,963 サンプル）で訓練、2022 年～2023 年で検証、2024 年以降（分布外/OOD）でテストを行いました。

2. モデルアーキテクチャ（TRACE）:

   • ベースエンコーダ: フレームワークは、専門用語（CVE、シェルコマンド、難読化されたペイロード）を処理するためにサイバーセキュリティコーパスで事前学習された BERT ベースエンコーダであるCySecBERTを利用します。
   • デュアルヘッド設計:
     • 分類ヘッド: 線形層がエンコーダの [CLS] 表現を 7 つの組織カテゴリのロジットにマッピングし、標準的なクロスエントロピー損失（$L_{CE}$）で最適化されます。
     • 対比投影ヘッド: 2 層の MLP が表現を 128 次元空間に投影します。このヘッドは教師あり対比（SupCon）損失（$L_{SC}$）を用いて最適化されます。
   • ベンダー条件付き目的関数: 標準的な分類とは異なり、対比損失は組織カテゴリではなくベンダーの同一性によってサンプルをグループ化します。これにより、同じベンダーに関するエクスプロイト投稿の埋め込みを近づけ、異なるベンダーを遠ざけます。これは、同じベンダーに関するエクスプロイト投稿が、より広いカテゴリにまたがって特定の語彙やコードパターンを共有するという観察結果を活用したものです。
   • 訓練目的: 総損失は重み付き和です：$L = L_{CE} + \lambda L_{SC}$（ここで $\lambda = 0.1$）。これにより、分類が主要な目標である一方で、対比目的が埋め込み空間をベンダー一貫性のあるものになるように形成されます。

主な貢献

1. 大規模マルチソースコーパス: 9 つの異なるエクスプロイトデータベースとハッカーフォーラムから導出され、3 世紀にわたるデータを網羅する 129,126 サンプルのラベル付きデータセットの作成。
2. ベンダー条件付き対比学習: ベンダーの同一性を補助的な教師信号として使用するファインチューニング戦略の導入。このアプローチは、モデルがベンダーレベルの構造を保持する表現を学習することを促し、時間的分布シフト下での汎化能力を向上させます。
3. 時間的 OOD 評価: 将来のデータ（2024 年以降）におけるモデル性能をテストする厳格な評価プロトコル。これにより、フレームワークが進化するエクスプロイト言語に対処できる能力を実証しています。

実験結果
TRACE フレームワークは、古典的機械学習（ナイーブベイズ、SVM、ロジスティック回帰）、GloVe および FastText 埋め込みを備えた深層学習アーキテクチャ（RNN、LSTM、CNN、Transformers）、および事前学習済みトランスフォーマー（BERT、RoBERTa、ModernBERT、CySecBERT）を含む 17 のベンチマークモデルに対して評価されました。

• 性能: TRACE は、時間的 OOD テストセットにおいてマクロ F1 スコア 97.00%、**精度 98.65%**を達成し、すべてのベースラインを大幅に上回りました。
• ベースラインとの比較:
  • ドメイン適応: ドメイン固有の事前学習が決定的に重要でした。CySecBERT（F1=94.45%）は、汎用 BERT（89.29%）や RoBERTa（84.36%）を大幅に上回りました。
  • 埋め込み: 深層学習ベースラインにおいて、エクスプロイトコーパスで訓練された FastText 埋め込みは、汎用的な GloVe 埋め込みを一貫して上回りました（例：BiLSTM: 81.84% vs. 63.11%）。
  • 対比による向上: ベンダー条件付き対比目的関数は、標準的な CySecBERT ファインチューニングに対して大幅な向上をもたらしました。F1 スコアを2.55 ポイント（94.45% から 97.00%）向上させました。
• カテゴリ別分析: TRACE は、レアクラスをよりよく分離するベンダー一貫性のある表現を学習することにより、特にサポートの少ないカテゴリで最も顕著な改善を示しました。具体的にはゲーム（F1 が 72.34% から 91.80% に増加）です。

意義と主張
本論文は、TRACE がプロアクティブな CTI に対する堅牢なメカニズムを提供し、ステークホルダーが新興のエクスプロイトによってどの業界が標的にされているかを迅速に特定できるようにすると主張しています。本研究は、埋め込みの選択がモデル性能において最も重要な単一因子であることを強調しています。ドメイン固有の事前学習とコーパスで訓練された埋め込みは、ハッカーコミュニティの専門用語を処理するために不可欠です。

著者らは、静的な過去のデータで訓練されたモデルは進化し続ける脅威に対して展開された際に失敗することが多いため、時間的 OOD 評価がモデルの実用性に対する現実的な評価を提供すると強調しています。学習目的にベンダーレベルの構造を統合することで、TRACE は、ターゲットとなる語彙やパターンが時間とともに変化しても、補助的なメタデータが組織の標的予測のための表現の識別力を強化し得ることを実証しています。

限界
著者らは、ガゼットベースのラベリングは高精度であるものの、辞書に含まれていないベンダーを見逃す可能性があることに言及しています。さらに、7 カテゴリの分類体系は組織を broad なグループに集約しており、境界を曖昧にする可能性があります（例：Web プラットフォームとオープンソース CMS の区別）。データベース（テストサンプル 2 件）やゲーム（テストサンプル 30 件）などのカテゴリにおけるサンプル数の少なさにより、それらの特定クラスに対するカテゴリ別指標の統計的信頼性が制限されています。