技術的サマリー：HackerSignal

問題定義

現代の応用サイバーセキュリティは、サイバー脅威がどのように発生し、伝播し、脆弱性と関連するかを理解するという中心的な課題に直面しています。この軌跡を追跡するシグナルは、ハッカーフォーラム、公開エクスプロイトデータベース、公式脆弱性勧告（例：NVD、CISA KEV）、オープンソースの修正コミットなど、多様なテキストベースのソースに分散しています。この分野における既存の公開データセットは、通常、これらのソースの単一層またはその一部のみを網羅しており、かつ多くの場合、プロプライエタリです。さらに、ハッカーコミュニティの議論と公式の脆弱性記録を結びつける構造化データセットは、公開文献においてほとんど存在しません。現在のベンチマークは、しばしば時間的厳密性を欠き、トレーニング時に存在しなかった脅威に対するモデルの汎化能力を評価できておらず、また、性能主張を過大評価させるデータ漏洩の問題に頻繁に見舞われています。

手法

著者らは、ハッカーコミュニティの議論と完全な CVE 脆弱性ライフサイクルを結びつけるように設計された、大規模で時間的に構造化された多ソースコーパスおよびベンチマーク「HackerSignal」を導入します。

データセット構築

• 規模と範囲: データセットは、8 層のソース階層と 36 年間の期間（1990–2026 年）にわたる 64 の公開フォーラムおよびソース識別子から収集された 745 万件の完全重複排除ドキュメントを集約しています。
• ソース層: コーパスは以下を統合します：
  1. ハッカーおよびセキュリティコミュニティ（697 万行、ダークウェブマーケットプレイスおよびセキュリティボードを含む）。
  2. 脆弱性参照（NVD）。
  3. エクスプロイトアーカイブ（例：ExploitDB）。
  4. エクスプロイト Q&A 参照。
  5. 勧告参照。
  6. バグバウンティ開示。
  7. 修正コミット参照。
  8. 悪用参照（CISA KEV）。
• 統合: すべてのソースは、共有 CVE 識別子ネームスペースによって統一された共通の JSONL スキーマに正規化されます。個別の CVE インデックスは、外部キーを介してレコードを参照にマッピングし、ソース間結合を可能にします。
• 前処理: データ収集には公式 API、既存の公開データセットの取り込み、倫理的なウェブスクレイピングが含まれます。処理ステップには、Unicode 正規化、HTML 除去、URL 置換、空白の圧縮、非英語コンテンツおよび短い投稿（20 文字未満）のフィルタリングが含まれます。完全重複排除（SHA-256）およびニア重複排除（MinHash-LSH）が適用されました。
• 時間的分割: 将来の汎化を確保するため、データは時間的に分割されます：
  • タスク 1 および 3：トレーニング（2022 年未満）、検証（2022–2023 年）、テスト（2024 年以降）。
  • タスク 2：トレーニング（2020 年未満）、検証（2020–2022 年）、テスト（2023 年以降）。

ベンチマークタスク

本論文は、時間的分布外（OOD）汎化を評価するための 3 つのベンチマークタスクを定義します：

1. CVE リンケージ検索（CVE-R）: クロスソースのエンティティグラウンディングタスクであり、モデルはエクスプロイトまたは勧告のテキストクエリが与えられた場合、NVD コーパス（34 万エントリ）から正しい CVE 記述を検索します。
   • ベースライン: BM25、密な双方向エンコーダ（MiniLM、mpnet、BGE、E5）、およびハイブリッドの疎＋密アプローチ。
2. エクスプロイトタイプ分類（ETC）: エクスプロイトテキストから脆弱性タイプ（例：インジェクション、XSS、メモリ破損、RCE）を予測する 8 クラス分類タスク。
   • ベースライン: バッグ・オブ・ワード分類器（決定木、TF-IDF+LR、SVM）、RNN（RNN、GRU、LSTM、BiLSTM）、およびドメイン固有のトランスフォーマー（SecBERT）。
3. 時間的汎化（TG）: タスク 1 と同一の厳密な検索タスクですが、CVE 非重複制約（$C_{train} \cap C_{test} = \emptyset$）が課されます。モデルは、特定の CVE エントリの記憶を防止し、全く見慣れない脆弱性記述に汎化する必要があります。

評価プロトコル

• 漏洩監査: 著者らは時間的およびソース漏洩を明示的に監査し、CVE の非重複性をプログラム的に検証します。
• ベースラインの段階: BEIR および WILDS の手法に従い、評価は語彙的（BM25）から密およびハイブリッドアーキテクチャに至る多様なモデルの段階を採用します。
• 指標: 検索タスクには Recall@k と平均逆順位（MRR）を使用し、分類にはマクロ F1 とクラス別 F1 を使用します。

主要な結果

• CVE リンケージ検索（タスク 1）: E5-base-v2モデルが MRR 0.587 で最高性能を達成し、ハイブリッド BM25+mpnet アプローチ（0.567）および他の対称的双方向エンコーダを上回りました。これは、非対称なクエリ/パッセージプレフィックストレーニングがクロスソースの CVE グラウンディングに特に効果的であることを示唆しています。
• エクスプロイトタイプ分類（タスク 2）: BiLSTMモデルが最高の マクロ F1 0.871 を達成し、最良のバッグ・オブ・ワードベースライン（SVM で 0.799）およびドメイン固有の SecBERT（0.846）を上回りました。これは、双方向コンテキストがエクスプロイトテキストにとって重要であることを示しており、ドメイン固有の事前トレーニングは標準的なアーキテクチャに対してわずかな利点しか提供しませんでした。
• 時間的汎化（タスク 3）: 厳格な CVE 非重複条件下では、E5-base-v2が再び MRR 0.602 で首位となりました。モデルは一般的にタスク 1 と比較して性能を維持または向上させ、時間的分割がトレーニングデータの有意義な記憶を効果的に防止したことを確認しました。

主要な貢献

1. 時間的根拠を持つ CTI コーパス: CVE リンケージメタデータを含む 8 層のソースにわたる 745 万ドキュメントのデータセットであり、3 つのベンチマークを超えた多様な NLP タスク（例：エクスプロイトコードの要約、トピックモデリング）をサポートします。
2. 3 つのベンチマークタスク: クロスソース検索、8 クラス分類、および将来の CVE 非重複評価を含む、段階的に困難な汎化をテストするように設計された時間的トレーニング/検証/テスト分割を備えたタスクスイート。
3. ガバナンスおよび透明性アーティファクト: 完全なモデル段階、ソースショートカット診断、手動監査パケット、データシート、およびデータ漏洩を防ぐためのリリースガバナンス付録を含む、完全性と透明性を確保するためのアーティファクト。

意義と主張

本論文は、HackerSignal を**時間的分布外サイバー脅威インテリジェンス（CTI）**のための基盤的なリソースとして位置づけています。その主な意義は以下の点にあります：

• ギャップの橋渡し: ハッカーコミュニティの議論から公式の脆弱性記録およびソフトウェア修正までの完全な軌跡をマッピングする最初の公開ベンチマークの一つです。
• 厳密な評価: 時間的分割と CVE 非重複制約を強制することで、データ漏洩および非将来的な評価に起因する一般的なベンチマーク主張の過大評価の問題に対処します。
• 防御的研究への焦点: データセットは防御的研究のために明示的にキュレートされており、自動化されたエクスプロイトモデルのファインチューニングまたはユーザーの匿名解除を禁止するガバナンス規則を備えています。

著者らは限界を認め、CVE リンケージは専門家による裁定ではなくメタデータ由来であるためノイズを導入していること、クロスリンガル検索が評価されていないこと、計算コストにより大規模言語モデルの再ランク付けが含まれていないことを指摘しています。しかし、コード、データ、および Croissant メタデータのリリースは、エクスプロイトコードの要約、コミュニティ相互作用分析、およびクロスリンガル CTI 抽出における将来の拡張を支援することを目的としています。