論文要約：単一レポートを超えて：マルチレポートキャンペーン設定における自動化された ATT&CK 技術抽出の評価

1. 概要と背景

本論文は、サイバー攻撃キャンペーン（大規模な組織化された攻撃）を分析する際、単一の脅威インテリジェンス（CTI）レポートに依存するのではなく、複数のレポートを統合して攻撃手法（MITRE ATT&CK 技術）を抽出する自動化手法の性能を評価した研究です。

• 問題提起: 既存の自動化手法は主に「単一のレポート」を対象として開発・評価されており、キャンペーン全体を網羅的に捉えることができていません。攻撃キャンペーンは複数のソースから多様な視点（戦略的概要から技術的詳細まで）で報告されるため、単一レポートのみでは重要な攻撃手法やそれに対する対策（コントロール）を見逃すリスクがあります。
• 目的: 最先端の ATT&CK 技術抽出手法 29 種類を、単一レポート評価から「マルチレポートキャンペーン評価」へと拡張し、その性能、誤分類の要因、および対策カバレッジへの影響を定量的に分析すること。

2. 研究方法論

本研究は、Büchel ら [10] の先行研究の概念的複製（Conceptual Replication）および拡張として設計されています。

データセット

• 学習データ: AnnoCTR データセット（118 種類の ATT&CK 技術）および MITRE 公式サイトから収集した追加サンプルを使用。
• 評価データ: CTIfecta データセットから抽出された 90 件の CTI レポート。
  • 対象キャンペーン：SolarWinds（21 件）、XZ Utils（28 件）、Log4j（41 件）。
  • これらのキャンペーンは、政府機関、ベンダー、インシデント対応チームなど多様なソースから報告されています。
  • 除外基準：文中に ATT&CK 識別子が明示されているレポートは除外（単純なマッピングを避けるため）。

評価対象手法（3 つのアプローチ、計 29 手法）

1. Named Entity Recognition (NER): 6 手法。ルールベースおよび構文解析パイプライン（Tokenization, POS タグ付けなど）を使用。モデル学習不要。
2. Encoder-based Classification: 15 手法。BERT や RoBERTa ベースの事前学習モデルを用いた多クラス/多ラベル分類。
3. Decoder-based LLM: 8 手法。大規模言語モデル（LLM）を用いた生成アプローチ。
   • プrompt ベース：ゼロショット、Few-shot (FSP)、RAG（検索拡張生成）、FSP+RAG。
   • 重みベース：SFT（教師あり微調整）を適用した上記の組み合わせ。

評価指標とプロセス

• キャンペーンレベル集約: 各レポートの予測結果をキャンペーン全体で統合（和集合）し、Precision, Recall, F1 スコアを算出。
• 誤分類分析: 誤検知（FP）と見逃し（FN）が発生した ATT&CK 技術のセマンティック類似性（コサイン類似度、t-SNE 可視化）を分析。
• 対策（コントロール）カバレッジ: 抽出された技術が MITRE 対策ではなく、P-SSCRM（Proactive Software Supply Chain Risk Management）フレームワークの 73 種類のコントロールにマッピングされ、どの程度カバーされているかを評価。
• 性能飽和（Saturation）分析: 報告数を増やしていくにつれて性能がどこまで向上し、どの時点で飽和するかをグリーディ法で調査。
• レポート特性分析: 性能に寄与するレポートの特性（単語数、文数、可読性スコア、発行元、日付）を統計的に比較。

3. 主要な結果

RQ1: 単一レポート vs マルチレポートの性能

• 全体的な改善: マルチレポートを統合することで、F1 スコアが平均約26% 向上しました。
• 手法ごとの傾向:
  • Decoder-based LLM: 単一レポート（中央値 F1: 47.67）からマルチレポート（60.12）へ大幅に改善（+26.1%）。リコールの向上が顕著。
  • NER: 同様に改善（56.80 → 65.21, +14.8%）。
  • Encoder-based Classification: 逆に性能が低下しました（59.34 → 41.54, -30.0%）。マルチレポートの文脈が単一レポート用モデルの性能を阻害した可能性があります。
• 結論: NER と LLM はマルチレポート設定で優位ですが、エンコーダー分類モデルは単一レポートの方が適している場合があります。

RQ2: 誤分類の要因

• セマンティック類似性: 誤分類（FP）および見逃し（FN）の約**33.3%**は、説明が意味的に類似した技術間での混同でした。
• 戦術（Tactic）の共有: 誤分類の多く（FP の最大 79.2%、FN の最大 73.3%）は、同じ戦術（例：防御回避、発見）を共有する技術間で発生しています。
• 具体例: 「T1587: Develop Capabilities」と「T1588: Obtain Capabilities」のように、準備段階の行動を記述する技術が混同されやすい傾向があります。

RQ3: 対策（コントロール）カバレッジへの影響

• 技術抽出の誤りが対策漏れに直結: 最良の手法（SFT-RAG）でも、ATT&CK 技術の約 90% を正しく抽出できても、対応する対策（P-SSCRM）のカバレッジは**77.1%**に留まりました。
• ギャップの拡大: 約 10% の技術見逃しが、約 23% の対策ギャップを生み出しています。
• 特定領域の欠落: Governance (G), Deployment (D), Environment (E) のグループに属する対策（例：サプライヤー管理、侵入監視）は、どの手法でも一貫して見逃されやすい傾向があります。

RQ4: 性能飽和に必要なレポート数

• 飽和ポイント: 多くの手法で、5〜15 件のレポートを追加すると性能が飽和します。
• 例外: XZ Utils キャンペーンでは、LLM が 22 件まで性能が向上し続けました。
• 実用的示唆: 全てのレポートを収集する必要はなく、10〜15 件程度で十分なカバレッジが得られる可能性があります。

RQ5: 性能を向上させるレポートの特性

• 長さと言語: 性能が飽和する前に寄与するレポート（Pre-segment）は、単語数・文数が多く、技術的な詳細が含まれている傾向があります。
• 可読性: 可読性スコア（Flesch Reading Ease）は性能と相関しません。むしろ、ハッシュ値や IP アドレスを含む専門用語が多いレポートほど可読性スコアは低くなりますが、抽出性能には寄与します。
• 発行元: 政府機関（CISA など）や主要な商用ベンダー（Google, Apache など）が発行するレポートが、性能向上に大きく寄与しています。

4. 主要な貢献

1. キャンペーンレベルの複製研究: 既存の 29 手法を、単一レポートではなく、同一キャンペーンの複数レポートを対象として評価し、性能変化を明らかにした。
2. 対策レベルの評価指標: 技術抽出の精度だけでなく、それがセキュリティ対策（Controls）のカバレッジにどう影響するかを定量化する指標を提案。
3. 性能飽和閾値の定量化: キャンペーン分析に必要な最小レポート数（5〜15 件）を提示し、コスト効果的な CTI 収集の指針を提供。
4. レポート特性の分析: 技術的な詳細を含む長いレポートが性能向上に寄与し、可読性は重要ではないことを示唆。
5. 誤分類の体系的な分析: 意味的類似性と共有戦術が誤分類の主要因であることを実証。

5. 意義と示唆

• セキュリティプラクティスへの提言:
  • 単一レポートに依存せず、複数のソースから情報を集約する必要がある。
  • 目的に応じた手法の選択：誤報を減らしたい SOC アナリストには NER が、網羅性を重視する脅威インテリジェンス担当には LLM が適している。
  • 可読性よりも技術的詳細を重視したレポート選定を行うべき。
• 研究への示唆:
  • 今後の評価は単一レポートベースから脱却し、マルチレポートキャンペーン設定で行うべき。
  • 技術抽出だけでなく、マッピングされた対策（Controls）のカバレッジも評価指標に含めるべき。
  • 意味的に類似した技術の区別を改善するための研究が急務である。

本論文は、自動化された CTI 分析が直面する現実的な課題（情報の断片化、誤分類の連鎖）を解明し、より効果的な攻撃キャンペーン分析のための実践的なガイドラインを提供する重要な研究です。