What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

本論文は、構造化されていないテキストから攻撃の戦術・技術・手順（TTP）を自動的に抽出する研究分野の現状を、80 件の論文を体系的に分析することで概観し、技術分類が主流である一方で評価の限界や再現性の課題など、今後の発展に向けた重要な課題を浮き彫りにしています。

要約

この論文は、**「サイバー犯罪者が今、何をしているのか？その手口を AI に自動で読み解かせるにはどうすればいいか？」**というテーマを、80 件の研究を徹底的に分析してまとめた「研究の総まとめ」です。

まるで、「泥棒の行動パターン（TTPs：手口・技・手順）」を辞書に載せるための、AI 開発者のための大図鑑を作ろうとしたようなものです。

以下に、難しい専門用語を避け、身近な例え話を使って解説します。

---

🕵️‍♂️ 1. 背景：なぜこんな研究が必要なの？

サイバー攻撃は増え続けています。セキュリティの専門家たちは、毎日膨大な量の「脅威レポート（犯罪者の手記のようなもの）」を読まなければなりません。
しかし、人間が全部読んで「あ、これは『鍵をこじ開ける技』を使っているな」と分類するのは、**「図書館の司書が、毎日何万冊も来る本を、手作業で全て分類しようとしている」**ようなもので、とても大変でミスも起こりやすいです。

そこで、**「AI に読ませて、自動的に『鍵こじ開け技』とか『パスワード盗み技』を見つけさせよう！」**という研究が盛んに行われています。

🔍 2. この論文がやったこと

著者たちは、過去 10 年間の「AI で手口を自動抽出する」研究 80 件をすべて集めて、**「どんな方法が使われていて、何がうまくいって、何がダメだったのか」**を整理しました。

まるで、**「料理のレシピ本 80 冊を集めて、どの料理が人気で、どの材料が不足しているかを分析する」**ような作業です。

📊 3. 発見された 3 つの大きなトレンド（料理の例えで）

① 「技（Technique）」を見つけるのがメイン

研究の多くは、**「具体的な技（例：『パスワードを総当たりで試す』）」**を見つけることに集中しています。

• 例え： 「泥棒が『窓から入った』か『鍵をこじ開けた』か」を特定することに熱心ですが、「泥棒が『なぜ入ったのか（金庫を狙った）』」や「『どうやって部屋を抜け出したか』」まで詳しく分析する研究は少ないです。

② AI の進化：「辞書」から「天才」へ

• 昔： 単純な「キーワード検索」や「ルールブック」を使っていました。（例：「『パスワード』という文字があれば、それは技だ！」）
• 最近： Transformer（BERT など） という、文脈を理解できる AI が使われるようになりました。（例：「『パスワード』という言葉がなくても、文脈から『総当たり攻撃』だと推測できる」）
• 最新： LLM（大規模言語モデル） を使った研究も出てきました。これは、**「AI に『泥棒の手記を読んで、手口をまとめて』と指示する」**ような高度なものです。

③ データの「偏り」と「秘密」

• 偏り： 多くの研究が、**「特定の企業のレポート」や「人工的に作ったデータ」**だけでテストしています。まるで、「練習用のおもちゃの泥棒」だけで訓練した AI が、本物の泥棒に強いかどうかはわからない状態です。
• 秘密： 多くの研究で、**「使ったデータやコードを公開していない」という問題があります。これは、「料理のレシピ本に『味付けは秘密』と書いてある」**ようなもので、他の人がその味を再現したり、改良したりできません。

⚠️ 4. 今の課題（「ここがダメ！」という点）

1. 現実離れしたテスト： 多くの AI は、きれいに整理されたデータでしかテストされていません。現実のレポートは messy（ごちゃごちゃ）で、AI が混乱しやすいのです。
2. 再現性の欠如： 「この AI はすごい！」と言っていますが、**「どうやって作ったか（コードやデータ）」**が公開されていないため、他の人が「本当にすごいのか？」と確認できません。
3. 文脈の無視： 文書全体の流れ（「まず A をして、次に B をして…」）を理解せず、バラバラの文で判断しようとしているため、複雑な攻撃を見逃すことがあります。

🚀 5. 未来への提案（「こうすれば良くなる！」）

著者たちは、今後の研究に以下のことを提案しています。

• もっとリアルなデータ： 実際のセキュリティ担当者が使っている、ごちゃごちゃしたレポートを AI に学習させる。
• 公開と共有： 作ったデータやコードをみんなで見られるようにして、みんなで改良する（レシピを公開する）。
• 文脈を理解する： 文書全体を読んで、「泥棒のストーリー」を理解できる AI を作る。
• 複雑な手口に対応： 一つのレポートに複数の手口が混ざっている場合でも、すべて見つけられるようにする。

💡 まとめ

この論文は、「AI にサイバー犯罪の手口を教える研究」は、すでに「辞書で検索するレベル」から「文脈を理解する天才レベル」に進化したが、まだ「練習用のおもちゃ」でしかテストしていないと指摘しています。

今後は、**「もっとリアルな現場のデータ」を使い、「結果をみんなで共有」**しながら、実際に役立つセキュリティの味方を育てていこう、というメッセージです。

技術概要

論文「What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review」の技術的概要

この論文は、サイバー脅威インテリジェンス（CTI）の非構造化テキストから、攻撃者の戦術・技術・手順（TTPs: Tactics, Techniques, and Procedures）を自動的に抽出する研究分野に関する体系的な文献レビュー（Systematic Review）です。著者らは、MITRE ATT&CK フレームワークに準拠した TTP 抽出の現状を分析し、既存研究の傾向、課題、および将来の研究方向性を明らかにしました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細を記述します。

---

1. 問題定義 (Problem)

• 背景: サイバー攻撃の規模と複雑化が加速しており、防御側は迅速な CTI の活用が不可欠です。CTI の主要な目的は、攻撃者の「なぜ（戦術）」「どのように（技術）」「具体的な手順（手順）」を理解することです。
• 課題: 攻撃者の行動パターンを MITRE ATT&CK などの構造化知識ベースにマッピングすることは、手動では時間がかかり、エラーが発生しやすく、スケーラビリティがありません。
• 研究ギャップ: 既存の研究では、NLP や機械学習を用いた TTP 抽出の提案は多数ありますが、抽出目的、データセット、モデル手法、評価基準が研究間で大きく異なっています。 これにより、どの手法が最も効果的か、どのデータソースが有効か、また研究全体の全体像を把握することが困難でした。また、既存のレビュー研究は CTI 抽出全般を扱っており、TTP 抽出に特化した体系的な統合分析は不足していました。

2. 研究方法 (Methodology)

著者らは、ソフトウェア工学における体系的な文献レビューのガイドライン（Kitchenham et al.）に従って研究を行いました。

• データ収集: IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL の 5 つの主要学術データベースから、2015 年〜2025 年 6 月までの論文を収集しました。
• 検索戦略: 「MITRE AND ATT&CK」「MITRE OR ATT&CK」「Tactics AND Techniques AND Procedures」などの検索語句を使用。
• 選定プロセス:
  1. 初期検索で 3,219 件の論文を抽出。
  2. 重複除去および事前定義された包含・除外基準（ピアレビュー済み、英語、TTP 抽出の提案があることなど）を適用。
  3. フォワード・バックスnowballing（引用文献の追跡）を実施。
  4. 最終的に80 件の関連論文を分析対象として選定しました（研究者間の合意度 Cohen's kappa = 0.86）。
• 分析枠組み: 選定された 80 件の論文を、以下の 7 つの研究質問（RQs）に基づいて定性的に分析・分類しました。
  • RQ1: 抽出の主な目的
  • RQ2: データソース
  • RQ3: データ収集と前処理
  • RQ4: データセットの注釈と構築
  • RQ5: 抽出に用いられた手法
  • RQ6: 評価指標
  • RQ7: 再現性とアーティファクトの可用性

3. 主要な貢献 (Key Contributions)

1. TTP 抽出目的の体系的分類: 5 つのカテゴリ（戦術分類、技術分類、技術検索、IoC 抽出、知識グラフ構築）に分類。
2. 手法の体系的分類: 従来の機械学習から Transformer、LLM までの技術的進化を整理。
3. データソースと形式のまとめ: 利用されている多様なデータソース（CTI レポート、ログ、マルウェアリポジトリ等）の分析。
4. 評価手法の集約: 性能評価に用いられている指標と実験設定の現状を把握。
5. 再現性と透明性の概観: コードやデータセットの公開状況の実態を明らかにし、再現性の課題を浮き彫りにした。
6. 将来の研究方向性の提言: 実運用に即した堅牢な TTP 抽出システムの構築に向けた具体的なロードマップを提示。

4. 主要な結果と知見 (Results & Findings)

A. 抽出タスクの傾向

• 技術分類（Technique Classification）が支配的: 39 件（全体の約半数）が、CTI テキストを MITRE ATT&CK の「技術（Technique）」レベルに分類するタスクに焦点を当てています。
• 戦術分類と技術検索は未開発: 戦術（Tactic）の分類や、テキスト内から特定の技術を検索するタスクは比較的小規模です。
• 知識グラフ（KG）構築: 24 件の研究が KG 構築に注力しており、エンティティ間の関係性を構造化する動きが見られます。

B. データソースと前処理

• 主要データソース: ベンチマークデータセット（MITRE ATT&CK 等）と CTI レポート（FireEye, Kaspersky 等）が最も多く利用されています。
• 前処理の課題: PDF からのテキスト変換、IoC（侵害指標）の置換、文分割など、ドメイン固有のノイズ除去が重要ですが、手法は研究間で統一されていません。

C. 手法の進化

• ルールベースから深層学習へ: 従来のルールベースや TF-IDF/SVM などの古典的 ML から、BERT、RoBERTa などの Transformer 系モデルへ移行しています。
• ドメイン特化モデルの台頭: 汎用 BERT ではなく、CyBERT, SecureBERT, SecRoBERTa などのセキュリティ分野で事前学習・微調整されたモデルが精度向上に寄与しています。
• LLM の出現: 最近の研究では、LLaMA や GPT 系列の LLM を用いたゼロショット推論、Few-shot 学習、RAG（検索拡張生成）の探求が始まっています。ただし、完全な採用段階には至っておらず、ハイブリッドアプローチ（ドメイン特化エンコーダ＋LLM 推論）が有効であるという知見があります。

D. 評価と再現性の課題

• 評価の限界: 多くの研究が単一のデータセットでの評価に留まっており、クロスドメインでの一般化性能や、多ラベル分類におけるクラス不均衡への対応が不十分です。
• 再現性の欠如: 論文の12.5% しかコードとデータの両方を公開していません。 50% の論文はデータやコードの可用性が不明、または非公開（プロプライエタリ）であり、独立した検証やベンチマークが困難です。

5. 意義と将来の展望 (Significance & Future Directions)

このレビューは、TTP 抽出研究が「実運用（Operational）」の文脈から乖離している可能性を警告し、以下の方向性を提言しています。

1. 実運用に基づくデータセットの構築: 合成データやフィルタリングされたデータではなく、現場の CTI レポートから得られた高品質で多様なデータセットの公開が必要。
2. 多ラベル評価パラダイム: 1 つのレポートに複数の戦術・技術が含まれることを考慮し、単一ラベル分類ではなく、多ラベル・階層的な評価を行うべき。
3. 文脈を考慮した抽出: 文レベルだけでなく、レポート全体の流れ、時間的順序、因果関係を捉える文脈認識モデルの開発。
4. 再現性の向上: コード、データ、注釈手順の完全な公開と、バージョン管理の徹底。
5. STIX 中心からの脱却: 構造化された指標だけでなく、攻撃者の意図や進化する行動パターンを表現できる、より豊かなナラティブ対応表現の探求。

結論:
本論文は、TTP 抽出分野における技術的成熟度と課題を包括的に整理した重要なリソースです。Transformer や LLM の進歩により技術的には飛躍的な進歩が見られますが、データセットの偏り、評価手法の簡略化、再現性の欠如といった構造的な課題が残っています。これらの課題を解決し、実世界の脅威分析ワークフローに統合可能なシステムを開発することが、今後の研究の鍵となります。