💬 NLP

TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

TTPrint は、サイバー脅威インテリジェンスレポートからの MITRE ATT&CK 技術の抽出を改善する新規フレームワークであり、まず特定の証拠に根ざした候補行動を広く同定し、次に権威ある定義に対して厳密に検証する「発散後収束」戦略を採用することで、既存の手法をリコールと精度の両面で大幅に上回る性能を発揮する。

原著者： Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、巨大で混沌とした犯罪現場報告書を解決しようとする探偵だと想像してください。その報告書は数百ページにわたり、専門用語と曖昧な記述が混在して書かれています。あなたの任務は、特定の「手口（Modus Operandi）」を見つけ出し、MITRE ATT&CKと呼ばれる巨大な公式マニュアルと照合することです。

問題は厄介です：

何も見逃さないこと： 手法を見逃せば、犯罪者は新たな手口で逃れてしまいます。
作り込まないこと： 実際には存在しない手法を推測すれば、幽霊を追いかけるように皆の時間を無駄にしてしまいます。

既存の方法（古いマニュアルや単一パスの AI など）は、この両方を満たすのに苦労しています。彼らは要么多くの手がかりを見逃すか、要么誤った推測を多く行います。

ここで登場するのがTTPRINTです。これは、**「発散してから収束する（Diverge-then-Converge）」戦略を用いる人間の探偵チームのように振る舞うことで、この問題を解決する新しいシステムです。これは「広く広げる」こと、そして「絞り込む」**ことの 2 段階のプロセスだと考えてください。

TTPRINT 探偵ワークフロー

フェーズ 1：「発散（広く広げる）」

すぐに答えを推測しようとする代わりに、TTPRINT は巨大な犯罪報告書を「原子行動（atomic behaviors）」と呼ばれる小さく噛み砕いた断片に分割します。

アナロジー： 50 ページの小説を、個々の文に切り取ることを想像してください。
機能： 各小さな文に対して、AI は「これは何になりうるか？」と問いかけます。マニュアルから可能性のある一致候補の長いリストを生成します。いくつかのありそうもない選択肢を含めることになっても、あえて網を広げます。ここでの目標は**再現性（Recall）**です。本物の手がかりが一つも置き去りにされないようにします。

フェーズ 2：「アンカー（証拠の発見）」

AI が推測を確定する前に、その手がかりがテキストのどこから来たのかを証明しなければなりません。

アナロジー： 「容疑者はこじ開け棒を使った」と言うなら、報告書の「容疑者はこじ開け棒を使った」と記述されている正確な文を指し示さなければなりません。「窓を割ったから、たぶんこじ開け棒を使ったと思う」とは言えません。
機能： TTPRINT は、その行動を支持する特定のテキストの「ウィンドウ」を見つけるために、厳格な非 AI アルゴリズムを使用します。これにより、すべての推測が特定の証拠に固定され、文書全体の一般的な雰囲気に基づいて AI が幻覚（作り話）を起こすのを防ぎます。

フェーズ 3：「収束（絞り込む）」

ここから厳格な検証が始まります。AI は「可能性のある」一致候補のリストと、特定の「証拠ウィンドウ」を組み合わせます。

アナロジー： 先輩探偵が新人のリストを検査します。彼らは特定の文（証拠）と公式マニュアルの定義を並べて見ます。「この文はマニュアルの定義に実際に一致しているのか、それとも単なるいい加減な推測なのか？」と問いかけます。
機能： AI は信頼性スコアを割り当てます。一致が弱い場合は破棄され、強い場合は保持されます。このステップは**精度（Precision）**を確保します。テキストによって真に支持されている事実のみが残ります。

なぜこれがより優れているのか

この論文は、従来の方法がこれらすべてのステップを一度に行おうとした（まるで探偵が一息で物語全体を推測しようとしたような）と主張しています。これによりミスが生じます：

慎重すぎる： 誤った推測を避けるために、微妙な手がかりを見逃す。
自信過剰： 報告書の記述がマニュアルと完全に一致しないため、誤った推測を行う。

TTPRINT は「推測」と「確認」を分離します。作業を分割することで、推測する際には大胆になり（すべてを捉える）、確認する際には厳格になる（真実のみを残す）ことができます。

結果

研究者たちは、TTPRINT を 2 つのデータセットでテストしました：

TRAM-Clean： 既存のデータセットのクリーンアップ版（元のラベルの誤りを修正したもの）。
TTPRINT-Bench： 彼らがゼロから作成した 150 件の完全な報告書の新しいデータセット。

スコアボード：

新しいデータセットにおいて、TTPRINT は**87.39%**の成功率（Macro-F1）を達成しました。
最良の従来手法（「思考の連鎖（Chain of Thought）」を用いた標準的な AI）は**58.02%**でした。
TTPRINT はスコアを約**30%**向上させ、より多くの本物の手法を見つけた一方で、誤りを大幅に減らしました。

制御用の「ノブ」

一つの素晴らしい機能は、「しきい値ノブ（ $\tau$ と呼ばれる）」です。

上げる： 結果は少なくなりますしかし、それらが正しいことは 100% 確実です（高精度）。誤りを許容できない自動化システムに適しています。
下げる： 結果は増え、いくつか不安定なものが含まれる可能性があっても、ほぼすべてを捉えます（高再現性）。あらゆる可能性のある脅威を捉え、後で調査したいセキュリティチームに適しています。

まとめ

TTPRINT は、報告書のすべての文に基づいてすべての可能性のある仮説を書き留め、その後、最終的な事件ファイルを作成する前に、各仮説を特定の証拠と厳格に照合する探偵のようなものです。このアプローチにより、従来のどの手法よりも、より多くの本物の脅威を捉え、誤った警報を減らすことができます。

注：この論文は、英語の報告書からこれらの手法を抽出することに厳密に焦点を当てています。将来の攻撃を予測すること、リアルタイムでハッカーを阻止すること、または医療や法廷診断ツールとして機能することは主張していません。

技術概要：TTPRINT

問題定義
構造化されていないサイバー脅威インテリジェンス（CTI）レポートから MITRE ATT&CK 手法を自動的に抽出することは、高い再現率（実際に記述されているすべての手法を捕捉すること）と高い精度（根拠のない手法の幻覚を回避すること）の同時最適化を必要とする、オープンセットかつマルチラベルの問題である。既存のアプローチは重大な限界に直面している：

ルールベースおよび教師あり手法: TTPDrill や微調整されたトランスフォーマー（例：LADDER、MITREtrieval）などのシステムは、多様なレポートスタイルや進化し続ける攻撃記述における汎用性に苦慮している。これらはしばしば明示的なキーワードや固定されたオントロジーに依存しており、暗黙的または言い換えられた行動を捉え損なう。
単一パス LLM アプローチ: 大規模言語モデル（LLM）は有望であるが、単一の推論ステップで適用する場合、仮説生成と検証の目的が結合される。この結合は、2 つの累積的な失敗モードをもたらす：(1) モデルが自信のためにカバレッジを犠牲にし、重要性の低い行動を省略する、(2) 運用レポートの言語と標準的な MITRE 定義との間の表面的な語彙的不一致が、誤った手法マッピングを引き起こす。

手法：TTPRINT
著者らは、人間の分析者のワークフローに着想を得た 4 段階のパイプラインであるTTPRINTを提案する。これは、再現率指向の生成と精度指向の検証を分離するために、「発散 - 収束（diverge-then-converge）」設計を採用している。

発散フェーズ（カバレッジの最大化）:
- 行動抽出: 生 CTI レポートは、原子性があり自己完結型の攻撃行動のセットに分解される。重要なのは、この段階で特定の技術的アーティファクト（ツール名、コマンド文字列、レジストリパス）を保持し、文脈の崩壊を防ぐことで、下流の段階が正確な識別に必要な十分な詳細を有することである。
- TTP 提案: 各原子行動に対して、LLM は候補となる MITRE ATT&CK 手法の広範なセット（最大 $k$ 個の異なる親レベル識別子）を提案する。この段階では再現率を優先し、潜在的な手法が早期に破棄されないよう判断を意図的に先送りする。
収束フェーズ（証拠によるフィルタリング）:
- スパン局所化: 決定論的アルゴリズムが、各提案された行動を元のレポート内の特定の連続した文のウィンドウ（証拠スパン）に固定する。これにより、すべての後続の推論が全文書コンテキストではなく、検証可能なテキスト的支援に制限され、ノイズと幻覚のリスクが軽減される。
- TTP 検証: LLM は、行動テキスト、局所化された証拠スパン、公式の MITRE ATT&CK 定義という 3 つの入力に対して、各候補手法を評価する。モデルは、証拠が手法を明示的に支持しているかを示す信頼度スコア（ $c_{ver}$ ）を出力する。
- 閾値設定: 調整可能な信頼度閾値（ $\tau$ ）を超える候補が保持される。このパラメータにより、実務家は再学習やアーキテクチャの変更なしに、精度と再現率のトレードオフを明示的に制御できる。

主要な貢献

アーキテクチャ原理: 本論文は、単一パス抽出における精度と再現率の結合を構造的な限界として特定し、仮説生成と証拠に基づく検証を明示的に分離する「発散 - 収束」原理を提案している。
TTPRINT パイプライン: 各予測が特定のソース箇所に追跡可能であることを保証する決定論的スパン局所化を備えた、新規の実装である。これにより完全な監査可能性が可能となる。
評価リソース:
- TRAM-Clean: 広く使用されている TRAM ベンチマークを体系的にクリーニングしたもので、元の注釈の偽陽性と偽陰性を修正し、信頼性の高い基準を提供する。
- TTPRINT-Bench: 2022 年から 2025 年の 150 件の完全な CTI レポートで構成される新しいドキュメントレベルのベンチマークであり、二重注釈と裁定されたグランドトゥルースを備え、孤立した文ではなく、構造化されていない完全なドキュメントからの抽出を評価するように設計されている。

結果
TRAM-Clean および TTPRINT-Bench 上で評価された TTPRINT は、最先端のベースラインに対して顕著な改善を示している：

性能: TTPRINT は TRAM-Clean で Macro-F1 76.48%、TTPRINT-Bench で 87.39% を達成した。これは、主要なベースライン（CoT GPT-4o）に対してそれぞれ 63.5% および 29.4% の改善に相当する。
精度と再現率: 両指標のバランスを取るのに苦慮する単一パス手法とは異なり、TTPRINT は両方を同時に改善する。TTPRINT-Bench において、再現率は 50.70% から 95.50% に、精度は 69.90% から 82.15% に向上した。
アブレーション研究: どの段階（行動抽出、スパン局所化、検証）を除去しても、性能の大幅な低下を招く。特に、スパン局所化は文脈の希薄化と幻覚のリスクを軽減することで、精度と再現率の両方を向上させる。
モデル非依存性: パイプラインの有効性は、GPT-4o、Claude Sonnet、Gemini、Qwen、DeepSeek を含む 6 つの異なる LLM バックボーン全体で維持される。TTPRINT パイプラインを装備した小規模モデルは、単一パスプロンプトを使用する大規模モデルを上回る場合が多く、アーキテクチャ設計が性能の主要な駆動力であることを示唆している。
閾値感度: 検証閾値 $\tau$ は、精度 - 再現率フロンティアに対して滑らかかつ単調な制御を提供し、ユーザーが高再現率（SOC 選別）、バランス型、または高精度（自動対応）のシナリオに対して運用ポイントを選択することを可能にする。

意義と主張
本論文は、TTPRINT が、ソース証拠に直接追跡可能な高再現率かつ高精度な TTP 抽出手法を提供することで、CTI 分析者のワークフローにおける重要なギャップを埋めると主張している。生成と検証を分離することで、システムは単一パス LLM プロンプトに内在するトレードオフを緩和する。著者らは、このアプローチがモデル非依存であり、データ主権の懸念を持つ組織が、性能を犠牲にすることなくローカルホスト型のオープンソース LLM を展開できることを強調している。TRAM-Clean および TTPRINT-Bench のリリースは、文書レベルの抽出における現実的な評価へと分野を昇華させ、自動化された脅威インテリジェンス分析における将来の研究を促進することを目的としている。

著者らは範囲を控えめに保ち、システムは主要なセキュリティベンダーからの英語レポートを対象としており、MITRE 分類体系そのものに内在する曖昧さ（例：意味的に隣接する手法）は現時点では解決されていないと述べている。また、抽出の品質は専門家による注釈に対して検証されているが、下流の運用指標（例：選別時間）への影響については、将来の制御された展開研究が必要であると指摘している。