🤖 machine learning

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

本論文は、人間がアノテーションを行った2,076文からなるデータセットを導入し、7つのオープンソースLLMを評価することで、複雑な非構造化サイバー脅威インテリジェンスレポートにおけるマルチラベルATT&CK分類の新たな経験的ベースラインを確立しており、それらのモデルはパラメータサイズと性能の間に正の相関があるものの、マイクロ平均F1スコアが0.22という低値を示したことから、現在のモデルは生産レベルのデプロイメントには依然として不十分であることを示している。

原著者： Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、混沌とした犯罪者が書いた千ページに及ぶ乱雑な日記（これをCTIレポートと呼びます）を読もうとしているセキュリティガードだと想像してください。この日記には、単に「車を盗んだ」とは書かれていません。「鍵を開け、エンジンをホットワイヤー（直結）して、銀行へ車を走らせ、それからセキュリティカメラの記録を消去した」といった具合に書かれています。

あなたの仕事は、すべての文章を読み、その文章に正しい「犯罪コード」をMITRE ATT&CKという膨大なルールブックからタグ付けすることです。このルールブックには、あらゆる攻撃手法に対応する211種類の異なるコードがあります。問題は、一つの文章の中に複数の犯罪が含まれていることがよくあり、その表現も非常にトリッキーであることです。

長い間、コンピュータはこの作業が苦手でした。彼らは単純で短いメモしか読めないロボットのようなものでした。文章が複雑になると、ロボットは混乱してしまったのです。

その後、**大規模言語モデル（LLM）**が登場しました。これらは、文脈やニュアンスを理解できる、非常に賢く博識な「インターン」のようなものだと考えてください。人々は、これらのAIインターンがついに、あの乱雑な日記を読み解き、完璧に犯罪をタグ付けできるようになると期待していました。

この論文は、これら7人のオープンソースのインターンに対する「成績表」です。 研究者たちは、これらのAIインターンが本当に実務に就ける準備ができているのか、それともまだ経験不足なのかを検証しました。

以下に、彼らが何を行い、何を見出したのかを分かりやすく説明します。

1. テスト：「実戦形式」の試験

これまでのAIインターンのテストは、簡単で答えが一つしかないクイズ（例：「犯罪者は鍵を使った」→ タグ：ロックピッキング）を与えるようなものでした。

研究者たちは、「それは現実のやり方ではない」と考えました。そこで、より難易度が高く、現実的な試験を作成しました。

彼らは、人間の専門家によって書かれた83件の実際の、乱雑なセキュリティレポートを使用しました。
それらを2,076個の個別の文章に分解しました。
人間の専門家が、すべての文章に対して正しい犯罪コードを手動でタグ付けしました。コードがない文章もあれば、1つの文章に最大9つまでのコードが含まれるものもありました。
これが、AIを採点するための「解答集（正解データ）」となりました。

2. 出場者

彼らは、7つの異なるオープンソースAIモデルを選びました。

これらのモデルを、さまざまなサイズの「学生」と考えてください。小さなモデル（80億の「脳細胞」またはパラメータ）もあれば、巨大なモデル（2360億）もあります。
彼らは、以下の異なる「モード」でテストを行いました。
- Zero-Shot（ゼロショット）: 指示を与えるだけ。
- Few-Shot（フューショット）: 学習のために、いくつかの例を先に与える。
- Chain-of-Thought（思考の連鎖）: 回答する前に、ステップ・バイ・ステップで「思考を書き出す」よう求める。
- Temperature（温度）: AIの「創造性」のつまみを上げたり下げたりする（0 = 厳格なロボット、0.5 = 少しクリエイティブ）。

3. 結果：インターンはまだ学習中である

結果は、厳しい現実を突きつけるものでした。

スコア: 最も優れたAIモデルでさえ、22%のスコア（100%が満点とする基準）しか獲得できませんでした。
- 比喩: ある学生が難しい期末試験を受けて、Dマイナスを取った状況を想像してください。合格はしていますが、ほとんどの答えを外しています。
サイズの影響（主に）: 最も大きく複雑なモデル（「巨人」たち）は、総じて小さなモデルよりも成績が良かったです。明確な相関関係がありました。脳が大きいほど、スコアがわずかに向上するという関係です。
「魔法の設定」は機能しなかった:
- 例を与えること（Few-Shot）は、あまり効果がありませんでした。
- 「ステップ・バイ・ステップで考える」よう求めること（Chain-of-Thought）も、あまり効果がありませんでした。
- 「創造性」のつまみ（Temperature）を変えても、ほとんど差はありませんでした。
- 比喩: それは、学生に違う色の鉛筆を渡したり、「もっと頑張れ」と言ったりするようなものです。もし本人が内容を理解していなければ、スコアは変わりません。

4. たった一つの助けとなったもの：「カンニングペーパー」

研究者たちは、もう一つの方法を試しました。それは、**RAG（検索拡張生成）**という仕組みを導入することでした。

比喩: AIに記憶に頼らせるのではなく、試験を受けている間に「公式のルールブック」という開かれた本を参照させる方法です。
結果: スコアは22%から32%へと跳ね上がりました。
これが最大の改善でした。これは、AIが「バカ」だから失敗しているのではなく、目の前に「最新のルール」がないために失敗しているのだということを証明しました。

5. 何が間違っていたのか？

研究者たちは、AIが犯したミスを分析しました。

偽陽性（False Positives）: AIは「回避（evade）」という言葉を見て、実際には別のことについて述べているにもかかわらず、「ハイジャック」だと推測してしまいました。文脈ではなく、キーワードに基づいて推測してしまったのです。
偽陰性（False Negatives）: AIは、「ランサムウェアのバイナリをステージングする」ことが実は特定の種類の転送であることを理解できず、犯罪を見逃しました。深い文脈理解が欠けていたのです。

結論

この論文は、現在のオープンソースAIモデルは、複雑なサイバー脅威を分類するための唯一のセキュリティガードを務める準備がまだ整っていないと結論づけています。彼らは（22〜32%というスコアから分かる通り）あまりにも不正確であり、人間の助けなしに現実世界のセキュリティセンターで信頼を置くことはできません。

パフォーマンスを大幅に向上させた唯一の要素は、テスト中に公式のルールブックへのアクセス権を与えること（RAG）でした。質問の仕方（プロンプト）を変えたり、モデルを大きくしたりするだけでは、根本的な問題は解決しませんでした。

要約すると: AIインターンは賢いですが、現在は一人で仕事をこなすにはエラーが多すぎます。彼らが仕事を正しく遂行するためには、人間の監督者と参照マニュアルが必要です。

技術要約：マルチラベルATT&CKテクニック分類におけるオープンソースLLMの評価

問題提起

サイバー脅威インテリジェンス（CTI）レポートをMITRE ATT&CKテクニックへと分類することは、プロアクティブな防御において極めて重要である。しかし、非構造化テキストの複雑さ、多段階の攻撃パターン、および211クラスに及ぶタクソノミー（分類体系）により、このプロセスは依然として労働集約的な作業となっている。大規模言語モデル（LLM）は文脈理解において有望な兆しを見せているものの、既存の評価には重大な限界がある。それらは、現実世界のレポートが持つマルチラベルの性質を反映していない、簡略化された単一テクニックの文章に依存しており、その結果、パフォーマンス指標が不当に高く算出されている。その結果、複雑で非構造化されたCTIレポートに対するオープンソースLLMのベースライン性能は未評価のままであり、セキュリティ実務家がこれらのモデルを脅威インジェスト・パイプラインに統合するための指針となる経験的根拠が得られていない。

メソドロジー

このギャップに対処するため、著者らはデータセット作成、モデル評価、および統計分析にわたる厳格な実験フレームワークを構築した。

1. データセット構築 (RQ1)
著者らは、The DFIR Reportから取得した83件の複雑な非構造化CTIレポート（2020年4月〜2025年2月）の「ケースサマリー」セクションから抽出された2,076文からなるグラウンドトゥルース（正解）データセットを精査した。

アノテーションプロセス: 独立したラベル付け、クロスラベル付け、低一致事例の再ラベル付け、および紛争解決を含む6段階のアノテーション戦略を採用した。
範囲: 文は、Enterprise v17.1で利用可能な211個のうち、114個の固有のATT&CKテクニックにマッピングされた。データセットには、偽陽性率を評価するために、テクニック陽性（1,281文）と陰性（795文）の両方のクラスが含まれている。
品質管理: プロセスは、平均相互一致度 $\kappa = 0.68$ （実質的な一致）を達成し、65のテクニックが $\kappa \geq 0.7$ の閾値を超えた。
特性: データセットは深刻なクラス不均衡（不均衡比 = 229.0）とロングテール分布を示しており、ラベル付けされた文章の40.2%に複数のテクニックが含まれている（平均カーディナリティ = 1.58）。

2. モデル評価 (RQ2)
8Bから236Bパラメータ（Llama 3.1、Gemma 3、DeepSeek-V2.5、およびGPT-OSSバリアントを含む）に及ぶ7つのオープンソースLLMを評価した。

実験設計: 以下の組み合わせによる53の推論構成をテストする全要因実験を行った：
- プロンプト戦略: Zero-Shot vs. Three-Shot (N=3)。
- 推論手法: Chain-of-Thought (CoT) vs. No CoT。
- 温度パラメータ (Temperature): 0.0 vs. 0.5。
RAGベースライン: LLM70に外部知識を接地させるために、ATT&CKドキュメントのFAISSベクトルデータベースを用いた検索拡張生成（RAG）パイプラインを実装し、標準的な推論と比較した。
指標: すべてのテクニックインスタンスにおける運用上のカバレッジを反映するため、マイクロ平均の適合率（Precision）、再現率（Recall）、およびF1スコアを使用した。

3. 統計分析 (RQ3)
推論設定（パラメータサイズ、プロンプト戦略、推論手法、温度パラメータ）と分類性能との間の単調な関係を評価するために、スピアマンの順位相関係数（ $\rho$ ）を適用した。

主な貢献

データセット: 83件の非構造化レポートから抽出された2,076文からなる、人間によってアノテーションされた公開可能なグラウンドトゥルース・データセット。これは114のATT&CKテクニックにマッピングされており、同種のものとしては最大規模である。
パフォーマンス・ベンチマーク: マルチラベルATT&CK分類における経験的なベースラインを確立する体系的な評価。これにより、現在のオープンソースLLMがこのタスクにおいて著しく苦戦していることが明らかになった。
統計分析: モデルサイズと推論ハイパーパラメータの影響を定量化した相関研究。パラメータサイズがパフォーマンスの唯一の統計的に有意な予測因子であることを特定した。

結果

ベースライン性能: 最高性能の非RAG構成（DS236、236Bパラメータ、T=0.0、3-shot、CoT）は、マイクロ平均F1スコアわずか0.22を記録した。
モデルの分散: パフォーマンスはモデルのサイズとアーキテクチャによって大きく変動した。236Bモデル（DS236）と70Bモデル（LLM70）はトップクラスター（F1 0.20–0.22）を形成したが、小型モデル（例：GPT20、20B）はランダムな試行に近い性能（F1 $\leq$ 0.03）であった。
ハイパーパラメータの影響:
- パラメータサイズ: F1スコアとの間に統計的に有意な正の相関を示した（ $\rho = 0.85, p = 0.014$ ）。
- プロンプト戦略および推論手法: Few-ShotプロンプティングもChain-of-Thought推論も、モデル構成全体を通じて統計的に有意な利得を生み出さなかった（ $p > 0.05$ ）。
- 温度パラメータ: 0.0と0.5の間の変動は、パフォーマンスに統計的に有意な影響を与えなかった。
RAGの影響: LLM70にRAGを実装することで、マイクロF1スコアは0.32に上昇し（ $\Delta$ = +0.10）、これは主に大幅な再現率の向上（0.23から0.41へ）によってもたらされた。この改善は、プロンプトチューニングではなく、外部知識の接地によるものであることが示された。
エラー分析: 失敗は、タイプI（キーワードへの過度な依存またはハルシネーションによる偽陽性）と、タイプII（ドメイン知識の不足または多段階行動の合成能力の欠如による偽陰性）に分類された。

意義と主張

本論文は、複雑なマルチラベルCTI分類におけるオープンソースLLMの最初の経験的ベースラインを提供することを主張している。著者らは、簡略化されたデータセットで高いスコアを報告することが多い従来の特化型ツールと比較して、低いF1スコア（最大0.22）を根拠に、現在のオープンソースLLMはプロダクショングレードのATT&CK分類には不十分であると断言している。

本研究は、プロンプトエンジニアリング戦略（N-shot、CoT、温度パラメータ）は、この領域におけるパフォーマンスの差を埋めるための有効な手段ではないと結論付けている。代わりに、結果はパラメータサイズが決定的な要因であり、**検索による接地（RAG）**が最も生産的な改善の方向であることを示しており、再現率の大幅な向上をもたらしている。著者らは、自らのデータセットと知見を再現可能な基礎として位置づけ、今後の研究はプロンプトチューニングのさらなる追求ではなく、階層的RAG、パラメータ効率の良いファインチューニング、および階層を考慮したメトリクスに焦点を当てるべきであると示唆している。

1. テスト： 「実戦形式」の試験