テクニカルサマリー：GenTI – 自律的なIDPSルール生成のためのLLMベンチマーク

1. 問題提起

SnortやSuricataに代表されるルールベースの侵入検知・防御システム（IDPS）は、その精度と解釈可能性の高さから、依然としてプロダクション環境における主流な選択肢となっています。しかし、手動によるシグネチャ駆動型のルール作成への依存は、新興の脅威やゼロデイ攻撃に対する適応性を制限しています。セキュリティ専門家は、脆弱性を手動で分析し、攻撃パターンを文書化してルールを作成する必要がありますが、このプロセスは、難読化や未公開の脆弱性を利用する現代の高度な攻撃のスピードに追いつくことができません。

さらに、既存の公開データセット（例：CICIDS2017、UNSW-NB15）は、主にフローまたはヘッダーレベルでのトラフィック分類を目的として設計されています。これらは、LLMを用いて自動的にルール合成を行うために必要な、構造化されたペイロードレベルの情報、ルールのメタデータ、およびサイバー脅威インテリジェンス（CTI）のマッピングを欠いています。その結果、以下の点において決定的なギャップが生じています。

1. データ： ペイロードレベルのセマンティクスとCTIコンテキストを含む、IDPSルール生成に特化した大規模かつ公開可能なベンチマークデータセットの不在。
2. 手法： 既存の自動ルール生成手法は、ペイロードレベルの振る舞いを捉えきれないか、生成されたルールの構文的および意味的な正当性を検証するための体系的なメカニズムを欠いている。
3. 評価： 自動生成されたルールが、現実のプロダクション環境において許容可能な誤検知率で動作するかどうかについての体系的な検証の欠如。

2. 手法

著者らは、新しいベンチマークデータセット（GTI）と、LLM駆動のルール生成・洗練・検証パイプラインからなるフレームワークであるGenTI（Generative Threat Intelligence）を提案しています。

A. GTIデータセット

GTIデータセットは、20万件以上のルールを集約したCTI強化コーパスです。

• 150,000件以上のIDPSルール： Snort、Suricata、およびEmerging Threatsから集約。
• 50,000件以上のYARAルール： ペイロードレベルのシグネチャに焦点を当てたもの。

GTIの主な特徴：

• 構造化スキーマ： ルールは、ヘッダー特徴量（IP、ポート、プロトコル）、フロー特徴量、およびペイロード特徴量を含む統一されたフォーマットに正規化されています。
• CTIエンリッチメント： 各ルールは、MITRE ATT&CK（タクティクス/テクニック）、D3FEND（防御技術）、CVE/CWE、AlienVault OTX、およびMISPを含む外部インテリジェンスソースにマッピングされています。
• ルール・コンテキストおよび関係性アノテーション（RCRA）： ルールを特定の攻撃コンテキスト、マルウェアファミリー、および実行可能なレスポンスタイプ（alert, drop, reject）に紐付けるアノテーション。
• プロンプトエンジニアリング： データセットには、構造化された入力プロンプト（アナリスト形式の記述）とターゲット出力（標準的なルール）に加え、思考の連鎖（CoT）による根拠（rationale）および検証の連鎖（CoVe）のアノテーションが含まれています。

B. GenTIフレームワーク・パイプライン

本フレームワークは、アナリストのプロンプトと攻撃ペイロードを検証済みのルールへと変換するエンドツーエンドのパイプラインとして機能します。

1. 前処理とプロンプト構築： アナリストのプロンプトと代表的な悪意のあるペイロードを解析し、特徴量（例：HTTPヘッダー、C2マーカー）を抽出します。これらは、構造化プロンプト（$P_{struct}$）と自然言語プロンプト（$P_{user}$）に変換されます。
2. LLMベースのルール合成： LLM（具体的にはファインチューニングされたDeepSeek-7B）が、プロンプトとCTIコンテキストに基づき、初期候補ルール（$r_0$）とCoTトレース（$C_0$）を生成します。
3. 脅威インテリジェンス・マッピング： システムはCTIストアを照会し、生成されたルールを特定のATT&CKテクニック、IoC、およびマルウェアファミリーにマッピングします。
4. 反復的な洗練ループ： 候補ルールは、悪意のあるトラフィックおよび正常なトラフィックに対して評価されます。メトリクス（検知率、誤検知率、構文の妥当性）に基づくフィードバックメカニズム（$F_{k+1}$）により、後続のイテレーションでルールが洗練されます。
5. 検証の連鎖（CoVe）： 最良の候補に対して、以下の3段階の検証プロセスが適用されます。
   • 構文チェック： Snort/Suricataエンジンとの互換性を確保。
   • 論理チェック： ルールの条件とマッピングされたATT&CK/CTIコンテキスト間の整合性を検証。
   • 誤検知分析： 正常なトラフィックを再再生し、ルールが過剰なアラートを発生させないことを確認。
6. カリキュラム学習： 学習プロセスはマルチステージのカリキュラムを利用します。単純なヘッダーのみのルールから始まり、徐々に複雑なペイロードパターンや高密度のCTIマッピングを導入することで、学習の安定化と汎化性能の向上を図ります。

3. 主な貢献

1. GTIベンチマークデータセット： 20万件以上のルールを豊富なメタデータ、CTIマッピング、およびRCRAと共に統合した、LLMベースのNIDPSルール生成に特化した初の、大規模かつCTI強化されたコーパス。
2. ペイロードレベルのルール生成： YARAスタイルのペイロードシグネチャをIDPS互換のロジックへと翻訳する能力により、ペイロードレベルでの検知および防御（drop/reject）ルールの自動生成を可能にした。
3. 4段階の学習パイプライン： 以下の構成要素からなる新しい手法。
   • ルール構造学習による構文的グラウンディング。
   • CTI拡張CoT推論による意味的エンリッチメント。
   • 誤検知削減のためのCoVe駆動型検証。
   • 転移学習を用いたフルコンプレキシティの統合。
4. リアルタイム評価： 生成されたルールをオープンソースエンジン（Snort/Suricata）上で、現実的なトラフィックを用いてテストする包括的な評価フレームワーク。構文の正確性、意味的類似性、CTIカバレッジ、およびセキュリティ有効性を測定する。

4. 実験結果

GenTIモデル（ファインチューニングされたDeepSeek-7B）は、保持されたテストセットにおいて、GPT-4o、LLaMA-3-8B、Mistral-7Bを含む強力なベースラインと比較して評価されました。

パフォーマンス指標：

• 複合ルール品質スコア： GenTIは**89.4%**を達成し、ベースライン（例：GPT-4oの80.4%、LLaMA-3-8Bの71.6%）を大幅に上回りました。
• CTIカバレッジ： **94.8%**を達成。これは、ベースライン（約75–83%）と比較して、脅威インテリジェンスフレームワークとの優れた整合性を示しています。
• 構文の正確性： 生成されたルールの**89.5%**が、手動による修正なしに構文的に有効でした。
• 意味的類似性： エキスパート・アナリストのリファレンスルールと**87.2%**一致しました。

未知の攻撃の検知：

• 検知率： 未知の攻撃を検知する能力は、ベースラインの**45%からGenTIの87.4%**へと向上しました。
• 誤検知率： **8.5%から2.3%**へと減少。これは、CoVeループが精度を損なうことなく決定境界を効果的に洗練させていることを示しています。

アブレーション研究：
研究により、QLoRAによるファインチューニングが単一の要因として最大の性能向上をもたらしたことが確認されました。また、カリキュラム学習は意味的類似性とセキュリティ有効性をさらに向上させ、CoT/CoVeによる拡張は、残留エラーの削減と堅牢性の向上において極めて重要であることが示されました。

5. 意義と主張

本論文は、GenTIが、ルールレベルのサイバー脅威インテリジェンス（CTI）とLLMベースの自動化を密接に結合させた、最初の規模の大きなベンチマークを確立したと主張しています。その主な意義は、適応的で自己進化するIDPSシステムの実現を可能にすることにあります。

単に既存のシグネチャを再現したり、トラフィック分類に焦点を当てたりする従来のアプローチとは異なり、GenTIはLLMが以下のようなCTI認識エージェントとして機能できることを実証しています。

• 未知の攻撃に対して、脅威インテリジェンスに基づいた新しいルールを生成する。
• プロダクション環境において、高い構文的正確性と低い誤検知率で動作する。
• 生のネットワークトラフィックと、実行可能で検証済みの防御ロジックとの間の溝を埋める。

著者らは、彼らの研究が単なるシグネチャのコピーを超え、進化する現実世界の脅威に対して、IDPSルールベースの維持と拡張を自動化するための実行可能な経路を提供していると結論付けています。