技術的概要：CALIBURN：運用上で較正されたストリーミング侵入検知のレジーム感受性研究

1. 問題定義

本番環境におけるネットワーク侵入検知システム（NIDS）は、統計的な異常スコアと運用上のアラート要件との間に慢性的な乖離を抱えています。現在の学術的な手法は、通常、閾値選択を事後のチューニング問題として扱い、F1 スコアや AUC-ROC などの指標を最適化しますが、これらは実世界のセキュリティ運用センター（SOC）ではしばしば利用不可能、遅延、あるいは希少である検証ラベルに基づいています。

運用担当者は、展開前に運用入力を用いてアラート動作を定義することを要求します。具体的には、偽陰性と偽陽性の相対コスト、およびサービスレベル目標（SLO）から導き出されるような有限のアラート予算です。さらに、ストリーミング検知器は限られたメモリ内でフローを継続的に処理する必要がありますが、既存のストリーミング異常検知手法の多くは、スコアを実用的なアラートへの変換を、別個のヒューリスティックな問題として扱っています。本論文は、ラベル依存の探索ではなく、運用担当者が指定したコストと予算から直接閾値を導出する、運用上で較正されたストリーミングパイプラインの必要性に対処します。

2. 手法：CALIBURN パイプライン

CALIBURN は、統計的スコアリング、運用意思決定、アラートエスカレーションを分離するように設計された 5 構成要素のストリーミングアラートパイプラインです。これは万能な解決策としてではなく、変化する攻撃発生率における性能を評価するレジーム感受性研究として位置づけられています。

中核コンポーネント

1. 截断ベイズオンライン変化点検出（BOCPD）:

   • 機能: ネットワークフローを逐次処理し、確率的な異常スコア $s_t = P(r_t = 0 | x_{1:t})$ を生成します。これは、現在のフローが新しいレジーム（実行長さのリセット）を開始する事後確率を表します。
   • 制約: 更新コストの限界と一定のメモリを確保するため、截断された実行長さ近似（最大長さ $L$）を使用し、連続的なストリーミングに適しています。
   • モデル: オンライン十分統計量の更新を用いたガウス観測モデルを採用しています。

2. アイソトニック較正層:

   • 機能: 生 BOCPD スコア $s_t$（レジームシフト確率）を実証的な条件付き攻撃確率 $\hat{p}_t = \hat{P}(y_t = 1 | s_t)$ にマッピングします。
   • 手法: 検証分割において、アイソトニック回帰（Pool-Adjacent-Violators アルゴリズム）を用いて単調な較正マップを適合させます。
   • 根拠: 生 BOCPD スコアは直接攻撃確率ではありません。較正は、利用可能なラベルを用いて「レジームシフト」と「攻撃」の間のギャップを埋めます。

3. コスト感受性意思決定閾値:

   • 機能: 運用担当者が指定した誤分類コストに基づき、意思決定閾値 $\tau^*$ を導出します。
   • 数式: $\tau^* = \frac{C_{FP}}{C_{FP} + C_{FN}}$。ここで、$C_{FP}$ と $C_{FN}$ はそれぞれ偽陽性と偽陰性のコストです。
   • 区別: この閾値は検証セットの最適化ではなく、コスト比率から導出されます。

4. 適合性リスク制御（CRC）ラッパー:

   • 機能: 検証データとテストデータの陰性サンプル間の交換可能性を仮定し、運用担当者が指定したアラート予算 $\alpha$（例：最大偽陽性率）を有効な閾値 $\hat{\tau}_\alpha$ に変換します。
   • 保証: 偽陽性率に関する周辺期待値の上限を提供します：$E[FPR_{test}(\hat{\tau}_\alpha)] \leq \alpha$。
   • メカニズム: 検証データにおける陰性サンプルの実証 FPR に、緩衝項 $1/(n_0+1)$ を加えたものが $\alpha$ 未満となるような、下限閾値 $\tau$ を選択します。

5. マルチウィンドウバーンレートアラート:

   • 機能: サイト信頼性エンジニアリング（SRE）の慣行から適応されたエスカレーション層です。
   • ロジック: 閾値の超えをアラートに変換するのは、ペアリングされた短時間ウィンドウと長時間ウィンドウにおいて「バーンレート（アラート予算の消費）」が閾値を超えた場合のみです。これにより、一時的なノイズをフィルタリングしつつ、持続的な異常をエスカレートします。

3. 主要な貢献

本論文は、均一な優位性を主張するのではなく、パイプラインの運用範囲と限界をマッピングすることを貢献として位置づけています。

1. レジーム感受性のマッピング: 本研究は、3 つの異なる攻撃発生率レジームにおいてパイプラインを評価します。

   • 稀（LITNET-2020、約 5.2%）: CALIBURN が卓越します。
   • 中程度（CICIDS2017、約 22.06%）: CALIBURN は依然として最も強力なストリーミング手法ですが、バッチ密度手法には劣ります。
   • 高（UNSW-NB15、約 64%）: ベースレート逆転により、CALIBURN を含むすべてのストリーミング手法は、ほぼランダムな性能まで劣化します。

2. CRC 崩壊メカニズムの特定: 著者は、小さなアラート予算 $\alpha$ において適合性リスク制御（CRC）が失敗する 2 つのメカニズムを特定し、定量化します。

   • 理論的オーバーシュート: 上限 $2B/(n_0+1)$ が、手続きを目標 $\alpha$ に対してオーバーシュートさせる可能性があります。
   • 実証密度の失敗: 検証陰性スコアの分布が候補閾値より下方に強く集中している場合、手続きは上限を空虚に満たすために、アラートを 0 件生成する閾値（退化）を選択する可能性があります。

3. 明示的較正分析: 本論文は、アイソトニック較正が、生 BOCPD 事後確率と比較して、データセット全体で Brier スコアを大幅に低下させる（30〜63% の削減）ことを実証し、レジームシフトスコアを条件付き攻撃確率にマッピングする必要性を検証しています。

4. 特徴量アーティファクトの除去（UNSW-NB15）: 著者は、UNSW-NB15 におけるストリーミング手法の崩壊が、合成 TTL 特徴量のアーティファクトによって引き起こされるという仮説を検証します。これらの特徴量を除去しても、性能は低下せず、わずかに向上しました。これは、崩壊が除去可能な特徴量の漏洩ではなく、高発生率（ベースレート逆転）下でのストリーミング検知に本質的であることを確認します。

5. 運用ガイドライン: 本論文は、CALIBURN が適切である具体的な条件を明示します。

   • 攻撃発生率 < 約 25%。
   • アラート予算 $\alpha$ が、理論的オーバーシュート上限 $2B/(n_0+1)$ よりも十分に高いこと。
   • 較正分布が展開ストリームとほぼ交換可能であること。

4. 実験結果

データセットとベースライン

• データセット: LITNET-2020（攻撃率 5.2%）、CICIDS2017（攻撃率 22.06%、修正版）、UNSW-NB15（攻撃率 64%）。
• ベースライン: 5 つのストリーミング手法（Half-Space Trees, KitNET, LODA, Robust Random Cut Forest, iForest_ASD）と 3 つのバッチ参照手法（LOF, ECOD, COPOD）。

レジーム別性能

• 稀な攻撃レジーム（LITNET-2020）:

  • CALIBURN は AUC-PR 0.943 を達成しました。
  • 最良のストリーミングベースライン（LODA）を 2.21 倍、最良のバッチ参照（ECOD）を 4.12 倍 上回りました。
  • コスト感受性のトレードオフを反映し、高い精度（0.976）と中程度の再現率（0.451）を達成しました。
  • アイソトニック較正により Brier スコアが 30% 低下しました。

• 中程度の発生率レジーム（CICIDS2017）:

  • CALIBURN は AUC-PR 0.545 を達成し、最良のストリーミング手法として留まりました。
  • しかし、バッチ手法 LOF（AUC-PR 0.863）には劣りました。
  • 著者はこれを、攻撃量の増加によるストリーミング参照分布の汚染に起因すると帰結しており、バッチ手法は全トレーニングセットを使用することでこれを回避しています。

• 高発生率レジーム（UNSW-NB15）:

  • CALIBURN は AUC-PR 0.653 を達成しましたが、これは発生率の下限（0.676）と区別がつかないレベルです。
  • すべてのストリーミング手法は、ほぼランダムなランキング（AUC-ROC 約 0.5）に崩壊しました。
  • バッチ手法（LOF, ECOD）はより良好に機能しましたが、これは「正常」なベースラインがもはや benign（良性）ではない設定でした。

除去実験の知見

• 稀な攻撃レジームでは、完全パイプライン（V1）は「ストローマン」バリアント（V4：生スコア＋コスト閾値）を大幅に上回り、後者は高い偽陽性率（9.6%）に苦しみました。
• 高発生率レジームでは、完全パイプライン（V1）は CRC 制約によりしばしばアラート 0 件に退化する一方、生スコアバリアント（V4）は（精度は低いものの）より実用的な結果を生成します。

5. 意義と主張

本論文は、CALIBURN がすべての侵入検知手法の万能な代替手段ではないと控えめに主張しています。その意義は以下の点にあります。

1. 運用への整合: アラート閾値を事後のラベルチューニングではなく、運用担当者が指定したコストと予算から導出する枠組みを提供し、展開前にシステムを説明可能かつ防衛可能にします。
2. レジーム認識: 「稀な攻撃」レジームを、ストリーミング、コスト感受性、較正された検知の絶好の機会（スイートスポット）として明示的に特定します。また、攻撃発生率がベースレートを逆転させる（つまり、攻撃が多数派になる）場合、ストリーミング手法は構造的に制限されることを実務家に警告します。
3. 実用的ガイドライン: CRC オーバーシュート上限に対するアラート予算 $\alpha$ の確認や、CRC がアラート 0 件を生成する「実証密度の失敗」モードの監視など、具体的な展開チェックを提供します。

著者は、CALIBURN が、攻撃が稀で、アナリストの容量が限られており、アラートポリシーがデータセット固有のチューニングではなく運用制約によって定義されなければならないセキュリティ運用センター（SOC）に最適であると結論付けています。今後の課題として、概念ドリフトへの対応と適応的コスト比率推定のためのオンライン再較正が提案されています。