技術概要：UAVIDS-2025 データセットにおける信頼性の高い侵入検出のための XAI と統計分析

問題定義

本論文は、特に新興の UAVIDS-2025 データセットの文脈における、無人航空機（UAV）ネットワークでの侵入検出の課題に取り組んでいる。説明可能な人工知能（XAI）とメカニズム解釈可能性は重要システムにおいて注目を集めているが、特定の攻撃ベクトルに直面した際の複雑な機械学習（ML）モデルの意思決定プロセスを理解する必要性は残っている。UAVIDS-2025 データセットで特定された主要な困難は「密度支持交差（Density Support Intersection）」であり、特定の攻撃タイプ、特にブラックホールとワームホール攻撃が、その特徴分布において顕著な重なりを示すことである。この重なりは、高性能なモデルであっても誤分類を引き起こす曖昧さを生み出し、マスクされた攻撃を区別するために、高度な分類、XAI、およびノンパラメトリック統計検定を組み合わせた厳密なアプローチを必要とする。

手法

1. データ前処理と特徴量エンジニアリング

本研究では、約 12 万の観測値、22 の特徴量、および 4 つの攻撃タイプ（シビル、ブラックホール、ワームホール、フラッディング）と通常トラフィックからなるターゲット変数を含むUAVIDS-2025データセットを利用している。前処理パイプラインには以下が含まれる：

• クリーニング： 重複値の削除、冗長な「プロトコル」特徴量（UDP のみ）、および非情報性の「フロー ID」インデックスの削除。
• エンコーディング： ターゲットへのラベルエンコーディング、ソース/宛先ポートへのダミーエンコーディング、および IP アドレスへの頻度エンコーディング。
• 変換： 特徴量エンジニアリングのための冪変換および逆数変換の適用。
• スケーリング： IQR およびボックスプロットによる外れ値の検出により、ロバストスケーラーの選択に至った。
• 特徴量選択： ランダムフォレストを用いた再帰的特徴量削除（RFE）により、2.5% 超の寄与を持つ特徴量を特定した。SHAP 分析における多重共線性の問題を回避するため、ピアソン/ケンドール相関が 0.7 を超える特徴量を削除し、以下の 8 つの特徴量からなる最終セットを導出した：LostPackets, RxBytes, RxByteRate/s, MeanDelay/s, MeanJitter/s, PacketDropRate, AverageHopCount, および DstPort654。

2. モデル訓練と評価

著者は、グリッドサーチによるハイパーパラメータ調整と確率較正を用いた層化 10 分割交差検証により、広範なアルゴリズムを評価した。モデルファミリーには以下が含まれる：

• ツリーアンサンブル： XGBoost、LightGBM、ランダムフォレスト、Extra-Trees、勾配ブースティング、HB-勾配ブースティング、AdaBoost、およびバギング。
• 深層ニューラルネットワーク（DNN）： MLP、RealMLP、およびアンサンブル版（Ensemble-RealMLP、Ensemble-NN-Torch、Ensemble-NNFastAiTab）。
• ハイブリッドスタッキング： 線形、ツリー、およびベイズ推定量を組み合わせたモデル（例：Stacking-1 および Stacking-2）。
• ベースライン： ロジスティック回帰および SVM。

性能評価にはF1 スコア、適合率、再現率、および Roc-Aucが用いられた。

3. 説明可能性と統計分析

• SHAP 分析： 最高性能モデル（XGBoost）は、グローバルおよびローカルな特徴量の重要度を決定するために、シャープリー付加説明（SHAP）分析を受けた。これには、個々の観測値に対する予測を特定の特色がどのように駆動するか、および一般的なクラス傾向との比較が含まれる。
• 分布分析： データの形状、歪度、および多峰性分布を可視化するために、バイオリンプロットおよびカーネル密度推定（KDE）が用いられた。
• Westfall-Young 置換検定： ブラックホールとワームホール攻撃間の「密度支持交差」仮説を統計的に検証するために、著者はB=1000 回の置換を用いたノンパラメトリックな Westfall-Young 検定を適用した。
  • 仮説： $H_0: P_{i,V} = P_{i,W}$（分布は等しい）対 $H_1: P_{i,V} \neq P_{i,W}$。
  • 統計量： 検定では、ファミリーワイズ誤差率（FWER）を制御し、ボンフェローニ補正の問題を回避するために、特徴量全体にわたる最大統計量を計算する指標として**ジェンセン - シャノン距離（JSD）**が用いられた。

主要な結果

分類性能

• ツリーアンサンブル： すべてのツリーベースモデルは 92% を超えるテストスコアを達成した。XGBoostが最高性能を示し、テスト適合率95.17%、再現率95.04%、F1 スコア95.04%、および Roc-Auc**96.85%**を記録した。
• 深層学習： RealMLP およびそのアンサンブル変種は高い性能を示したが（例：RealMLP のテスト F1 は 94.28%）、一般的に XGBoost よりもわずかに劣っていた。
• ベースライン： ロジスティック回帰は著しく苦戦し（F1 約 49%）、SVM はほぼ許容可能な性能を達成した（F1 約 73%）。
• 混同行列の洞察： XGBoost は高い精度を示したが、特定の混同パターンを示した：時折ワームホール攻撃を通常トラフィックとして誤分類し、ブラックホールとワームホール攻撃を互いに混同した。

説明可能性の知見

• グローバル重要度： PacketDropRate、RxByteRate/s、RxBytes、およびDstPort654などの特徴量が、ほとんどのクラスにおいてモデルの意思決定に最も大きな影響を与えた。
• ローカルな誤分類： 特定の誤分類事例（例：ブラックホールとして予測されたワームホール攻撃）の分析により、MeanDelay/s、AverageHopCount、およびMeanJitter/sなどの特徴量が両クラスで高い値を持つことが多く、曖昧さを生み出していることが明らかになった。モデルは区別のためにPacketDropRateに大きく依存しており、この値が中央値に近い場合、モデルは躊躇した。
• 分布の形状： バイオリンプロットおよび KDE は、ブラックホールとワームホール攻撃が、長い右の尾部および同様の重心を持つMeanDelay/sおよびAverageHopCountなどの特徴量において、極端な形状の類似性を共有していることを明らかにした。

統計的検証

Westfall-Young 置換検定は、ほとんどの特徴量（例：LostPackets、RxBytes、PacketDropRate）において、ブラックホールとワームホール攻撃の分布が統計的に有意に異なる（$p < 0.001$）ことを確認した。しかし、この検定は、形状の統計的差異にもかかわらず、特定の領域（例：PacketDropRateにおける [0.25, 1.4]）に**顕著な密度支持交差（重なり）**が存在することを浮き彫りにした。一方の攻撃が他方の密度を模倣するこの重なりこそが、訓練プロセスの失敗ではなく、モデルの誤った予測の根本原因である。

意義と主張

本論文は、最先端のツリーアンサンブルと厳密な統計分析を統合することで、UAV 侵入検出のための堅牢で信頼性が高く、説明可能なモデルを提供することを主張している。その主な貢献は以下の通りである：

1. 方法論的厳密性： 高性能モデル（XGBoost など）が、前処理やモデル選択の悪さではなく、データ固有の特性（密度支持交差）のために失敗し得ることを実証すること。
2. 根本原因分析： SHAP と Westfall-Young 検定を用いて、ブラックホールとワームホール攻撃間の混同が、PacketDropRateやMeanJitter/sなどの変数における特徴量密度の重なりから生じていることを特定すること。
3. 説明可能性フレームワーク： 単なる精度指標を超えて、誤分類が「なぜ」発生するかを可視化し統計的に検証するワークフローを確立し、これらの攻撃の「マスクされた性質」に関する洞察を提供すること。

著者は、XGBoost が卓越した性能を達成する一方で、密度支持交差の課題は UAVIDS-2025 データセットにおける根本的な限界であり、モデルの信頼性の慎重な解釈を必要すると結論付けている。今後の研究として、クロスデータセット検証、空間的特性のための Deep-CNN の使用、およびオンライン訓練のための RNN の使用が提案されている。