A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

インターネットを、データが果てしない高速道路のように流れる、巨大で賑やかな都市だと想像してみてください。この都市では、セキュリティガード（ファイアウォールやアンチウイルスソフト）がすべての検問所に立ち、IDをチェックして、誰もこっそり侵入していないか確認しています。通常、これらのガードは既知の犯罪者の写真が詰まった「指名手配書」を持っています。もし見知らぬ人がそのリストに載っている人物に似ていれば、足止めされます。しかし、見たこともないような、本に載っているどの顔とも一致しない、全く新しい犯罪者が現れたらどうなるでしょうか？これが「ゼロデイ」攻撃の悪夢です。デジタルな侵入者が、セキュリティシステムがこれまで遭遇したことのない、全く新しい手口を使っているのです。

これらの目に見えない泥棒を捕まえるために、科学者たちは「機械学習」と呼ばれる特別な種類の探偵に頼っています。これらの探偵を、大量の「良質なトラフィック」と「悪質なトラフィック」の例を研究して、そのパターンを学ぶ学生だと考えてみてください。しかし、彼らの教室には厄介な問題があります。先生（データ）が、良質なトラフィックの例を与えすぎて、悪質なトラフィックの例が極端に少ないのです。それは、森の中に99%の生き物がただのリスである中で、珍しくて臆病な動物を見つけ出す方法を学ぼうとしているようなものです。学生はリスを見分けることには非常に長けてしまうかもしれませんが、トレーニング中にほとんど目にしなかったために、その珍しい動物を見逃してしまうかもしれません。この論文は、圧倒的な数の「普通のリス」に惑わされることなく、これらの新しい珍しい脅威を見つけ出すように、デジタル探偵をどのように教えるかについて掘り下げています。

---

偉大なるデジタル探偵レース

この研究において、研究者のザフラ・ロトフィ（Zahra Lotfi）とモスタファ・ロトフィ（Mostafa Lotfi）は、どの機械学習モデルが究極のゼロデイ攻撃検知器になれるかを確かめるために、大規模なトレーニングの場を設けました。彼らは単にどのモデルが最も賢いかを知りたいのではなく、どのモデルが最も速いかも知りたかったのです。結局のところ、現実の世界では、たった一人のIDをチェックするのに1時間かかるセキュリティガードは、たとえ犯罪者を一度も見逃さないとしても、役に立たないからです。

研究者たちは、140万件以上のネットワークトラフィックの記録を含む、UNSW-NB15という巨大なデータセットを使用しました。テストを現実的なものにするために、彼らはモデルが正常なトラフィックと既知の攻撃の混合物でトレーニングされ、その後、見たこともない「ゼロデイ」攻撃に対してテストされるというシナリオを作成しました。さらに難易度を上げるために、現実の世界と同じように、正常なトラフィックが攻撃を大幅に上回る、極端に偏ったデータセットを使用しました。

彼らは5つの異なる「探偵」（機械学習モデル）をテストしました：

1. 決定木 (Decision Tree - DT): はい、またはいいえの質問を繰り返して判断を下すモデル。
2. ロジスティック回帰 (Logistic Regression - LR): 何かが攻撃である確率を計算する統計モデル。
3. ランダムフォレスト (Random Forest - RF): 答えに対して投票を行う、多くの決定木のチーム。
4. XG Boost (XGB): 自分の間違いを糧にして賢くなっていく強力なチームで、非常に速いことで知られています。
5. MLP (多層パーセプトロン - Multilayer Perceptron): 人間の脳のニューロンの層を模倣したディープラーニングモデル。

天秤のバランスを取る魔法

研究者が取り組んだ最大の障害の一つは、「クラス不均衡問題」でした。攻撃の例が正常な例に比べて非常に少なかったため、モデルは攻撃が実際にはどのようなものかを学習するのに苦戦していました。これを解決するために、チームは SMOTE (Synthetic Minority Over-sampling Technique) と呼ばれる手法を使用しました。

あなたが子供に珍しい青い鳥の識別方法を教えようとしているとしますが、手元にはその写真が1枚しかないとします。子供はその姿をすぐに忘れてしまうでしょう。SMOTEは、元の写真を隣接する写真と混ぜ合わせることで、その青い鳥の少しずつ異なる新しい写真を生成する、魔法のフォトコピヤーのようなものです。これにより、野生の中でより多くの本物の鳥を見つける必要なく、その鳥がどのような姿をしているかを本当に理解するための十分な例を子供に与えることができます。研究者たちはこれをデータに適用し、トレーニングセットのバランスを取るために合成された攻撃の例を作成しました。

結果：レースの勝者は？

結果は「最も賢い」と「最も速い」の混合であり、勝者はあなたが何を重視するかによって決まりました。

モデルをバランスを取るテクニック（SMOTE）なしでテストした場合、彼らは珍しい攻撃を見つけるのに苦戦しました。例えば、ランダムフォレストモデルは攻撃の約 83.11% しか検知できず、MLPモデルはさらにひどく、わずか 25.35% しか検知できませんでした。

しかし、データをバランスさせるために SMOTE を使用したところ、パフォーマンスは急上昇しました。

• 最も賢い探偵: ランダムフォレスト (RF) モデルが、正確性の面で明確なチャンピオンでした。バランスの取れたデータを用いることで、それは 94.38% という膨大な数のゼロデイ攻撃（再現率）を検知し、98.91% の精度を達成しました。それは、悪党を見逃さないという点で最も信頼できるものでした。
• スピードスター: しかし、ここに落とし穴があります。ランダムフォレストは信じられないほど遅かったのです。テストデータを処理するのに 1,379.10秒（22分以上）かかりました。現実のサイバー攻撃において、ハッカーを止めるために22分待つことは、消防車を呼ぶ前に建物が燃え尽きるのを待つようなものです。
• 最高のオールラウンダー: ここで XG Boost (XGB) の登場です。ランダムフォレストほど多くの攻撃を検知することはありませんでしたが（81.40% を検知）、それは電光石火の速さでした。同じタスクをわずか 5.08秒 で完了しました。また、98.21% という高い精度も維持していました。

結論

研究者たちは、ランダムフォレストは技術的にはこれらの目に見えないゼロデイ攻撃を見つけるための最も正確なモデルであるが、リアルタイムのセキュリティシステムとしては遅すぎて実用的ではないと結論付けました。もし、眠ることなく決してミスをしないガードが必要だが、考えるのに時間がかかるというのであれば、問題が生じるでしょう。

代わりに、彼らは XG Boost を実用的な用途におけるトップの選択肢として指名しました。それは「極めて速く、かつ精密」であり、最高のバランスを提供しました。絶対的な完璧な検知器を常に必要とするのではなく、被害が出る前に攻撃を止めるのに十分な速さを持つものが必要であることを、それは証明しました。

また、この研究は「魔法のフォトコピヤー」（SMOTE）が不可欠であったことも確認しました。それなしでは、モデルは珍しい攻撃に対して盲目でした。それを用いることで、たとえ遅いモデルであっても大幅に改善されましたが、どのモデルを使用すべきかの決定要因は、依然としてモデルの速度でした。

結局のところ、この研究は、デジタル犯罪者を捕まえるレースにおいては、賢いだけでは不十分であり、速くなければならないことも示しています。そして時には、数秒で1マイルを走ることができる、二番目に賢い探偵こそが、実際に事態を救うことになるのです。