あなたは、大規模で賑やかな空港の警備員になったと想像してください。あなたの仕事は、何百万人もの旅行者の中からトラブルメーカーを見つけ出すことです。かつて、警備員は顔を見たり、バッグの中の特定のアイテムをチェックしたりしていました。しかし今日、「悪党」たちは顔を隠したりバッグに荷物を詰め込んだりするのが非常に上手いため、警備員はトラブルを見つけるために超スマートなロボット（機械学習）を使い始めています。これらのロボットは驚異的な精度を持ち、しばしば99%の悪党を捕まえます。しかし、一つ問題があります。これらのロボットは「ブラックボックス」なのです。彼らは「警告！」と叫びますが、その「理由」は教えてくれません。ロボットが走っていたから捕まえたのか？ 重いスーツケースを持っていたからか？ それとも、ただ赤い帽子を被っていたせいで混乱しただけなのか？ ロボットが自分自身を説明できないのであれば、セキュリティチームはそれを信頼できず、新しい種類のトラブルを見つけるように教え込むこともできません。

ここで「説明可能なAI（XAI）」と呼ばれる分野が登場します。XAIを、ロボットに数学のテストで解答プロセスを書き出すように、自分の考え方を示すよう強制する「翻訳者」だと考えてみてください。研究者たちが問い続けてきた大きな疑問は、ある種類の犯罪者（例えば、協力して働くハッカーのグループ）を捕まえるためにロボットが使う手がかりは、別の種類の犯罪者（例えば、偽のトラフィックの巨大な洪水）を捕まえるためにも通用するのか？ ということです。それとも、ロボットは単に、訓練を受けた特定の「制服」を暗記しているだけなのでしょうか？ もしロボットが「赤い帽子」しか知らなければ、青い帽子の犯罪者を見逃してしまうでしょう。この論文は、ロボットが学習した「手がかり」が普遍的なものなのか、それとも単に訓練キャンプ特有のものなのかという謎を解明するために、この調査を行っています。

グレート・ディテクティブ・スワップ：ボットネット vs フローッド

この研究において、2人の研究者、GizachewとShahzadは、7つの異なる「ロボット探偵（機械学習モデル）」に厳格なテストを実施することにしました。彼らは、わずか9項目の「時間的（temporal）」な手がかりのみを使用して、これらのロボットが2つの非常に異なるタイプのサイバー犯罪者を特定できるかどうかを確認したいと考えました。

2種類の悪党：

1. ボットネット（Botnet）： 何千もの小さな、意思を持たないドローン（感染したコンピュータ）の群れを想像してください。それらはすべて、マスターからの信号を待っています。それらは、まるでマーチングバンドのように、完璧で退屈なほど一斉に動きます。彼らの「特徴」は、厳格でリズム感のあるタイミングです。
2. マルチベクター攻撃（Multi-Vector Attack）： さまざまな種類のトラブルメーカーによる混沌とした暴徒を想像してください。巨大な岩を投げている者（フローッド）、鍵を開けようとしている者（スキャン）、あるいはパスワードを推測しようとしている者（ブルートフォース）などが混在しています。彼らは騒々しく、無秩序で、規模や速度も様々です。

9つの手がかり：
メッセージの内容（多くの場合、暗号化されていたりプライベートなものであったりします）を見る代わりに、研究者はロボットに対し、トラフィックの「タイミングと形状」のみを見るよう強制しました。彼らは9項目のチェックリストを与えました：

• 会話がどのくらいの長さ続いたか。
• どれだけのデータが送られたか（ボリューム）。
• どれくらいの速さで送られたか（レート）。
• データの流れがどちらの方向であったか（方向）。
• 個々の「パッケージ」のサイズがどれくらいか（パケットサイズ）。
• そして最も重要な、パッケージ間の時間間隔（到着間隔、またはIAT）。

衝撃的な発見：悪党によってルールは異なる

ロボットたちはこれら9つの手がかりに基づいて訓練され、両方のシナリオにおいて、悪党をほぼ100%捕まえるという素晴らしい成果を上げました。しかし、研究者がロボットに「どのようにして捕まえたのか」を尋ねたとき、その結果は驚くべきものでした。

ボットネットの捕獲：
ロボットがボットネット（マーチングするドローン）を捕まえたとき、彼らはほぼ完全にタイミングに依存していました。彼らはメッセージ間の隙間を見ていました。ドローンは完璧なリズムで動くため、メッセージ間の時間間隔が非常に規則的だったのです。ロボットはこう言いました。「あ、これだ！ メッセージ間の時間が完璧すぎる！ これはボットだ！」 実際、ボットネット検出器にとって、タイミングの手がかりは非常に重要であり、もしタイミングをかき乱すと、ロボットの悪党を捕まえる能力はほぼゼロにまで低下しました。

マルチベクターの捕獲：
混沌とした暴徒（フローッドやスキャン）を捕まえたとき、ロボットはタイミングをほとんど無視しました。代わりに、彼らはサイズとボリュームに注目しました。彼らはこう言いました。「これを見て！ パケットがすべて変なサイズだ」あるいは「この人物は一度に大量のデータを一方方向に送りすぎている！」 混沌とした暴徒はランダムな速度で動くため、タイミングはそれほど重要ではありませんでした。

「ブラックボックス」の罠：
ここが最も重要な発見です。研究者は、ボットネットを捕まえるための手がかりがマルチベクター攻撃にも通用するかどうか、またその逆についても検証しました。彼らは、2つのグループ間で「重要度」が一致するかどうかを数学的にチェックしました。結果はどうだったでしょうか？ 全く一致しませんでした。 相関関係は実質的にゼロ（0.01）でした。

これは、ボットネットを検知するように訓練されたロボットに、フローッドを探すよう指示しても、おそらく失敗することを意味します。なぜなら、ロボットは間違った手がかりを探しているからです。それは、犬に「ボールを取って」と教えた後、同じ「取って」という言葉を使ったからといって、フリスビーをキャッチすることを期待するようなものです。論文では、あるセキュリティシステムの「特徴量の重要度」ダッシュボードをそのままコピー＆ペーストして、別のシステムでも機能すると期待することはできない、という考えを明確に否定しています。手がかりはドメイン固有（領域特有）なのです。

希望の光：「堅牢な」手がかり

では、希望はすべて失われたのでしょうか？ すべての種類の攻撃に対して、それぞれ異なるロボットを用意しなければならないのでしょうか？ そうではありません。研究者は、巧妙なトリックを使って「共通点」を見つけ出しました。彼らはこう問いかけました。「両方のタイプの攻撃において、最も重要でない手がかりは何か？」 いいえ、違います。彼らは逆のことを聞きました。「両方の世界における最小のスコアをとったとしても、依然として重要であり続ける手がかりは何か？」

ボットネットの世界とフローッドの世界の両方において、重要であり続ける手がかりを探すことで、彼らは3つの「コンセンサス（合意）セット」となる超堅牢なシグネチャを見つけ出しました：

1. タイミングの変動性： 時間間隔がどれだけ「変化するか」（単なる平均時間ではなく）。
2. ソース・バイト比： 送信されるデータ量と受信されるデータの量のバランス。
3. 平均パケットサイズ： データチャンクの典型的なサイズ。

これら3つの手がかりは「ユニバーサル・キー（万能の鍵）」です。これらは悪党が偽装するのが難しいものです。もしボットネットが自身のタイミングを狂わせて隠れようとすれば、自らのリズムを壊してしまいます。もしフローッド攻撃者がパケットサイズを変えて隠れようとすれば、自らのフローッドのパターンを壊してしまう可能性があるのです。

これがあなたにとって何を意味するか

論文は、次のように結論づけています。「ブラックボックス」のロボットは悪党を捕まえることには長けていますが、私たちは盲目的に信頼することはできません。中を覗き込み、彼らが実際に何を見ているのかを知るために、説明可能なAI（XAI）を使う必要があります。

この研究は以下のことを示しています：

• ボットにはタイミングが重要： ボットネットを捕まえたいなら、時計を見なさい。
• フローッドにはサイズが重要： フロードを捕まえたいなら、ボリュームを見なさい。
• コピー＆ペーストは不可： あるタイプの攻撃を検知するように訓練されたロボットが、賢いからといって別のタイプの攻撃も検知できると想定してはいけません。
• 安全な選択肢： あらゆる場所で機能するセキュリティシステムが欲しいのであれば、3つの「コンセンサス」の手がかり（タイミングの変動性、データのバランス、およびパケットサイズ）に焦点を当てなさい。

研究者たちは、これらの結果が特定のデータセット（CIC-IDS2017およびCTU-13、これらは訓練シミュレーションのようなものです）に基づいていることに注意を払っています。現実の世界では、ロボットは完璧に動作しましたが（精度99%以上）、現実の世界はもっと混沌としています。しかし、彼らが用いた手法――ロボットに説明を強制し、異なる世界を越えて生き残る手がかりを見つけ出す手法――は、単に推測するだけでなく、実際に何を見ているのかを理解する、信頼できる新しいセキュリティシステムの構築方法を提示しています。