Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

インターネットを、数百万ものデジタルメッセージが毎秒建物の間を飛び交う、巨大で賑やかな都市だと想像してみてください。この都市の安全を守るため、セキュリティガード（侵入検知システムと呼ばれます）がゲートに立ち、すべての荷物をスキャンしてトラブルの兆候がないか調べています。長い間、これらのガードは「既知の悪党」が記された巨大で重い本に頼って脅威を見つけ出してきました。しかし、ハッカーは巧妙であり、本に載っていない新しい手口を毎日発明しています。そこで、科学者たちは、コンピュータの脳の一種である「ディープラーニング（深層学習）」を用いて、ガードが自ら考える方法を教え始めました。これは、何千もの例を見ることでパターンを学習する仕組みです。

しかし、一つ問題があります。これらの超スマートなコンピュータの脳は巨大で、食欲旺盛なのです。それらは膨大なメモリとエネルギーを必要とします。データセンターにある巨大なサーバーであれば問題ありませんが、私たちの家やルーター（スマートサーモスタットやネットワークスイッチの中にある小さなコンピュータのようなもの）を守っている、バッテリー駆動の小さなデバイスにとっては最悪です。科学者たちは、この脳を壊すことなく小さくする方法として、「プルーニング（枝刈り）」という手法を使って、これらを縮小しようと試みてきました。プルーニングを、生け垣の手入れだと考えてみてください。枝（この場合は、コンピュータの脳内部にある未使用の接続）を切り落として、より小さく、より速くする方法です。テクノロジーの世界におけるこれまでの共通認識は、「もし接続の75%を切り落としたら、脳は75%軽くなり、はるかに高速に動作するはずだ」というものでした。

しかし、もしその仮定が間違っていたらどうでしょう？ もし、すべてを切り落とした後でも、脳の構造自体が空の場所をスキップすることを許さないために、依然として同じように遅いままだったら？ これこそが、この論文が解決しようとしている謎です。

---

大規模プルーニング実験

この研究において、イシャン・ミシュラ（Ishan Mishra）という研究者は、この「切れば速くなる」というアイデアを究極のテストにかけようと決めました。彼は単に強力なスーパーコンピュータで数字を走らせたのではありません。彼は自分のコンピュータの脳を取り、Raspberry Pi 5（緑色の回路基板のような見た目で、現実世界のセキュリティシステムで見られるような、安価で小さなコンピュータボード）に載せたのです。

彼は「マルチクラシファイア・ディープニューラルネットワーク」を構築しました。これは、簡単に言えば、トラブルをチェックするための3つの異なる思考レイヤーを持つコンピュータの脳です。彼は、この脳をNSL-KDDというデータセットで訓練しました。これは、既知の古いサイバー攻撃が詰まった練習テストのようなものです。また、特定の種類の攻撃の例が多すぎたり少なすぎたりして脳が混乱しないように、SMOTEと呼ばれるテクニックを使用して訓練データをバランスさせました。これは、希少な攻撃の偽の例を作り出し、脳がそれらを適切に学習できるようにする手法です。

そして、プルーニングの工程がやってきました。彼は訓練済みの脳を取り、**ブロックスパース・プルーニング（block-sparse pruning）**を適用しました。これは、ネットワーク内の接続（重み）の74.55%をゼロとして切り出す特定の方法です。目的は、この「空っぽ」になった脳が、元のフル機能の脳よりも速く動作し、より少ないスペースを占有するかどうかを確認することでした。

驚きの結果：切り落としても速くならなかった

ここにひねりがあります。プルーニングは、脳の動作速度を向上させませんでした。

研究者は、コンピュータが単一の決定を下すのにかかる時間（推論レイテンシ）を測定しました。

• 元のフル機能の脳は 0.0103 ± 0.0008 ms（ミリ秒）でした。
• プルーニングされた「空っぽ」の脳は 0.0101 ± 0.0002 ms でした。

統計的に見て、これら2つの数値は双子のようなものです。実質的に同じです。論文では、差があまりに微細で現実的には無視できるものであることを証明するために、TOST（Two One-Sided Tests）と呼ばれる特別な統計テストを使用しました。結果は、プルーニングは意思決定にかかる時間を短縮しませんでした。

なぜでしょうか？ 論文の説明によれば、脳には接続が少なくなっていたものの、Raspberry Pi上で動いているソフトウェア（TFLite）が、その空の場所をスキップするほど賢くなかったためです。それは、シェフに対して「カウンターにある食材の75%を無視しろ」と命じたものの、シェフは依然としてすべての場所に歩み寄り、そこを見て「あ、ここは空だ」と判断してから次に進まなければならない状況に似ています。歩く時間（レイテンシ）が変わらなかったのは、シェフが依然としてすべての場所をチェックしなければならなかったからです。

ファイルサイズの驚き

研究者はまた、デバイスで実行するために脳を保存した際の最終的なファイルサイズも確認しました。彼は、プルーニングされたバージョンがはるかに小さくなることを期待していました。しかし、代わりに、フル機能の脳もプルーニングされた脳も、全く同じ 105,992 バイト（約103.51 KB）になりました。

これは、ファイルをデバイス用に準備するソフトウェア（**量子化（quantization）**と呼ばれるプロセス）が、数値を最小サイズに押しつぶしてしまったために起こりました。そのため、プルーニングされたバージョンの「空の」箇所は無意味になってしまいました。したがって、この特定のセットアップにおいては、プルーニングによるストレージ容量の節約も行われませんでした。

真の問題：不安定な脳

プルーニングによって速度も容量も改善されませんでしたが、果たしてプルーニングは攻撃者を特定する能力を損なったのでしょうか？ ほとんどの場合、そうではありません。全体的な精度は非常に近い状態を維持しました。

• フル機能の脳は、既知の攻撃の 82.3% を正しく特定しました。
• プルーニングされた脳は、81.2% を正しく特定しました。

しかし、論文では、プルーニングされた脳がどのように失敗するかについて、非常に興味深い発見がありました。研究者が異なるランダムな開始点（シードと呼ばれます）を用いて実験を5回実行したところ、プルーニングされた脳は不安定であることが分かりました。

例えば、smurf攻撃のような特定の攻撃に対して、フル機能の脳は一貫して優秀（約**89%**の確率で正解）でした。しかし、プルーニングされた脳はジェットコースターのようでした。使用されたランダムシードによって、非常に優れていることもあれば（正解率 85%）、壊滅的な結果になることもありました（正解率 11%）。それは、その日の目覚め方次第で、テストで満点を取ることもあれば、完全に落第することもある学生のようでした。

また、論文は、フル機能の脳とプルーニングされた脳の両方が、back や guess_passwd といった特定の攻撃に対して、ほぼ 0% の正解率となり、苦戦していることも発見しました。これはプルーニングのせいではなく、訓練データが不均衡であったため、確信が持てない場合に脳がすべてを「正常」と推測してしまうことが原因でした。この失敗は、シードに関係なく、毎回発生しました。

未知の攻撃についてはどうなのか？

テストには、脳が一度も見聞きしたことのない攻撃タイプを含む 3,750 件のレコード（テストセットの16.6%）も含まれていました。脳はこれらを訓練されていないため、名前を特定することはできません。代わりに、研究者は、脳がそれらを無視するのではなく、少なくとも「不審」としてフラグを立てるかどうかを確認しました。

• フル機能の脳は、これらの未知の攻撃の約 36.6% にフラグを立てました。
• プルーニングされた脳は、37.0% にフラグを立てました。

ここでも、実質的な差はありませんでした。プルーニングは、新しい未知の手口を見つける助けにも、逆に悪化させることにもなりませんでした。

まとめ

この論文は、小さなデバイス向けにAIモデルを縮小しようとしている人々への「現実的な警告」です。これは、単に接続を切り落とす（プルーニング）だけでは、モデルを実行するソフトウェアがその空の場所を活用するように設計されていない限り、自動的に高速化するわけではないということを証明しています。

もし、小さなデバイスでより高速なモデルを実現したいのであれば、プルーニングだけに頼ることはできません。空の場所をスキップできる特殊なソフトウェアを使用するか、あるいは脳の一部を丸ごと取り除くような別の種類のプルーニング（構造化プルーニング）を使用する必要があります。

研究は、プルーニングが理論上はモデルを小さくできるとしても、今日の標準的なソフトウェアが扱う現実の世界においては、速度や容量のメリットをもたらさないと結論付けています。そして、もしプルーニングを使用する場合は注意が必要です。それは、特定の脅威に対するモデルのパフォーマンスを、訓練のされ方次第で、非常に優れたものから非常に劣悪なものへと、予測不能に変動させてしまう可能性があるからです。