Evaluation Pitfalls and Multimodal Baselines for the \dataset{} IoT Malware Dataset

デジタル世界において、セキュリティ研究者はコンピュータの免疫系の医師のような役割を果たしています。彼らは、悪意のあるソフトウェア（マルウェア）が害を及ぼす前に、それを検知するためのツールを構築します。これらのツールを訓練するためには、膨大なデータライブラリが必要です。つまり、コンピュータが健康な状態であるときの挙動の記録と、病気の状態にあるときの挙動の記録です。訓練データの質が、結果として得られるセキュリティツールの性能を決定します。もしデータに欠陥があれば、ツールは実世界で失敗し、危険な脅威を見逃したり、誤報（偽陽性）を発生させたりすることになります。この分野における大きな課題は、研究者がデータを訓練グループとテストグループに分割する方法が、意図せずバイアス（偏り）を導入しないようにすることです。もしコンピュータプログラムが訓練中に特定のマルウェアを目にし、その後、テスト中に全く同じマルウェアを目にしたとしたら、それは新しい脅威を検知することを学習しているのではなく、単に答えを暗記しているに過ぎません。さらに、研究者は、セキュリティツールを「疑わしい活動の個々の瞬間」をどれだけ捉えられるかで判断すべきか、それとも「感染したプログラム全体」をどれだけ特定できるかで判断すべきかを決定しなければなりません。これらは全く異なるタスクとなり得ます。

タリム大学の研究チームは最近、CIC-YNU-IoTMal2026と呼ばれる、新しく非常に詳細なデータライブラリに注目しました。このデータセットは、数千のコンピュータプログラムに対して3種類の異なる情報を同時に記録しているため、セキュリティ専門家にとって宝の山です。これは、流入・流出するネットワークトラフィック、CPU使用率のようなシステム活動、そしてプログラムがオペレーティングシステムに与える具体的なコマンドのリストを捉えています。これらのプログラムは、セキュリティツールが異なるハードウェア上で動作するかを確認するために、4種類の異なるコンピュータチップ上で実行されました。研究者たちは新しいセキュリティツールを構築したのではなく、代わりに「監査役」として行動しました。彼らは、このデータセット自体を検証し、セキュリティツールの標準的なテスト方法が深刻な問題を隠していないかを調査しました。彼らは、他の研究者が報告している高いスコアが本物なのか、それともデータの取り扱いにおける微妙なミスによるものなのかを知りたかったのです。

監査は、データの分割方法を確認することから始まりました。最も一般的な方法は、記録されたすべての活動の瞬間をランダムにシャッフルし、一部を訓練用の山に、一部をテスト用の山に入れるというものです。研究者たちは、このアプローチがこの特定のデータセットに対しては根本的に欠陥があることを発見しました。データはプログラム全体の記録であるため、瞬間をシャッフルするということは、テスト用の山の中に、すでに訓練用の山に含まれているプログラムの瞬間が含まれていることを意味します。実際、すべてのテストの瞬間は、その親となるプログラムを訓練セットと共有しており、テストの瞬間のうち数パーセントは訓練時のものと全く同一の複製でした。これは、このような方法でテストされたセキュリティツールは、実質的に「すでに答えを見た質問」に対して採点されているようなものです。これは、この特定のデータセットにおいてスコアを人工的に吊り上げることはありませんでしたが、そのツールが真に未知のプログラムに対してどれほどうまく機能するかを予測するには、結果が信頼できないことを意味していました。研究者たちは、最も公平なテスト方法は、プログラム全体をまとめて扱うことであり、どのプログラムも訓練とテストの両方のグループに現れないようにすることであると結論付けました。

研究者たちがデータ分割の方法を修正した後、彼らは第2の、より欺瞞的な問題を発見しました。データセットには数千の小さな活動のスナップショットが含まれており、多くのセキュリティツールは、これらの個々のスナップショットをどれだけ捉えられるかによって評価されます。研究者たちは、この手法が危険な失敗モードを隠してしまうことを発見しました。データセット内の悪意のあるプログラムの約16％が、セキュリティツールによって完全に見逃されていました。これらの見逃されたプログラムは、高度なものではなく、単に「休止状態」にありました。それらはテスト環境で実行されましたが、悪意のある活動を開始するために「目覚める」ことができず、そのため、見た目は完全に無害なプログラムと同じでした。目覚めたマルウェアは非常に「騒がしく」、数百もの活動スナップショットを生成したため、統計を支配してしまいました。静かな休止状態のプログラムはかき消されてしまい、セキュリティツールが実際よりもはるかに優れているように見せてしまったのです。研究者たちは、真の安全性を把握するためには、単に「騒がしい瞬間」を捉えることではなく、「プログラム全体」を捉えられるかどうかでツールを判断しなければならないと強調しました。

また、研究では、異なる種類のコンピュータチップに直面した際にツールがどのように性能を発揮するかについても調査が行われました。データセットには4つの異なるアーキテクチャ上で動作するプログラムが含まれており、研究者は、3つのアーキテクチャで訓練されたツールが4つ目のアーキテクチャでも脅威を検知できるかどうかをテストしました。結果は明白でした。多くの小型デバイスで一般的なARMと呼ばれる特定のチップ上でテストされた際、ツールの性能は崩壊しました。ツールは極めて信頼性が低くなり、無害なプログラムを約80％の確率で危険だと判定しましたが、一方で実際のマルウェアはほぼすべて捕捉していました。この失敗は、ツールがマルウェアを認識できなかったからではなく、ARMチップ上の無害なプログラムが、他のチップ上の無害なプログラムとは異なる挙動を示したために起こりました。ツールは、その特定のハードウェアにおける「正常」とは何であるかという間違ったパターンを学習してしまったのです。研究者たちは、この問題は非常に安価に解決できることを見出しました。その新しいチップの無害なプログラムのごくわずかな断片（全データの1％未満）をツールに見せるだけで、ツールの性能は即座にほぼ完璧な状態まで回復しました。これは、クロスチップ・セキュリティの解決策が複雑な新しいアルゴリズムではなく、単に新しい環境の例をツールに露出させることにあることを示唆しています。

最後に、研究者たちは利用可能なデータの種類について検討しました。ネットワークトラフィック、システム活動、およびコマンドトレースです。彼らは、制御された環境下では、これら3種類すべてのデータを組み合わせることで、セキュリティツールがほぼ完璧になることを発見しました。しかし、この完璧さは脆弱なものでした。ツールがネットワークトラフィックのみに依存することを強制されると、休止状態のプログラムを見逃しました。コマンドトレースのみに依存すると、チップアーキテクチャが変わった際に完全に失敗しました。最も堅牢な組み合わせは、ネットワークトラフィックとシステム活動の混合であり、これにより他の手法の特定の弱点を回避できました。研究者たちはまた、ツールを構築するために使用される数学的モデルの種類は、ほとんど重要ではないことも指摘しました。単純な線形モデルを使用しようと複雑なニューラルネットワークを使用しようと、結果はほぼ同一でした。これは、成功の最大の要因がツールの精巧さではなく、データの分割方法、成功の定義、および異なる種類のコンピュータチップの扱い方に関する選択にあることを証明しました。

論文は、このデータセットを使用するすべての人への明確なガイドラインを提示して締めくくられています。彼らは、データを分割する際には常にプログラム全体をまとめて扱うこと、個々の瞬間ではなくプログラム全体が捕捉されたかどうかに基づいて結果を報告すること、そして未知または未分類のプログラムがどのように扱われているかについて透明性を保つことを推奨しています。また、研究者に対し、異なるコンピュータチップ上でツールをテストすること、および実験を複数回実行した場合に結果がどのように変化するかを報告することを強く求めています。最も重要な教訓は、より良いセキュリティへの道は、より複雑なモデルを構築することにあるのではなく、より良い問いを立て、よりクリーンなデータを使用することにあるということです。評価方法を改善することで、コミュニックは、構築したツールが最も必要とされる時に実際に機能することを確信できるのです。