A Hybrid Approach For Malware Classification Using Secondary Features Fusion

技術要約：二次的特徴量の融合を用いたマルウェア分類のためのハイブリッド・アプローチ

問題提起
ポリモーフィズム、難読化、ゼロデイ変種に特徴付けられるマルウェアの急速な進化により、従来の検出手法では不十分となっている。既存のアンチウイルスソフトウェアは、変種サンプルの検出や、特定のファミリーへの分類に失敗することが多く、効果的な緩和策を妨げている。機械学習（ML）はマルウェア検出に適用されてきたが、異なるファミリー間での特徴量の汎用性、データセットにおけるクラス不均衡、および静的解析または動的解析のみへの依存といった課題が依然として残っている。さらに、広く使用されているMicrosoft Malware Classification Challengeのデータセットには良性（benign）の例が含まれていないため、バイナリ検出（良性 vs 悪性）とマルチクラスのファミリー分類を併用する際の有用性が制限されている。

手法
著者らは、特徴量エンジニアリングとモデリングの2つの異なる段階に対処するハイブリッド・アプローチを提案している。本手法は以下のステップで構成される。

1. データセットの拡張と準備:

   • 本研究では、Microsoft Kaggleデータセットを修正し、既存の9つのファミリーにわたる10,868個のマルウェアサンプルに対し、1,609個の良性の逆アセンブルされたファイル（.asm）を追加した。
   • この拡張により、バイナリ分類（マルウェア vs 良性）とマルチクラス分類（特定のマルウェアファミリー）の両方が可能になる。
   • 元のデータセットに固有のクラス不均衡の問題を軽減するため、置換を伴う層化無作為抽出を採用している。

2. 特徴量抽出:

   • 一次的特徴量（Primary Features）: 逆アセンブルされたファイルの.textセクションから、API（Application Programming Interface）コール、DLL（Dynamic Link Library）インポート、およびOpCode（操作コード）のニーモニックを抽出する。
   • 二次的特徴量（Secondary Features）:
     • OpCodes: ユニグラムとして抽出し、辞書ベースの選択（不規則またはカスタムのOpCodeを除去）を経て、固定長クアッドグラムおよび可変長n-グラムへと変換する。
     • APIs および DLLs: 組み合わせ分析により、精度と計算コストのバランスが取れた最適なサイズとして、APIとDLLについてはバイグラムが最適であると判断した。
   • ノイズ除去: 周波数分析を行い、出現回数が低い特徴量（閾値 < 50）を破棄することで、代表的な特徴量のみを保持するようにしている。

3. 特徴量選択:

   • 2段階の選択プロセスを実装している：
     • 一次選択: 辞書ベースのフィルタリングと周波数分析を用いて、不規則または稀な特徴量を除去する。
     • 二次選択: フィルタ手法（シャノン・エントロピー）、ラッパー手法（提案されたRandom ForestおよびRegularized Greedy Forestを用いた後退選択）、および埋め込み手法（Lasso、XGBoost）の評価を行う。
   • カスタマイズされた後退選択アルゴリズムを提案しており、これは特定のアルゴリズムに最適化された特徴量セットを作成するために、最小の特徴量数に達するまで重要度の低い特徴量を反復的に除去するものである。

4. 特徴量融合（Feature Fusion）:

   • 単一の最適な特徴量セットを選択する代わりに、著者らは、すべての表現（APIバイグラム、DLLバイグラム、クアッドグラム、および可変長グラム）からの最良の特徴量の和集合を取ることで特徴量融合を行い、包括的な入力行列を作成する。

5. アルゴリズム融合（アンサンブル）:

   • CART、Naive Bayes、SVM、Logistic Regression、kNN、Neural Networks、Random Forest、AdaBoost、XGBoost、LightGBMを含む10個のベース分類器を評価する。
   • 上位5つの高性能分類器を用いた重み付き投票ベースのアンサンブルを構築する。
   • 各分類器の重みは、テストセットにおけるログロスを最小化するために、逐次最小二乗計画法（SLSQP）を用いて決定される。
   • 最終的な予測は、アンサンブルメンバーの重み付き確率出力の幾何平均を算出することによって導出される。

主な貢献

• データセットの修正: バイナリ分類およびマルチクラス分類タスクを容易にするため、Microsoftデータセットに良性サンプルを追加した。
• 特徴量エンジニアリング: 一次的特徴量（API/DLL）と二次的特徴量（OpCode n-gram、特にクアッドグラムと可変長グラム）を組み合わせた特徴量を利用している。
• カスタマイズされた特徴量選択: 最も価値のある特徴量を特定するために、フィルター、ラッパー、および埋め込み手法を組み合わせたハイブリッド・アプローチを評価し、後退選択アルゴリズムを提案した。
• デュアル融合戦略: 特徴量融合（多様な特徴量セットの結合）とアルゴリズム融合（重み付き投票アンサンブル）の両方を実装することで、検出の堅牢性を高めている。
• 包括的な評価: 元のMicrosoft Kaggleコンペティションの勝者や他の最近の研究を含む、最先端の手法との詳細な比較を提供している。

実験結果
提案手法は、GPU加速なしの標準的なハードウェア構成（Intel i7-8700, 16GB RAM）で評価された。

• 性能指標: アンサンブルモデルは、99.72%の精度、0.989のAUC、および0.01のログロスを達成した。
• 最先端手法との比較:
  • 元のMicrosoft Kaggleコンペティションの勝者（ログロスは約0.0023を達成）と比較して、提案モデルはわずかに高いログロス（0.01）を示したが、計算リソース要件は大幅に低い（Google Compute Engineのメモリ104GBに対し、標準的なデスクトップを使用）。
  • 著者らは、勝者のアプローチは暗号化ファイルの機能やコンペティション特有のハードコードされたハイパーパラメータに大きく依存しており、汎用性を制限する可能性があると主張している。対照的に、提案手法はファイルの機能に追跡可能な特徴量（API、DLL、可変長n-gram）を使用しており、より優れた汎用性を持つ。
  • Ahmadiら（2016）の研究と比較して、提案手法は、データセットの変化によって大きく変動する特徴量（ファイルサイズに依存する命令数など）を避け、より堅牢な特徴量選択プロセスを使用しているため、より高い汎用性を提供する。

意義と主張
論文は、提案されたハイブリッド・アプローチが、マルウェアの検出とファミリー分類を効果的に自動化できると主張している。その意義は以下の点にある：

1. 二次的特徴量（n-gram）を一次的特徴量（API/DLL）と特徴量融合させることで、単一の型による特徴量よりも堅牢な入力行列が作成されること。
2. 重み付き投票アンサンブルによるアルゴリズム融合が、個々のベース分類器を凌駕し、リソース制約のあるマシン上でも高い精度を達成できること。
3. 提案手法は、トップティアのKaggleソリューションで使用されている膨大な計算リソースやコンペティション特有の特徴量エンジニアリング（暗号化ファイルの画素強度など）に依存しないため、汎用的であり実用的であること。
4. 良性ファイルの包含により、まずファイルが悪意があるかどうかを判断し、その後に特定のファミリーを特定してターゲットを絞った緩和策を講じるという、完全なセキュリティワークフローが可能になること。

著者らは、彼らのログロスはコンペティションの勝者よりもわずかに高いものの、提案手法はより持続可能で、汎用的かつリソース効率の高いマルウェア分類ソリューションを提供すると結論付けている。今後の課題として、16進数データと逆アセンブルデータの間の融合の調査、および暗号化サンプルのトレーニングセットへの追加が計画されている。