LLM-Generated Samples for Android Malware Detection

技術要約：Androidマルウェア検出のためのLLM生成サンプル

問題提起
Androidマルウェアは、難読化やポリモーフィズムを通じて急速に進化しており、シグネチャベースの防御策と機械学習（ML）モデルの両方に課題を突きつけている。堅牢な検出システムの開発における決定的なボトルネックはデータの希少性であり、特に特定のマルウェアファミリーや挙動に関するデータが不足することで、データセットの不均衡が生じ、分類器の汎化を妨げている。合成データが解決策として提案されているものの、構造化された効果的なマルウェアレコードを生成して検出モデルの学習に利用することに対する、大規模言語モデル（LLM）の具体的な有効性は、未だ十分に解明されていない。既存の文献では、LLMによって生成された合成Androidマルウェアが、データの拡張（オーグメンテーション）またはスタンドアロンの学習ソースとして使用された際の検出性能への影響について、実証的な評価が欠けている。

手法
本研究では、ハイブリッドな静的・動的特徴空間、バランスの取れた悪意のある／良性の分割、および人間が解釈可能な特徴を備えたKronoDroidデータセットを利用する。研究の対象は、BankBot（バンキングトロジャン）、Locker/SLocker（ランサムウェア）、Airpush/StopSMS（アドウェア／SMSトロジャン）の3つの異なるマルウェアファミリーである。

コアとなる手法は、以下の3段階のプロセスで構成される：

1. データ準備： 著者らは、KronoDroidから実際のデバイスのサブセットを選択し、マルウェアと良性サンプルの比率を1:1に維持した。識別子やメタデータを削除するために特徴量を前処理し、「None」値をゼロに補完し、疎な列をフィルタリングすることで、最終的に387個の数値特徴量セットを作成した。
2. LLMのファインチューニングと生成： 著者らは、構造化されたマルウェアレコードを生成するためにGPT-4.1-miniをファインチューニングした。「malware」のような用語に関するセーフティフィルターを回避するため、特徴量名をサニタイズした（例：「malware」 $\to$ 「app」）。チームは当初CSV生成を試みたが、構造的な不整合に直面したため、結果としてJSON/JSONL形式へと移行した。これはLLMにとってより安定していることが判明した。
   • ファインチューニング戦略： 2つの構成をテストした。BankBotおよびLocker/SLockerについては、50個の代表的なサンプルを1エポック使用した。Airpush/StopSMSについては、データ量と学習の深さに対する感度をテストするため、サンプル数を150個に増やし、3エポックに設定した。
   • プロンプトエンジニアリング： プロンプトは、構造的なリアリズム、一意性、および正しいラベル付けを強制するように最適化された。後処理では、重複の削除およびハルシネーション（例：非現実的なシステムコールパターン）への対処を行った。
3. 実験的評価： 本研究では、5つの分類器（k-近傍法、決定木、ロジスティック回帰、多層パーセプトロン、ランダムフォレスト）を、以下の3つのシナリオにわたって評価した：
   • Real-only（実データのみ）： 実在のマルウェアおよび良性データで学習。
   • Real + Synthetic（実データ＋合成データ）： 実在のマルウェアにLLM生成サンプルを加えて拡張。
   • Synthetic-only（合成データのみ）： 合成されたマルウェアのみを用い、実在の良性データで学習した後、実在のマルウェアに対してテスト。

主な結果
45の組み合わせ（3ファミリー $\times$ 5分類器 $\times$ 3シナリオ）にわたって検証された実験結果は、明確なパフォーマンスの階層を示している：

• Real-Only（実データのみ）学習： すべてのファミリーにおいて完璧に近い検出精度を達成した。BankBotについては、ロジスティック回帰やランダムフォレストなどのモデルが精度（Accuracy）およびROC AUCで1.000を達成した。LockerおよびAirpushファミリーも高い性能（Accuracy $\approx$ 0.97–0.99）を示し、十分な実データがあれば優れた識別が可能であることを裏付けた。
• Real + Synthetic（実データ＋合成データ）による拡張： LLM生成サンプルを追加しても高い性能は維持されたが、実データのみの学習と比較して、わずかながら一貫した性能低下が見られた。例えば、BankBotの精度は1.000から約0.99へとわずかに低下した。極めて重要な点として、偽陽性率（False Positive Rate）は非常に低く保たれており（<0.04）、合成による拡張が特異性を損なわないことを示している。
• Synthetic-Only（合成データのみ）学習： パフォーマンスは混在しており、マルウェアファミリーおよびファインチューニングの戦略に強く依存していた：
  • BankBotおよびLocker/SLocker： 合成データのみで学習したモデルを実データに対してテストしたところ、性能が悪かった。精度は0.50から0.74の範囲であり、再現率（Recall）が極めて低い（例：Lockerでは0.05）ことから、合成データがこれらのファミリーに必要な分布特性を捉えきれていないことが示唆された。
  • Airpush/StopSMS： このファミリーは、大幅に優れた汎化性能を示した（Accuracy $\approx$ 0.80–0.89、Recall $\approx$ 0.61–0.79）。この改善は、より大きなファインチューニング・セット（150サンプル）および深い学習（3エポック）と相関しており、合成データの忠実度はデータ量と学習の深さが増すにつれて向上することを示唆している。

主な貢献
本論文は、主に以下の2点で貢献している：

1. 拡張の有用性： 希少な実データセットをLLM生成マルウェアで拡張することで、検出精度や特異性を大きく損なうことなく、データセットのサイズを拡大できることを示した。
2. 合成のみによる学習の限界： LLMは構造的に一貫したレコードを生成できるものの、現在のところ、マルウェア検出のためのスタンドアロンの学習ソースとしては不十分であることを実証的な証拠とともに示した。合成のみによる学習の有効性は、マルウェアファミリーの特性およびファインチューニングの深度に強く依存する。

意義と主張
著者らは、本研究を、生の検出メトリクスの画期的な進展というよりも、サイバーセキュリティ分析におけるLLMの有用性に関する実践的な探求として位置づけている。本研究は以下のように主張している：

• 合成データは代替ではなく補完である： LLM生成マルウェアは、希少なファミリーに対するデータ不足を効果的に解消できる可能性があるが、強固な分類器を訓練するための実世界のデータを置き換えることはまだできない。
• 方法論的な厳密さが必要である： 合成生成の成功は、プロンプトエンジニアリング、後処理、および特定のファインチューニング・レジーム（サンプルサイズとエポック数）に大きく依存する。
• 将来の可能性： これらの知見は、より大きなファミリーに対してファインチューニングのコーパスとエポック数を増やすことで、汎化のギャップを埋められる可能性があることを示唆している。著者らは、合成データは、機密性の高い実世界のデータセットへのアクセスが制限されている環境における、敵対的学習、レッドチーミング、およびベンチマーキングといったタスクへの補完として最適であると考えている。

結論として、本論文は、LLMはマルウェアデータセットを豊かにするための有望な手段を提供するものの、現在の出力はスタンドアロンの検出モデルにはリアリズムと多様性が不足しており、実データによる検証を優先するハイブリッドなアプローチが必要であることを断言している。