Advanced Persistent Threats (APT) Attribution Using Deep Reinforcement Learning

技術要約：深層強化学習を用いた高度標的型攻撃（APT）の属性特定

問題提起
本論文は、マルウェアを特定の高度標的型攻撃（APT）グループに帰属させるという極めて重要な課題に取り組んでいる。単なる偶発的なサイバー攻撃とは異なり、APTは国家が背後にいることが多く、高度で長期的な運用であり、検知を逃れるための複雑な回避技術、ゼロデイ脆弱性の悪用、そして入り組んだ行動パターンを利用する。従来の属性特定手法は手動による特徴量エンジニアリングや静的なシグネチャに大きく依存しており、現代の脅威の動的な性質、難読化戦術、および明確な進化のつながりを欠くマルウェアファミリーへの対応に苦慮している。著者らは、攻撃の背後にある特定のAPTグループを正確に特定するために、行動パターンを分析できる適応型のシステムの必要性を主張している。これは、ターゲットを絞った防御戦略の開発や、加害者の責任を追及するために不可欠なタスクである。

手法
本研究は、12の異なるAPTグループ（例：APT1、APT28、Equation Group、Gorgon Group）のいずれかにマルウェアサンプルを帰属させるために、深層強化学習（DRL）を活用した新しいフレームワークを提案している。その手法は、以下の構造化された実験設計に従っている。

1. データ収集と準備:

   • データセット: 本研究では、5カ国（中国、ロシア、北朝鮮、米国、パキスタン）に由来する12のAPTグループ（例：APT1、APT28、Equation Group、Gorgon Group）に分類された3,500以上のマルウェアサンプルのデータセットを利用している。
   • ソース: 行動データは、Cuckoo Sandbox（ファイル操作、レジストリ変更、ネットワークトラフィックの動的解析用）およびVirusTotal（集約されたアンチウイルス検出結果およびメタデータ用）を用いて抽出されている。
   • 前処理: 生のレポートはクリーニング、統合、変換される。カテゴリ変数（APTグループ）はラベルエンコーディングされ、数値特徴量はMinMaxScalerを使用して正規化される。大幅なクラス不均衡（各グループあたり32から961サンプル）に対処するため、少数派クラスの例を合成するためにSMOTE（Synthetic Minority Over-sampling Technique）が採用されている。

2. マルコフ決定過程（MDP）の定式化:
   属性特定の問題は、以下の要素を持つMDPとしてモデル化されている：

   • 状態空間 ($S$): APIコール、ファイル操作、レジストリ変更、およびネットワーク行動を含む特徴ベクトルから導出される、マルウェアサンプルの現在の理解を表す。
   • アクション空間 ($A$): 現在のマルウェアサンプルを特定のAPTグループに帰属させる決定に対応する（12通りの可能なアクション）。
   • 報酬 ($R$): 正しい属性特定には正の報酬（+1）が割り当てられ、誤った属性特定には負の報酬（-1）が与えられる。エージェントは累積報酬の最大化を目指す。

3. モデルアーキテクチャと学習:

   • アルゴリズム: Gymnasium環境内のStable Baselines 3ライブラリを用いて、**Deep Q-Network (DQN)**が実装されている。
   • ネットワーク設計: 方策ネットワークとターゲットネットワークは、勾配消失を防ぐためのLeaky ReLU活性化関数を使用した、ニューロン数 [1024, 512, 512, 256] の多層パーセプトロン（MLP）である。
   • 学習戦略: エージェントは、探索と利用のバランスを取るために $\epsilon$-greedy戦略を利用する。経験再生（Experience Replay）は、遷移 $(s_t, a_t, r_t, s_{t+1})$ を保存するために使用される。ハイパーパラメータには、学習率スケジュールのほか、割引率 ($\gamma$) 0.99、バッチサイズ256が含まれる。

主な貢献

• DRLの斬新な応用: 本研究は、静的な分類を超えて、適応的な意思決定フレームワークとしての、APTマルウェア属性特定のための深層強化学習の活用を先駆的に示した。
• 行動分析への焦点: モデルは、静的なコードシグネチャではなく、サンドボックス環境から抽出された動的な行動的特徴に依存しており、これにより難読化された進化する脅威への対応が可能となっている。
• ベンチマーキング: 本研究は、提案されたDRLモデルを、確率的勾配降下法（SGD）、サポートベクター分類器（SVC）、K近傍法（KNN）、多層パーセプトロン（MLP）、および決定木分類器を含む従来の機械学習分類器と比較し、厳密な比較を行っている。
• オープンリソース: 著者らは、さらなる研究を促進するために、コードと精査されたAPTマルウェアデータセットを公開している。

結果
DRLモデルは、すべてのベースライン機械学習モデルに対して優れた性能を示した：

• テスト精度: DRLモデルは 89.27% のテスト精度を達成した。
• 比較: これは、次に優れたモデルである決定木分類器（82.64%）、ならびにMLP（80.65%）、KNN（80.21%）、SVC（77.41%）、SGD（71.47%）を大幅に上回った。
• 詳細な指標: テストセットにおいて、モデルは平均適合率（Precision）87%、再現率（Recall）85%、F1スコア86%を達成した。
• グループ別の性能: モデルは「Equation Group」（トレーニングにおける完全なスコア）や「APT 19」（F1スコア95.8%）といったグループに対して卓越した習熟度を示した。しかし、「APT 28」（適合率62.4%）や「APT 21」（再現率93.44%）については若干の課題があり、今後の改良の余地があることを示唆している。
• 学習の軌跡: モデルの精度は学習中に劇的に向上し、初期の低いレベルから、20,000ステップ後にトレーニングデータで98%近くまで上昇し、テストセットで89.27%で安定した。

意義と主張
本論文は、サイバーセキュリティの枠組みへのDRLの統合が、マルウェア属性特定に革新的な可能性をもたらすと主張している。試行錯誤から学び、不完全または難読化された情報に適応するDRLの能力を活用することで、提案されたシステムは、従来の静的なモデルと比較して、APTアクターを特定するためのより堅牢で正確な手法を提供する。

著者らは、モデルが高い有効性を示す一方で、その展開には多大な計算リソースと高品質で多様なデータセットが必要であることを強調している。彼らは、今後の研究が以下に焦点を当てるべきであると提言している：

1. アーキテクチャの洗練とモデルのプルーニング（枝刈り）を通じた計算効率の向上。
2. 汎用性を高めるためのデータセットの多様性の拡大。
3. データのプライバシーとバイアスに関する倫理的懸念への対処。
4. 報酬メカニズムを精緻化し、DRLフレームワークを最適化するための大規模言語モデル（LLM）の統合の探求。

最終的に、本研究は、DRLが脅威インテリジェンスを大幅に進化させ、組織が反応的な防御から、洗練されたサイバー脅威の積極的かつ正確な属性特定へと移行することを可能にすると論じている。