技術的概要：FreeMOCA

問題定義

マルウェア検知システムは、年間 200 万を超える新たなマルウェアサンプルが特定されるという、変化する脅威環境に適応するという重大な課題に直面しています。新たなデータのみで再学習する従来の機械学習アプローチは、以前に観測された脅威に関する知識が上書きされてしまう「破滅的な忘却（Catastrophic Forgetting: CF）」に悩まされます。一方、過去の全データセットで再学習を行うことは、計算コストとメモリコストの観点から禁じ手となります。継続的学習（Continual Learning: CL）は漸進的適応の枠組みを提供しますが、既存のマルウェア特化型 CL 手法（例：MalCL、MADAR）は、例示の保存、合成サンプルの生成、またはソフト出力の蒸留といったリプレイ機構に大きく依存しています。これらのアプローチは、メモリと計算のオーバーヘッドを大幅に増大させ、エンドポイントセキュリティやモバイルデバイスといったリソース制約のある展開環境では実用的ではありません。さらに、標準的な CL 手法は、複雑な特徴表現と高いクラス不均衡のため、マルウェア分野において CF を防止できないことが多いです。

手法：FreeMOCA

著者は、過去のデータを保存したり生成リプレイを使用したりすることなく、以前の知識を保持するように設計されたFreeMOCA（Malicious Code Analysis 向けのメモリフリー継続的学習）を提案します。この中核的な手法は、ウォームスタートされた最適化設定における**線形モード接続性（Linear Mode Connectivity: LMC）**に依存しています。

中核原則

1. ウォームスタートされた接続性: 各タスクの最適解が高損失の障壁によって切断され得る独立した学習とは異なり、FreeMOCA は各新たなタスク $t$ を、直前のタスクの最適解 $\theta_{t-1}$ から初期化します。著者らは、このウォームスタートが局所的な線形接続性を誘発すると仮定しており、つまり連続するタスクの最適解はパラメータ空間内の低損失領域内にあり、低損失の経路で接続可能であるとします。
2. パラメータ空間内補間: データ空間（リプレイ）ではなく、パラメータ空間で直接操作します。新たなタスクで学習して $\theta_{cur}$ を得た後、モデルは直前の解 $\theta_{prev}$ と現在の解 $\theta_{cur}$ の間で補間することによって統合されます。
3. 適応的レイヤー別補間: 異なるネットワークレイヤーが異なる速度で適応する（下位レイヤーは安定した特徴抽出器として機能し、上位レイヤーは急速に適応する傾向がある）ことを認識し、FreeMOCA は均一な混合係数を適用しません。代わりに、各レイヤー $\ell$ にレイヤー固有の係数 $\lambda_\ell$ を割り当てます。
   • 係数は、直前のモデルと現在のモデル間のパラメータシフトの大きさ（$s_\ell$）から導出されます。
   • 大幅な更新（高い可塑性）を伴うレイヤーには、安定性（以前の重みの保持）を優先するために小さな $\lambda_\ell$ が割り当てられます。
   • 最小限の更新（高い安定性）を伴うレイヤーには、新たなタスクへの適応を優先するために大きな $\lambda_\ell$ が割り当てられます。
   • 使用される数式は $\lambda_\ell = \lambda_{min} + (1 - \hat{s}_\ell)(\lambda_{max} - \lambda_{min})$ であり、ここで $\hat{s}_\ell$ は正規化されたシフトの大きさです。

アルゴリズム

プロセスは以下の通りです：

1. 直前のタスクの最適解から $\theta_{prev}$ を初期化する。
2. 現在のタスクデータセット $D_t$ で学習し、$\theta_{cur}$ を得る。
3. レイヤーごとのシフトの大きさを計算する。
4. 各レイヤーに対して適応的な $\lambda_\ell$ を計算する。
5. 補間を行う：$\theta_t^{(\ell)} = (1 - \lambda_\ell)\theta_{prev}^{(\ell)} + \lambda_\ell\theta_{cur}^{(\ell)}$。
6. 次のタスクの初期化として $\theta_t$ を設定する。

主要な貢献

1. メモリおよび計算効率の高い枠組み: FreeMOCA は、例示バッファや生成リプレイを必要とせず、パラメータ空間内の幾何学的補間のみを依存とする、マルウェア分析初の CL 枠組みです。
2. ウォームスタート型 CL の理論的解析: 本論文は、ウォームスタート型 CL の文脈における LMC を解析し、再帰的最適化が連続するタスクの最適解間の局所的なパラメータ整列を誘発し、明示的なニューロン置換なしに直接補間を効果的にすることを示しています。
3. 適応的レイヤー別補間: パラメータシフトに基づいてレイヤー固有の補間重みを動的に設定するメカニズムの導入により、安定性と可塑性のバランスを効果的に取ります。
4. 包括的な評価: クラス増分（Class-IL）およびドメイン増分（Domain-IL）の設定の両方において、大規模な Windows（EMBER）および Android（AZ）マルウェアベンチマークでの広範な実験を行いました。

実験結果

著者は、EMBER および AZ データセットにおいて、FreeMOCA を 11 のベースライン（EWC、SI、iCaRL、MalCL、WSC などを含む）と比較評価しました。

• クラス増分（Class-IL）性能:
  • FreeMOCA は大幅な改善を達成し、11 のベースラインを上回りました。
  • EMBER-Classにおいて、平均精度は65.2%に達し（微調整のみの 22.9% 対比）、次の最良のベースライン（WSC）を凌駕し、「None」ベースラインに対して42% の改善を達成しました。
  • AZ-Classにおいて、平均精度は66.1%に達し、「None」ベースラインに対して37% 改善しました。
  • 全てのベースラインの中で**最低の忘却（F）と最高の記憶（REM）**を達成しました。特に AZ-Class において、忘却がゼロ（$F=0.000$）で、完全な保持（$REM=1.000$）を達成し、さらに正の backward transfer を示しました。
• ドメイン増分（Domain-IL）性能:
  • FreeMOCA はベースラインと同等かそれ以上の性能を示し、EMBER-Domain で93.6%、AZ-Domain で**97.0%**に達しました。
• 効率性:
  • メモリ: FreeMOCA は、リプレイベースの手法（例：MalCL）よりも大幅に少ないメモリを使用します。単一の分類器のチェックポイントのみを保持するため、時間の経過に伴うメモリ増加は**0%**であり、一方 MalCL のメモリはタスク間で 86.3%、WSC は 45.4% 増加しました。
  • 学習時間: FreeMOCA は、MalCL および WSC と比較して、エポックあたりの学習時間を**92.79–98.71%**削減しました。
• 診断:
  • 損失障壁分析: 初期の遷移後、連続する解間の損失障壁が低く平坦に保たれることを確認し、低損失経路の仮定を裏付けました。
  • 分散の崩壊: バッチ正規化統計の分析により、ウォームスタートされた補間が分散の崩壊を緩和し、再推定や置換を必要とせずに特徴幾何学を保持することが示されました。

意義と主張

本論文は、FreeMOCA が継続的マルウェア検知のためのリプレイに対するスケーラブルかつ効果的な代替手段を提供すると主張しています。ウォームスタートされた最適化に内在する幾何学的整列を活用することで、この手法は過去の脅威に関する知識を保持しつつ新たな脅威に適応する際に最先端の性能を達成し、リプレイバッファに関連するストレージや計算コストを一切伴いません。

著者らは、このアプローチが、過去のサンプルを保存したり合成データを生成したりすることが不可能なリソース制約のある展開環境（例：モバイルデバイス、エンドポイントセキュリティ）において特に重要であると強調しています。彼らは、その知見が、連続する最適化軌道を孤立した最適解ではなく、損失地形の接続された領域として捉えることが継続的学習に有益であることを示唆していると述べています。

本論文は範囲を控えめに保ち、この手法が隣接タスク間の局所的接続性に依存しており、タスクのドリフトが過度に大きくなる場合や、基盤となる表現が大幅に変化する場合には課題に直面する可能性があることを認めています。これは、観測可能な境界のない完全なタスクフリーまたはストリーミング CL 設定を解決するものではなく、特徴の連続性が自然に保持される逐次的マルウェアファミリーの拡張という特定の領域に対処するものです。