Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

テクニカル・サマリー：非IIDおよび不均衡な設定下におけるサイバーセキュリティのための比較研究としての、実環境における連合学習

問題提起
機械学習（ML）は、ネットワークトラフィック分析や侵入検知において大きな可能性を示している。しかし、その有効性は、プライバシー規制やデータ共有の制限により集約が困難な、代表的かつ最新のデータセットを必要とすることで制約を受けることが多い。連合学習（FL）は、機密データをローカルに保持したまま協調的なモデル訓練を可能にすることで、この解決策を提供する。この有望な技術であるにもかかわらず、標準的なFLアルゴリズムであるFederated Averaging (FedAvg) は、非独立同一分布（non-i.i.d.）データや不均衡なデータセットサイズによって特徴付けられるヘテロジニアス（異種混在）な環境において、収束性と性能が低下する。このような状況は、異なるクライアント（例：ネットワークノード）が独自の攻撃パターンや異なるトラフィック量に遭遇するという、サイバーセキュリティの分野では一般的である。既存の文献では、このような「病理学的（pathological）」な設定におけるネットワーク侵入検知システム（NIDS）に特化した、代替FLアルゴリズムの包括的な評価が不足している。

手法
本研究は、DDoS攻撃に対するネットワーク侵入検知に適用される7つのFLアルゴリズムの系統的な比較評価を提示する。評価は、深刻なnon-i.i.d.および不均衡な設定、すなわち「病理学的」シナリオの下で行われる。このセットアップでは以下の通りとする：

• データ分布: 15個のクライアントを使用し、各クライアントは正常トラフィックと、特定の1種類のDDoS攻撃を含むデータセットを保有する。
• 不均衡: クライアント間のデータ量は4桁以上の差がある。個々のクライアントのデータセットは、正常サンプルと悪意のあるサンプルの間で局所的にはバランスが取れているが、連盟全体としては、データセットのサイズおよび攻撃タイプの表現の両面において高度に不均衡である。
• 評価対象アルゴリズム: 本研究では、ベースラインであるFedAvgに対し、以下の6つの高度な手法を比較する：
  • 汎用型: FedProx（正則化）、SCAFFOLD（制御変量）、FedALA（適応的局所集約）。
  • サイバーセキュリティ特化型: DAFL（格差認識）、FedSBS（強欲なクライアント選択）、FLAD（DDoSへの適応的アプローチ）。
• 実験セットアップ: 実験には、15種類の異なるDDoS攻撃をカバーする最新のベンチマークデータセット（CIC-IDS2017、CIC-IDS2018、およびCIC-DDoS2019）を使用する。グローバルモデルは、軽量な制約を反映させるため、CPUのみのリソースを用いたFlowerフレームワーク上で訓練された多層パーセプトロン（MLP）である。
• 指標: 検出精度（F1スコア）、訓練時間、通信オーバーヘッド、およびクライアント選択パターンに基づいて性能を評価する。結果の信頼性を確保するため、異なる乱数シードを用いた10回の独立した試行を行う。

主な貢献

1. 適応とレビュー: 著者らは、コンピュータビジョン向けに設計されたものを含む最先端のFLアルゴリズムを、NIDSによるDDoS検知の特定の要件に合わせてレビューし、適応させている。
2. 多次元的な評価: 最終的な精度のみに焦点を当てた研究とは異なり、本研究は検出性能、モデルの汎化性能、訓練時間、および通信オーバーヘッドにわたる包括的な比較を提供する。
3. 病理学的条件下での分析: 各クライアントが独自の攻撃プロファイルを観察するという極端なヘテロジニアス条件下でのアルゴリズムの挙動を調査し、様々なクライアント選択、集約、および局所訓練戦略の強みと限界を明らかにしている。
4. 再現性: 再現性を可能にするため、評価されたアルゴリズムおよび実験セットアップ（データセット構成を含む）のオープンソース実装を提供する。

結果
比較分析から、いくつかの重要な知見が得られた：

• 精度と汎化: ほとんどのアルゴリズムは、特にWebDDoS、LDAP、およびLOIC攻撃において、効果的に汎化することに苦慮している。これらは、過小評価されているか、あるいは特徴分布が独特である。FedAvg、FedProx、SCAFFOLD、およびFedSBSは、これらの特定の攻撃に対して概ね0.8を下回るF1スコアを示す。FedALAはTCPベースの攻撃に対して性能が低い。対照的に、FLADは優れた堅牢性を示し、クライアントのパフォーマンスに基づいて訓練を動的に調整することで、すべての攻撃タイプに対して高いF1スコア（平均0.97）を達成した。
• 訓練時間と効率:
  • DAFLは、毎ラウンドで15個の全クライアントに局所訓練を実行させる必要があるため、最も長い訓練時間を要し、プロセスは最も遅いクライアントによってボトルネックとなる。
  • FLADは、（高い通信オーバーヘッドにもかかわらず）毎ラウンドの選択クライアント数を適応的に絞り込み、さらに精度が低いクライアントにのみ多くの訓練ステップを割り当てることで、すでに収束したクライアントを効果的に除外することにより、総訓練時間を大幅に短縮する。
  • 標準的な手法（FedAvg、FedProx、SCAFFOLD、FedALA）は、同等の訓練時間を示し、局所操作が総時間の約60%を占めている。
• 通信オーバーヘッド:
  • FedAvg、FedProx、FedALA、およびFedSBSは、ベースラインと同様の低い通信オーバーヘッドを維持している。
  • SCAFFOLD、DAFL、およびFLADは、より高いオーバーヘッドを導入する。SCAFFOLDは制御変量を交換し、DAFLは全クライアントが検証のためにグローバルモデルをダウンロードすることを要求し、FLADは精度スコアと適応的訓練パラメータの送信を必要とする。
• クライアント選択: 情報に基づいたクライアント選択（DAFL、FLAD）または適応的なワークロード配分を採用するアルゴリズムは、ランダムな選択（FedAvg、FedProx、SCAFFOLD、FedALA）に依存するアルゴリズムよりも、non-i.i.d.条件下での最終的なモデル精度において優れている。

意義と主張
本論文は、高度にヘテロジニアスで不均衡なデータ分布を特徴とするサイバーセキュリティのシナリオにおいては、情報に基づいたクライアント選択と適応的なワークロード配分が、局所訓練やグローバル集約の修正よりも、検出性能を向上させるためのより効果的なメカニズムであると主張している。

著者らは、すべてのクライアントを平等に扱うこと（固定確率選択または一律のワークロードを通じて）は、稀な、あるいは困難な攻撃パターンがグローバルモデルに十分に寄与することを保証できないと論じている。代わりに、現在の学習プロセスへの貢献度に基づいてクライアントを動的に優先する戦略（FLADやDAFLに見られるように）を用いることで、連盟はヘテロジニアスな情報をより効果的に活用できる。これらの適応的なアプローチは、追加の通信および調整コストを発生させるが、本研究は、進化する脅威を軽減するためにタイムリーな更新が不可欠なネットワーク侵入検知においては、トレードオフとして適応性が通信効率よりも優先されると結論付けている。本研究の知見は、将来のサイバーセキュリティ向けFLソリューションは、選択とワークロード管理を通じてクライアントレベルのヘテロジニアリティに直接対処するメカニズムを優先すべきであることを示唆している。