Federated Learning in the Wild: A Comparative Study for Cybersecurity under Non-IID and Unbalanced Settings

ملخص تقني: التعلم الاتحادي في الواقع: دراسة مقارنة للأمن السيبراني في ظل ظروف غير متماثلة وغير متوازنة

بيان المشكلة
أظهر تعلم الآلة (ML) إمكانات كبيرة في تحليل حركة مرور الشبكة وكشف التسلل. ومع ذلك، فإن فعاليته غالباً ما تكون مقيدة بالحاجة إلى مجموعات بيانات تمثيلية وحديثة، والتي يصعب تجميعها بسبب لوائح الخصوصية وقيود مشاركة البيانات. يقدم التعلم الاتحادي (Federated Learning - FL) حلاً من خلال تمكين تدريب النماذج التعاوني مع الحفاظ على البيانات الحساسة محلياً. ورغم هذا الوعد، فإن خوارزمية التعلم الاتحادي الأساسية، "التوسيط الاتحادي" (FedAvg)، تظهر ضعفاً في التقارب والأداء في البيئات غير المتجانسة التي تتميز ببيانات غير مستقلة وغير متماثلة التوزيع (non-i.i.d) ومجموعات بيانات غير متوازنة. هذه الظروف منتشرة في الأمن السيبراني، حيث تواجه العميلات المختلفات (مثل عقد الشبكة) أنماط هجوم متميزة وأحجام حركة مرور متفاوتة. تفتقر الأدبيات الحالية غالباً إلى تقييم شامل لخوارزميات التعلم الاتحادي البديلة خصيصاً ضمن سياق أنظمة كشف التسلل للشبكات (NIDS) تحت مثل هذه الظروف "المرضية".

المنهجية
تقدم هذه الدراسة تقييماً مقارناً منهجياً لسبع خوارزميات للتعلم الاتحادي مطبقة على كشف التسلل في الشبكات لهجمات حجب الخدمة الموزعة (DDoS). يتم إجراء التقييم تحت إعداد غير متماثل (non-i.i.d) وغير متوازن شديد، موصوف بأنه سيناريو "مرضي". في هذا الإعداد:

• توزيع البيانات: يتم استخدام 15 عميلة، حيث تمتلك كل عميلة مجموعة بيانات تحتوي على حركة مرور حميدة ونوع واحد محدد بالضبط من هجمات DDoS.
• عدم التوازن: يختلف حجم البيانات عبر العميلات بأكثر من أربعة مراتب عشرية. وبينما تكون مجموعات البيانات الخاصة بكل عميلة متوازنة محلياً بين العينات الحميدة والخبيثة، فإن الاتحاد ككل غير متوازن للغاية فيما يتعلق بكل من حجم مجموعة البيانات وتمثيل نوع الهجوم.
• الخوارزميات التي تم تقييمها: تقارن الدراسة بين خوارزمية FedAvg الأساسية مقابل ست طرق متقدمة:
  • عامة الأغراض: FedProx (التنظيم)، SCAFFOLD (متغيرات التحكم)، وFedALA (التجميع المحلي التكيفي).
  • خاصة بالأمن السيبراني: DAFL (المدرك للتفاوت)، FedSBS (الاختيار الجشع للعملاء)، وFLAD (النهج التكيفي لهجمات DDoS).
• الإعداد التجريبي: تستخدم التجارب مجموعات بيانات معيارية حديثة (CIC-IDS2017، CIC-IDS2018، وCIC-DDoS2019) تغطي 15 نوعاً مختلفاً من هجمات DDoS. النموذج العالمي هو عبارة عن مدرك متعدد الطبقات (MLP) تم تدريبه باستخدام إطار عمل Flower على موارد تعتمد على المعالج المركزي (CPU) فقط ليعكس القيود الخفيفة.
• المقاييس: يتم تقييم الأداء بناءً على دقة الكشف (مقياس F1)، مدة التدريب، عبء الاتصال، وأنماط اختيار العملاء. تضمن عشر جولات مستقلة ببذور عشوائية مختلفة موثوقية النتائج.

المساهمات الرئيسية

1. التكييف والمراجعة: قام المؤلفون بمراجة وتكييف خوارزميات التعلم الاتحادي الحديثة، بما في ذلك تلك المصممة أصلاً للرؤية الحاسوبية، لتناسب المتطلبات المحددة لأنظمة كشف التسلل للشبكات (NIDS) لكشف هجمات DDoS.
2. التقييم متعدد الأبعاد: بخلاف الدراسات التي تركز فقط على الدقة النهائية، تقدم هذه الدراسة مقارنة شاملة عبر أداء الكشف، تعميم النموذج، وقت التدريب، وعبء الاتصال.
3. التحليل تحت الظروف المرضية: تبحث الدراسة في سلوك الخوارزميات تحت ظروف عدم تجانس شديدة حيث تشهد كل عميلة ملف تعريف هجوم فريد، مما يسلط الضوء على نقاط القوة والقصور لمختلف استراتيجيات اختيار العملاء، والتجميع، والتدريب المحلي.
4. قابلية التكرار: تم توفير تنفيذ مفتوح المصدر للخوارزميات التي تم تقييمها والإعداد التجريبي (بما في ذلك تكوين مجموعة البيانات) لتمكين قابلية التكرار.

النتائج
يسفر التحليل المقارن عن عدة نتائج حاسمة:

• الدقة والتعميم: تعاني معظم الخوارزميات من صعوبة في التعميم بفعالية عبر جميع أنواع الهجمات، لا سيما هجمات WebDDoS وLDAP وLOIC، والتي تكون ممثلة بنقص أو لها توزيعات سمات متميزة. تحقق خوارزميات FedAvg وFedProx وSCAFFOLD وFedSBS بشكل عام درجات F1 أقل من 0.8 لهذه الهجمات المحددة. كما يؤدي FedALA أداءً ضعيفاً في الهجمات القائمة على بروتوكول TCP. في المقابل، تظهر FLAD متانة فائقة، محققة درجات F1 عالية (بمتوسط 0.97) عبر جميع أنواع الهجمات من خلال ضبط التدريب ديناميكياً بناءً على أداء العميل.
• وقت التدريب والكفاءة:
  • تتسبب DAFL في أطول مدة تدريب لأنها تتطلب من جميع العملاء الـ 15 القيام بالتدريب المحلي في كل جولة، مما يجعل العملية مقيدة بأبطأ عميل.
  • تقلل FLAD من إجمالي وقت التدريب بشكل كبير (رغم ارتفاع عبء الاتصال) من خلال اختيار عدد أقل من العملاء في كل جولة، وتخصيص خطوات تدريب أكثر فقط لأولئك الذين لديهم دقة أقل، مما يستبعد فعلياً العملاء الذين وصلوا بالفعل إلى مرحلة التقارب.
  • تظهر الطرق القياسية (FedAvg، FedProx، SCAFFOLD، FedALA) أوقات تدريب متقاربة، حيث تشكل العمليات المحلية حوالي 60% من المدة الإجمالية.
• عبء الاتصال:
  • تحافظ FedAvg وFedProx وFedALA وFedSBS على عبء اتصال منخفض مشابه للنموذج الأساسي.
  • تفرض SCAFFOLD وDAFL وFLAD أعباءً أعلى. تتبادل SCAFFOLD متغيرات التحكم، وتتطلب DAFL من جميع العملاء تحميل النموذج العالمي للتحقق، بينما تتطلب FLAD إرسال درجات الدقة ومعلمات التدريب التكيفية.
• اختيار العملاء: تتفوق الخوارزميات التي تستخدم اختيار العملاء المستنير (DAFL، FLAD) أو توزيع عبء العمل التكيفي (DAFL، FLAD) على تلك التي تعتمد على الاختيار العشوائي (FedAvg، FedProx، SCAFFOLD، FedALA) من حيث دقة النموذج النهائية في ظل ظروف غير متماثلة التوزيع (non-i.i.d).

الأهمية والادعاءات
يزعم البحث أنه بالنسبة لسيناريوهات الأمن السيبراني التي تتميز بتوزيعات بيانات غير متجانسة وغير متوازنة للغاية، فإن الاختيار المستنير للعملاء وتوزيع عبء العمل التكيفي هي آليات أكثر فعالية لتحسين أداء الكشف من مجرد تعديلات على التدريب المحلي أو التجميع العالمي وحده.

يجادل المؤلفون بأن معاملة جميع العملاء بالتساوي (عبر اختيار احتمالي ثابت أو عبء عمل موحد) يفشل في ضمان مساهمة أنماط الهجوم النادرة أو الصعبة بشكل كافٍ في النموذج العالمي. بدلاً من ذلك، فإن الاستراتيجيات التي تعطي الأولوية ديناميكياً للعملاء بناءً على مساهمتهم الحالية في عملية التعلم (كما هو موضح في FLAD وDAFL) تسمح للاتحاد باستخدام المعلومات غير المتجانسة بشكل أكثر فعالية. وبينما تترتب على هذه النهج التكيفية تكاليف إضافية في الاتصال والتنسيق، تخلص الدراسة إلى أنه بالنسبة لكشف التسلل في الشبكات، حيث تكون التحديثات في الوقت المناسب أمراً حاسماً للتخفيف من التهديدات المتطورة، فإن المقايضة تصب في مصلحة التكيف على حساب كفاءة الاتصال الصارمة. تشير النتائج إلى أن حلول التعلم الاتحادي المستقبلية للأمن السيبراني يجب أن تعطي الأولوية للآليات التي تعالج عدم التجانس على مستوى العميل مباشرة من خلال الاختيار وإدارة عبء العمل.