Dynamic Free-Rider Detection in Federated Learning via Simulated Attack Patterns

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الكشف الديناميكي عن المتطفلين (Free-Riders) في التعلم الاتحادي عبر أنماط الهجوم المحاكية".

1. بيان المشكلة

يسمح التعلم الاتحادي (Federated Learning - FL) لعدة عملاء بالتعاون لتدريب نموذج عالمي دون مشاركة البيانات الخاصة. ومع ذلك، فإن التعلم الاتحادي عرضة لـ هجمات المتطفلين (Free-rider attacks)، حيث يقوم العملاء الخبيثون بتقديم تحديثات نماذج مزيفة دون إجراء تدريب محلي فعلي، ومع ذلك يستفيدون من النموذج العالمي المجمع.

بينما توجد طرق كشف حالية، إلا أنها تواجه قيودًا حرجة في سيناريوهات التعلم الاتحادي عبر الصوامع (Cross-silo FL) الواقعية:

• السلوك الثابت مقابل الديناميكي: تفترض معظم الطرق وجود متطفلين ثابتين (الذين لا يتدربون أبدًا). وهي تفشل في اكتشاف المتطفلين الديناميكيين الذين يتصرفون بنزاهة في الجولات الأولى لبناء الثقة ثم يتحولون إلى التطفل لاحقًا.
• هجمات محاكاة النموذج العالمي (Global-Model-Mimicking Attacks): تولد الهجمات المتقدمة (مثل هجوم فرق الأوزان - Delta Weight Attack) تحديثات تحاكي الخصائص الإحصائية لتحديثات النموذج العالمي المشروعة، مما يجعل من الصعب تمييزها عن العملاء النزهاء باستخدام الكشف عن الشذوذ القياسي.
• قيود النشر: تتطلب العديد من الحلول الحالية مجموعات بيانات وسيطة (Proxy Datasets) أو تدريبًا مسبقًا على بيانات نزيهة، وهو أمر غير عملي أو غير متوفر غالبًا في بيئات التعلم الاتحادي عبر الصوامع في العالم الحقيقي.

2. المنهجية: S2-WEF

يقترح المؤلفون إطار عمل S2-WEF (تردد تطور الأوزان المُقدم والمُحاكى - Submitted and Simulated-Weight Evolving Frequency)، وهو إطار كشف مبتكر مصمم لتحديد المتطفلين الديناميكيين دون الحاجة إلى مجموعات بيانات وسيطة أو تدريب مسبق.

المفهوم الأساسي

يعمل S2-WEF بناءً على رؤية مفادها أن هجمات محاكاة النموذج العالمي (مثل هجوم فرق الأوزان - Delta Weight Attack) تولد تحديثات تشبه إلى حد كبير الفرق بين النماذج العالمية المتتالية التي يبثها الخادم. لذلك، يمكن للخادم محاكاة نمط تردد تطور الأوزان (WEF) المتوقع لهذا الهجوم ومقارنته بأنماط الـ WEF التي يقدمها العملاء.

المكونات الرئيسية

1. مصفوفة WEF (تردد تطور الأوزان):

   • مصفوفة تمثل الأوزان في الطبقة قبل الأخيرة من نموذج العميل التي تم تحديثها بشكل كبير أثناء التدريب المحلي.
   • يتم حسابها بناءً على عتبة ديناميكية لتغيرات الأوزان، مما يلتقط "تردد" التحديثات الهامة.

2. المحاكاة من جانب الخادم:

   • يسجل الخادم النماذج العالمية التي تم بثها سابقًا ($w_g^T$ و $w_g^{T-1}$).
   • يقوم بمحاكاة مصفوفة WEF لـ "متطفل" ($F_g$) عن طريق حساب الفرق بين هذه النماذج العالمية وتطبيق نفس منطق الـ WEF المستخدم من قبل العملاء. تمثل هذه المصفوفة المحاكة النمط المثالي لعميل يحاكي تحديث النموذج العالمي.

3. آلية التسجيل المزدوج:
   يحسب S2-WEF درجات (Scores) لكل عميل $i$ في كل جولة:

   • درجة التشابه ($\gamma_i$): تقيس مدى تشابه مصفوفة WEF المقدمة من العميل ($F_i$) مع نمط الهجوم المحاكى من قبل الخادم ($F_g$). وهي تجمع بين تشابه جيب التمام (Cosine Similarity) ومسافة L1-norm. التشابه العالي يشير إلى هجوم محاكاة للنموذج العالمي.
   • درجة الانحراف ($Dev_i$): تقيس مدى انحراف مصفوفة WEF الخاصة بالعميل عن العملاء الآخرين (مقارنة زوجية). الانحراف العالي يشير إلى وجود شذوذ (مثل الضوضاء العشوائية أو التطفل الثابت).

4. خط معالجة التصنيف القوي:
   لتقليل الإيجابيات الكاذبة، يستخدم S2-WEF عملية قرار مكونة من ثلاث خطوات:

   • التجميع ثنائي الأبعاد (2D Clustering): يتم تجميع العملاء في مساحة ثنائية الأبعاد محددة بـ $(\gamma_i, Dev_i)$ باستخدام التجميع الهرمي التجميعي (Agglomerative Hierarchical Clustering). يتم توحيد المساحة بشكل قوي باستخدام الوسيط (Median) والانحراف المطلق عن الوسيط (MAD) للتعامل مع القيم المتطرفة.
   • تصنيف العتبة: يتم تطبيق عتبات مستقلة على $\gamma_i$ و $Dev_i$ لتمييز العملاء المشبوهين.
   • تصويت الأغلبية: يتم تصنيف المجموعة كـ "متطفلين" فقط إذا تجاوزت أغلبية العملاء داخل تلك المجموعة المشبوهة العتبات لـ واحد على الأقل من الدرجات. هذا يمنع أي قيمة متطرفة منفردة من التسبب في إيجابية كاذبة.

3. المساهمات الرئيسية

1. تحديد نقاط الضعف: يثبت المؤلفون تجريبيًا أن دفاع WEF المتطور يفشل في اكتشاف المتطفلين الديناميكيين، خاصة تحت تأثير هجوم فرق الأوزان (DWA) وهجوم تمويه WEF التكيفي (AWCA) المقترح حديثًا.
2. هجوم تمويه WEF التكيفي (AWCA): استراتيجية هجوم جديدة حيث يقوم المتطفلون بتوليد أوزان مزيفة ومصفوفات WEF مزيفة بالتتابع في كل تكرار محلي لمحاكاة السلوك النزيه بشكل مثالي، مما يكشف ضعف الدفاعات الحالية.
3. إطار عمل S2-WEF: طريقة كشف عملية لا تتطلب لا مجموعات بيانات وسيطة ولا تدريبًا مسبقًا. وهي تكتشف المتطفلين الديناميكيين بفعالية من خلال محاكاة أنماط الهجوم من جانب الخادم.
4. التقييم الشامل: تجارب واسعة النطاق عبر ثلاثة مجموعات بيانات (MNIST, ADULT, CIFAR-10) وخمسة أنواع من الهجمات، مما أظهر تفوقًا في المتانة مقارنة بالنماذج المرجعية الحالية.

4. النتائج التجريبية

قيم المؤلفون S2-WEF مقابل سيناريوهين:

• السيناريو 1: يتحول العملاء من سلوك نزيه إلى تطفل بعد الجولة الثالثة.
• السيناريو 2: يتحول العملاء عشوائيًا بين السلوك النزيه والسلوك المتطفل في كل جولة.

النتائج الرئيسية:

• أداء متفوق: حقق S2-WEF درجات F1 أعلى بكثير من النماذج المرجعية (WEF-defense و STD-DAGMM)، خاصة ضد DWA و AWCA.
  • مثال: في مجموعة بيانات ADULT (غير متماثلة التوزيع - Non-IID)، حسن S2-WEF درجة F1 لهجوم DWA من حوالي 0.17 (في WEF-defense) إلى 0.99.
  • مث المثال: ضد هجوم AWCA الجديد، حقق S2-WEF درجات F1 قريبة من 1.00، بينما انخفضت درجة WEF-defense إلى ما يقرب من 0.00.
• المتانة تجاه السلوك الديناميكي: على عكس WEF-defense، الذي يعاني عندما يكون سلوك التطفل متقطعًا أو متأخرًا، حافظ S2-WEF على دقة كشف عالية بغض النظر عن وقت حدوث التحول.
• تأثير ضئيل على الدقة: كان لاستخدام S2-WEF تأثير مهمل على دقة النموذج العالمي للمهمة الأساسية (مثل تصنيف الصور)، مما حافظ على فائدة نظام التعلم الاتحادي.
• دراسات الاستئصال (Ablation Studies):
  • أدى تضمين L1-norm في درجة التشابه إلى تحسين الكشف بشكل كبير في البيانات الجدولية (ADULT).
  • نجحت آلية تصويت الأغلبية في تقليل معدل الإيجابيات الكاذبة (FPR) بنحو 50% في الجولات التي لا يوجد بها متطفلون.

5. الأهمية والعمل المستقبلي

• الواقعية: يعالج S2-WEF فجوة حرجة في أمن التعلم الاتحادي من خلال تقديم آلية كشف يمكن نشرها في بيئات العالم الحقيقي عبر الصوامع حيث تمنع خصوصية البيانات استخدام مجموعات البيانات الوسيطة.
• الدفاع الديناميكي: ينقل النموذج من الكشف عن الشذوذ الثابت إلى تحديد التحولات السلوكية الديناميكية، وهو أمر بالغ الأهمية للتعاون طويل الأمد في التعلم الاتحادي.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع S2-WEF ليشمل التعلم الاتحادي غير المتجانس (بنيات نماذج مختلفة) و النماذج اللغوية الكبيرة الاتحادية (Federated LLMs). كما يسلطون الضال الضوء على الحاجة إلى دمج آليات الحوافز لمعاقبة المتطفلين المكتشفين بشكل عادل دون المساس بتوافر النموذج العالمي لجميع المشاركين.

في الختام، يوفر S2-WEF دفاعًا قويًا قائمًا على المحاكاة يعمل بفعالية على تحييد هجمات المتطفلين الديناميكية والمتطورة دون المساس بخصوصية أو كفاءة نظام التعلم الاتحادي.