Rethinking the Transferable Adversarial Attacks and Robust Defense in Federated Learning
تحلل هذه الورقة مدى قابلية انتقال الأمثلة العدائية عبر نماذج العملاء في التعلم الاتحادي للكشف عن ثغرات النظام، وتقترح آلية دفاع قوية قائمة على التدريب العدائي تتفوق على الأساليب الحالية المتطورة.
المؤلفون الأصليون:Zuobin Xiong, Deval Mukherjee, Homook Cho, Wei Li
في عالمنا الرقمي الحديث، تتعلم هواتفنا الذكية وأجهزتنا منا باستمرار، فتتوقع الكلمة التالية التي نكتبها أو تتعرف على صوتنا، وكل ذلك دون إرسال صورنا أو رسائلنا الخاصة إلى خادم مركزي. ويتحقق هذا بفضل طريقة تسمى "التعلم الاتحادي" (Federated Learning)، حيث تعمل العديد من الأجهزة معاً لتدريب نموذج ذكي واحد مع إبقاء بياناتها الخاصة مغلقة داخل أجهزتها المحلية. إنها طريقة قوية لبناء أنظمة ذكية تحترم الخصوصية، لكنها تعتمد على ثقة دقيقة: وهي أن كل جهاز يشارك في التدريب صادق ويتبع القواعد. ومع ذلك، تماماً كما يمكن لمشروع جماعي أن يتعرض للتخريب من قبل عضو واحد غير مخلص، فإن هذا النظام الموزع عرضة للمهاجمين الذين قد يحاولون خداع النموذج لارتكاب الأخطاء. وبينما ظل الباحثون لفترة طويلة قلقين بشأن المهاجمين الذين يفسدون بيانات التدريب نفسها، فقد ظهر تهديد أكثر دهاءً: القدرة على صياغة مدخل واحد معدل بعناية يمكنه خداع نسخ مختلفة من النموذج، حتى لو تم تدريب تلك النماذج على مجموعات مختلفة من البيانات.
لقد وضع فريق من الباحثين هدفاً لفهم هذا الخطر المحدد ضمن البيئة المعقدة للتعلم الاتحادي. وركزوا على سيناريو يعمل فيه مهاجم، بصفته أحد الأجهزة المشاركة العديدة، على إنشاء مدخل مخادع مصمم للتسبب في خطأ محدد. وكان جوهر تحقيقهم هو تحديد ما إذا كان الهجوم المصاغ على جهاز واحد يمكن أن ينتقل بنجاح عبر الشبكة لخداع أجهزة أخرى لم تشهد الهجوم من قبل. هذه الظاهرة، المعروفة باسم "القابلية للانتقال" (Transferability)، كانت قد لوحظت في التجارب، لكن الباحثين أرادوا فهم السبب الرياضي وراءها. واكتشفوا أن نجاح مثل هذا الهجوم ليس عشوائياً؛ بل يرتبط ارتباطاً مباشراً بمدى تشابه توزيعات البيانات بين المهاجم والضحية. فإذا بدا محتوى بيانات المهاجم محلياً مشابهاً إحصائياً لبيانات الضحية، فمن المرجح جداً أن يعبر المدخل المخادع الفجوة ويتسبب في خطأ في التصنيف. وعلى العكس من ذلك، إذا كانت آفاق البيانات مختلفة جداً، يفقد الهجوم قوته. وقد تحدى هذا الاكتشاف الافتراض القائل بأن هذه الهجمات ستعمل بنفس الكفاءة ضد أي هدف، كاشفاً بدلاً من ذلك أن التكوين المحدد للبيانات في كل جهاز يعمل كدرع طبيعي أو كنقطة ضعف.
ولإثبات هذا الارتباط، حلل الباحثون العلاقة بين معاملات النموذج وتوزيعات البيانات للمهاجمين والضحايا. ووجدوا أن الاختلاف في كيفية توزيع البيانات عبر الشبكة يخلق مسافة قابلة للقياس بين النماذج. وعندما تكون هذه المسافة صغيرة، أي عندما تكون البيانات متشابهة، ينتقل الهجوم بسهءولة. وعندما تكون المسافة كبيرة، يفشل الهجوم. سمحت لهم هذه الرؤية بالانتقال من مجرد الملاحظة البسيطة إلى فهم نظري لسبب كون بعض الأجهزة أكثر عرضة للاختراق من غيرها. وقد أثبتوا أنه في بيئة واقعية حيث تمتلك الأجهزة أنواعاً مختلفة من البيانات، فإن فعالية الهجوم تكون محدودة بهذه الاختلافات. وهذا يعني أنه في شبكة متنوعة، لا يمكن للمهاجم أن يفترض ببساطة أن حيلته المصاغة ستنجح مع الجميع؛ إذ إن الطبيعة المحددة لبيانات الضحية هي التي تحدد النتيجة.
وبعد تحديد السبب الجذري لثغرة الضعف، صمم الفريق آلية دفاع جديدة لحماية النظام. وبدلاً من محاولة اكتشاف المهاجم أو تصفية التحديثات السيئة، ركزوا على جعل النماذج نفسها أكثر متانة. فقد قدموا طريقة تعمل بمثابة مرشح (فلتر) في بداية معالجة النموذج، حيث تقوم بتجريد الميزات المحددة التي يسهل التلاعب بها بواسطة هذه المدخلات المخادعة مع الحفاظ على المعلومات الأساسية والمفيدة سليمة. وتترافق هذه العملية مع تقنية تدريب حيث تتعرض النماذج لهذه المدخلات المخادعة أثناء مرحلة التعلم، مما يعلمها التعرف على الخداع وتجاهله. ومن خلال القيام بذلك، تتعلم النماذج الاعتماد على أنماط أكثر استقراراً بدلاً من التفاصيل الهشة التي يستغلها المهاجمون. والنتيجة هي نظام يمكنه الصمود أمام هذه الهجمات القابلة للانتقال دون التضحية بقدرته على أداء المهام العادية واليومية.
اختبر الباحثون أفكارهم باستخدام مجموعات بيانات صور من العالم الحقيقي، محاكيين شبكة من الأجهزة ذات مستويات متفاوتة من تنوع البيانات. وفي السيناريوهات التي كانت فيها البيانات موحدة عبر جميع الأجهزة، انهارت النماذج القياسية تماماً عند مواجهة هذه الهجمات، وغالباً ما فشلت في التعرف على الصور بشكل صحيح في كل مرة تقريباً. ومع ذلك، حافظت طريقة الدفاع الجديدة على دقة عالية، حيث قاومت الهجمات بنجاح وحافظت على عمل النظام. وحتى في السيناريوهات الأكثر تعقيداً وواقعية حيث كانت البيانات غير متوازنة ومائلة بشدة، صمدت طريقة الدفاع، متفوقة على الأساليب الحالية التي كانت تعتبر الأفضل المتاحة سابقاً. وقد أكدت التجارب أنه من خلال فهم الرابط بين توزيع البيانات وقابلية انتقال الهجوم، من الممكن بناء أنظمة تعلم اتحادي ليست خاصة فحسب، بل أيضاً مرنة ضد التلاعب المتطور. ويشير هذا العمل إلى أن طريق الذكاء الاصطناعي الآمن لا يكمن فقط في صد المهاجمين، بل في فهم البنية الأساسية للبيانات التي تغذي هذه الأنظمة.
ملخص تقني: إعادة التفكير في الهجمات العدائية القابلة للنقل والدفاع القوي في التعلم الاتحادي
1. بيان المشكلة
يتيح التعلم الاتحادي (Federated Learning) تدريب النماذج بشكل تعاوني عبر عملاء موزعین دون مشاركة البيانات الخام، ومع ذلك فإنه يظل عرضة للهجمات العدائية. وبينما تغطي الأدبيات الحالية بشكل مكثف هجمات التسمم وهجمات "بيزنط" (Byzantine attacks)، إلا أن هذه الهجمات غالبًا ما تعتمد على افتراضات غير واقعية (مثل التحكم في 10-25% من العملاء أو افتراض بيانات متطابقة التوزيع i.i.d)، وهو ما يفشل في سيناريوهات التعلم الاتحادي واسعة النطاق والواقعية. وبناءً على ذلك، فإن هجمات التهرب (evasion attacks) باستخدام الأمثلة العدائية القابلة للنقل تمثل تهديدًا أكثر عملية وقابلية للتنفيذ.
تتمثل المشكلة الجوهرية التي يتناولها البحث في قابلية نقل الأمثلة العدائية في أنظمة التعلم الاتحادي، وتحديدًا ضمن إطار عمل FedProx (الذي تم اختياره لقدرته على التعامل مع عدم التجانس في الأنظمة والبيانات). يستقصي المؤلفون كيف يمكن للمهاجم، الذي يمتلك فقط بياناته ونموذجه المحلي، صياغة أمثلة عدائية تنجح في تصنيف المدخلات بشكل خاطئ لدى العملاء الضحايا الذين لديهم توزيعات بيانات ومعلمات نماذج محلية مختلفة. علاوة على ذلك، يتناول البحث غياب آليات الدفاع الفعالة والقوية ضد هذه الهجمات القابلة للنقل في بيئات التعلم الاتحادي، مشيرًا إلى أن الدفاعات الحالية مثل التدريب العدائي الاتحادي (FAT) مكلفة حاسوبيًا ومحدودة بالهجمات المعروفة فقط.
2. المنهجية
أ. التحليل النظري للقابلية للنقل
يقدم المؤلفون إطارًا نظريًا لقياس قابلية نقل الأمثلة العدائية بين المهاجم (A) والضحية (V).
المقياس: تُعرَّف القابلية للنقل من خلال التشابه في قيم دالة الخسارة: ∥l(f(wA;x′),y)−l(f(wV;x′))∥. المسافة الأصغر تعني قابلية نقل أعلى.
النظرية 1: يستنتج البحث حدًا أعلى لاختلاف الخسارة هذا، موضحًا أن القابلية للنقل ترتبط طرديًا بـ التشابه في توزيعات البيانات المحلية بين المهاجم والضحية.
يعتمد الحد على ثابت ليبشيتز (Lipschitz constant) لدالة الخسارة، ومعدل التعلم، وحجم التدرج.
والأهم من ذلك، أن المصطلح ∥∑pV(yi=c)−pA(yi=c)∥ يشير إلى أنه كلما تباعد توزيع بيانات الضحية عن المهاجم (أي زادت المسافة)، انخفضت قابلية انتقال الهجوم. وعلى العكس من ذلك، فإن التوزيعات المتشابهة تسهل نجاح الهجوم.
ب. آلية الدفاع المقترحة
للحد من هذه الهجمات، يقترح المؤلفون إطار دفاع قوي يجمع بين تحليل القيم المفردة (SVD) والتدريب العدائي:
وحدة تطور الميزات المدفوعة بـ SVD (SDFEM):
يتم نشرها كإضافة (plug-in) عند طبقة الإدخال لنماذج العملاء المحليين.
تقوم بتفكيك خرائط ميزات الإدخال (x=UΣVT) وتطبيق قناع تطور قابل للتعلم (M) لإعادة وزن القيم المفردة (Σ⊙M).
الهدف: كبح قنوات الميزات شديدة الحساسية للاضطرابات العدائية مع الاحتفاظ بالميزات الدلالية القوية. يؤدي هذا فعليًا إلى خفض الحد الأقصى لمصطلح التدرج (Gmax) المحدد في التحليل النظري، مما يقلل من ضعف النموذج تجاه الهجمات القائمة على النقل.
التدريب العدائي الاتحادي:
يتم تعديل دالة الهدف المحلية لتعظيم الأوزان (wk) وقناع الميزة (Mk) بشكل مشترك.
يقوم العملاء بتوليد أمثلة عدائية (Dadv) محليًا باستخدام نموذج بديل (مثل PGD) والتدريب على كل من البيانات النظيفة والأمثلة العدائية.
تعمل خطوة التجميع العالمي على نشر هذه الميزات القوية عبر الشبكة، مما يعزز مرونة النموذج العالمي ضد البيانات غير المرئية.
3. المساهمات الرئيسية
الرؤية النظرية: يعد هذا أول عمل، حسب علم المؤلفين، يحلل نظريًا قابلية نقل الأمثلة العدائية في التعلم الاتحادي. فهو يضع رابطًا رياضيًا بين نجاح الهجوم وانزياح توزيع البيانات بين العملاء.
إطار دفاع قوي: تصميم آلية دفاع (SDFEM + التدريب العدائي) تتسم بالكفاءة والفعالية ضد الهجمات القابلة للنقل دون الحاجة لأن يمتلك الخادم مجموعة بيانات نظيفة أو يفترض وجود بيانات متطابقة التوزيع (i.i.d).
التحقق التجريبي: تجارب مكثفة على مجموعات بيانات واقعية (CIFAR-10, SVHN) تحت إعدادات مختلفة (IID و Non-IID) تؤكد الارتباط النظري وتثبت الأداء الدفاعي المتفوق مقارنة بالأساليب المرجعية الحديثة.
4. النتائج التجريبية
قيم المؤلفون نهجهم مقابل أربعة هجمات قائمة على التدرج (VMIFGSM, BIM, VNIFGSM, DIFGSM) على بنيات VGG11 و WideResNet-28-10.
التحقق من النظرية (RQ1): أكدت التجارب وجود ارتباط سلبي بين مسافة معلمات النموذج ومعدل نجاح الهجوم (ASR)، مما يعني أن معدل نجاح الهجوم ينخفض مع زيادة المسافة بين نموذج المهاجم ونموذج الضحية. علاوة على ذلك، أظهرت التجارب أن فجوة قابلية نقل الهجوم (الفرق في قيم الخسارة) تزداد كلما كبرت مسافة التوزيع. هذا الارتباط الإيجابي يؤكد أنه كلما زادت مسافة توزيع البيانات بين المهاجم والضحية، أصبحت الهجمة أقل قابلية للنقل، وهو ما يتوافق مع النظرية 1.
أداء الدفاع (RQ2):
إعدادات IID: انهارت نماذج FedProx القياسية تحت الهجوم (ASR > 99%، ودقة < 1%). تفوق النهج المقترح بشكل كبير على التدريب العدائي الاتحادي (FAT) الأساسي. على سبيل المثال، في CIFAR-10 مع WRN28، حسن النهج المقترح الدقة القوية بمقدار +3.36 إلى +4.28 نقطة مئوية فوق FAT عبر مختلف الهجمات مع الحفاظ على دقة نظيفة مماثلة.
إعدادات Non-IID: في البيئات غير المتجانسة، استمر النهج المقترح في التفوق على FAT. في CIFAR-10 (Non-IID) مع WRN28، حسن المتانة بنحو +9 نقاط مئوية تقريبًا فوق FAT عبر جميع أنواع الهجمات.
المقارنة مع النهج المركزي: اقترب الدفاع الاتحاني المقترح من متانة الحد الأعلى المركزي في عدة سيناريوهات، مما يشير إلى أن القيود الاتحادية لا تمنع بالضرورة تحقيق متانة عالية.
5. الأهمية والادعاءات
يزعم البحث أن قابلية النقل هي بُعد أمني حاسم في التعلم الاتحادي وهي مرتبطة جوهريًا بانزياحات توزيع البيانات. ومن خلال الكشف عن هذه العلاقة، يرى المؤلفون أن الدفاعات يجب أن تأخذ في الاعتبار عدم تجانس بيانات العملاء.
تكمن أهمية العمل في:
تجاوز الافتراضات غير الواقعية (مثل نسب العملاء الضارين المرتفعة) لمعالجة تهديدات التهرب العملية.
توفير أساس نظري لسبب انتقال الهجمات في التعلم الاتحادي، متجاوزًا مجرد الملاحظات التجريبية البحتة.
إثبات أن الجمع بين متانة مستوى الميزات (عبر SVD) والتدريب العدائي الاتحادي يمكن أن يؤمن أنظمة التعلم الاتحادي بفعالية ضد الأمثلة العدائية القابلة للنقل، مما يوفر مسارًا قابلاً للتطبيق للنشر القوي في البيئات الواقعية غير المتجانسة.
يخلص المؤلفون إلى أن نتائجهم تشير إلى أن الدفاعات الواعية بالمتانة يمكن أن تعزز التعلم الاتحادي بشكل كبير في البيئات العملية، متفوقة على الأساليب الحالية الأكثر تطورًا في كل من إعدادات IID و Non-IID.