A Severity-Calibrated Adversarial Benchmark for Federated Learning: From Label Corruption to Structured Model-Update Injection
تقدم هذه الورقة معياراً تنافسياً مُعاير الشدة للتعلم الاتحادي، يُقيّم خمس عائلات متميزة من الهجمات عبر ظروف متنوعة، مما يثبت أن حجم الهجوم وحده ليس مؤشراً كافياً للضرر، وأن التقييم الأمني المتين يجب أن يأخذ في الاعتبار هندسة الهجوم، وحصة السكان الخبيثين، وقواعد التجميع.
في العالم الرقمي الحديث، غالبًا ما يتطلب تدريب الذكاء الاصطناعي كميات هائلة من البيانات. ولحماية الخصوصية، طور الباحثون طريقة تسمى "التعلم الاتحادي"، والتي تسمح لحاسوب مركزي بالتعلم من أجهزة مختلفة عديدة دون رؤية البيانات الخام الموجودة على تلك الأجهزة مطلقًا. فبدلاً من إرسال الصور أو السجلات الطبية إلى خادم مركزي، تتعلم الأجهزة محليًا وترسل فقط ملخصات رياضية صغيرة لما تعلمته إلى المركز. ثم يقوم الحاسوب المركزي بدمج هذه الملخصات لتحسين النموذج العالمي. صُمم هذا النظام للحفاظ على سلامة المعلومات الشخصية، لكنه يخلق نوعًا جديدًا من الثغرات الأمنية: لا يمكن للحاسوب المركزي التحقق من كيفية إنتاج الأجهزة المحلية لملخصاتها. إذ يمكن لجهاز مخترق أن يتبع جميع قواعد البروتوكول مع إرسال معلومات خاطلة سرًا مما يؤدي إلى إفساد النتيجة النهائية. هذا ليس خرقًا للخصوصية، بل هو خرق للنزاهة، حيث يعمل النظام تمامًا كما هو مبرمج ولكن يتعلم الدروس الخاطئة.
تتناول دراسة جديدة صعوبة مقارنة الطرق المختلفة لتخريب هذا النظام. في الأبحاث السابقة، قد يختبر فريق ما طريقة تخريب باستخدام عشرة بالمائة من الأجهزة التي تعمل بشكل خبيث، بينما يختبر فريق آخر طريقة مختلفة باستخدام ثلاثين بالمائة من الأجهزة، مما يجعل من المستحيل معرفة أي الهجمات هي الأكثر خطورة حقًا. ولحل هذه المشكلة، أنشأ الباحثون معيارًا مرجعيًا مضبوطًا يختبر خمسة أنواع متميزة من التخريب تحت ظروف متطابقة. لقد قاموا بمحاكاة شبكة حيث ينسق خادم مركزي عملية التعلم عبر خمسة عشر جهازًا، ثلاثة منها تعمل كجهات فاعلة خبيثة. واختبر الباحثون مدى صمود النظام أمام أنواع مختلفة من التدخل: قلب التصنيفات (labels) على بيانات التدريب، إضافة ضوضاء عشوائية إلى التحديثات، عكس اتجاه التحديثات، تطبيق قوة مضادة مقيدة، وحقن نمط منسق ومنظم. وأجروا آلاف عمليات المحاكاة لمعرفة مدى انخفاض دقة الذكاء الاصطناعي النهائي تحت كل سيناريو.
كشفت النتائج عن حقيقة مفاجئة حول كيفية عمل هذه الهجمات. لفترة طويلة، افترض مجتمع الأمن أن حجم الاضطراب هو أفضل مقياس للخطر. كان المنطق هو أن تغييرًا أكبر وأكثر فوضوية للبيانات يجب أن يسبب ضررًا أكثر من التغيير الأصغر. ومع ذلك، وجدت الدراسة أن هذا الافتراض غالبًا ما يكون خاطئًا. فعندما استخدم الباحثون طريقة قياسية لدمج التحديثات، تسبب نوع معين من الهجمات الذي اكتفى ببساطة بعكس اتجاه إشارة التعلم في انخفاض كارثي في الدقة، مما أدى إلى محو ما يقرب من تسعين بالمائة من أداء النظام. وفي المقابل، فإن هجومًا أدخل كميات هائلة من الضوضاء العشوائية، والذي كان في الواقع أكبر حجمًا، لم يسبب أي ضرر تقريبًا. كان الفرق لا يكمن في حجم الضوضاء، بل في اتجاهها. فقد ألغت الضوضاء العشوائية نفسها لأنها كانت فوضوية، بينما دفع الهجوم الموجه النظام في اتجاه واحد ثابت وخاطئ لم يستطع الحاسوب المركزي تجاهله.
اختبر الباحثون أيضًا ما إذا كانت الطرق المختلفة لدمج التحديثات يمكن أن تحمي النظام. ووجدوا أن استخدام تقنيات رياضية أكثر متانة، مثل تجاهل القيم الأكثر تطرفًا أو أخذ الحل الوسط، قلل بشكل كبير من الضرر الناتج عن الهجمات الموجهة. وفي الاختبارات الأكثر صرامة، حافظت هذه الطرق المتينة على دقة النظام شبه مثالية، بينما فشلت الطريقة القياسية تمامًا. ومع ذلك، تؤكد الدراسة أن هذه الحمايات ليست دروعًا سحرية؛ فهي تعمل جيدًا في الظروف المحددة والمسيطر عليها في التجربة، حيث يكون عدد الجهات الفاعلة السيئة معروفًا والبيانات موزعة بالتساوي. ويحذر الباحثون من أنه في حالات العالم الحقيقي، حيث قد تكون البيانات غير منظمة وعدد المهاجمين غير معروف، قد لا تكون هذه الدفاعات موثوقة بنفس القدر.
ربدو أن أهم نتيجة هي أن عدد الأجهزة الخبيثة يهم بقدر أهمية نوع الهجوم. فعندما زاد الباحثون عدد الجهات الفاعلة السيئة من كسر صغير إلى جزء أكبر من الشبكة، نما الضرر بشكل كبير، لكن الطرق المتينة صمدت بشكل أفضل بكثير من الطرق القياسية. وتخلص الدراسة إلى أنه لفهم أمن هذه الأنظمة حقًا، لا يمكننا النظر فقط في مدى كبر حجم الهجوم. يجب أن ننظر إلى كيفية تشكيل الهجوم، وعدد الأجهزة المشاركة، وكيفية دمج النظام للمعلومات. فدفعة صغيرة موجهة جيدًا يمكن أن تسقط نظامًا لا تستطيع دفعة عملاقة وفوضوية تحريكه. تشير هذه الرؤية إلى أن اختبارات الأمن المستقبلية يجب أن تكون أكثر دقة، بحيث تقارن الهجمات جنبًا إلى جنب تحت نفس الظروف بدلاً من الاعتماد على مقياس واحد للقوة. ولا يدعي العمل أنه حل مشكلة تأمين هذه الشبكات، ولكنه يوفر خريطة أوضح لمواضع الخطر الحقيقية.
يعمل التعلم الاتحادي (FL) على لامركزية التدريب للحفاظ على خصوصية البيانات، ولكنه يفرض فجوة نزاهة حرجة: لا يمكن للخادم التحقق من كيفية توليد العملاء لتحديثات النماذج. وبينما تحدد الأدبيات الحالية تهديدات متنوعة — مثل تسميم البيانات، وتسميم النماذج، والتلاعب البيزنطي — فإن التقييم الأمني المقارن يعوقه عدم اتساق التصاميم التجريبية. غالبًا ما يتم الإبلاغ عن الهجمات باستخدام كسور مختلفة من العملاء المخترقين، ومقادير الاضطراب، ونماذج التهديد، مما يجعل من الصعب تحديد ما إذا كان الدفاع قويًا أم أنه فعال فقط تجاه مجموعة ضيقة من التهديدات. علاوة على ذلك، هناك نقص في الوضوح حول ما إذا كان مقدار اضطراب التحديث (المعيار/الـ norm) مؤشرًا موثوقًا للضرر الفعلي للنموذج العالمي.
المنهجية
تقدم الدراسة معيارًا مرجعيًا مضبوطًا ومعاير الشدة لتقييم خمس عائلات متميزة من عمليات التلاعب ضمن بروتوكول تعلم اتحادي واحد قابل لإعادة الإنتاج. يعزل هذا المعيار آثار هندسة الهجوم وحصة السكان عن المتغيرات الأخرى.
الإعداد التجريبي
مجموعات البيانات والنموذج: مجموعتان من بيانات التصنيف المدمجة (الأرقام المكتوبة بخط اليد ومرض سرطان الثدي في ويسكونسن) ومصنف خطي بسيط (linear softmax classifier) منخفض السعة. يقلل هذا الاختيار من المربكات التمثيلية للتركيز على هندسة التسميم وسلوك التجميع.
البروتوكول: يشارك 15 عميلًا في كل جولة على مدار 20 جولة اتحادية. تستخدم الدراسة الرئيسية نسبة سكان معادين تبلغ 20% (3 من أصل 15 عميلًا)، مع دراسة حساسية تباينت هذه النسبة من 6.7% إلى 40%.
قواعد التجميع: تم اختبار أربع قواعد: المتوسط الحسابي (أساس غير قوي)، والمتوسط المقطوع لكل إحداثي (Coordinate-wise Trimmed Mean)، والوسيط لكل إحداثي (Coordinate-wise Median)، وMulti-Krum.
عائلات الهجوم: خمس استراتيجيات تلاعب متميزة تمت معايرتها عبر ثلاثة مستويات من الشدة (منخفضة، متوسطة، عالية):
قلب الملصقات (Label Flipping): رسم خرائط دوري للملصقات المحلية (y′=(y+1)modC).
تسميم قلب الإشارة (Sign-Flip Poisoning): عكس اتجاه التحديث (u′=−γu, γ∈{1,3,5}).
التسميم المتكيف محدود المعيار (Norm-Bounded Adaptive Poisoning): تحديثات ذات اتجاه معارض مع معايير مقيدة (r∈{0.5,1.5,3}).
حقن المصفوفة منخفضة الرتبة المهيكلة (Structured Low-Rank Matrix Injection): محفز خاص بالمعيار المرجعي حيث يتشارك العملاء المعادون مصفوفة رتبة واحدة محددة لكل جولة (M=abT) مدرجة بالنسبة لمعايير التحديث الخاصة بهم.
المقاييس
المقياس الأساسي هو انخفاض الدقة النهائي المنسوب للنظافة (بالنقاط المئوية)، ويُحسب كالتالي: 100×(Accuracyclean−Accuracyattacked). تشمل المقاييس الثانوية تضخم الخسارة، ونسب تشوه التحديث، والأهمية الإحصائية عبر اختبارات ويلكوكسون لعلامة رتبة المجموعات المرتبطة وفترات الثقة لأسلوب بوتستراب (bootstrap).
النتائج الرئيسية
أنتجت الدراسة 880 تشغيلًا تغطي 17,600 جولة اتحادية. تتحدى النتائج الافتراض القائل بأن مقدار الاضطراب يرتبط بفعالية الهجوم.
التماسك الاتجاهي مقابل مقدار المعيار (Norm Magnitude):
تسبب تسميم قلب الإشارة ضررًا كارثيًا تحت تجميع المتوسط الحسابي، مما أدى إلى انخفاض في الدقة بمقدار 87.39 نقطة مئوية عند الشدة العالية.
تسببت الضوضاء الغاوسية، رغم امتلاكها نسبة تشوه تحديث (8 أضعاف المعيار) أكبر من قلب الإشارة (5 أضعاف المعيار)، في انخفاض قدره 0.36 نقطة مئوية فقط.
حقن المصفوفة المهيكلة، حتى عند قياس 20 ضعف المعيار، أدى فقط إلى انخفاض قدره 2.53 نقطة مئوية.
الاستنتاج: إن المحاذاة الهندسية للهجوم ضد مسار التحسين الصادق هي متنبئ أقوى بالضرر من مجرد المقدار الخام للاضطراب.
فعالية التجميع القوي:
خففت المجمعات القوية (المتوسط المقطوع، الوسيط، Multi-Krum) بشكل كبير من الضرر في ظل وجود 20% من السكان المعادين.
في حالة قلب الإشارة عالية الشدة، قللت القواعد القوية من انخفاض الدقة من ~87 نقطة (المتوسط) إلى أقل من نقطة واحدة.
أظهر Multi-Krum تدهورًا منخفضًا وثابتًا تقريبًا (~0.07 نقطة) عبر جميع الهجمات عالية الشدة في هذا الإعداد المحكوم، وإن كان المؤلف يحذر من أن هذا ليس دليلًا على الحصانة الشاملة.
حساسية السكان:
مع زيادة عدد السكان المعادين من 6.7% إلى 40%، ارتفع انخفاض الدقة تحت التجميع الحسابي بشكل حاد (من ~1 إلى ~42 نقطة).
ظلت المجمعات القوية (خاصة الوسيط) مستقرة نسبيًا، حيث أظهرت تدهورًا طفيفًا حتى عند مشاركة 40% من المعادين في هذا الإعداد التجريبي المحدد.
الأهمية والادعاءات
يضع البحث نفسه كـ منهج لتقييم الأمن بدلاً من اقتراح خوارزمية دفاع جديدة. وتتمثل مساهماته الرئيسية في:
مصفوفة التهديد القابلة لإعادة الإنتاج: يضع إطارًا حيث يتم تعريف نوع الهجوم، وشدته، وحصة السكان، وقواعد التجميع بشكل صريح ومزدوج، مما يسمح بمقارنة عادلة بين الهجمات.
الرؤية الهندسية: يوضح أن "قوة الهجوم" لا يمكن اختزالها في قيمة عددية واحدة (معيار الاضطراب). فالتماسك الاتجاهي (مثل قلب الإشارة) أكثر ضررًا من الضوضاء الكبيرة غير المهيكلة.
معايير التقييم: يجادل المؤلف بأن الادعاءات الأمنية في التعلم الاتحادي يجب أن تبلغ عن هندسة الهجوم المحددة، وكسر العملاء المعادين، وخسارة المنفعة المنسوبة للنظافة. إن الاعتماد على تسمية "هجوم قوي" واحدة أو اختبار إجهاد بالضوضاء العشوائية غير كافٍ لتقييم قوة النشر.
القيود السياقية: تشير الدراسة صراحةً إلى أن نتائجها مشروطة بافتراضات التجربة (مثل حدود المهاجم المعروفة، والبيانات المستقلة والموزعة بشكل متماثل IID، والمشاركة الكاملة). وهي لا تدعي أن التجميع القوي يحل جميع المشكلات الأمنية في التعلم الاتفادي، ولا تقيم التخفي، أو الأبواب الخلفية، أو تسرب الخصوصية.
باختصار، يجادل المعيار المرجعي بأن التقييم الأمني يجب أن يتجاوز مجرد معايير الاضطراب البسيطة ليتناول هندسة الهجوم وافتراضات الدفاع في آن واحد.