FL-OA: A Byzantine-Robust Federated Learning Framework with Outsourced Auditing for Intelligent Devices
يُعد FL-OA إطار عمل للتعلم الاتحادي متين ضد الهجمات البيزنطية، حيث يستفيد من التدقيق المستأجر مع مجموعة بيانات جذرية من طرف ثالث، جنباً إلى جنب مع صعود التدرج ومؤشرات أهمية المعلمات، لتحقيق تجميع متين دون افتراضات قوية مع التخفيف من تباعد التحديثات الحميدة ولعنة الأبعاد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً حيث يريد هاتفك، وحاسوبك المحمول، وساعتك الذكية جميعاً تعلم كيفية التعرف على قطة، لكن لا أحد منهم يريد إظهار صوره الخاصة لأي شخص. لا يمكنهم ببساطة إرسال الصور إلى معلم مركزي لأن ذلك سيكون كابوساً للخصوصية. بدلاً من ذلك، يستخدمون حيلة ذكية تسمى التعلم الاتحادي (Federated Learning). فكر في الأمر كأنها مجموعة من الطلاب يعملون على مشروع جماعي في غرف منفصلة. كل طالب يدرس ملاحظاته الخاصة، ويكتب "خطة درس" خاصة به (تحديث للنموذج)، ثم يسلمها للمعلم. يقوم المعلم بخلط جميع خطط الدروس هذه معاً لإنشاء دليل رئيسي فائق الذكاء، ثم يرسله مرة أخرى إلى الجميع. يكرر الجميع هذه العملية، ويصبحون أكثر ذكاءً معاً دون مشاركة ملاحظاتهم الفعلية أبداً.
لكن هنا تكمن المشكلة: ماذا لو كان أحد الطلاب مثيراً للمشاكل؟ في العالم الرقمي، تُسمى هؤلاء المثيرون للمشاكل الأجهزة البيزنطية (Byzantine devices). قد يرسلون خطط دروس مزيفة، أو مربكة، أو حتى مدمرة عن قصد لإفساد مشروعهم الجماعي النهائي. عادةً ما يحاول المعلم رصد المثير للمشاكل من خلال البحث عن "الشخص المختلف عن البقية" أو من خلال امتلاك "مفتاح إجابة سري" (مجموعة بيانات جذرية) للتحقق منها. لكن هذا يصبح أمراً صعباً؛ فإذا كان المثيرون للمشاكل كثر العدد، تفشل طريقة "البحث عن المختلف". وإذا لم يكن لدى المعلم مفتاح إجابة مثالياً (وهو ما لا يستطيع امتلاكه غالباً بسبب قوانين الخصوصية)، فلن يتمكن من التحقق من العمل على الإطلاق. علاوة على ذلك، ولأن الطلاب يتعلمون من ملاحظات مختلفة (بعضهم لديه قطط، وبعضهم لديه كلاب)، فإن خطط دروسهم الطبيعية تبدو مختلفة قليلاً عن بعضها البعض بالفعل، مما يجعل من الصعب التمييز بين من يقدم تحديثات خاطئة ومن يقدم تحديثات صحيحة.
هنا يأتي دور دراسة جديدة تقدم فكرة طازجة تسمى FL-OA. يقترح الباحثون حلاً يشبه توظيف محقق من طرف ثالث. فبدلاً من أن يحاول المعلم الرئيسي القيام بكل شيء بمفرده، فإنه يتعاون مع خادم خارجي (Outsourced Server) يمتلك بالفعل مفتاح إجابة سرياً. يقوم هذا المحقق بفحص عمل الطلاب، ولكن مع لمسة خاصة: فهو لا ينظر إلى كل تفصيل في خطة الدرس، بل يستخدم "مقياس أهمية" خاص للتركيز فقط على الأجزاء الأكثر حيوية من الملاحظات، متجاهلاً الضجيج. يساعد هذا في رصد التحديثات غير الصحيحة حتى عندما يكون الفصل الدراسي ضخماً والملاحظات فوضوية. كما تعلم الدراسة الطلاب طريقة جديدة للدراسة معاً، حيث تضيف "خطوة تصحيح" إلى واجباتهم المنزلية، بحيث تنتهي عملية جعل خطط دروس الطلاب الصادقين تبدو أكثر تشابهاً مع بعضها البعض، مما يسهل رصد الشخص المزيف.
أدوات المحقق الجديدة
تقدم الورقة البحثية، التي تحمل عنوان "FL-OA: إطار عمل للتعلم الاتحادي قوي ضد الهجمات البيزنطية مع تدقيق خارجي للأجهزة الذكية"، إطار عمل مصمماً لحماية عملية التعلم التعاوني هذه من التخريب. يرى المؤلفون، بقيادة هونغليانغ تشانغ وجيغو يو، أن الدفاعات الحالية تعاني من فجوتين رئيسيتين. أولاً، غالباً ما تفترض أن معظم الطلاب جيدون (قاعدة "الأغلبية صالحة")، وهو ما يفشل إذا سيطر الأشرار على أكثر من نصف الفصل. ثانياً، يعانون عندما تكون بيانات الطلاب مختلفة جداً عن بعضها البعض (مشكلة تُعرف باسم Non-IID)، مما يؤدي إلى جعل خطط الدروس الصادقة تبدو مختلفة لدرجة تجعلها تُخطئ وتُعتبر تحديثات غير صحيحة.
ولحل هذه المشكلة، يقدم FL-OA استراتيجية مكونة من ثلاثة أجزاء. أولاً، يستعين بـ الخادم الخارجي (OS). تخيل أن المعلم الرئيسي (خادم المهمة) مشغول وليس لديه مفتاح الإجابة؛ فهو يرسل عمل الطلاب إلى طرف ثالث موثوق يمتلك المفتاح بالفعل. يعمل هذا الخادم الخارجي كمُدقق، حيث يفحص العمل دون أن يحتاج المعلم الرئيسي لرؤية البيانات الخام أو امتلاك مفتاح الإجابة بنفسه. هذا يكسر القاعدة القديمة التي تقول إن المعلم يجب أن يمتلك البيانات ليتمكن من التحقق منها.
ثانياً، تعالج الورقة مشكلة "الملاحظات الفوضوية". في الحياة الواقعية، يتعلم الطلاب من كتب مختلفة. وقد وجد المؤلفون أن هذا يجعل خطط الدروس الصادقة تبتعد عن بعضها البعض، مما يربك أنظمة الدفاع. لمنع ذلك، أضافوا خطوة صعود التدرج (gradient ascent step) وحد التصحيح (correction term) إلى عملية التدريب المحلي. فكر في الأمر كأنك تعطي الطلاب بوصلة خاصة و"مغناطيساً" يسحب خطط دروسهم بلطف نحو مركز المجموعة. يضمن هذا أنه حتى لو كانت ملاحظاتهم مختلفة، فإن ملخصاتهم النهائية ستظل متوافقة، مما يجعل من السبب أسهل لرصد الطالب الذي يكتب كلاماً لا معنى له.
ثالثاً، وبشكل أكثر إبداعاً، تعالج الورقة "لعنة الأبعاد". خطط الدروس الحديثة ضخمة، وتحتوي على ملايين الأرقام (المعلمات/Parameters). فحص كل رقم بمفرده يشبه محاولة العثور على إبرة في كومة قش عبر النظر في كل قطعة قش على حدة؛ وهو أمر بطيء وتضيع فيه الفروقات بسبب الحجم الهائل للبيانات. لذا، صمم المؤلفون مؤشر أهمية المعلمات (PII). هذا الفلتر الذكي يقول: "لا تنظر إلى كل شيء، انظر فقط إلى أعلى 30% من الأرقام الأكثر أهمية". من خلال التركيز فقط على هذه المعلمات الحرجة، يمكن للمدقق رصد التحديثات غير الصحيحة بشكل أسرع وأكثر دقة، متجنباً الارتباك الناتج عن الحجم الهائل للبيانات.
ما الذي وجدوه؟
اختبر الباحثون إطار عملهم الجديد، FL-OA، مقابل عدة طرق دفاعية أخرى باستخدام مجموعات بيانات صور شهيرة مثل CIFAR-10 وCIFAR-100. لقد قاموا بمحاكاة سيناريوهات حيث كانت نسبة تصل إلى 50% من الأجهزة خبيثة، تشن أنواعاً مختلفة من الهجمات، مثل هجمات غاوس (Gaussian attacks) (إرسال ضجيج عشوائي)، وهجمات النيتروكسين (Neurotoxin attacks) (تسميم أجزاء معينة من النموذج)، وهجمات القلب المركز (Focused-Flip attacks) (قلب إشارات بعض الأرقام).
كانت النتائج واعدة. في عمليات المحاكاة التي بلغت فيها نسبة الأجهزة السيئة 50%، حافظ FL-OA على دقة أعلى بكثير من الطرق الأخرى. على سبيل المثال، في مجموعة بيانات CIFAR-10 مع توزيع بيانات صعب (DIR(0.1))، حقق FL-OA دقة تقارب 73% تحت هجمات غاوس، بينما انخفضت طرق أخرى مثل Krum إلى حوالي 37%. تشير الدراسة إلى أن FL-OA قوي بشكل خاص لأنه لا يعتمد على افتراض أن الأجهزة الجيدة هي الأغلبية؛ فهو يعمل حتى عندما يكون الأشرار هم الأغلبية.
كما أجرى المؤلفون "دراسات استئصال" (Ablation studies)، وهي تشبه تفكيك آلة لمعرفة أي التروس هي التي تقوم بالعمل. ووجدوا أن إزالة "حد التصحيح" أو "خطوة صعود التدرج" يجعل النظام أضعف، مما يثبت أن هذه الإضافات ضرورية للحفاظ على توافق عمل الطلاب الصادقين. وبالمثل، وجدوا أن استخدام المعلمات الحرجة فقط (أعلى 30%) للتدقيق كان أفضل من فحص جميع المعلمات، مما يؤكد أن استراتيجية "التركيز" تتجاوز بفعالية لعنة الأبعاد.
ومع ذلك، تشير الورقة أيضاً إلى بعض القيود. يعتمد النظام على افتراض أن الخادم الخارجي صادق ولا يتآمر مع الأجهزة السيئة. إذا تواطأ المحقق مع المخادعين، فقد يفشل النظام. يقترح المؤلفون أنه في المستقبل، يمكن استخدام عدة مدققين مستقلين لحل هذه المشكلة. كما اختبروا النظام على بيانات "فئتين" حيث كانت مجموعة البيانات الجذرية وفئات الطلاب تختلف تماماً (مثل أن تحتوي المجموعة الجذرية على قطط فقط والطلاب لديهم كلاب فقط). في هذه الحالات القصوى، انخفض أداء النظام، مما يشير إلى أنه يعمل بشكل أفضل عندما يكون هناك بعض التداخل في أنواع البيانات.
في النهاية، توضح الورقة أنه من خلال الجمع بين مدقق من طرف ثالث موثوق وتقنيات تدريب محلي أكثر ذكاءً واستراتيجية تدقيق مركزة، من الممكن بناء نظام تعلم اتحادي قوي ضد أكثر الهجمات عدوانية، دون مطالبة الخادم الرئيسي بحمل بيانات حساسة. ويخلص المؤلفون إلى أنه بينما تظل تحديات مثل الخصوصية والتواطؤ قائمة، فإن FL-OA يمثل خطوة كبيرة للأمام في جعل الذكاء الاصططابي التعاوني أكثر أماناً وموثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.