Privacy-Preserving Federated Distillation Resilient to Client Disconnections and Poisoning Attacks

تخيل عالماً حيث يريد هاتفك، وساعتك الذكية، وجهاز الكمبيوتر المحمول الخاص بجارك أن يتعلموا معاً ليصبحوا أكثر ذكاءً، لكن لا أحد منهم مستعد لمشاركة صوره أو رسائله الخاصة. هذا هو جوهر التعلم الاتحادي (Federated Learning)، وهو طريقة ذكية للتعاون بين الحواسيب دون أن ترى أبداً البيانات الخام لبعضها البعض. فبدلاً من إرسال حقيبة ضخمة من الملفات الشخصية إلى مكتب مركزي، يرسلون فقط "تقرير درجات" عما تعلموه. ولكن هناك مشكلة: إذا كان تقرير الدرجات مفصلاً للغاية، فقد يكشف بالخطى عن أسرار تخص الشخص الذي كتبه. وأيضاً، في العالم الحقيقي، غالباً ما تنفد بطاريات الأجهزة أو تفقد الاتصال بشبكة الواي فاي، مما يتسبب في خروجهم من الفصل الدراسي تماماً بينما الدرس في أوج حماسه. تتناول هذه الورقة البحثية المشكلة المعقدة المتمثلة في كيفية الحفاظ على سير جلسة التعلم الجماعية هذه بسلاسة، حتى عندما يغادر الطلاب مبكراً أو يحاولون تقديم تحديثات غير صحيحة، كل ذلك مع ضمان عدم تسرب أي من أسرارهم الخاصة.

يقترح الباحثون، وهم فريق من جامعة الهندسة التابعة للشرطة المسلحة، نظاماً جديداً يسمى GSE-SFD. فكر في هذا النظام كفصل دراسي فائق الأمان ومقاوم للتسرب. في الإعداد القياسي، إذا غادر طالب الغرفة، فقد يضطر المعلم إلى إعادة الدرس بأكمله. في هذه الطريقة الجديدة، يتم تقسيم الفصل إلى مجموعات صغيرة ومتماسكة. إذا أسقط بعض الطلاب هواتفهم أو فقدوا الاتصال، يمكن للمجموعة أن تنهي جزءها من الواجب المنزلي لأن النظام مصمم ليعمل طالما أن عدداً معيناً من الطلاب (حوالي 60%) لا يزالون موجودين. الأمر يشبه اللغز الذي لا تحتاج فيه إلا إلى قطع محددة لرؤية الصورة الكاملة؛ إذا فُقدت بعض القطع، فإن القطع المتبقية كافية لحل اللغز.

ولكن ماذا عن التحديثات غير الصحيحة؟ في هذا الفصل الدراسي الرقمي، قد يحاول طالب "مسموم" تقديم تقرير درجات مزيف لإفساد الدرجة النهائية. يمتلك نظام GSE-SFD دفاعاً ذكياً يتكون من خطوتين. أولاً، يستخدم خدعة "المشاركة السرية". قبل أن يرسل الطالب تقريره، يقوم بتفكيكه إلى أجزاء صغيرة مشفرة ويخفيها في أظرف مختلفة. لا يكشف أي ظرف بمفرده عن أي شيء مفيد. وفقط عندما تُفتح أظرف كافية من نفس المجموعة معاً، يمكن إعادة تجميع التقرير الأصلي. وهذا يعني أنه حتى لو سرق مخترق ظرفاً أو اثنين، فلن يتعلم شيئاً. ثانياً، يوجد "حارس" عند الخادم المركزي. يتحقق هذا الحارس مما إذا كانت التقارير المعاد تجميعها من المجموعات المختلفة تبدو طبيعية. إذا كان تقرير إحدى المجموعات مختلفاً بشكل صارخ عن المجموعات الأخرى - مثل طالب يدعي فجأة أن السماء خضراء - فإن الحارس يكتشف الشذوذ ويطرد إجابة تلك المجموعة قبل أن تفسد الدرس العالمي.

كما تقدم الورقة البحثية مرشحاً (فلتر) للتأكد من أن الطلاب يتعلمون فقط من الأشياء التي يعرفونها بالفعل. بما أن لكل طالب بيانات مختلفة (البعض لديه صور قطط، والبعض الآخر لديه صور كلاب)، يستخدم النظام أداة رياضية تسمى KuLSIF للتحقق مما إذا كانت قطعة من المعلومات "خارج التوزيع". إنه يشبه معلماً يتحقق مما إذا كان السؤال صعباً للغاية أو غير ذي صلة لطالب معين قبل السماح له بالإجابة. إذا لم يكن السؤال مناسباً للبيانات المحلية للطالب، فإنه يتخطاه، مما يضمن أن المجموعة تشارك فقط معرفة عالية الجودة وموثوقة.

عندما اختبر الباحثون هذا النظام على مجموعات بيانات صور شهيرة مثل MNIST (الأرقام المكتوبة بخط اليد)، و FashionMNIST (قطع الملابس)، و CIFAR-10 (الأشياء اليومية الملونة)، كانت النتوات مبهرة. فحتى عندما انسحب ما يصل إلى 40% من العملاء من الشبكة، تمكن النظام بنجاح من دمج المعرفة في أكثر من 95% من الجولات. ومن حيث الخصوصية، كان النظام حصناً منيعاً. فعندما حاول المهاجمون هندسة البيانات عكسياً لرؤية الصور الأصلية، كانت النتائج عبارة عن ضوضاء ضبابية. كانت الصور المعاد بناؤها ذات معدل خطأ (MSE) أعلى بـ 2.25 مرة ودرجة تشابه هيكلي (SSIM) أقل بـ 2.4 مرة مقارنة بالطرق القديمة، مما يعني أن المهاجمين لم يروا شيئاً يمكن التعرف عليه تقريباً.

وجد المؤلفون أن هذا النهج لا يحمي الخصوصية فحسب، بل يحافظ أيضاً على سرعة التعلم عالية. وبينما يرسل هذا النظام بيانات أكثر من النسخة الأساسية بسبب أجزاء المشاركة السرية، إلا أنه يظل فعالاً بما يكفي للأجهزة ذات سرعات الإنترنت المحدودة. تشير الدراسة إلى أن هذه الطريقة هي حل عملي وقوي للمجالات الحساسة مثل الرعاية الصحية وإنترنت الأشياء الصناعي، حيث تكون الأجهزة غير موثوقة غالباً والخصوصية أمر غير قابل للتفاوض. ومع ذلك، تشير الورقة إلى أن النظام يعتمد على وجود "مجموعة بيانات وسيطة" جيدة (مجموعة من أسئلة التدريب المشتركة) وأن الرياضيات وراء عملية التصفية قد تصبح ثقيلة إذا أصبحت مجموعة البيانات هذه ضخمة جداً. في النهاية، يظهر نظام GSE-SFD أنه يمكنك الحصول على جلسة تعلم جماعية آمنة، مرنة، وخاصة دون التضحية بجودة النتيجة النهائية.