Approximate and Weighted Data Reconstruction Attack in Federated Learning

ملخص تقني: هجوم إعادة بناء البيانات التقريبي والموزون في التعلم الاتحادي

بيان المشكلة
يتيح التعلم الاتحادي (Federated Learning - FL) لعدة عملاء التعاون في تدريب نماذج تعلم آلي دون مشاركة البيانات الخام، وهو نموذج يُعتمد على نطاق واسع في المجالات الحساسة للخصوصية مثل الرعاية الصحية والمركبات ذاتية القيادة. وبينما يُعتبر التعلم الاتحادي غالباً وسيلة تحافظ على الخصوصية، فقد أظهرت دراسات حديثة أن المهاجمين يمكنهم استعادة بيانات التدريب الخاصة بالعملاء من خلال تحديثات النماذج المشتركة عبر هجمات إعادة بناء البيانات.

يتمثل أحد القيود الحرجة لطرق الهجوم الحالية في عدم قدرتها على استهداف خوارزمية "متوسط التجميع الاتحادي" (Federated Averaging - FedAvg) المستخدمة على نطاق واسع في الإعدادات الواقعية بشكل فعال. في نظام FedAvg القياسي، يقوم العملاء بعدة دورات تدريب محلية ($E > 1$) عبر عدة دفعات مصغرة ($B > 1$) قبل إرسال تحديث نموذج واحد متراكم إلى الخادم. وتفشل الهجمات الحالية، التي تعتمد غالباً على محاكاة مسار تدريب العميل، في هذا "النظام متعدد الخطوات" لأن الخادم (المهاجم) يفتقر إلى الرؤية في حالات النموذج الوسيطة وترتيب خلط البيانات (shuffling) الذي يحدث في كل دورة. هذه "مشكلة الديناميكيات المفقودة" تجعل مشكلة إعادة البناء غير قابلة للحل عملياً بالنسبة للطرق الحالية.

المنهجية: الهجوم التقريبي والموزون (AWA)
لمعالجة عدم قابلية الحل في إعادة بناء البيانات من تحديثات FedAvg متعددة الخطوات، يقترح المؤلفون طريقة الهجوم التقريبي والموزون (Approximate and Weighted Attack - AWA). يتكون هذا النهج من مكونين أساسيين:

1. التقريب القائم على الاستيفاء (Interpolation-Based Approximation):
   الابتكار الجوهري هو تحويل مشكلة إعادة البناء متعددة الدورات المستعصية إلى مشكلة قابلة للحل. فبدلاً من محاولة محاكاة ديناميكيات التدريب المخفية بدقة (والتي تتضمن عملية خلط بيانات غير معروفة)، يقوم المهاجم بتقريب تحديثات النموذج الوسيطة لكل دورة.

• يقوم النهج باستيفاء خطي بين معلمات النموذج الأولية ($\theta$) والمعلمات المحدثة النهائية ($\theta^+$) المستلمة من العميل.
• بالنسبة لعميل يتدرب عبر $E$ من الدورات، يتم حساب المعلمات التقريبية $\tilde{\theta}_e$ عند نهاية الدورة $e$ كالتالي: $\tilde{\theta}_e = \theta + \frac{e}{E}(\theta^+ - \theta)$.
• بعد ذلك، يتم اشتقاق التحديث التقريبي لكل دورة كفرق بين المعلمات المستوفاة المتتالية. يسمح هذا للمهاجم بمعاملة مشكلة الدورات المتعددة كسلسلة من المشكلات المستقلة أحادية الدورة (السيناريو 3)، مما يقلل بشكل كبير من العبء الحسابي ويتجاوز الحاجة لمعرفة تقسيم الدفعات المصغرة الدقيق.

2. دالة خسارة موزونة على مستوى الطبقات (Layer-Wise Weighted Loss Function):
   إدراكاً بأن الطبقات المختلفة في الشبكة العصبية تساهم بشكل متفاوت في جودة إعادة البناء، قدم المؤلفون دالة خسارة موزونة.

• التوزين الخطي: يتم تخصيص أوزان لمختلف الطبقات بناءً على بنية الشبكة (مثل الطبقات الالتفافية، طبقات تطبيع الدفعة، والطبقات كاملة الاتصال). وتزداد الأوزان خطياً من الطبقة الأولى إلى الأخيرة من كل نوع.
• التعزيز المدفوع بالخطأ: لمنع التحيز وتحسين عملية إعادة البناء بشكل أكبر، تحدد الطريقة الطبقات ذات أخطاء المطابقة الكبيرة (بناءً على المتوسط والتباين في التحديثات) وتخصص لها وزناً ثابتاً ومعززاً.
• التحسين البايزي (Bayesian Optimization): نظراً لأن ضبط هذه الأوزان يدوياً يعد أمراً غير فعال، استخدم المؤلفون التحسين البايزي لتحديد معلمات الوزن المثلى بشكل منهجي. تهدف دالة الهدف إلى تقليل المسافة الجيبية (cosine distance) بين تحديث النموذج المعاد بناؤه وتحديث التقريب المستهدف.

المساهمات الرئيسية
تحدد الورقة ثلاث مساهمات رئيسية:

1. الجدوى في نظام FedAvg الواقعي: يجعل التقريب القائم على الاستيفاء هجمات إعادة بناء البيانات ممكنة وفعالة في سيناريوهات FedAvg الواقعية التي تتضمن دورات تدريبية محلية ودفعات مصغرة متعددة، وهو الإعداد الذي تعاني فيه الطرق السابقة.
2. التحسين المنهجي للأوزان: إن إدخال دالة خسارة موزونة على مستوى الطبقة، حيث يتم ضبط الأوزان عبر التحسين البايزي، يعزز جودة إعادة البناء بشكل كبير مقارنة بالنهج غير الموزونة أو الموزونة تجريبياً.
3. الوعي بالبنية والقدرة على التوسع: تم تصميم الطريقة لتكون واعية بالبنية (architecture-aware) بدلاً من الارتباط بهيكل شبكة محدد. يمكنها إعادة بناء البيانات من التحديثات المسربة في مراحل مختلفة من التدريب، وتُظهر متانة عبر أحجام مجموعات بيانات وتكوينات تدريب متنوعة.

النتائج التجريبية
قيم المؤلفون طريقة AWA على بيانات ImageNet باستخدام بنية ResNet18، مقارنةً بأحدث الطرق مثل iDLG وAGIC وGENG.

• مقاييس الأداء: تفوقت AWA باستمرار على الطرق الموجودة عبر مقايلات متعددة: نسبة الإشارة إلى الضوضاء القصوى (PSful PSNR)، ومقياس التشابه الهيكلي (SSIM)، ومقياس تشابه رقع الصور الإدراكي المتعلم (LPIPS). على سبيل المثال، في سيناريو يتضمن 8 صور، 32 دورة، ودفعة مصغرة واحدة، حققت AWA قيمة PSNR بلغت 15.11 وSSIM بلغت 0.800، مقارنة بـ GENG التي حققت 10.71 و0.468 على التوالي.
• الجودة البصرية: أظهرت الصور المعاد بناؤها عبر AWA حدوداً أكثر حدة وتفاصيل نسيجية أغنى مقارنة بالمخرجات الضبابية أو المشوهة للطرق الأخرى.
• القدرة على التوسع: ظلت الطريقة فعالة حتى مع زيادة عدد الصور ($N$)، والدورات ($E$)، والدفعات المصغرة ($B$). وبينما أصبحت الطرق الأخرى (iDLG, AGIC) غير عملية حسابياً لعدد كبير من الصور (مثلاً $N \ge 64$)، حافظت AWA على جودة عالية في إعادة البناء.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أنه بينما يعد الاستيفاء هو الخطوة الممكنة لهجمات الدورات المتعددة، فإن التوزين الخطي على مستوى الطبقات وفر أهم مكسب في الأداء، مع تقديم التعزيز المدفوع بالخطأ لمزيد من التحسين المستمر.

الأهمية والادعاءات
تدعي الورقة أن طريقة AWA تكشف عن ثغرات أمنية حرجة في أنظمة التعلم الاتحادي الحالية، وتحديداً من خلال إثبات أن افتراض الأمان في تحديثات FedAvg متعددة الخطوات هو افتراض خاطئ. ومن خلال النجاح في إعادة بناء بيانات التدريب الخام من التحديثات المجمعة في إعدادات واقعية، تؤكد هذه الدراسة على الحاجة الملحة لآليات دفاع قوية. يضع المؤلفون نتائجهم كدافع لتطوير تدابير مضادة صارمة لتعزيز الضمانات الأمنية لأطر العمل الخاصة بالتعلم الاتحادي ضد مثل هذه الاختراقات للخصوصية. لا تقترح الورقة دفاعاً، بل تسلط الضوء على شدة التهديد لتوجيه الأبحاث الأمنية المستقبلية.