💻 computer science

FLRSP: Privacy-Preserving Federated Learning Using Randomly Selected Model Parameters

تقترح هذه الورقة طريقة FLRSP، وهي طريقة للتعلم الاتحادي تحافظ على الخصوصية وتختار معلمات النموذج عشوائياً للتحديثات العالمية، محققةً دقة عالية في تصنيف الصور ومتانة ضد الهجمات دون المساس بالأداء.

المؤلفون الأصليون: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hiroto Sawada, Shoko Imaizumi, Hitoshi Kiya

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "FLRSP: التعلم الاتحادي المحافظ على الخصوصية باستخدام معلمات النموذج المختارة عشوائياً" باستخدام لغة بسية وتشبيهات من الحياة اليومية.

الصورة الكبيرة: مشكلة "المشروع الجماعي"

تخيل مجموعة من الطلاب (العملاء) الذين يريدون بناء روبوت فائق الذكاء (شبكة عصبية عميقة) للتعرف على الصور. لديهم جميعاً ألبومات صور خاصة بهم (بيانات حساسة) لا يريدون مشاركتها مع أي شخص، ولا حتى مع المعلم (الخادم المركزي).

في التعلم الاتحادي (Federated Learning)، بدلاً من إرسال صورهم إلى المعلم، يرسل الطلاب فقط "ملاحظاتهم عما تعلموه" (تحديثات النموذج/التدرجات) إلى المعلم. يقوم المعلم بدمج هذه الملاحظات لتحسين الروبوت، ثم يعيد الروبوت المحسن إلى الطلاب.

المشكلة: على الرغم من أنهم لا يرسلون الصور، يمكن لهكر ماكر (أو زميل فضولي) أحياناً النظر إلى "الملاحظات" وإعادة هندستها رياضياً لاستخراج الصور الأصلية. الأمر يشبه النظر إلى قائمة تسوق طباخ وتخمين الوصفة السرية لعائلته بدقة، أو حتى رؤية المكونات داخل القدر.

الحل: FLRSP (الـ "فرامة العشوائية")

يقترح المؤلفون طريقة جديدة تسمى FLRSP (التعلم الاتحادي باستخدام معلمات النموذج المختارة عشوائياً).

تخديل FLRSP كأنها فرامة عشوائية لملاحظات الطلاب.

الطريقة القديمة: يرسل كل طالب كامل مجموعة ملاحظاته إلى المعلم. إذا اعترض هكر هذه الملاحظات، فلديه الصورة الكاملة ويمكنه إعادة بناء الصورة الأصلية.
طريقة FLRSP: قبل أن يرسل الطالب ملاحظاته، يأخذ مقصاً عشوائياً ويقص (أو يلغي) جزءاً مختاراً عشوائياً من الملاحظات.
- إذا قرر الطالب إخفاء 20% من ملاحظاته ( $R=0.2$ )، فإنه يرسل 80%.
- إذا قرر إخفاء 80% من ملاحظاته ( $R=0.8$ )، فإنه يرسل 20% فقط.
- الأمر الحاسم: كل طالب يقص أجزاءً مختلفة من الملاحظات، وهم يغيرون الأجزاء التي يخفونها في كل مرة يرسلون فيها ملاحظة.

كيف يعمل (التشبيه)

تخيل أن "الملاحظات" هي أحجية (بازل) ضخمة تمثل عقل الروبوت.

التعلم الاتحادي القياسي: أنت ترسل الأحجية كاملة إلى المعلم. يمكن للهكر النظر إلى القطع ومعرفة ما كانت عليه الصورة الموجودة على الصندوق.
طريقة FLRSP: أنت ترسل الأحجية، لكنك قمت بإزالة 50% من قطعها عشوائياً واستبدلتها بمربعات بيضاء فارغة.
- مهمة المعلم: يتلقى المعلم أحجيات من 5 طلاب مختلفين. الطالب (أ) ينقصه الركن العلوي الأيسر؛ الطالب (ب) ينقصه الركن السفلي الأيمن؛ الطالب (ج) ينقصه المنتصف. عندما يدمج المعلم هذه الأحجيات، يتم ملء القطع المفقودة من أحد الطلاب بواسطة قطع من طالب آخر. لا يزال بإمكان المعلم بناء روبوت كامل ويعمل بشكل جيد!
- مهمة الهكر: يحاول الهكر إعادة بناء الصورة الأصلية من ملاحظات طالب واحد فقط "المفرومة". ولأن الكثير من القطع مفقودة (ومستبدلة بفراغات)، فإن حساباته الرياضية تنهار. لا يمكنه رؤية الوجه في الصورة بعد الآن؛ يبدو الأمر وكأنه مجرد ضجيج مشوش.

ما وجدته الورقة البحثية

اختبر الباحثون هذه الفكرة على نوعين من "الروبوتات" (نماذج الذكاء الاصطناعي):

ViT (Vision Transformer): روبوت حديث وعالي التقنية.
ResNet34: روبوت كلاسيكي وموثوق.

واختبروه ضد نوعين من الهكرز:

هكر "APRIL": متخصص في كسر الروبوت الحديث (ViT).
هكر "التحسين العدائي" (Adversarial Optimization): هكر عام يحاول إعادة بناء الصور من الروبوتات الكلاسيكية (ResNet).

النتائج:

الدقة: لا يزال الروبوت يتعلم بشكل مثالي تقريباً. حتى عندما أخفى الطلاب الكثير من الملاحظات (حتى 80%)، استطاع المعلم تدريب روبوت يمكنه التعرف على الصور بنفس جودة الطريقة القياسية.
الخصوصية: فشل الهكرز. عندما حاولوا إعادة بناء الصور من الملاحظات "المفرومة"، خرجت الصور ككتل مشوشة وغير قابلة للتمييز. انخفضت "الشباهية الهيكلية" (مدى تشابه الصورة المزيفة مع الحقيقية) إلى ما يقرب من الصفر.
المقارنة: الطرق الأخرى (مثل إضافة "الضجيج" إلى الملاحظات، والمعروفة بالخصوصية التفاضلية) جعلت الروبوت أقل ذكاءً (دقة أقل) في محاولة لإخفاء البيانات. حافظت FLRSP على ذكاء الروبوت وجعلته آمناً في نفس الوقت.

لماذا هذا مميز؟

يعمل للجميع: طرق "الفرم" السابقة كانت تعمل فقط للروبوت الحديث (ViT). أما FLRSP فيعمل لكل من الروبوتات الحديثة والكلاسيكية.
ديناميكي: على عكس الطرق الأخرى التي تخفي أجزاءً معينة من الملاحظات بشكل دائم (مثل "الأوزان المجمدة")، تقوم FLRSP بتغيير الأجزاء التي يتم إخفاؤها في كل مرة. هذا يضمن أنه في النهاية سيحصل المعلم على كل قطعة من الأحجية، ولكن ليس كلها من طالب واحد في وقت واحد.

باختतेار

FLRSP هي خدعة ذكية حيث يقوم الطلاب في مشروع جماعي بإخفاء أجزاء من واجباتهم المنزلية عشوائياً قبل تسليمها. لا يزال بإمكان المعلم تقييم الفصل بأكمله وتحسين المشروع النهائي لأن الأجزاء المفقودة من أحد الطلاب يتم تغطيتها بواسطة طلاب آخرين. لكن الجاسوس الذي يحاول سرقة الواجب من طالب واحد فقط لن يحصل إلا على مجموعة من الصفحات الفارغة، مما يجعل من المستحيل سرقة الوصفة السرية.

ملخص تقني: FLRSP – التعلم الاتحادي المحافظ على الخصوصية باستخدام معلمات النموذج المختارة عشوائياً

1. بيان المشكلة

يتطلب تدريب الشبكات العصبية العميقة (DNNs) عالية الجودة عادةً كميات هائلة من البيانات، والتي غالباً ما تحتوي على معلومات حساسة أو شخصية. وبينما يسمح التعلم الاتحادي (Federated Learning) لعدة عملاء بالتعاون لتدريب نموذج دون مشاركة البيانات الخام، إلا أنه يظل عرضة لهجمات الخصوصية. وتحديداً، يمكن للمهاجمين إعادة بناء بيانات التدريب الأصلية من تحديثات النموذج المشتركة (التدرجات أو الأوزان) باستخدام تقنيات مثل هجوم تسرب خصوصية الانتباه (APRIL) لنماذج المحولات الرؤيوية (ViT)، وهجمات التحسين العدائي للشبكات العصبية الالتفافية (CNNs).

تواجه طرق تعزيز الأمن الحالية قيوداً كبيرة:

الخصوصية التفاضلية (Differential Privacy - DP): تضيف ضوضاء إلى التحديثات لمقاومة الهجمات، ولكنها تؤدي حتماً إلى تدهور دقة النموذج.
طرق المواضع الثابتة (Fixed-Position Methods): فعالة لنماذج ViT عبر تصفير تحديثات التضمين الموضعي، لكنها تفشل عندما يتم تدريب النماذج من الصفر (حيث تحتاج جميع الطبقات إلى التحديث) ولا تنطبق على نماذج CNN.
مفاهيم الاختيار العشوائي السابقة: اقتصرت الأعمال السابقة حول التدرجات المختارة عشوائياً على بنيات ViT وخوارزمية التدرج العشوائي الاتحادي (FedSGD).

يتمثل التحدي الجوهري في تطوير طريقة تعلم اتحادي تحافظ على الخصوصية وتكون قوية ضد هجمات استعادة الصور المتطورة عبر البنيات المختلفة (ViT و CNNs) والخوارزميات (FedSGD و FedAvg) دون التضحية بدقة التصنيف.

2. المنهجية: FLRSP

يقترح المؤلفون التعلم الاتحادي باستخدام معلمات النموذج المختارة عشوائياً (FLRSP). في هذا الإطار، يقوم كل عميل باختيار مجموعة فرعية من معلمات النموذج عشوائياً (تدرجات في FedSGD أو أوزان في FedAvg) لمشاركتها مع الخادم المركزي، بينما يستبدل المعلمات غير المختارة بقيم صفرية.

الآلية الأساسية

الاختيار العشوائي: قبل الإرسال، يطبق كل عميل تسلسلاً عشوائياً ثنائياً $B_{n,k,i}^l \in \{0, 1\}$ $B_{n, k, i}^{l} \in {0, 1}$ على معلمات النموذج $\theta_{n,k,i}^l$ $θ_{n, k, i}^{l}$ (أو الأوزان $W_{n,k,i}^m$ $W_{n, k, i}^{m}$ ).
- إذا كان $B=1$ ، يتم مشاركة المعلمة.
- إذا كان $B=0$ ، يتم ضبط المعلمة لتصبح صفراً.
- يُرمز لاحتمالية حدوث الصفر بـ $R$ .
تجميع الخادم: يقوم الخادم المركزي بتجميع التحديثات المستلمة. ومن الأهمية بمكان أن صيغة التجميع تأخذ في الاعتبار التخلخل (Sparsity) الناتج عن الاختيار العشوائي. بالنسبة لـ FedSGD، يتم حساب تحديث النموذج العالمي $w_{k,i}^{l+1}$ كالتالي:
$w_{k,i}^{l+1} = w_{k,i}^l - \eta \frac{\sum_{n=1}^N \bar{\theta}_{n,k,i}^l}{\sum_{n=1}^N B_{n,k,i}^l}$
(إذا كان المقام صفراً، تظل المعلمة دون تغيير). وهذا يضمن تحديث النموذج العالمي باستخدام التدرجات غير الصفرية فقط، مما يؤدي فعلياً إلى تطبيع معدل التعلم بناءً على عدد المعلمات المشاركة.
التسلسلات الديناميكية: على عكس نهج "الأوزان المجمدة" حيث يتم استبعاد طبقات معينة بشكل دائم، يستخدم FLRSP تسلسلات عشوائية مختلفة لكل حقبة (في FedAvg) أو لكل دفعة (في FedSGD). يضمن هذا أن جميع المعلمات سيتم تحديثها في نهاية المطاف بمرور الوقت، مما يمنع فقدان المعلومات الدائم.

الأساس النظري

تقدم الورقة تحليلاً للتقارب يظهر أن FLRSP يحافظ على خصائص تقارب مستقرة مشابهة للتعلم الاتحادي القياسي. يتم تعديل معدل التعلم الفعال بواسطة العامل $(1 - RN)$ ، حيث $N$ هو عدد العملاء. وبما أن معدل التعلم يظل موجباً، فقد تم إثبات تقارب الطريقة رياضياً.

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

طريقة تعلم اتحادي مبتكرة: نهج جديد للدفاع ضد المهاجمين عن طريق اختيار معلمات النموذج العالمي المختارة عشوائياً من الخوادم المحلية، وهي قابلة للتطبيق على بنيات ViT و CNN على حد سواء.
التعميم: توسيع مفهوم الاختيار العشوائي (الذي كان مقتصرًا سابقاً على ViT و FedSGD) ليشمل FedAvg وبنيات ResNet.
التحقق التجريبي: تجارب شاملة تثبت أن FLRSP يتفوق على الطرق الرائدة (تحديداً الخصوصية التفاضلية وطرق المواضع الثابتة) من حيث القوة ضد الهجمات ودقة التصنيف.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات CIFAR-10 باستخدام ViT (vit_small_patch16_224) و ResNet34 تحت بروتوكولي FedSGD و FedAvg.

دقة التصنيف

ViT: حافظ FLRSP على دقة مقاربة للتعلم الاتحادي القياسي لكل من النماذج المدربة مسبقاً (Fine-tuned) والنماذج المدربة من الصفر. في المقابل، عانت طريقة "المواضع الثابتة" من تدهور كبير في الدقة عند التدريب من الصفر لأنها تمنع تحديث طبقة التضمين الموضعي.
ResNet: حقق FLRSP دقة عالية عبر قيم $R$ المختلفة (0.2، 0.5، 0.8). وبينما أظهرت الخصوصية التفاضلية (DP) تدهوراً في الدقة مع زيادة شدة الخصوصية ( $\epsilon$ )، حافظ FLRSP على أداء قريب من الخط المرجعي.
البيانات غير المتماثلة (Non-I.I.D.): في ظل توزيعات البيانات غير المتجانسة (توزيع Dirichlet، $\alpha=0.1$ )، حافظ FLRSP على دقة أعلى من DP.

القوة ضد الهجمات

قيمت الدراسة المقاومة ضد هجمين متطورين باستخدام مقياس مؤشر التشابه الهيكلي (SSIM) بين الصور الأصلية والمستعادة:

APRIL (لـ ViT): سمح التعلم الاتحادي القياسي بإعادة بناء بصري كامل. نجح FLRSP (حتى مع $R=0.2$ ) في منع إعادة البناء بفعالية، محققاً قوة تعادل طريقة "المواضع الثابتة".
التحسين العدائي (لـ CNN): سمح كل من التعلم الاتحادي القياسي و DP (حتى مع $\epsilon$ منخفضة) باستعادة صور كبيرة (قيم SSIM غالباً > 0.6). قلل FLRSP قيم SSIM بشكل جذري (غالباً < 0.1)، مما يجعل إعادة البناء البصري شبه مستحيل.
المقارنة: حقق FLRSP باستمرار قيم SSIM أقل (مما يشير إلى خصوصية أفضل) من DP مع الحفاظ على دقة تصنيف أعلى.

5. الأهمية والادعاءات

تدعي الورقة أن FLRSP يعالج بنجاح المقايضة بين الخصوصية والمنفعة في التعلم الاتحادي. فمن خلال اختيار المعلمات عشوائياً، تعمل الطريقة على تعطيل المعادلات الرياضية المطلوبة لهجمات استعادة الصور القائمة على التدرج (تحديداً كسر تشابه جيب التمام في التحسين العدائي والمعادلات ذات الصيغة المغلقة في APRIL).

يؤكد المؤلفون أن FLRP هو حل قابل للتعميم ينطبق على أي نموذج (بما في ذلك ViT و ResNet) وأي خوارزمية (FedSGD و FedAvg). وعلى عكس الطرق السابقة التي إما تقلل الدقة (DP) أو تكون مرتبطة ببنية معينة (المواضع الثابتة)، يوفر FLRSP آلية دفاع قوية تحافظ على أداء النموذج. وتخلص الدراسة إلى أن FLRSP يعد وسيلة تعزيز أمني فعالة وقابلة للتطبيق في سيناريوهات التعلم الاتحادي العملية.