🤖 machine learning

Byzantine-Robust Federated Learning with Learnable Aggregation Weights

تقترح هذه الورقة إطار عمل للتعلم الاتحادي متين ضد هجمات بيزنطية، يعامل أوزان التجميع كمعلمات قابلة للتعلم يتم تحسينها بشكل مشترك مع النموذج العالمي عبر خوارزمية تقليل أدنى متبادلة، مما يظهر مرونة فائقة ضد العملاء الخبيثين في بيئات البيانات غير المتجانسة مقارنة بالأسالين المتقدمة الحالية.

المؤلفون الأصليون: Javad Parsa, Amir Hossein Daghestani, André M. H. Teixeira, Mikael Johansson

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Javad Parsa, Amir Hossein Daghestani, André M. H. Teixeira, Mikael Johansson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مجموعة من الطلاب (العملاء) يحاولون حل لغز صعب معاً للوصول إلى حل واحد مثالي (النموذج العالمي). لا يمكنهم مشاركة قطع اللغز الفردية الخاصة بهم لأنها خاصة، لذا بدلاً من ذلك، يرسلون أفكارهم حول كيفية تحسين الحل إلى معلم (الخادم). يقوم المعلم بعد ذلك بدمج هذه الأفكار لتحديث الحل الرئيسي ويرسله مرة أخرى للجولة التالية. هذا هو التعلم الاتحادي (Federated Learning).

ومع ذلك، هناك مشكلة: بعض الطلاب هم عملاء بيزنطيون (جهات خبيثة). هم لا يحاولون حل اللغز؛ بل يحاولون تخريبه. قد يرسلون أفكاراً مزيفة، أو يكذبون بشأن تقدمهم، أو يحاولون توجيه الحل في اتجاه خاطئ تماماً.

الطريقة القديمة: مرشح "المقاس الواحد للجميع"

تقليدياً، عندما يتلقى المعلم هذه الأفكار، فإنه يحاول كشف الكاذبين. إذا اعتقد أن طالباً ما يكذب، فإنه يرمي فكرة هذا الطالب في السلة. أما بالنسبة للطلاب "الجيدين" المتبقين، فإن المعلم يعامل الجميع بنفس الطريقة تماماً: "لكم جميعاً صوت متساوٍ".

العيب: هذا يشبه فصلاً دراسياً يتجاه فيه المعلم المتنمرين، لكنه بعد ذلك يعطي كل طالب متبقٍ نفس القدر من التقدير، بغض النظر عن مدى معرفتهم الفعلية. إذا كان الطلاب "الجيدون" لديهم خلفيات متنوعة جداً (بعضهم يعرف الرياضيات، وبعضهم يعرف الفن)، فإن إعطاءهم وزناً متساوياً يمكن أن يؤدي أيضاً إلى حل فوضوي وغير متوازن. تجادل الورقة البحثية بأنه في مجموعة متنوعة، لا يكفي مجرد إزالة التفاح الفاسد؛ بل تحتاج أيضاً إلى معرفة مقدار ما يجب أن يمثله كل تفاحة جيدة.

الحل الجديد: FedLAW (نظام "التصويت الذكي")

يقترح المؤلفون طريقة جديدة تسمى FedLAW (التعلم الاتحادي بأوزان تجميع قابلة للتعلم). بدلاً من مجرد تقرير من تثق به، يتعلم النظام مقدار الثقة في كل شخص، ويعدل "القوة التصويتية" لكل طالب ديناميكياً.

إليك كيف يعمل ذلك، باستخدام تشبيه إبداعي:

1. "الوزن" هو مهارة قابلة للتعلم

في النظام القديم، كانت أوزان التصويت ثابتة (مثل ورقة اقتراع مطبوعة مسبقاً). في FedLAW، أوزان التصويت هي معلمات قابلة للتعلم. فكر في الأمر كما لو كان المعلم طالباً أيضاً في الفصل، يتعلم جنباً إلى جنب مع المجموعة. المعلم يتعلم في نفس الوقت:

الحل: كيفية حل اللغز (معلمات النموذج).
درجة الثقة: مقدار الثقة في مدخلات كل طالب (أوزان التجميع).

يسأل المعلم نفسه: "إذا أعطيت الطالب (أ) صوتاً عالياً، هل سيتحسن الحل أم سيسوء؟ إذا أعطيت الطالب (ب) صوتاً منخفضاً، هل سيساعد ذلك؟" يقوم النظام بتعديل هذه الأصوات تلقائياً لتقليل الأخطاء.

2. "الرقصة المتناوبة"

تصف الورقة البحثية خوارزمية التقليل المتناوب (alternating minimization). تخيل رقصة تتكون من خطوتين تتكرران:

الخطوة 1 (خطوة النموذج): يأخذ المعلم درجات الثقة الحالية ويحدث حل اللغز.
الخطوة 2 (خطوة الوزن): ينظر المعلم إلى الحل الجديد ويسأل: "من الذي ساعدنا للوصول إلى هنا؟ ومن الذي جرنا للأسفل؟" بناءً على ذلك، يقوم المعلم بتحديث درجات الثقة (الأوزان). إذا كانت فكرة الطالب تؤدي باستمرار إلى نتيجة أسوأ، ينخفض وزنه. وإذا كانت تؤدي إلى نتيجة أفضل، يرتفع وزنه.

يتكرر هذا مراراً وتكراراً. يصبح النظام أفضل في كشف المخربين ليس من خلال البحث عن "نمط سيء" محدد، بل من خلال رؤية من تفشل أفكارهم باستمرار في تحسين هدف المجموعة.

3. "قاعدة التشتت" (التصويت الصفري)

لدى النظام قاعدة تسمى التشتت (Sparsity) للتعامل مع الطلاب الخبيثين. تقول القاعدة: "سنحتفظ فقط بأكثر $N$ من الأصوات الأكثر نفعاً. أما الجميع فيحصلون على تصويت قدره صفر."
إذا كان هناك 100 طالب و10 منهم مشتبه في كونهم خبيثين، فإن النظام يقوم تلقائياً بضبط أوزان أسوأ 10 مؤدين لتصبح صفراً. إنه يحيدهم فعلياً دون الحاجة لمعرفة هويتهم بالضبط مسبقاً. هو فقط يعرف أنهم لا يقدمون نفعاً.

لماذا هذا مهم (وفقاً للورقة البحثية)

تدعي الورقة أن هذا النهج متفوق لأنه:

يتكيف مع التنوع: في الحياة الواقعية، تكون البيانات "غير متجانسة" (الطلاب لديهم أنواع مختلفة من المعرفة). الطرق القديمة عاملت الجميع بالتساوي بعد التصفية، مما تجاهل هذه الاختلافات. FedLAW يتعلم التوازن الصحيح.
يكشف الكاذبين الماكرين: بعض الطلاب الخبيثين يحاولون الظهور بمظهر جيد عبر إرسال تحديثات "لطيفة مزيفة" (مثل هجوم "التدرج العكسي"). ولأن FedLAW ينظر إلى كيفية تغير حل المجموعة بأكملها بناءً على الأوزان، فإنه يمكنه رصد هذه التناقضات الدقيقة بشكل أسرع من الطرق التي تنظر إلى البيانات بمعزل عن غيرها.
يصل إلى الحل بشكل أسرع: تظهر التجارب أن FedLAW يصل إلى مستوى عالٍ من الدقة حتى عندما يكون 40% من الطلاب خبيثين والبيانات غير منظمة للغاية، متفوقاً بذلك على أفضل الأسالب الأخرى.

المقايضة

تعترف الورقة البحثية بوجود تكلفة بسيطة. لكي يحدد المعلم أوزان التصويت المثالية، فإنه يحتاج إلى القيام ببعض العمليات الحسابية الإضافية وإرسال بضع رسائل إضافية ذهاباً وإياباً مع الطلاب. ومع ذلك، يجادل المؤلفون بأن النظام يتعلم بسرعة ودقة أكبر بكثير، مما يجعل هذه التكلفة الإضافية الصغيرة تستحق العناء. الأمر يشبه دفع مبلغ إضافي بسيط مقابل جهاز GPS يوصلك إلى وجهتك في نصف الوقت الذي يستغرقه استخدام خريطة عادية.

باخت مختصر: يحول FedLAW عملية تصفية الأشخاص السيئين إلى مشكلة تعلم في حد ذاتها. بدلاً من مجرد "استبعاد التفاح الفاسد"، فإنه يتعلم بالضبط مقدار وزن كل تفاحة، مما يضمن أن السلة النهائية ستكون مثالية حتى لو كان نصف البستان متعفناً.

ملخص تقني: التعلم الاتحادي المتين ضد الهجمات البيزنطية باستخدام أوزان تجميع قابلة للتعلم

بيان المشكلة

يتيح التعلم الاتحادي (Federated Learning) لعدة عملاء التعاون لتدريب نموذج عالمي دون مشاركة البيانات الخاصة. ومع ذلك، فإن النظام يكون عرضة للعملاء البيزنطيين (Byzantine clients)—وهم جهات فاعلة خبيثة ترسل تحديثات نماذج عشوائية أو فاسدة لتقويض النموذج العالمي. وتتفاقم هذه المعضلة في البيئات غير المتجانسة حيث تختلف توزيعات البيانات بشكل كبير بين العملاء. وفي مثل هذه السيناريوهات، يكون من الصبح التمييز بين التحديثات السليمة (المتأثرة بعدم تجانس البيانات) والتحديثات الخبيثة.

تتبع معظم طرق التعلم الاتحادي المتينة بيزنطياً عملية من خطوتين: أولاً، تحديد وإزالة العملاء الخبيثين، وثانياً، تعيين أوزان تجميع موحدة للعملاء السليمين المتبقين. ويرى المؤلفون أن نهج التوزين الموحد هذا غير مثالي في البيئات غير المتجانسة. فبعد إزالة العملاء الخبيثين، قد لا تزال بيانات العملاء السليمين المتبقين تظهر توزيعات غير متوازنة (على سبيل المثال، فقدان بعض التصنيفات/Labels). إن تعيين أوزان موحدة يفشل في التكيف مع هذا الاختلال، مما قد يؤدي إلى تدهور دقة النموذج لعدم منح الأولوية الكافية للفئات غير الممثلة بشكل كافٍ.

المنهجية

يقترح البحث إطار عمل يُدعى FedLAW (التعلم الاتحادي بأوزان تجميع قابلة للتعلم)، وهو إطار مبتكر يعامل أوزان التجميع كمعاملات قابلة للتعلم بدلاً من كونها قيماً ثابتة أو تعيينات بسيطة ما بعد عملية التصفية.

1. صياغة المشكلة

صاغ المؤلفون هدف التعلم الاتحادي كمسألة تحسين مشتركة لكل من معاملات النموذج العالمي $\theta$ والأوزان $w$ :
$\min_{\theta \in \mathbb{R}^d, w \in \Delta^+_{t,\ell_0}} \sum_{i=1}^n w_i f_i(\theta)$
حيث $f_i(\theta)$ هي دالة الخسارة للعميل $i$ . يتم تقييد متجه الأوزان $w$ ضمن متعدد سطوح وحدة محدود بالندرة (sparse unit-capped simplex) $\Delta^+_{t,\ell_0}$ ، والذي يتم تعريفه بواسطة:

$\sum w_i = 1$ و $w_i \geq 0$ (قيود المتعدد السطوح القياسية).
$w_i \leq t$ (الحد من تأثير العميل الفردي).
$\|w\|_0 \leq s$ (قيد الندرة، مما يحد من عدد الأوزان غير الصفرية).

من خلال ضبط $t = 1/(n - b_f)$ و $s = n - b_f$ (حيث $b_f$ هو عدد العملاء البيزنطيين)، تجبر المنطقة الممكنة على استبعاد ما يصل إلى $b_f$ من العملاء (بجعل أوزانهم صفراً) مع توزيع الوزن المتبقي بالتساوي بين العملاء الـ $n - b_f$ المختارين. وهذا يحول المسألة الثنائية لـ "الاكتشاف والإزالة" إلى مسألة تحسين مستمرة.

2. الخوارزمية المقترحة

لحل عملية التحسين المشتركة غير المحدبة هذه، طور المؤلفون خوارزمية تقليل متبادل (alternating minimization algorithm) (الخوارزمية 2) تعتمد على هيكل تحسين متداخل:

الخطوة الداخلية (تحديث النموذج): بالنسبة للأوزان الثابتة $w$ ، يقرب الخادم دوال خسارة العميل باستخدام بدائل تربيعية ويحسب تحديث النموذج $\theta_{k+1}(w) = \theta_k - \alpha G_k w$ ، حيث تحتوي $G_k$ على تدرجات العملاء.
الخطوة الخارجية (تحديث الوزن): بالنسبة للنموذج المحدث، تقوم الخوارزمية بتحسين الأوزان $w$ لتقليل الهدف العالمي. تتضمن هذه الخطوة تقليل تقريب تربيعي لدالة الهدف بالنسبة لـ $w$ ، يليه إسقاط على المتعدد السطوح المحدود بالندرة والوحدة.

يعتمد تحديث الوزن على كل من معلومات الخسارة (لاكتشاف تسميم البيانات) ومحاذاة التدرج (لاكتشاف تسميم النماذج/هجمات التدرج العكسي). فالعملاء الخبيثون، الذين تنحرف تدرجاتهم عن الكتلة المتماسكة للعملاء السليمين، يتم تقليل أوزانهم طبيعياً أو استبعادهم بواسطة قيد الندرة.

3. بروتوكول الاتصال

تتطلب الخوارزمية جولتين من الاتصال لكل دورة تدريبية واحدة:

يبث الخادم $\theta_k$ ؛ ويعيد العملاء التدرجات والخسائر.
يحسب الخادم تحديثًا مؤقتًا $\tilde{\theta}_{k+1}$ ، ويبثه، ويعيد العملاء التدرجات والخسائر المحدثة لحساب تحديث الوزن النهائي وحالة النموذج التالية.
يشير المؤلفون إلى أنه رغم إضافة جولة واحدة، إلا أن التسارع في تقارب النموذج العالمي غالباً ما يعوض هذه التكلفة، مما يؤدي في النهاية إلى عدد جولات اتصال مماثل أو أقل للوصم إلى دقة مستهدفة.

المساهمات الرئيسية

صياغة تحسين مبتكرة: قدم البحث إطار عمل للتحسين المشترك حيث تكون أوزان التجميع معاملات قابلة للتعلم، مما يدمج الدفاع البيزنطي مباشرة في هدف التعلم بدلاً من معاملته كخطوة تصفية منفصلة.
تطوير الخوارزمية: تم اقتراح خوارزمية تقليل متبادل مع مؤثر إسقاط محدد للمتعدد السطوح المحدود بالندرة والوحدة، مما يضمن حساباً فعالاً للأوزان المتينة.
الضمانات النظرية:
- المقاومة البيزنطية: تثبت النظرية 2 أن المجمع المقترح هو مقاوم بيزنطي من نوع $(\zeta, b_f)$ باحتمالية عالية، مما يوفر حداً صريحاً للخطأ يتفكك إلى مصادر مثل عدم تجانس الخسارة، وعدم تجانس التدرج، وضجيج أخذ العينات.
- التقارب: تثبت النظرية 3 أن الخوارزمية تتقارب نحو منطقة قريبة من الحل الأمثل في كل من الحالات غير المحدبة والمحددة بقوة، مع تناسب نصف قطر الخطأ مع تأثير الخصم.
التحقق التجريبي: أظهرت التجارب المكثفة على مجموعتي بيانات MNIST و CIFAR-10 تحت خمسة أنواع من الهجمات (قلب التصنيفات Label Flipping، التدرج العكسي Inverse Gradient، الهجوم الخلفي Backdoor، الهجوم المزدوج Double Attack، وهجوم LIE) ومستويات متفاوتة من عدم تجانس البيانات تفوق الطريقة على الأساليب الأخرى.

النتائج التجريبية

قيم المؤلفون طريقة FedLAW مقابل أحدث الأساليب المرجعية (Krum, Trimmed Mean, Bulyan, CwMed, RFA, CClip, Huber Aggregator) عبر سيناريوهات متنوعة:

الأداء: تفوقت FedLAW باستمرار على الأساليب الموجودة، لا سيما في حالات عدم التجانس العالي ( $q=0.9$ ) والنسبة العالية من العملاء الخبيثين (تصل إلى 40%). على سبيل المثال، في ظل هجوم التدرج العكسي مع 40% من العملاء الخبيثين على MNIST، حققت FedLAW دقة اختبار أعلى بنسبة 3.6% من أفضل دفاع متبقٍ.
الاستقرار: على عكس الطرق الأخرى التي تدهورت أو عانت من انخفاضات حادة في الدقة تحت الهجمات الشديدة (مثل الهجوم المزدوج أو نسب LIE العالية)، حافظت FedFA على أداء متين مع تدهور تدريجي ومنتظم.
ديناميكيات الأوزان: أظهرت عمليات التصوير المرئي أن العملاء السليمين يتقاربون بسرعة إلى أوزان مستقرة وغير صفرية، بينما يتم قمع العملاء الخبيثين باستمرار إلى أوزان تقترب من الصفر خلال أول 20 دورة تدريبية.
الاكتشاف: أظهرت الطريقة دقة واستدعاءً عاليين في تحديد العملاء الخبيثين، مما أدى بفعالية إلى تحييد هجمات تسميم البيانات وتسميم النماذج.

الأهمية والادعاءات

يزعم البحث أن FedLAW تمثل تقدماً كبيراً في التعلم الاتحادي الآمن من خلال معالجة قيود التوزين الموحد في البيئات غير المتجانسة. ومن خلال دمج التوزين التكيفي في عملية التعلم، تحقق الطريقة:

تعزيز المتانة: فهي تحيد العملاء الخبيثين بفعالية دون الحاجة إلى معرفة مسبقة بعدد المهاجمين أو آليات تصفية معقدة.
العدالة والقدرة على التكيف: فهي توازن تكليفات العملاء السليمين بشكل تكيفي، مما يضمن أن عدم تجانس البيانات لا يؤدي إلى إهمال توزيعات بيانات معينة.
الرصانة النظرية: يوفر العمل ضمانات صارمة للتقارب والمقاومة، ويربط المقاومة الساكنة للمجمع بالاستقرار الديناميكي لخوارزمية التعلم.

يخلص المؤلفون إلى أن نتائجهم تسلط الضوء على فوائد دمج التجميع التكيفي في عملية التعلم، مما يمهد الطريق لنشر تعلم اتحادي أكثر أماناً وإنصافاً في بيئات واقعية غير متجانسة ومعادية.