🤖 machine learning

A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions

المؤلفون الأصليون: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

المؤلفون الأصليون: Antonios Makris, Christos Dousis, Emmanouil Kritharakis, Stavros Bouras, Konstantinos Tserpes

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مجموعة من الأصدقاء يحاولون حل لغز ضخم معاً، لكن لا يمكنهم مشاركة قطع اللغز الفعلية الخاصة بهم. بدلاً من ذلك، يعمل كل منهم على قسمه الخاص، ويكتب ملخصاً قصيراً لما تعلمه، ويرسل تلك الملاحظات فقط إلى "قائد الفريق". يقوم القائد بعد ذلك بدمج جميع الملاحظات لإنشاء دليل شامل للجولة التالية. هذا هو التعلم الاتحادي (Federated Learning): وهي طريقة تمكن الحواسيب من التعلم معاً دون مشاركة بياناتها الخاصة أبداً.

السؤال الكبير الذي يطرحه هذا البحث هو: كيف يجب على قائد الفريق دمج هذه الملاحظات؟

إذا قام القائد بمجرد أخذ متوسط بسيط لجميع ملاحظات الأصدقاء، فهل يعمل ذلك بشكل أفضل؟ أم يجب عليه استخدام طريقة أكثر تعقيداً للتعامل مع حقيقة أن بعض الأصدقاء قد يعملون على أجزاء مختلفة تماماً من اللغز (بعضهم لديه قطع سماء في الغالب، والآخرون لديهم قطع عشب في الغالب)؟

إليك تفصيل لنتائج الدراسة باستخدام تشبيهات من الحياة اليومية:

المتسابقون: طرق مختلفة لدمج الملاحظات

اختبر الباحثون عدة "استراتيجيات" يمكن للقائد استخدامها لدمج تحديثات الأصدقاء:

FedAvg (المتوسط البسيط): يأخذ القائد كل ملاحظة ويحسب متوسطاً مباشراً. إنه سريع وسهل، مثل عملية تصويت سريعة.
FedAvgM (الحافظ على الزخم): يتذكر القائد ما قرره الفريق في المرة الماضية ويستخدم ذلك "الزخم" لتنعيم الملاحظات الجديدة. إنه مثل العداء الذي يحافظ على خطوته ثابتة حتى عندما تصبح التضاريس وعرة.
FedAdam و FedAdagrad (المتعلمون التكيفيون): هؤلاء القادة أذكياء. فهم يعدلون مقدار استماعهم لكل شخص بناءً على مدى ثقة ذلك الشخص. إذا كانت الملاحظة مربكة، فإنهم يعدلون سرعة التعلم. إنهم مثل المدرب الذي يغير خطة التدريب بناءً على شعور كل رياضي في ذلك اليوم.
FedMedian (المُرشِّح): بدلاً من حساب المتوسط، ينظر هذا القائد إلى جميع الملاحظات ويختار القيمة "الوسطى"، متجاهلاً القيم المتطرفة. إذا أرسل أحد الأصدقاء ملاحظة غريبة تقول "السماء خضراء"، فإن القائد يتجاهلها لأنها قيمة متطرفة. هذا رائع لتصفية الضجيج أو الجهات الفاعلة السيئة.
FedProx (المُقيِّد): يخبر هذا القائد الأصدقاء: "لا تبتعدوا كثيراً عن الخطة الأخيرة". فهو يضيف قاعدة لإبقاء التعلم المحلي لكل فرد قريباً من الهدف الرئيسي للمجموعة، مما يمنع أي شخص من الانحراف بعيداً جداً.
DP (حارس الخصوصية): يضيف هذا القائد طبقة من "الضجيج الساكن" إلى الملاحظات قبل دمجها لضمان عدم قدرة أي شخص على تخمين قطع اللغز الأصلية. إنه يشبه الهمس بالملاحظات عبر مروحة بحيث يصعب سماع الكلمات بدقة.

ظروف الاختبار: ألغاز سهلة مقابل صعبة

اختبر الباحثون هؤلاء القادة في سيناريوهين:

المتجانس (IID): الجميع لديهم مزيج متشابه من قطع اللغز (على سبيل المثال، الجميع لديه القليل من السماء، والعشب، والأشجار). هذا يشبه فصلاً دراسياً حيث يدرس الجميع من نفس الكتاب المدرسي.
غير المتجانس (Non-IID): الجميع لديهم قطع مختلفة تماماً (على سبيل المثال، صديق واحد لديه سماء فقط، وآخر لديه أشجار فقط). هذا يشبه فصلاً دراسياً حيث درس طالب واحد التاريخ بينما درس آخر الرياضيات فقط.

وقد اختبروا ذلك على ثلاثة "ألغاز" (مجموعات بيانات):

MNIST & FMNIST: ألغاز بسيطة (أرقام مكتوبة بخط اليد).
CIFAR-10: لغز أصعب وأكثر تعقيداً (صور ملونة لحيوانات وأشياء).

ما وجدوه (النتائج)

1. لا يوجد "قائد واحد يناسب الجميع".
تماماً كما لا تستخدم نفس الأداة لإصلاح ساعة وبناء منزل، لم تنجح استراتيجية واحدة في الفوز دائماً.

في الألغاز البسيطة (MNIST): كان المتعلمون التكيفيون (FedAdam) هم النجوم. لقد تعلموا بشكل أسرع وحصلوا على أعلى الدرجات، حتى عندما كانت البيانات غير منظمة.
في الألغاز المعقدة (CIFAR-10): عانى الجميع أكثر، لكن المتوسط البسيط (FedAvg) والمُقيِّد (FedProx) صمدا بشكل جيد معقول. أما المتعلمون التكيفيون فقد ارتبكوا بسبب التعقيد وأداؤهم كان أسوأ.
عندما كانت البيانات غير منظمة (Non-IID): كان المُرشِّح (FedMedian) مستقراً للغاية. لم يختل توازنه بسبب البيانات الغريبة، رغم أنه استغرق وقتاً أطول قليلاً لترتيب كل شيء.

2. "حارس الخصوصية" (DP) له تكلفة باهظة.
الاستراتيجية التي أضافت الضجيج لحماية الخصوصية (DP) أدت إلى نتائج سيئة جداً. إنه يشبه محاولة حل لغز أثناء ارتداء نظارات ضبابية سميكة؛ لا يمكنك رؤية القطع بوضوح كافٍ لتجميعها معاً. يشير البحث إلى أنه بينما يحمي الخصوصية، فإنه يضر بقدرة النموذج على التعلم بفعالية.

3. المقايضة بين السرعة والدقة.

السرعة: كانت الاستراتيجيات البسيطة (FedAvg) هي الأسرع في دمج الملاحظات. أما الاستراتيجيات المعقدة (مثل المرشح أو حارس الخصوصية) فاستغرقت وقتاً أطول قليلاً للمعالجة، لكن الفرق كان ضئيلاً.
الدقة: الاستراتيجيات "الذكية" (التكيفية) كانت رائعة للمهام البسيطة ولكنها تعثرت أحياناً في المهام المعقدة. أما الاستراتيجيات "الثابتة" (FedProx) فكانت موثوقة ولكنها لم تصل دائماً إلى أعلى درجة.

الخلاصة

يخلص البحث إلى أنه لا يمكنك مجرد اختيار طريقة واحدة "أفضل" لدمج تحديثات التعلم.

إذا كانت بياناتك بسيطة ومتشابهة، استخدم المتعلمين التكيفيين.
إذا كانت بياناتك غير منظمة أو لديك قيم متطرفة غريبة، فإن المُرشِّح (Median) أو المُقيِّد (Prox) أكثر أماناً.
إذا كنت بحاجة إلى حماية الخصوصية، فاستعد لانخفاض كبير في الأداء.

الخيار "الأفضل" يعتمد كلياً على مدى تعقيد لغزك، ومدى اختلاف بيانات أصدقائك، ومدى تقديرك للسرعة مقابل الدقة. لا توجد رصاصة سحرية تعمل بشكل مثالي في كل موقف.

ملخص تقني: دراسة مقارنة لاستراتيجيات تجميع التعلم الاتحادي تحت توزيعات البيانات المتجانسة وغير المتجانسة

بيان المشكلة

لقد برز التعلم الاتحادي (Federated Learning) كنموذج للتعلم الآلي التعاوني الذي يحافظ على خصوصية البيانات من خلال إبقاء البيانات الخام محلية على أجهزة العملاء. ومع ذلك، يعتمد أداء أنظمة التعلم الاتحادي بشكل حاسم على استراتيجية التجميع (aggregation strategy) المستخدمة من قبل الخادم المركزي لدمج تحديثات النماذج المحلية. وبينما تعاني طرق التعلم المركزي التقليدية من مخاوف الخصوصية وعبء الاتصال، ويفتقر التعلم المنعزل على الأجهزة إلى القدرة على التعميم، يواجه التعلم الاتحادي تحديات محددة تتعلق بـ عدم تجانس البيانات (التوزيعات غير المتماثلة - non-IID).

المشكلة الجوهرية التي تتناولها الدراسة هي الافتقار إلى فهم شامل لكيفية أداء آليات التجميع المختلفة تحت درجات متفاوتة من عدم تجانس البيانات. وتتراوح الاستراتيجيات الحالية بين المتوسط البسيط والمقدرات القوية والمحسنات التكيفية، ومع ذلك، فإن مقايضاتها فيما يتعلق بدقة التعلم، واستقرار التقارب، وكفاءة النظام (الحوسبة ووقت الاتصال) ليست مشخصة بالكامل عبر مجموعات البيانات والإعدادات التوزيعية المتنوعة.

المنهجية

أجرى المؤلفون تقييماً تجريبياً شاملاً يقارن بين سبع استراتيجيات تجميع مستخدمة على نطاق واسع وحديثة في التعلم الاتحادي:

FedAvg: المتوسط المرجح بحجم البيانات القياسي.
FedAvgM: طريقة FedAvg مع إضافة زخم (momentum) من جانب الخادم.
FedAdam: تحسين تكيفي باستخدام Adam في جانب الخادم.
FedAdagrad: تحسين تكيفي باستخدام Adagrad في جانب الخادم.
FedMedian: تجميع قوي باستخدام الوسيط لكل عنصر.
FedProx: التجميع باستخدام حد تنظيم تقريبي (proximal regularization) للحد من الانحراف المحلي.
الخصوصية التفاضلية (DP) من جانب الخادم: قص تكيفي (adaptive clipping) مع حقن الضجيج من أجل الخصوصية.

الإعداد التجريبي:

مجموعات البيانات: MNIST، وFMNIST، وCIFAR-10.
التوزيعات: تقسيمات بيانات متجانسة (IID) وغير متجانسة (non-IID) تم إنشاؤها باستخدام توزيع ديريكليه بمعامل تركيز $\alpha = 0.5$ .
التكوين: تم إجراء المحاكاة باستخدام إطار العمل Flower مع 10 عملاء على مدار 25 جولة اتصال. كما أُجريت تجربة ثانوية واسعة النطاق باستخدام 20 عميلاً و50 جولة على مجموعة بيانات MNIST للتحقق من الاتساق.
النماذج: شبكات عصبية تلافيفية (CNN) مصممة خصيصاً لمجموعات البيانات المحددة.
المحسنات: استخدمت عملية التدريب من جانب العميل Adam (الذي اختير لتفوقه في التقارب على SGD).
المقاييس:
- أداء التعلم: الدقة المركزية (Centralized Accuracy) والخسارة (Loss).
- كفاءة النظام: وقت التجميع، ووقت التدريب، ووقت الاتصال لكل جولة.

المساهمات والنتائج الرئيسية

1. تأثير عدم تجانس البيانات

تؤكد الدراسة أن عدم تجانس البيانات (non-IID) يؤدي باستمرار إلى تدهور أداء النموذج مقارنة بإعدادات IID عبر جميع الاستراتيجيات. ويظهر هذا التدهور بشكل أوضح في مجموعة بيانات CIFAR-10 الأكثر تعقيداً. وبينما تعاني جميع الاستراتيجيات من انخفاض في الدقة وزيادة في الخسارة في بيئات non-IID، فإن حجم هذا الانخفاض يختلف بشكل كبير باختلاف الخوارزمية.

2. أداء الاستراتيجيات النوعية

الطرق التكيفية (FedAdam, FedAdagrad):
- حققت FedAdam أعلى دقة في MNIST تحت كل من ظروف IID وnon-IID، مما أظهر فعالية معدلات التعلم التكيفية في استقرار التحسين تحت عدم التجانس المتوسط. ومع ذلك، تدهور أداؤها بشكل كبير في CIFAR-10، مما يشير إلى حساسيتها تجاه تعقيد البيانات العالي.
- تبعت FedAdagrad اتجاهاً مشابهاً ولكنها أظهرت عموماً دقة أقل في FMNIST وCIFAR-10 مقارنة بالاستراتيجيات الأخرى، ويرجع ذلك على الأرج𝓱 إلى أن اضمحلال معدل التعلم المتأصل في Adagrad يحد من القدرة على التكيف مع المهام المعقدة.
طرق المتانة والتنظيم (FedMedian, FedProx):
- أظهرت FedMedian أعلى دقة في FMNIST تحت كلا التوزيعين. وقد نجح التجميع القائم على الوسيط في التخفيف من تأثير تحديثات العملاء المنحرفة، مما وفر أداءً مستقراً. وكانت المقايضة هي وقت تجميع أعلى قليلاً بسبب عمليات الفرز.
- وفرت FedProx أداءً مستقراً ومتسقاً عبر جميع مجموعات البيانات، حيث عملت كنهج "متوسط". وقد نجح الحد التقريبي في كبح الانحراف المحلي بفعالية، مما أفاد الأداء بشكل خاص في CIFAR-10.
الطرق القياسية وطرق الزخم (FedAvg, FedAvgM):
- عملت FedAvg كخط أساس فعال حوسبياً، حيث أدت أداءً جيداً في MNIST وFMNIST ولكنها واجهت صعوبات في CIFAR-10.
- أظهرت FedAvgM دقة عالية في ظروف IID، لكنها شهدت تدهوراً ملحوظاً في إعدادات non-IID (خاصة في MNIST). تشير النتائج إلى أن الزخم من جانب الخادم يمكن أن يضخم اتجاهات التدرج المنحرفة عندما تكون تحديثات العملاء مشوهة، مما يؤدي إلى تقارب غير مستقر.
الخصوصية (DP):
- أظهرت استراتيجية DP (القص التكيفي مع حقن الضجيج) دقة أقل بكثير عبر جميع مجموعات البيانات والتوزيعات. فالضجيج المدخل لضمان الخصوصية أضعف إشارة التعلم بشكل كبير، مما منع التقارب الفعال. بالإضافة إلى ذلك، تسببت في أعلى وقت تجميع بسبب عمليات القص وحقن الضجيج.

3. كفاءة النظام

وقت التجميع: ظل منخفضاً بشكل عام لمعظم الاستراتيجيات. سجلت FedAvg وFedAvgM أدنى قدر من العبء الإضافي. بينما سجلت FedMedian وDP أوقاتاً أعلى بسبب عمليات الفرز وحقن الضجيج على التوالي، إلا أن هذه لم تشكل عنق زجاجة للنظام في الإعدادات المختبرة.
وقت التدريب والاتصال: كانت هذه المقاييس مدفوعة في المقام الأول بتعقيد مجموعة البيانات وخصائص النموذج بدلاً من استراتيجية التجميع نفسها. وكانت الاختلافات بين الاستراتيجيات ضئيلة.
القابلية للتوسع: أكدت زيادة عدد العملاء (من 10 إلى 20) والجولات (من 25 إلى 50) الاتجاهات الملاحظة في الإعداد الأصغر. استمرت الطرق التكيفية في التفوق على غيرها، كما تقلصت الفجوة في الأداء بين IID وnon-IID قليلاً بالنسبة للطرق التكيفية، مما يشير إلى أن المزيد من جولات الاتصال تسمح بتعويض أفضل لعدم التجانس.

الأهمية والادعاءات

تخلص الورقة إلى أنه لا توجد استراتيجية تجميع واحدة تهيمن على جميع السيناريوهات. ففعالية الاستراتيجية تعتمد بشكل كبير على:

خصائص مجموعة البيانات: تؤثر درجة التعقيد (مثل CIFAR-10 مقابل MNIST) بشكل كبير على الخوارزمية التي تؤدي بشكل أفضل.
درجة عدم التجانس: قد تفشل استراتيجيات مثل FedAvgM في البيئات شديدة الانحراف، بينما توفر الطرق القوية مثل FedMedian أو التنظيم مثل FedProx استقراراً.
متطلبات النظام والخصوصية: هناك مقايضة واضحة بين ضمانات الخصوصية (DP) وفائدة النموذج.

يؤكد المؤلفون أن اختيار استراتيجية التجميع يجب أن يسترشد بالقيود التشغيلية وخصائص البيانات المحددة بدلاً من نهج "الحل الواحد المناسب للجميع". وتوفر الدراسة دليلاً تجريبياً على أنه بينما تتفوق الطرق التكيفية في حالات عدم التجانس المتوسطة، فإن المقدرات القوية أو التنظيم ضروريان للاستقرار في التوزيعات المنحرفة، وأن آليات الخصوصية تفرض حالياً تكلفة كبيرة على فائدة النموذج.

يتضمن العمل المستقبلي، كما أوضح المؤلفون، استكشاف آليات قوية أكثر تقدماً (مثل Krum وMulti-Krum) وتقييم هذه الاستراتيجيات في سيناريوهات نشر واقعية للتعلم الاتحادي.