🤖 machine learning

Fed-BAC: Federated Bandit-Guided Additive Clustering in Hierarchical Federated Learning

تقترح هذه الورقة Fed-BAC، وهو إطار عمل للتعلم الاتحادي الهرمي يدمج التخصيص العنقودي الجمعي مع آلية "بانديت" (bandit) ثنائية المستوى لتحسين تخصيص الخادم إلى العناقيد واختيار العملاء بشكل مشترك، مما يحقق مكاسب كبيرة في الدقة، وتسارعاً في التقارب، وتحسناً في العدالة في ظل عدم تجانس البيانات الشديد.

المؤلفون الأصليون: Satwat Bashir, Tasos Dagiuklas, Muddesar Iqbal

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Satwat Bashir, Tasos Dagiuklas, Muddesar Iqbal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل فصلاً درسيًا عالميًا ضخمًا حيث يريد آلاف الطلاب (العملاء) تعلم موضوع ما معًا، لكنهم منتشرون في مدن مختلفة. في الإعداد التقليدي، سيتعين على كل طالب إرسال واجبه المنزلي مباشرة إلى المعلم الرئيسي في المدرسة المركزية (السحابة/Cloud). هذا يخلق ازدحامًا مروريًا، ويجعل المعلم مثقلاً بالأعباء.

التعلم الاتحادي الهرمي (HFL) يشبه توظيف مدرسين خصوصيين محليين (خوادم الحافة/Edge Servers) في كل مدينة. يقوم المدرسون المحليون بجمع الواجبات من طلابهم، وتصحيحها، ثم يرسلون ملخصًا إلى المعلم الرئيسي، مما يقلل من حركة المرور.

ومع ذلك، هناك مشكلة: فخ "المقاس الواحد الذي يناسب الجميع".
في العالم الحقيقي، يتعلم الطلاب في المدن المختلفة بطرق مختلفة. البعض بارع في الرياضيات ولكنه سيء في الفن؛ والبعض الآخر عكس ذلك تمامًا. إذا أجبر المدرس المحلي جميع الطلاب على التعلم من نفس الكتاب المدرسي "المتوسط" بالضبط، فسيشعر العباقرة في الرياضيات بالملل، وسيشعر محبو الفن بالتشتت. وهذا ما يسمى عدم تجانس البيانات (Data Heterogeneity).

تحاول الطرق الموجودة إصلاح ذلك عن طريق تجميع الطلاب في فصول دراسية منفصلة (Clusters)، لكنها غالبًا ما تسوء في أمرين:

إنها تنشئ فصولًا دراسية معزولة حيث لا يتم مشاركة أي معرفة بين المجموعات.
إنها تختار الطلاب الذين تستدعيهم بشكل عشوائي، مما يهدر الوقت على الطلاب الذين لا يتعلمون بشكل جيد.

ادخلوا عالم Fed-BAC: الفصل الدراسي الذكي والمتكيف

تقترح الورقة البحثية نظامًا جديدًا يسمى Fed-BAC. فكر في Fed-BAC كأنه نظام تعليمي فائق الذكاء يستخدم نوعين من "استراتيجيات المقامرة" (تسمى Bandits) لاتخاذ القرارات، مدمجة مع طريقة تدريس فريدة.

1. نظام "المقامر" ذو المستويين

يستخدم Fed-BAC صانعي قرار مختلفين لحل فوضى الفصل الدراسي:

معلم السحابة (المقامر السياقي - Contextual Bandit):
تخيل أن المعلم الرئيسي لديه كرة بلورية سحرية. كل بضعة أسابيع، ينظر المعلم إلى المدرسين المحليين ويسأل: "أي مجموعة من المدرسين يجب أن تعمل معًا؟"
بدلاً من التخمين، يستخدم المعلم استراتيجية تسمى LinUCB. ينظر المعلم إلى أربعة أدلة (مثل مدى جودة أداء المجموعة الحالية، ومدى توازن المجموعات، وما إلى ذلك) ليقرر أي المدرسين يجب أن يكونوا في نفس "مجموعة الدراسة". إذا لم تكن المجموعة تعمل بشكل جيد، يقوم المعلم بإعادة توزيعهم في مجموعة جديدة. هذا يضمن عمل المدرسين المناسبين معًا.
المدرس المحلي (منتقي "أخذ عينات تومسون" - Thompson Sampling):
داخل كل مدينة، يتعين على المدرس المحلي أن يقرر أي 8 طلاب من أصل 10 سيشاركون في الدرس القادم.
بدلاً من الاختيار العشوائي، يستخدم المدرس استراتيجية تسمى Thompson Sampling. فكر في الأمر كأنه آلة قمار (Slot Machine). يحتفظ المدرس بسجل ذهني لكل طالب؛ فإذا تحسن الواجب المنزلي للطالب ورفع متوسط الفصل، يمنحه المدرس "فوزًا" ويكون من المرجح اختياره في المرة القادمة. أما إذا تعثر الطالب، فيمنحه المدرس "خسارة" ويختار شخصًا آخر. بمرور الوقت، يتعلم المدرس بالضبط من هم الطلاب الذين يساهمون أكثر ويركز عليهم.

2. الكتاب المدرسي "المشترك + الخاص" (التجميع الإضافي - Additive Clustering)

هذا هو الجزء الأكثر إبداعًا. معظم الأنظمة تستخدم إما كتابًا مدرسيًا واحدًا كبيرًا للجميع أو كتابًا مدرسيًا مختلفًا تمامًا لكل مجموعة. يقوم Fed-BAC بكليهما في آن واحد.

تخيل أن كل طالب يحصل على كتاب مدرسي أساسي (الشبكة العالمية - Global Network) يغطي الحقائق المشتركة التي يحتاجها الجميع. وفوق ذلك، يحصل كل طالب على دفتر ملاحظات مخصص (الشبكة الخاصة بالمجموعة - Cluster-Specific Network) حيث يدون الحيل والاختصارات المحددة التي تناسب أسلوبه المحلي.

لماذا هذا رائع؟ "الكتاب الأساسي" يسمح للمجموعات المختلفة بمشاركة المعرفة المشتركة (حتى لا يعيدوا اختراع العجلة)، بينما يسمح "الدفتر المخصص" لهم بالتعامل مع اختلافاتهم المحلية الفريدة. إنه يشبه امتلاك لغة عالمية بالإضافة إلى لهجة محلية.

ماذا وجدوا؟ (النتائج)

اختبر الباحثون هذا النظام على ثلاثة "مواضيع" مختلفة (مجموعات بيانات: CIFAR-10، SVICN، Fashion-MNIST) مع مستويين من الصعوبة:

صعوبة متوسطة: الطلاب مختلفون نوعًا ما.
صعوبة شديدة: الطلاب مختلفون جدًا (بعضهم متناقض تمامًا).

إليك ما حدث:

يصبح أفضل عندما تصبح الأمور فوضوية: كلما زاد اختلاف الطلاب (الصعوبة الشديدة)، تفوق Fed-BAC على المنافسين بشكل ساحق. بينما عانت الأنظمة الأخرى وانخفضت درجاتها، ارتفعت درجات Fed-BAC بالفعل. لقد أثبت أن نهج "المشترك + الخاص" مثالي للبيانات الفوضوية في العالم الحقيقي.
إنه سريع كالبرق: وصل Fed-BAC إلى دقة عالية بسرعة تتراوح بين 1.5 إلى 4.8 مرة أسرع من الطرق الأخرى. لم يكن بحاجة لانتظار الجميع حتى ينتهوا؛ فمن خلال اختيار أفضل الطلاب (عبر المدرس المحلي) وإعادة تنظيم المجموعات بكفاءة (عبر معلم السحابة)، تعلم النظام بسرعة.
يوفر الطاقة (نوعًا ما): على الرغم من أن Fed-BAC طلب من 80% فقط من الطلاب المشاركة في كل جولة (مما يوفر الطاقة وعرض النطاق الترددي)، إلا أنه لا يزال يتفوق على الأنظمة التي تفرض مشاركة بنسبة 100%.
العدالة: في الأنظمة القديمة، تُرك بعض الطلاب (الخوادم) في الخلف بدرجات سيئة للغاية. ضمن Fed-BAC أن حتى "أسوأ" طالب في الفصل حقق نتائج أفضل من "متوسط" الطلاب في الأنظمة الأخرى.

الخلاصة

Fed-BAC يشبه فصلًا درسيًا لا يتوقف أبدًا عن تحسين نفسه. فهو يعيد تنظيم مجموعات الدراسة باستمرار لإيجال أفضل التطابقات، ويختار الطلاب الأكثر فائدة لقيادة النقاش. ومن خلال الجمع بين أساس مشترك وملاحظات مخصصة، فإنه يتعلم بشكل أسرع، ويتعامل مع الفوضى بشكل أفضل، ويضمن عدم تخلف أحد عن الركب، كل ذلك باستخدام موارد أقل من الطرق القديمة.

ملخص تقني: Fed-BAC

بيان المشكلة

تستفيد التعلم الاتحادي الهرمي (HFL) من خوادم الحافة لإجراء تجميع جزئي، مما يقلل من اختناقات الاتصال في بيئات الحوسبة متعددة الوصول عند الحافة (MEC). ومع ذلك، تواجه طرق HFL الحالية ثلاث قيود حرجة عند التعامل مع عدم تجانس البيانات في العالم الحقيقي:

الافتراضات الساكنة: تفترض معظم الطرق وجود توزيعات بيانات متجانسة عبر خوادم الحافة، مما يؤدي إلى "انحراف العميل" (client drift) وتدهور الدقة (بنسبة تصل إلى 20%) عند تجميع التحديثات من عملاء ذوي توزيعات تسميات متباينة.
التجميع المعزول: بينما تقوم أساليب التعلم الاتحادي المجمّع (مثل IFCA) بتجميع العملاء المتشابهين، إلا أنها عادة ما تدرب نماذج معزولة تمامًا، مما يمنع انتقال المعرفة بين المجموعات (cross-cluster knowledge transfer).
الاختيار غير الفعال: غالبًا ما يكون اختيار العميل عشوائيًا أو ثابتًا. وتعمل أساليب "البانديت" (bandit) الموجودة في البنى المسطحة، وتفشل في تحسين تخصيص المجموعات واختيار العملاء بشكل مشترك عبر الطوبولوجيا ثلاثية المستويات (السحابة-الحافة-العميل).

علاوة على ذلك، فإن طرق التخصيص التي تحتفظ ببواقي لكل عميل (مثل Ditto وAPFL) تسبب عبئًا في المعلمات قدره $O(N)$ ، وهو أمر غير عملي عند التوسع ويزيد من تكاليف الاتصال في الأنظمة ثلاثية المستويات.

المنهجية: إطار عمل Fed-BAC

يقترح البحث Fed-BAC (التعلم الاتحادي الموجه بالبانديت للتجميع الجمعي)، وهو إطار عمل يدمج التخصيص الجمعي الجمعي مع بنية اتخاذ قرار ثنائية المستوى تعتمد على البانديت.

1. التخصيص الجمعي المضاف (Additive Cluster Personalization)

بدلاً من تدريب نماذج مجموعات معزولة، يستخدم Fed-BAC تفكيكًا جمعيًا في فضاء الـ (logit). يتم تعريف الـ $\hat{y}$ (اللوجيت المتوقع) لعميل في مجموعة $k$ كالتالي:
$\hat{y} = h(x; \Theta_{global}) + f(x; \Theta_k)$

$\Theta_{global}$ : شبكة عالمية مشتركة تلتقط المعرفة العامة عبر جميع الخوادم.
$\Theta_k$ : شبكة خاصة بالمجموعة تلتقط اختلافات التوزيع.
تسمح هذه البنية لجميع خوادم الحافة $M$ بالمساهمة في النموذج العالمي في كل جولة، مما يتيح انتقال المعرفة بين المجموعات مع الحفاظ على التخصص من خلال البواقي الخاصة بكل مجموعة.

2. إطار عمل البانديت ثنائي المستوى

يقوم Fed-BAC بفصل عملية اتخاذ القرار إلى مستويين لمعالحة الطوبولوجيا ثلاثية المستويات:

مستوى السحابة (تخصيص المجموعات): يستخدم Contextual LinUCB لتعيين خوادم الحافة ديناميكيًا إلى المجموعات.
- الميزات السياقية: يستخدم البانديت أربع ميزات خاصة بالتعلم الاتحادي: نسبة الخسارة (الحالية مقابل أفضل مجموعة بديلة)، توازن المجموعة، استقرار التعيين، والتقدم في التدريب.
- الآلية: كل $\tau_{re}$ جولة، تقيم السحابة مدى ملاءمة كل خادم لمجموعته الحالية مقابل البدائل. إذا أشارت نسبة خسارة الخادم إلى ملاءمة أفضل في مكان آخر، يتم تحديث التعيين. هذا يمنع "سلوك القطيع" ويسمح للنظام باكتشاف العدد الأمثل للمجموعات النشطة ( $K \le M$ ).
مستوى الحافة (اختيار العملاء): يستخدم أخذ عينات تومسون (Thompson Sampling - TS) في كل خادم حافة لاختيار مجموعة فرعية من العملاء ( $B$ من أصل $N_m$ ) للمشاركة.
- الآلية: يحافظ كل خادم على توزيع "بيتا" (Beta distribution) مسبق لكل عميل. بناءً على تغير دقة الجولة الواحدة ( $r_{TS}$ ) لنموذج المجموعة الخاص بالخادم، يتم تحديث التوزيعات اللاحقة.
- الهدف: تحديد العملاء ذوي المساهمة العالية ديناميكيًا، مما يقلل من عبء الاتصال مع الحفاظ على أداء النموذج.

3. بروتوكول التدريب

يعمل النظام في جولات متزامنة تتضمن:

التوزيع: ترسل السحابة $\Theta_{global}$ و $\Theta_k$ المحدد إلى كل خادم حافة.
الاختيار والتدريب: تستخدم خوادم الحافة تقنية TS لاختيار العملاء، الذين يقومون بإجراء SGD محلي على كلتا الشبكتين.
التجميع:
- تجميع الحافة: المتوسط الموزون لتحديثات العملاء.
- تجميع السحابة: تحديث على مرحلتين. أولاً، تجميع عالمي لـ $\Theta_{global}$ من جميع الخوادم (باستخدام إجمالي أحجام بيانات الخوادم، وليس فقط المجموعات المختارة). ثانيًا، تجميع خاص بالمجموعة لكل مجموعة نشطة لـ $\Theta_k$ .

المساهمات الرئيسية

بنية بانديت ثنائية المستوى: نظام قرار هرمي مبتكر يفصل تخصيص المجموعات (LinUCB في السحابة) عن اختيار العملاء (Thompson Sampling في الحافة). يسمح هذا بوجود ترددات تحديث مختلفة تناسب الأطر الزمنية لكل قرار.
التخصيص الجمعي المدمج: أول دمج للتخصيص الجمعي المضاف ضمن بنية HFL ثلاثية المستويات. على عكس IFCA التي تعزل المجموعات، يشارك Fed-BAC هيكلًا عالميًا، مما يسهل انتقال المعرفة بين المجموعات.
التحسين المشترك: يقوم إطار العمل بتحسين تخصيص المجموعات واختيار العملاء بشكل مشترك، معالجًا الفجوة حيث تتعامل الطرق الحالية مع هذه المهام بشكل منفصل أو تفترض تكوينات ثابتة.

النتائج التجريبية

أُجريت التجارب على ثلاثة معايير (CIFAR-10، SVHN، Fashion-MNIST) تحت تقسيم غير متماثل (non-IID) من نوع ديريكليه (Dirichlet) متوسط ( $\alpha=0.5$ ) وشديد ( $\alpha=0.1$ ).

مكاسب الدقة: حقق Fed-BAC مكاسب في الدقة الموزعة تصل إلى +35.5 نقطة مئوية مقارنة بـ HierFAVG و +8.4 نقطة مئوية مقارنة بـ IFCA.
الحساسية لعدم التجانس: زادت ميزة أداء Fed-BAC مع زيادة شدة عدم تجانس البيانات. تحت عدم التجانس الشديد ( $\alpha=0.1$ )، تدهور أداء HierFAVG بشكل كبير، بينما حافظ Fed-BAC على دقة عالية.
الكفاءة: رغم اشتراط مشاركة 80% فقط من العملاء ( $p=0.8$ )، تقارب Fed-BAC بسرعة أكبر بمقدار 1.5–4.8 مرة من النماذج المرجعية اعتمادًا على مجموعة البيانات والدقة المستهدفة. نتج عن هذا التسريع انخفاض بنسبة 3.0 إلى 5.9 ضعف في إجمالي بايتات الاتصال للوصول إلى أهداف الدقة التمثيلية.
القابلية للتوسع: أكدت دراسة التوسع على CIF-10 مع 500 عميل (مقياس 5 أضعاف) أن Fed-BAC يحتفظ بتفوقه على HierFAVG (+12.6pp) و IFCA (+3.3pp)، مما يثبت متانته عند مقاييس النشر الأكبر.
العدالة: أظهر Fed-BAC تحسنًا في العدالة عبر الخوادم، حيث أظهر تباينًا أقل في دقة كل خادم مقارنة بـ IFCA و HierFAVG، خاصة تحت ظروف عدم التجانس الشديد.

الأهمية والادعاءات

يزعم البحث أن Fed-BAC يعالج التحديات الحرجة المتمثلة في عدم التجانس الإحصائي وكفاءة الاتصال في التعلم الاتحادي الهرمي. من خلال الجمع بين التفكيك الجمعي (الذي يتيح مشاركة المعرفة) مع القرارات التكيفية الموجهة بالبانديت (لتحسين هيكل المجموعات ومشاركة العملاء)، يتفوق إطار العمل على الأساليب الحالية المتطورة.

يؤكد المؤلفون أن نهج التخصيص الجمعي يصبح أكثر قيمة مع تباعد توزيعات البيانات، مما يؤكد أن مشاركة هيكل عالمي مع الحفاظ على بواقي خاصة بالمجموعات هو أمر متفوق على التجميع المعزول تمامًا. تشير النتائج إلى أن Fed-BAC يوفر حلاً قابلاً للتوسع لنشر MEC حيث يكون عدم تجانس البيانات شديدًا وموارد الاتصال محدودة.

يختتم البحث بتواضع، مشيرًا إلى أن التقييم الحالي يستخدم معدل مشاركة واحد، وأن العمل المستقبلي يجب أن يستكشف المسحات المنهجية لمعدلات المشاركة، ومنصات اختبار الأجهزة الطرفية في العالم الحقيقي، وضمانات التقارب الرسمية لنظام البانديت غير المستقر المقترن.