🤖 machine learning

COSMOS: Model-Agnostic Personalized Federated Learning with Clustered Server Models and Pseudo-Label-Only Communication

يُعد COSMOS إطار عمل للتعلم الاتحادي الشخصي غير المرتبط بنموذج محدد، يعالج التباين الهيكلي والإحصائي من خلال تجميع العملاء بناءً على تنبؤات الملصقات الوهمية، وتدريب نماذج خادم خاصة بكل مجموعة، ثم تقطيرها مرة أخرى إلى العملاء، مما يحقق انكماشاً أسياً في مخاطر التخصيص وأداءً فائقاً على النماذج المرجعية الحالية.

المؤلفون الأصليون: Ben Rachmut, Luise Ge, William Yeoh, Ning Zhang, Yevgeniy Vorobeychik

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ben Rachmut, Luise Ge, William Yeoh, Ning Zhang, Yevgeniy Vorobeychik

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مسابقة طبخ عالمية ضخمة، حيث يحاول آلاف الطهاة (العملاء) تعلم كيفية إعداد الطبق المثالي. ولكن، هناك عقبة:

مطابخ مختلفة: كل طاهٍ لديه تجهيزات مطبخ مختلفة تمامًا. البعض لديهم أفران عالية التقنية، والبعض الآخر لديهم مواقد تعمل بالحطب، والبعض لديه ميكروويف فقط. لا يمكنهم مشاركة وصفاتهم الفعلية أو مكوناتهم بسبب قواعد الخصوصية أو الأسرار المهنية.
أذواق مختلفة: المكونات المتاحة للطاهي (أ) في طوكيو تختلف تمامًا عن تلك المتاحة للطاهي (ب) في نيويورك.
الهدف: الجميع يريد التعلم من بعضهم البعض ليصبحوا أفضل، لكن لا يمكنهم إرسال وصفاتهم الفعلية (معلمات النموذج - model parameters) إلى حكم مركزي لأن مطابخهم مختلفة جدًا للمقارنة المباشرة.

هذه هي المشكلة التي يحاول التعلم الاتحادي (Federated Learning) حلها. معظم الطرق الحالية تفشل هنا لأنها تفترض أن الجميع لديهم نفس نوع المطبخ أو يمكنهم مشاركة خطوات الوصفة الخاصة بهم.

إليك COSMOS، الإطار العملي الجديد المقترح في هذه الورقة البحثية. فكر في COSMOS كـ حكم رئيسي عبقري وذكي للغاية يدير المسابقة باستخدام حيلة ذكية.

كيف يعمل COSMOS: استراتيجية "اختبار المذاق"

بدلاً من مطالبة الطهاة بإرسال وصفاتهم السرية، يستخدم الحكم الرئيسي قائمة تذوق مشتركة وفارغة (مجموعة بيانات عامة غير مصنفة). إليك العملية خطوة بخพอخطوة:

1. الممارسة المحلية (تدريب العميل)
يمارس كل طاهٍ على مكوناته الخاصة والخاصة به. يطبخون بضعة أطباق، ثم يحاولون طبخ طبق من قائمة التذوق المشتركة. هم لا يرسلون الطعام؛ بل يكتفون بكتابة ما يعتقدون أن مذاق الطبق يجب أن يكون عليه (ملصق زائف - pseudo-label).

مثال توضيحي: ينظر الطاهي (أ) إلى صورة لبرجر ويكتب: "يجب أن يكون مذاقه مثل قطعة لحم بقري عصارية مع الجبن".

2. التجميع (Clustering)
يجمع الحكم الرئيسي كل أوصاف المذاق هذه. وبدلاً من النظر في الوصفات، ينظر الحكم إلى الأوصاف.

"مهلاً، الطاهي (أ)، والطاهي (ب)، والطاهي (ج) جميعهم وصفوا البرجر بأنه 'لحم بقري عصاري مع جبن'."
"لكن الطاهي (د) قال إن مذاقه يجب أن يكون 'دجاج حار مع مانجو'."
يقوم الحكم بتجميع الطهاة الذين لديهم أذواق متشابهة في مجموعات (Clusters). يحدث هذا تلقائيًا؛ فالحكم لا يحتاج لمعرفة عدد المجموعات مسبقًا.

3. الطاهي الماهر (تدريب الخادم)
لكل مجموعة، يقوم الحكم الرئيسي بإنشاء طاهٍ ماهر (نموذج خادم متخصص). يتم تدريب هذا الطاهي الماهر خصيصًا على "أوصاف المذاق" المجتمعة لتلك المجموعة.

مثال توضيحي: ينشئ الحكم "طاهيًا ماهرًا للحم البقري العصاري" للمجموعة 1، و"طاهيًا ماهرًا للدجاج الحار" للمجموعة 2. هؤلاء الطهاة المهرة أقوياء لأن لديهم إمكانية الوصول إلى الحكمة الجماعية للمجموعة بأكملها، لكنهم يعرفون فقط النمط الخاص بتلك المجموعة.

4. حلقة التغذية الراجعة (التقطير - Distillation)
يرسل الحكم الرئيسي أوصاف المذاق المنقحة من "الطاهي الماهر" إلى الطهاة الأفراد. يستخدم الطهاة بعد ذلك هذه الأوصاف المنقحة لتعديل أسلوب طبخهم المحلي.

مثال توضيحي: يتلقى الطاهي (أ) ملاحظة من "الطاهي الماهر للحم البقري العصاري" تقول: "في الواقع، أضف رشة ملح". يقوم الطاهي (أ) بتحديث أسلوب طبخه بناءً على هذه النصيحة.

لماذا يعد هذا أمرًا بالغ الأهمية؟

تزعم الورقة وجود ثلاث طفرات كبرى:

لا يوجد "مقاس واحد يناسب الجميع": على عكس الطرق السابقة، لا يهتم COSMOS إذا كان الطاهي (أ) لديه ميكروويف والطاهي (ب) لديه موقد حطب. يمكنهم استخدام أي "مطبخ" (بنية نموذج) يريدونه. كل ما عليهم فعله هو القدرة على وصف المذاق.
كفاءة هائلة: إرسال وصفة كاملة (معلمات النموذج) يشبه إرسال صندوق ثقيل بالبريد. أما إرسال وصف للمذاق (ملصق زائف) فهو يشبه إرسال بطاقة بريدية. تُظهر الورقة أن هذا يقلل من البيانات المرسلة عبر الشبكة بمقدار 10 إلى 100 مرة، مما يجعل العملية أسرع وأرخص بكثير.
الذكاء بشكل أسرع (الجزء الرياضي): أثبت المؤلفون رياضيًا أن هذه العملية لا تتحسن ببطء فحسب، بل تخلق "تأثير كرة الثلج". في كل مرة يتلقى فيها الطهاة ملاحظات من "الطاهي الماهر" الخاص بمجموعتهم، تنخفض احتمالية وقوعهم في الخطأ بشكل أسي. إنه يشبه الانتقال من مرحلة "التخمين" إلى مرحلة "المعرفة" بشكل أسرع بكثير من السابق.

الخلاصة

COSMOS هو وسيلة لمجموعة متنوعة من الأشخاص (أو أجهزة الكمبيوتر) للتعلم معًا دون الكشف أبدًا عن أسرارهم أو الحاجة إلى استخدام نفس الأدوات. من خلال استخدام "قائمة تذوق مشتركة" وتجميع الناس بناءً على آرائهم بدلاً من أدواتهم، فإنه يخلق خبراء متخصصين لكل نوع من المتعلمين، كل ذلك مع إرسال القليل جدًا من البيانات ذهابًا وإيابًا.

اختبرت الورقة COSMOS في مهام التعرف على الصور (مثل تحديد القطط والكلاب والسيارات)، ووجدت أن COSMOS يتفوق باستمرار على الطرق الأخرى، حتى عندما كان المشاركون يمتلكون نماذج حاسوبية وبيانات مختلفة تمامًا.

ملخص تقني: COSMOS

بيان المشكلة

يواجه التعلم الاتحادي (Federated Learning - FL) تحديات كبيرة في البيئات غير المتجانسة حيث تختلف العملاء ليس فقط في توزيع البيانات (عدم التجانس الإحصائي) ولكن أيضًا في بنية النموذج (عدم التجانس الهيكلي). وبينما تم تطوير طرق التعلم الاتحادي المخصص (Personalized Federated Learning - PFL) لتكييف النماذج مع كل عميل على حدة، تفترض معظم النهج الحالية التوافق الهيكلي أو تتطلب من العملاء الكشف عن بنيات نماذجهم المملوكة لهم. وهذا يخلق عائقًا عمليًا، حيث يرغب العملاء غالبًا في استخدام نماذج عشوائية أو مملوكة دون الكشف عن المعلمات (parameters) أو التدرجات (gradients).

تعتمد نهج التعلم الاتحادي غير المرتبطة بالنموذج (model-agnostic) الحالية، مثل FedMD وCOMET، على التواصل على مستوى المخرجات (مثل الملصقات الناعمة أو الصلبة) باستخدام مجموعة بيانات مشتركة غير مصنفة. ومع ذلك، تعاني هذه الطرق من قيود محددة:

التنسيق السلبي من جانب الخادم: غالبًا ما تعامل الخادم كمنسق سلبي، مما يؤدي إلى عدم الاستفادة من الموارد الحسابية للخادم للقيام بالتخصيص النشط.
التجميع الاستدلالي (Heuristic Clustering): تعتمد طرق مثل COMET على تجميع K-means، والذي يتطلب معرفة مسبقة بعدد المجموعات ( $K$ ) ويفتقر إلى آليات رسمية لضمانات التخصيص عندما يكون تنوع العملاء مرتفعًا.
الافتقار إلى الضمانات النظرية: تفتقر أدبيات الـ PFL غير المرتبطة بالنموذج الحالية عمومًا إلى ضمانات نظرية صارمة فيما يتعلق بانكماش المخاطر (risk contraction)، حيث تعتمد غالبًا على افتراضات مبسطة (مثل النماذج الخطية والتوزيعات الغاوسية) أو تقدم فقط نتائج التقارب القياسية نحو الثبات (convergence-to-stationarity).

المنهجية: إطار عمل COSMOS

يقترح المؤلفون COSMOS (نماذج الخادم المجمعة القائمة على المخرجات)، وهو إطار عمل PFL غير مرتبط بالنموذج يتيح التخصيص من جانب الخادم باستخدام التواصل عبر الملصقات الزائفة (pseudo-labels) فقط. يعمل هذا الإطار تحت افتراض أن العملاء يمتلكون بيانات مصنفة خاصة بهم، وتتوفر مجموعة بيانات عامة مشتركة وغير مصنفة $U$ (على سبيل المثال، بيانات تم جمعها من الويب أو بيانات اصطناعية).

يسير COSMOS في مرحلتين متمايزتين:

1. مرحلة التدريب المسبق والتجميع (PTC)

تؤسس هذه المرحلة الخريطة الأولية بين العميل والخادم والنماذج الخاصة بكل مجموعة:

التدريب المسبق المحلي: يقوم العملاء بتدريب نماذجهم المحلية $f_i$ على بياناتهم الخاصة $D_i$ ويولدون ملصقات زائفة على مجموعة البيانات العامة $U$ .
التجميع الجشع (Greedy Clustering): يقوم الخادم بتجميع العملاء بناءً على تشابه ملصقاتهم الزائفة على $U$ . وعلى عكس K-means، يستخدم COSMOS خوارزمية تجميع جشعة لا تتطلب تحديد $K$ مسبقًا. فهي تختار بشكل تكراري عميلًا يمتلك أكبر عدد من الجيران "القريبين" (ضمن عتبة مسافة $B_0$ ) لتشكيل مجموعة حتى يتم تعيين جميع العملاء. هذه العملية داخلية في إجراء التدريب.
التقطير من جانب الخادم (Server-Side Distillation): لكل مجموعة $G_k$ ، يقوم الخادم بتجميع الملصقات الزائفة من العملاء الأعضاء فيها لإنشاء توزيع متوسط للملصقات الزائفة. ثم يقوم بتدريب نموذج "معلم" (teacher) مخصص لتلك المجموعة $h_k$ باستخدام هذه الملصقات المجمعة ومع حد تنظيم محدد لضمان السلاسة المحلية والمتانة.
التقطير من جانب العميل (Client-Side Distillation): يتلقى العملاء الملصقات الزائفة من النموذج المعلم الخاص بمجموعتهم ويقومون بضبط نماذجهم المحلية بدقة باستخدام هذه الملصقات.

2. مرحلة الضبط الدقيق الاتحادي التكراري (IFFT)

بعد مرحلة PTC، يدخل النظام في حلقة تكرارية:

الضبط الدقيق المحلي: يقوم العملاء بتحسين نماذجهم على بياناتهم الخاصة المصنفة.
التقطير من جانب الخادم: يرسل العملاء الملصقات الزائفة المحدثة إلى الخادم. يقوم الخادم بتحديث نماذج المعلم الخاصة بالمجموعة بناءً على الملصقات الزائفة المجمعة الجديدة.
التقطيد من جانب العميل: يقوم العملاء بمزيد من الضبط الدقيق لنماذجهم باستخدام الملصقات الزائفة للمعلم المحدثة.

من الأهمية بمكان أن نماذج الخادم يتم تدريبها باستخدام حد تنظيم مشتق من نظرية التعلم شبه الخاضع للإشراف (SSL)، والذي يعاقب على عدم اتساق التنبؤات تحت التحويلات البيانية (مثل الدورات أو الإزاحات) لضمان المتانة.

المساهمات النظرية

تقدم الورقة أول تحليل نظري شامل لانكماش مخاطر التخصيص لـ PFL غير المرتبط بالنموذج. ومن خلال الاستفادة من أدوات نظرية SSL (تحديدًا الاتصال القائم على التوسع والخطأ المحدود للملصقات الزائفة)، يشتق المؤلفون شروطًا كافية لـ الانكماش الأسي للمخاطر (exponential risk contraction).

تشمل المكونات النظرية الرئيسية ما يلي:

الافتراضات: يفترض التحليل أوزان أهمية محدودة بين التوزيعات العامة والخاصة، وأهدافًا جيدة التكييف محليًا، و"هامش ثقة" حيث يكون العملاء واثقين في تنبؤاتهم على البيانات العامة. كما يعتمد أيضًا على خاصية التوسع لتوزيع البيانات، مما يضمن أن الملصقات الزائفة تحمل معلومات غير تافهة عن الحقيقة الأرضية (ground truth).
انكماش المخاطر: يثبت المؤلفون أنه تحت هذه الظروف، ينكمش خطر التخصيص لكل من نماذج الخادم ونماذج العملاء بشكل أسي مع عدد التكرارات. وتحديدًا، ينخفض حد المخاطر بمعدل يحدده جودة التجميع وتغطية مجموعة البيانات العامة، لينخفض في النهاية إلى ما دون مخاطر التدريب المحلي وحده.

النتائج التجريبية

قيم المؤلفون COSMOS عبر أربعة معايير لتصنيف الصور: EMNIST-balanced، وCIFAR-10، وCIFAR-100، وTiny ImageNet. استخدمت التجارب مزيجًا من بنيات العملاء (AlexNet، وResNet، وMobileNet، وSqueezeNet) ونموذج خادم VGG16.

الأداء: تفوق COSMOS باستمرار على جميع النماذج المرجعية (baselines) غير المرتبطة بالنموذج (FedMD، وFedCT، وCOMET) عبر جميع المعايير. واتسعت فجوة الأداء مع زيادة تعقيد المهمة (على سبيل المثال، من EMNIST إلى Tiny ImageNet).
عدم التجانس: ظل COSMOS قويًا تجاه درجات متفاوتة من عدم تجانس البيانات (المتحكم بها بواسطة معامل Dirichlet $\alpha$ ) وبنيات العملاء المختلفة. وحافظ على تفوق كبير في الأداء حتى عندما استخدم العملاء نماذج أضعف.
كفاءة الاتصال: من خلال التواصل عبر الملصقات الزائفة فقط (الصلبة أو الناعمة) بدلًا من معلمات النموذج أو التدرجات، قلل COSMOS من عرض نطاق الاتصال بمقدار 1 إلى درجتين من القوة مقارنة بطرق مشاركة المعلمات.
الإعدادات المتجانسة: حتى في الإعدادات المتجانسة حيث يتشارك جميع العملاء نفس البنية، ظل COSMOS منافسًا لطرق PFL الحديثة، مما يثبت أن تصميم COSMOS غير المرتبط بالنموذج لا يسبب عقوبة في الأداء عند وجود التجانس.

الأهمية والادعاءات

يدعي البحث أن COSMOS يعالج اختناقًا حرجًا في التعلم الاتحادي من خلال تمكين التخصيص عالي الأداء دون الحاجة إلى معرفة هيكلية بنماذج العملاء. وتكمن أهميته في ثلاثة مجالات رئيسية:

النشر العملي: يزيل الحواجز الهيكلية التي تحد من PFL في الأنظمة البيئية المتنوعة والواقعية حيث يستخدم العملاء بنيات مملوكة أو عشوائية.
التقدم النظري: يقدم أول ضمانات لانكماش المخاطر العامة لـ PFL غير المرتبط بالنموذج، متجاوزًا نتائج التقارب القياسية لإثبات خفض المخاطر الأسي تحت افتراضات واقعية.
القابلية للتوسع: يثبت أن التعلم المخصص من جانب الخادم باستخدام الملصقات الزائفة هو نموذج قابل للتطبيق وقابل للتوسع للبيئات شديدة عدم التجانس، مما يوفر مكاسب كبيرة في كفاءة الاتصال.

ويخلص المؤلفون إلى أنه بينما يركز العمل الحالي على هيكل العميل-الخادم، فإن إطار العمل يضع الأساس لأنظمة التعلم اللامركزية المستقبلية، مما يعزز الأهمية العملية للتعلم الاتحادي.