🤖 machine learning

FMCL: Class-Aware Client Clustering with Foundation Model Representations for Heterogeneous Federated Learning

تقترح الورقة البحثية إطار عمل FMCL، وهو إطار لتجميع العملاء القائم على الوعي بالفئات بلمحة واحدة، والذي يستفيد من تمثيلات النماذج التأسيسية المجمدة لبناء تواقيع دلالية للعملاء، مما يؤدي إلى تحسين أداء واستقرار التعلم الاتحادي في ظل عدم التجانس الإحصائي دون الحاجة إلى تنسيق تكراري أو عبء اتصالات إضافي.

المؤلفون الأصليون: Mahad Ali, Laura J. Brattain

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mahad Ali, Laura J. Brattain

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مجموعة من الناس كيفية التعرف على أنواع مختلفة من الحيوانات. في عالم مثالي، سيمتلك الجميع كتاباً مدرسياً يحتوي على نفس الصور للأسود والنمور والدببة. ولكن في العالم الحقيقي (وهو ما يصف هذا البحث "التعلم الاتحادي" - Federated Learning)، يمتلك كل شخص ألبوم صور خاص به.

بعض الناس لديهم فقط صور لحيوانات المزرعة، والبعض الآخر لديه فقط صور لحيوانات الغابة، والبعض لديه مزيج منها. إذا حاولت تعليم الجميع في وقت واحد باستخدام معلم "عالمي" واحد، فستصبح الحصة التعليمية مربكة. فقد يعتقد خبير المزرعة أن النمر هو قطة، وقد يرتبك خبير الغابة بسبب رؤية بقرة. هذه هي مشكلة التباين الإحصائي (Statistical Heterogeneity): بيانات الجميع مختلفة، والنهج الذي يناسب الجميع يفشل.

الطريقة القديمة: التخمين والتجربة

حاولت الأساليب السابقة حل هذه المشكلة عن طريق تجميع الناس معاً.

طريقة "التدرج" (Gradient Method): كانوا ينتظرون حتى يبدأ الجميع في التعلم، ثم ينظرون إلى إجابات واجباتهم المنزلية (التدرجات) ليروا من منهم متشابه. المشكلة؟ الواجبات المنزلية المبكرة تكون فوضوية ومليئة بالأخطاء، لذا كانت المجموعات التي تتشكل غير مستقرة.
طريقة "البكسل" (Pixel Method): نظر بعضهم إلى البكسلات الخام للصور (مثل عد كم عدد البكسلات الحمراء في الصورة). هذا يشبه محاولة فهم قصة من خلال عد عدد الفواصل؛ فهو يفتقر إلى المعنى الفعلي.
طريقة "المتوسط" (Mean Method): أخذ آخرون متوسط سمات الجميع. هذا يشبه قول: "الشخص المتوسط طوله 175 سم وشعره بني"، وهو ما يتجاهل حقيقة أن البعض طوله 195 سم والبعض الآخر طوله 160 سم.

الحل الجديد: FMCL (المكتبي الذكي)

يقترح المؤلفون نظاماً جديداً يسمى FMCL. فكر فيه كـ مكتبي ذكي يستخدم موسوعة ضخمة ومعدة مسبقاً (تسمى النموذج التأسيسي - Foundation Model) لتنظيم الطلاب قبل أن تبدأ الحصة حتى.

إليك كيف يعمل FMCL، خطوة بخط الخطوات:

1. "التوقيع بضربة واحدة" (لا انتظار)

بدلاً من انتظار الطلاب ليتعلموا ويرتكبوا الأخطاء، ينظر المكتبي الذكي إلى ألبومات صورهم فوراً.

الأداة: يستخدم المكتبي "نموذجاً تأسيسياً مجمداً". تخيل هذا كذكاء اصطناعي فائق الذكاء قد قرأ بالفعل ملايين الكتب ورأى ملايين الصور. إنه يعرف بالضبط كيف يبدو "الأسد"، ليس فقط من حيث اللون، بل من حيث المعنى (البنية الدلالية).
التوقيع: لكل طالب، ينشئ المكتبي "توقيعاً مدركاً للفئات". هو لا يكتفي بالقول: "هذا الطالب لديه 50 صورة"، بل يقول: "هذا الطالب لديه 10 صور لأسود، و20 صورة لنمور، و20 صورة لدببة، وهذا هو الجوهر الدقيق لما تبدو عليه بالنسبة له".

2. "المسافة المدركة للتداخل" (تجنب الأصدقاء المزيفين)

هذه هي الحيلة الأكثر ذكاءً في هذا البحث.
تخيل طالبين:

الطالب (أ): لديه 1,000 صورة لأسود وصورة واحدة فقط لنمر.
الطالب (ب): لديه صورة واحدة لأسد و1,000 صورة لنمور.

إذا نظرت فقط إلى "متوسط" الصورة، فقد يبدوان متشابهين لأنه كلاهما يمتلك أسداً ونمراً. لكنهما في الواقع مختلفان تماماً!

الحل: يستخدم FMCL عملية حسابية "مدركة للتداخل" (Overlap-Aware). فهو يتحقق من: "كم تشتركان حقاً؟" ويدرك أن الطالب (أ) بالكاد يهتم بالنمور، والطالب (ب) بالكاد يهتم بالأسود. لذا، يبقيهما في مجموعات مختلفة. هذا يمنع النظام من تجميع الناس معاً لمجرد أنهم يتشاركون في شيء واحد صغير ونادر.

3. "اختبار الظل" (إيجاد الحجم المناسب للمجموعة)

عادةً، يتعين عليك التخمين: "هل يجب أن يكون لدينا مجموعتان؟ 3 مجموعات؟ 5 مجموعات؟"
يحتوي FMCL على "درجة ظلية" (Silhouette Score) مدمجة. تخيل ساحة رقص. تقيس درجة الظل مدى جودة رقص الأشخاص في دوائرهم الخاصة.

إذا كانت المجموعات صغيرة جداً، فسيكون الناس مزدحمين.
إذا كانت المجموعات كبيرة جداً، فسيكون الناس متباعدين.
يقوم النظام تلقائياً بفحص أحجام المجموعات المختلفة ويختار الحجم الذي يكون فيه "الراقصون" في قمة سعادتهم وتميزهم. يقوم بذلك مرة واحدة، قبل بدء التدريب، حتى لا يتم إضاعة أي وقت إضافي أثناء عملية التعلم الفعلية.

النتائج: لماذا هذا مهم؟

اختبر المؤلفون هذا على ثلاثة أنواع من "ألبومات الصور":

صور الموجات فوق الصوتية للثدي (BUSI): صور طبية لكتل.
نسيج الرئة (LungHist700): صور مجهرية لأنسجة الرئة.
Imagenette: مجموعة قياسية من 10 صور طبيعية (مثل الكلاب والقطط والشاحنات).

النتيجة:
في كل اختبار، كان FMCL هو الفائز الواضح.

الدقة: حقق أعلى الدرجات في تحديد الفئات الصحيحة.
الاستقرار: لم يتذبذب بشكل عشوائي مثل الأساليب القديمة.
"تأثير التأسيس": عندما أخذوا الأساليب القديمة (مثل PACFL أو FECFL) وأعطوها نفس "المكتبي الذكي" (النموذج التأسيسي) لاستخدامه، أصبحت تلك الأساليب القديمة أفضل بكثير. وهذا يثبت أن امتلاك فهم دلالي عميق للبيانات هو السر وراء النجاح.

الخلا ملخص القول

إن FMCL يشبه جلسة استراتيجية ما قبل المباراة لفريق من المتعلمين الموزعين. بدلاً من تركهم يتخبطون ويتجادلون حول من ينتمي إلى أين، فإنه يستخدم ذكاءً اصطناعياً فائق الذكاء ومعداً مسبقاً لفهم "طابع" بيانات كل شخص فوراً. إنه يجمعهم بشكل مثالي بناءً على ما يعرفونه بالفعل، ويأخذ في الاعتبار حقيقة أن بعض الأشياء نادرة، ويحدد تلقائياً أفضل عدد للفرق.

النتيجة؟ فريق يتعلم بشكل أسرع، ويرتكب أخطاء أقل، ولا يحتاج إلى إضاعة الوقت في الجدال حول أي طاولة سيجلسون إليها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "FMCL: التجميع الطبقي الواعي بالفئات باستخدام تمثيلات النماذج التأسيسية للتعلم الاتحادي غير المتجانس."

1. بيان المشكلة

يسمح التعلم الاتحادي (Federated Learning) بتدريب النماذج بشكل تعاوني دون مشاركة البيانات الخام، ولكنه يعاني بشكل كبير تحت وطأة عدم التجانس الإحصائي (البيانات غير المتطابقة توزيعياً - non-IID). في السيناريوهات الواقعية (مثل الرعاية الصحية، أو الأجهزة المحمولة)، تتباين توزيعات بيانات العملاء بسبب الديموغرافيا، أو أنواع الأجهزة، أو بروتوكولات الحصول على البيانات.

قصور النماذج العالمية: تفترض طرق التجميع القياسية مثل FedAvg وجود توزيع عالمي واحد، مما يؤدي إلى أداء دون المستوى عندما تتباعد بيانات العملاء.
قصور طرق التعلم الاتحادي المجمعة الحالية (CFL):
- الطرق القائمة على التدرج (مثل CFL، وIFCA): تعتمد على التدريب التكراري لحساب التدرجات، والتي تكون مشوشة في مراحل التدريب الأولى، وغير مستقرة، وتتطلب ضبطاً للمعلمات الفائقة (العتبات) أو معرفة مسبقة بعدد المجموعات ( $K$ ).
- طرق الخطوة الواحدة (مثل PACFL، وFECFL): تستخدم تواقيع مشتقة من البيانات ولكنها تعتمد غالباً على إحصائيات البكسل الخام (التي تفتقر إلى المعنى الدلالي) أو متوسط تمثيلات الميزات البسيطة (التي تتجاهل الهيكل التوزيعي داخل الفئة الواحدة). كما أنها تعتمد بشكل متكرر على عتبات مسافة تجريبية وتفتقر إلى آليات مبدئية للاختيار التلقائي للمجموعات.

2. المنهجية: إطار عمل FMCL

يقترح المؤلفون FMCL (تجميع العملاء القائم على النماذج التأسيسية)، وهو إطار عمل بخطوة واحدة، وواعٍ بالفئات، يقوم بعملية التجميع قبل بدء التدريب الاتحادي، ولا يتطلب أي اتصالات إضافية أثناء عملية التحسين.

أ. المكونات الأساسية

تمثيلات النماذج التأسيسية (FM):
- يستخدم FMCL نموذجاً تأسيسياً مثبتاً (Frozen) ومتخصصاً في المجال (مثل CHIEF لمرض الأنسجة، أو USFM للموجات فوق الصوتية، أو ViT-Tiny للصور الطبيعية) لاستخراج تمثيلات دلالية عالية المستوى.
- على عكس البكسلات الخام أو المشفرات ذات التهيئة العشوائية، توفر النماذج التأسيسية ميزات قابلة للنقل وغنية دلالياً.
تواقيع العملاء الواعية بالفئات:
- بدلاً من تمثيل عالمي واحد لكل عميل، يبني FMCL توقيعاً $\mathcal{S}_i$ $S_{i}$ لكل عميل $i$ $i$ يلتقط توزيع كل فئة موجودة في مجموعة بياناته المحلية.
  // لكل فئة $c$ $c$ في بيانات العميل $i$ $i$ :
  - متوسط التمثيل ( $\mu_{i,c}$ ): متوسط متجه الميزات للعينات التي تنتمي إلى الفئة $c$ .
  - وزن الفئة ( $w_{i,c}$ ): نسبة عينات الفئة $c$ بالنسبة لإجمالي حجم مجموعة بيانات العميل.
- التوقيع: $\mathcal{S}_i = \{ (\mu_{i,c}, w_{i,c}) \}_{c \in \mathcal{C}_i}$ .
مسافة جيب التمام المدركة للتداخل (Overlap-Aware Cosine Distance):
- لقياس التشابه بين عميلين ( $i$ و $j$ )، يحسب FMCL مسافة جيب تمام موزونة بين تمثيلات الفئات الشرطية لكل منهما.
- الوزن: يتم وزن مساهمة كل فئة متداخلة $c$ بواسطة $\min(w_{i,c}, w_{j,c})$ .
- توسيع التداخل (Overlap Scaling): يتم توسيع المسافة النهائية عكسياً بواسطة إجمالي التداخل $\Omega_{ij} = \sum \min(w_{i,c}, w_{j,c})$ $Ω_{ij} = \sum min (w_{i, c}, w_{j, c})$ .
  - المنطق: هذا يمنع العملاء الذين لديهم عدد قليل جداً من الفئات المشتركة من الظهور كأنهم متشابهون بشكل مصطنع لمجرد اتفاقهم على تلك الفئات النادرة. إنه يعاقب الأزواج ذات الدعم الفئوي المحدود.
- العملاء غير المتداخلين: إذا لم يتشارك العملاء في أي فئات ( $C_{ij} = \emptyset$ )، يتم تعيين مسافة كبيرة لهم مشتقة من المئين 95 أو 99 من المسافات المرصودة.
الاختيار التلقائي للمجموعات:
- يستخدم FMCL استراتيجية قائمة على البيانات لتحديد العدد الأمثل للمجموعات ( $K$ ) دون ضبط يدوي.
- العملية:
  1. حساب معامل الاختلاف (CV) للمسافات خارج القطر في المصفوفة الزوجية لتقدير عدم التجانس العام.
  2. تحديد نافذة مرشحة تكيفية لـ $K$ بناءً على معامل الاختلاف (CV).
  3. إجراء التجميع الهرمي لكل $K$ في النافذة وتقييمه باستخدام درجة السيلويت (Silhouette Score).
  4. اختيار $K$ التي تقابل الحد الأقصى المحلي المهيمن لمنحنى السيلويت.

3. المساهمات الرئيسية

تواقيع العملاء الدلالية: يقدم طريقة مبتكرة لبناء التواقيع باستخدام نماذج تأسيسية مثبتة تلتقط التوزيعات الشرطية للفئات، مما يلتقط الهيكل الدلالي بشكل أفضل من الإحصائيات الخام أو متوسطات التمثيلات.
مقياس مدرك للتداخل: يقترح مقياس مسافة جديد يأخذ في الاعتبار تداخل الفئات والوزن التوزيعي، مما يضمن قياس تشابه قوي حتى عندما تكون توزيعات الفئات لدى العملاء نادرة أو غير متوازنة.
خطوة واحدة ومستقل عن البنية: يتم إجراء التجميع مرة واحدة قبل التدريب، مما لا يضيف أي عبء اتصالات أثناء مرحلة التحسين الاتحادية ويظل مستقلاً عن بنية النموذج اللاحقة.
أتمتة مبدئية: يوفر آلية حتمية قائمة على البيانات (تحليل السيلويت الموجه بـ CV) لاختيار عدد المجموعات، مما يلغي الحاجة إلى الضبط اليدوي للمعلمات الفائقة.

4. النتائج التجريبية

قيم المؤلفون FMCL على ثلاثة مجموعات بيانات: BUSI (الموجات فوق الصوتية للثدي)، وLungHist700 (تاريخ أمراض الرئة)، وImagenette (الصور الطبيعية).

الأداء: تفوق FMCL باستمرار على النماذج العالمية (FedAvg, FedProx) وطرق التجميع السابقة (CFL, PACFL, FECFL) عبر جميع المقاييس (الدقة، Macro-F1، وAUC-ROC).
- مثال (BUSI): حقق FMCL (Auto-K) دقة 91.68% وF1 بنسبة 88.72%، متفوقاً بشكل كبير على FedAvg (دقة 56.34%) وحتى النسخ المعززة بالنماذج التأسيسية من الطرق الأخرى (مثل FECFL (FM) بدقة 73.15%).
تأثير المكونات:
- النماذج التأسيسية: استبدال الميزات الخام بتمثيلات النماذج التأسيسية عزز بشكل كبير أداء الطرق الموجودة (مثل PACFL (FM) مقابل PACFL).
- الإدراك بالتداخل: أدى إزالة حد توسيع التداخل ("FMCL no overlap") إلى تدهور مستمر في الأداء، مما يؤكد أهمية مقياس المسافة المقترح.
- الاختيار التلقائي: تفوق متغير "Auto-K" بشكل عام على إعدادات $K$ الثابتة، مما أظهر قوة خوارزمية الاختيار.
الاستقرار: أظهر FMCL سلوك تجميع أكثر استقراراً وتقارباً أسرع مقارنة بالطرق التكرارية القائمة على التدرج.

5. الأهمية

الربط بين النماذج التأسيسية والتعلم الاتحادي: يوضح هذا العمل الفائدة العملية للنماذج التأسيسية واسعة النطاق في سياق التعلم الاتحادي، وتحديداً لتوصيف توزيعات بيانات العملاء دون الحاجة لمركزية البيانات.
القوة تجاه عدم التجانس: من خلال نمذجة التوزيعات على مستوى الفئة والتداخل صراحةً، يعالج FMCL مشاكل "الذيل الطويل" (long-tail) و"الفئات النادرة" الشائعة في عمليات نشر التعلم الاتحادي غير المتجانسة في العالم الحقيقي (مثل الأنواع الفرعية النادرة للأمراض).
النشر العملي: الطبيعة القائمة على الخطوة الواحدة لهذا الإطار تجعله مناسباً جداً لسيناريوهات النشر حيث تكون سعة النطاق الترددي للاتصالات محدودة أو حيث يكون التنسيق التكراري غير ممكن. إنه يقدم أساساً نموذجياً ومستقلاً عن البنية لأبحاث المستقبل عند تقاطع النماذج التأسيسية والتعلم الاتحادي.