ملخص تقني: CRAFT (التجميع المعتمد على حل النزاعات للتدريب الاتحادي)

1. بيان المشكلة

يتيح التعلم الاتحادي (Federated Learning - FL) التدريب التعاوني للنماذج عبر عملاء لامركزيين دون مشاركة البيانات الخام. ومع ذلك، تبرز عقبة جوهرية تتمثل في تغاير البيانات (توزيعات غير متطابقة - non-IID)، مما يتسبب في تباعد التحديثات المحلية. تقوم طرق التجميع التقليدية، مثل FedAvg، بحساب المتوسطات الموزونة لهذه التحديثات. ويجادل البحث بأن المتوسط الساذج يمكن أن ينتج اتجاه تحديث عالمي يحسن الهدف العالمي ولكنه يتعارض مع عملاء محددين (أي أن الضرب الداخلي بين التحديث العالمي وتحديث العميل المحلي يكون سالباً). يؤدي هذا التعارض إلى تدهور الأداء لهؤلاء العملاء تحديداً، مما يؤدي إلى تفاوتات عالية في دقة كل عميل وضعف في العدالة، حتى لو كان متوسط الدقة العالمية مرتفعاً.

تحاول الأساليب الحالية التخفيف من ذلك من خلال التنظيم (FedProx)، أو التطبيع (FedNova)، أو أهداف مراعاة العدالة (AFL, q-FedAvg)، أو النماذج الشخصية. وقد ظهرت أساليب مدركة للنزاع (FedFV, FedLF, ConFIG) لمعالجة هندسة التحديث مباشرة، لكنها غالباً ما تعتمد على قواعد استدلالية أو تفتقر إلى دمج المعلومات الزمنية لتوجيه الحل.

2. المنهجية: إطار عمل CRAFT

يعيد CRAFT صياغة مشكلة التجميع ليس كمتوسط موزون، بل كـ مشكلة تصحيح هندسي. الهدف الأساسي هو إيجد متجه تحديث عالمي $g$ يكون أقرب ما يمكن إلى اتجاه مرجعي مستقر مع استيفاء قيود محاذاة خالية من النزاع.

2.1 الصياغة الجوهرية

بدلاً من إعادة بناء تحديث من الصفر (كما في أساليب الصفر المسبق) أو مجرد التنعيم (كما في أساليب الزخم)، يحل CRAFT مسألة المربعات الصغرى المقيدة والمرتكزة على مرجع:

$$\min_{g \in \mathbb{R}^d} \frac{1}{2} \|g - \hat{g}_t\|^2 \quad \text{بشرط} \quad U_t g = \rho_t$$

حيث أن:

• $\hat{g}_t$ هو الاتجاه المرجعي، المعرف بالتحديث العالمي الموزون من الجولة السابقة ($\hat{g}_t = U(g_{t-1})$). بالنسبة للجولة الأولى، $\hat{g}_0 = 0$.
• $U_t$ هي مصفوفة التحديثات المحلية الموزونة من العملاء النشطين ($u_i = g_i / (\|g_i\| + \epsilon)$).
• $\rho_t$ هو متجه أهداف المحاذاة الإيجابية، المستمدة عادةً من نسب بيانات العملاء ($\rho_i = |D_i| / \sum |D_j|$).
• الشرط $U_t g = \rho_t$ يضمن أن التحديث العالمي $g$ لديه ضرب داخلي موجب مع التحديث الموزون لكل عميل مشارك، مما يضمن اتجاهاً خالياً من النزاع.

2.2 الحل ذو الصيغة المغلقة

المسألة غير محددة (بعد النموذج $d \gg$ عدد العملاء $m$). يستنتج CRAFT حلاً ذا صيغة مغلقة باستخدام شبه معكوس مور-بنروز (Moore-Penrose pseudoinverse)، متجنباً الأعباء الحسابية للمحللات التكرارية أو البرمجة التربيعية. يتم حساب التحديث كتصحيح $\Delta_t$ للمرجع:

$$g_t = \hat{g}_t + \Delta_t, \quad \text{حيث} \quad \Delta_t = U_t^\dagger (\rho_t - U_t \hat{g}_t)$$

تضمن هذه الصياغة أنه إذا كان الاتجاه المرجعي يستوفي القيود بالفعل، فلا يتم تطبيق أي تصحيح. وإلا، فسيتم إضافة أصغر تصحيح إقليدي لفرض المحاذاة.

2.3 التكيف على مستوى الطبقات

إدراكاً بأن الشبكات العصبية العميقة تظهر ديناميكيات تحسين خاصة بكل طبقة (على سبيل المثال، قد تعاني الطبقات الضحلة من انزياحات توزيع المدخلات بينما تعاني الطبقات العميقة من انحراف التسميات)، ينفذ CRAFT تكيفاً على مستوى الطبقة. يتم تفكيك مسألة التحسين إلى $Q$ من المسائل الفرعية المستقلة لكل طبقة $q$، حيث يتم حل التصحيح بشكل منفصل:
$$g^q_t = \hat{g}^q_t + (U^q_t)^\dagger (\rho_t - U^q_t \hat{g}^q_t)$$
هذا يمنع النزاعات الشديدة في طبقة واحدة من قمع المكونات المفيدة في الطبقات الأخرى.

2.4 الخصائص النظرية

يقدم البحث تحليلاً نظرياً يوضح أن CRAFT يعزز بنية الهبوط المشترك. من خلال فرض محاذاة غير سالبة مع جميع تحديثات العملاء، يخفف المنهج من حدة النزاعات. يضع المؤلفون ضمانات تقارب للزمن المحدود للأهداف غير المتصلة (non-convex) تحت افتراضات السلاسة والحدود المتوقعة للـ gradient، مما يظهر معدل تقارب قدره $O(1/\sqrt{T})$ مشابه للتحسين القياسي غير المتصل، بشرط تناقص معدل التعلم المحلي بشكل مناسب.

3. المساهمات الرئيسية

1. إعادة صياغة المشكلة: يقترح المؤلفون إعادة صياغة التجميع الاتحادي كمسألة مربعات صغرى مقيدة ومرتكزة على مرجع بدلاً من قاعدة متوسط موزون. وهذا يفرض مباشرة محاذاة إيجابية بين التحديث العالمي وكل عميل.
2. حل فعال ذو صيغة مغلقة: على عكس أساليب حل النزاع التكرارية، يستنتج CRAFT حلاً صريحاً باستخدام تصحيح مور-بنروز، مما يبقي الحسابات من جانب الخادم خفيفة الوزن ($O(dm^2 + Qm^3)$).
3. مرجع يشبه الزخم: يسمح استخدام التحديث العالمي للجولة السابقة كاتجاه مرجعي لـ CRAFT بالحفاظ على الاتساق الزمني واستقرار التحديثات ضد ضوضاء أخذ العينات، مما يميزه عن الأساليب التي تسقط نحو متجه الصفر.
4. الدقة على مستوى الطبقات: يعالج إطار العمل النزاعات عند دقة طبقات النموذج، مما يجعله مناسباً للشبكات العصبية العميقة حيث قد تكون قيود المتجه العالمي واسعة جداً.
5. قابلية التوسع كإضافة (Plug-in): تم تصميم CRAFT كعامل تجميع عام يمكنه استبدال المتوسط الموزون في مسارات التعلم الاتحادي الشخصية الموجودة (مثل Ditto) دون تعديل آليات التكيف المحلية.

4. النتالئج التجريبية

أجريت تجارب مكثفة على معايير غير متجانسة (FEMNIST, CIFAR-10, CIFAR-100) باستخدام نماذج متنوعة (MLP, CNN, ResNet-20/56/110) ومجموعات من العملاء (تصل إلى 1000 عميل).

• الأداء العالمي: تفوق CRAF باستمرار على النماذج المرجعية (baselines) في متوسط الدقة. في CIFAR-10 مع ResNet-20، حقق تحسناً نسبياً قدره 53.5% عن ConFIG وتحسناً بنسبة 7.8% عن FedAvgM في FEMNIST.
• العدالة والتفاوت: قلل CRAF بشكل كبير من الانحراف المعياري لدقة كل عميل. لقد حسن أداء "عملاء الذيل" (الأسوأ بنسبة 10%) دون التضحية بـ "عملاء الرأس". على سبيل المثال، في CIFAR-10، حسن دقة أسوأ 10% بنسبة 221.5% مقارنة بـ FedLF.
• التقارب: أظهر CRAF تقارباً أسرع ودقة نهائية أعلى، لا سيما في الشبكات الأعمق حيث غالباً ما كانت الطرق الأخرى تصل إلى حالة التشبع مبكراً أو تعاني من انحراف العميل.
• التكامل مع التعلم الاتحادي الشخصي: عند دمجه في إطار عمل Ditto، حسن CRAF متوسط دقة الاختبار بنسبة 19.7% في CIFAR-10 و98.8% في CIFAR-100 مقارنة بـ Vanilla Ditto، مما يثبت قدرته على تعزيز مسارات التخصيص.

5. الأهمية والادعاءات

يدعي البحث أن CRAF يوفر منظوراً جديداً لتصميم التجميع، من خلال الانتقال من حل النزاع الاستدلالي إلى نهج قائم على القيود ومرتكز هندسياً. وتكمن أهميته في:

• التخفيف من حدة التغاير: يعالج مباشرة السبب الجذري لمشكلات العدالة في التعلم الاتحادي (التحديثات المتعارضة) بدلاً من مجرد تعديل الأهداف أو تنظيم التدريب المحلي.
• الموازنة بين الدقة والعدالة: يحقق دقة متوسطة عالية مع تقليل تفاوت الأداء في الوقت نفسه، وهو هدف مزدوج يصعب تحقيقه بالأساليب الحالية.
• العملية: الطريقة فعالة حسابياً، ولا تتطلب أي اتصالات إضافية، ويمكن توسيعها بسهولة إلى أطر التعلم الاتحادي الشخصي الحالية.

يقر المؤلفون بوجود قيود، مشيرين إلى أن الاتجاه المرجعي الحالي هو مجرد أولوية تشبه الزخم وأن أهداف المحاذاة تعتمد على نسب البيانات. ويقترحون أن العمل المستقبلي يمكن أن يستكشف مراجع أو أهدافاً تكيفية بناءً على تقدم التدريب ومتطلبات العدالة. ومع ذلك، فإن العمل الحالي يرسخ CRAF كآلية تجميع قوية وخالية من النزاع للتدريب الاتحادي غير المتجانس.