🤖 machine learning

Subspace Optimization for Efficient Federated Learning under Heterogeneous Data

تقترح هذه الورقة البحثية "تحسين الفضاء الجزئي للتعلم الاتحادي" (SSF)، وهي طريقة تخفف من الانحراف الناتج عن عدم تجانس البيانات من خلال إجراء عملية التحسين في فضاء جزئي منخفض الأبعاد مع تحديثات بأسلوب الملء اللاحق للاحتفاظ بالمعلومات المتبقية، مما يحقق دقة عالية مع تقليل عبء الاتصالات والذاكرة بشكل كبير مقارنة بالأساليب الحالية.

المؤلفون الأصليون: Shuchen Zhu, Zhengyang Huang, Yuqi Xu, Peijin Li

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuchen Zhu, Zhengyang Huang, Yuqi Xu, Peijin Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مشروعاً جماعياً ضخماً حيث يحاول مئات الطلاب (العملاء) حل لغز عملاق معاً، لكن لا يمكنهم مشاركة قطع اللغز الفعلية الخاصة بهم بسبب قواعد الخصوصية. بدلاً من ذلك، يرسلون فقط ملاحظات إلى المعلم (الخادم) حول كيف يعتقدون أن اللغز يجب أن يبدو.

هذا هو التعلم الاتحادي (Federated Learning). عادةً، يستخدمون طريقة تسمى "FedAvg"، حيث يرسل الجميع مجرد أفضل تخمين لديهم، ويقوم المعلم بمتوسط هذه التخمينات. ولكن هناك مشكلة: نظرًا لأن كل طالب لديه مجموعة مختلفة من قطع اللغز (بيانات غير متجانسة)، فإن تخميناتهم تتباعد عن بعضها البعض. يبدأون في حل ألغاز مختلفة تماماً، وتكون النتيجة النهائية فوضوية.

لحل هذه المشكلة، اخترع باحثون أذكياء طريقة تسمى SCAFFOLD. إنها تشبه إعطاء كل طالب "ملاحظة تصحيحية" من المعلم لإبقائهم على المسار الصحيح. ومع ذلك، فإن هذه الملاحظات التصحيحية ضخمة — مثل إرسال دليل مكون من 100 صفحة لكل تحديث. إذا كان الطلاب يستخدمون هواتف صغيرة وقديمة (أجهزة محدودة الموارد)، فلن يتمكنوا من حمل هذه الأدلة الثقيلة، وسوف يزدحم الاتصال بالإنترنت.

إليك الطريقة الجديدة: SSF (Subspace-SCAFFOLD).

إليك كيف تعمل SSF، مشروحة من خلال تشبيه بسيط:

"دفتر الرسم" مقابل "المخطط الكامل"

تخيل أن الطلاب يحاولون رسم خريطة مدينة مفصلة وضخمة (نموذج الذكاء الاصطناعي الكبير).

الطريقة القديمة (SCAFFOLD): في كل مرة يقوم فيها الطالب بإجراء تغيير، يرسل للمعلم مخططاً كاملاً عالي الدقة مكوناً من 100 صفحة للمدينة بأكملها. يتحقق المعلم منه، ويرسل ملاحظة تصحيحية ضخمة، ويقوم الطالب بتحديث رسمه. إنها دقيقة، لكنها ثقيلة جداً على حقائب ظهرهم والإنترنت.
طريقة "الفضاء الفرعي" (FedSub): لتوف {وفر المساحة، يرسل الطلاب فقط رسمًا تخطيطيًا صغيرًا من 5 صفحات للطرق الرئيسية في المدينة. هذا سريع وخفيف. ولكن، إذا حاول المعلم إرسال ملاحظة تصحيحية بناءً على هذا الرسم الصغير، سيصاب الطالب بالارتباك لأن الرسم لا يظهر تفاصيل المتنزهات أو المباني. وإذا تغير شكل الرسم كل أسبوع، تصبح الملاحظات التصحيحية القديمة عديمة الفائدة، ويضيع الطالب.
طريقة SSF: هي الحل الوسط الذكي.
1. الرسم التخطيطي: يرسل الطلاب فقط الرسم التخطيطي المكون من 5 صفحات (الفضاء الفرعي منخفض الأبعاد) إلى المعلم. هذا يوفر كميات هائلة من البيانات والبطارية.
2. الذاكرة الخفية: هنا تكمن الخدعة السحرية: على الرغم من أنهم يرسلون الرسم التخطيطي فقط، إلا أن الطالب يحتفظ بـ المخطط الكامل المكون من 100 صفحة في ذهنه (أو على قرص صلب في الخلفية).
3. خدعة "إعادة الملء" (Backfill): عندما يرسل المعلم تصحيحاً بناءً على الرسم التخطيطي، يطبق الطالب هذا التصحيح على الرسم التخطيطي ويستخدم تقنية "إعادة ملء" خاصة لتحديث المخطط الكامل الخفي.
4. النتيجة: يبقى الطالب على المسار الصحيح (تماماً مثل طريقة SCAFFOLD الثقيلة) ولكنه يحمل فقط دفتر الرسم الخفيف للتواصل.

لماذا يعد هذا أمراً هاماً؟

يزعم البحث أن SSF يحل مشكلة "التهديد الثلاثي" في الذكاء الاصطناعي الحديث:

الحوسبة: إنها أسرع لأن العمليات الحسابية تتم على الرسم التخطيطي الصغير، وليس على الخريطة الضخمة.
الذاكرة: تستخدم مساحة أقل على الجهاز لأن العمل الشاق يتم في الخلفية، وليس في الذاكرة النشطة.
الاتصال: ترسل رسائل صغيرة بدلاً من الملفات الضخمة.

اختبار "الاستقرار"

اختبر الباحثون هذا في سيناريوهين:

مشكلة رياضية تجريبية: قاموا بمحاكاة طلاب لديهم بيانات مختلفة جداً. وجدوا أنه بينما طريقة "الرسم فقط" (FedSub) أصبحت مرتبكة في النهاية وانهارت (تباعدت) عندما أصبحت الرسوم التخطيطية كبيرة جداً أو تغيرت بشكل متكرر، فإن SSF ظلت مستقرة واستمرت في التحسن، لتصبح جيدة تقريباً مثل الطريقة الثقيلة والبطيئة.
التعرف على الصور الحقيقية (CIFAR-100): جربوا الأمر على مهمة حقيقية للتعرف على الصور. كانت SSF هي ثاني أفضل أداء، حيث تفوقت على الطريقة القياسية (FedAvg) وطريقة "الرسم فقط" (FedSub)، رغم أنها كانت خلف الطريقة الثقيلة والبطئة (Full-SCAFFOLD) بقليل.

الخلاصة

يجادل البحث بأن SSF هو الأفضل من العالمين. فهو يسمح للطلاب بالعمل معاً بكفاءة على الأجهزة الصغيرة دون فقدان "الملاحظات التصحيحية" التي تمنعهم من الانحراف عن المسار. إنه يثبت أنه ليس عليك الاختيار بين أن تكون سريعاً/خفيفاً وبين أن تكون دقيقاً/مستقراً؛ يمكنك الحصول على كليهما من خلال إبقاء المعلومات "الثقيلة" مخفية في الخلفية بينما ترسل النسخة "الخفيفة" فقط للخارج.

ما لا يدعيه البحث:

لا يدعي أن هذا يعمل للتشخيص الطبي أو الاستخدامات السريرية.
لا يدعي أن هذا سيحل جميع مشاكل الذكاء الاصطناعي في المستقبل.
يركز البحث حصرياً على الرياضيات وعلوم الكمبيوتر لجعل التعلم الاتحادي أسرع وأخف مع الحفاظ على دقته.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين الفضاء الجزئي لتعلم اتحادي فعال في ظل بيانات غير متجانسة" من قبل Zhu وآخرون.

1. بيان المشكلة

تتناول الورقة البحثية "التحدي الثلاثي" الذي يواجه التعلم الاتحادي (Federated Learning) في عصر النماذج ضخمة الحجم (مئات الملايين إلى مليارات المعلمات):

الحوسبة: خطوات التدريب المحلي ثقيلة حاسوبياً.
الذاكرة: تخزين حالات النموذج الكاملة والمتغيرات المساعدة على أجهزة الحافة محدودة الموارد أمر محظور.
الاتصال: نقل التحديثات كاملة الأبعاد عبر نطاق ترددي محدود هو أمر غير فعال.

تتفاقم هذه التحديات بسبب عدم تجانس البيانات (Non-IID). في بيئات البيانات غير المتجانسة، تتباعد الأهداف المحلية عن الهدف العالمي، مما يسبب "انحراف العميل" (client drift).

الحلول الحالية ومحدوديتها:
- تصحيح عدم التجانس (مثل SCAFFOLD): يستخدم متغيرات التحكم لتصحيح الانحراف ولكنه يتطلب تخزين ونقل متغيرات مساعدة كاملة الأبعاد، مما يلغي مكاسب الكفاءة للنماذج الضخمة.
- الضغط (مثل التكميم/Quantization): يقلل عدد البتات المرسلة ولكنه غالباً ما يتطلب مخازن أخطاء (error buffers) كاملة الأبعاد، مما يفشل في تقليل بصمة الذاكرة.
- طرق الفضاء الجزئي/الرتبة المنخفضة (Subspace/Low-Rank): تقلل الأبعاد من أجل الكفاءة ولكنها تفتقر عادةً إلى آليات مبدئية لتصحيح انحراف العميل. والدمج الساذج بين هذه الطرق غالباً ما يؤدي إلى التخلص من معلومات التصحيح التاريخية عند تغير الفضاء الجزئي، مما يؤدي إلى عدم الاستقرار.

الفجوة: لا توجد خوارزمية حالية تقوم بـ تصحيح عدم التجانس بشكل أصيل داخل فضاء جزئي منخفض الأبعاد مع الحفاظ على متانة الطرق كاملة الأبعاد مثل SCAFFOLD.

2. المنهجية: SCAFFOLD الفضاء الجزئي (SSF)

يقترح المؤلفون خوارزمية SSF، وهي خوارزمية تدمج تصحيح عدم التجانس مباشرة في فضاء تحسين جزئي منخفض الأبعاد.

الآليات الجوهرية

إسقاط الفضاء الجزئي (Subspace Projection):
- في كل جولة $t$ ، يتم إنشاء مصفوفة إسقاط متعامدة عشوائية مشتركة $P_t \in \mathbb{R}^{r \times d}$ (حيث $r \ll d$ ).
- يحدث التحسين (التحديثات المحلية والتجميع) حصرياً في الفضاء الجزئي ذي $r$ من الأبعاد.
- يتم إسقاط التدرجات: $g_{proj} = P_t g$ .
متغيرات التحكم المسقطة (تصحيح عدم التجانس):
- تحاكي SSF آلية SCAFFOLD ولكنها تعمل على الكميات المسقطة.
- يحتفظ العملاء بمتغيرات تحكم محلية $c_i$ ويحتفظ الخادم بمتغير تحكم عالمي $c$ .
- يتم تصحيح اتجاه التحديث المحلي باستخدام الفرق بين متغيرات التحكم المحلية والمحلية المسقطة: $P_t g - c_{i, proj} + c_{proj}$ .
إعادة الملء مع الحفاظ على المتبقي (الابتكار الرئيسي):
- على عكس طرق الفضاء الجزئي القياسية التي تتخلص من المعلومات خارج الفضاء النشط، تحتفظ SSF بـ حالة تحكم كاملة الأبعاد ( $c_i$ و $c$ ).
- قاعدة التحديث: عندما يتغير الفضاء الجزي، يتم تحديث متغيرات التحكم كالتالي:
  $c^{t+1} = (I - P_t^\top P_t)c^t + P_t^\top P_t (\text{معلومات التدرج الجديدة})$
- وهذا يعني أن المتمم المتعامد (المتبقي/residual) لمتغير التحكم يظل دون تغيير، بينما يتم تحديث مكون الفضاء الجزئي النشط فقط.
- إعادة الملء (Backfill): بعد تحديث الفضاء الجزئي، يتم إعادة بناء النموذج كامل الأبعاد عن طريق الجمع بين الإحداثيات المسقطة الجديدة والمتبقي المحفوظ: $x^{t+1} = P_t^\top x^{t+1}_{proj} + x^t_{res}$ .

تدفق الخوارزمية

التفكيك: يقوم الخادم بتقسيم النموذج ومتغيرات التحكم إلى أجزاء مسقطة وأجزاء متبقية.
الخطوات المحلية: يعيد العملاء بناء النموذج الكامل باستخدام نموذج الفضاء الجزئي المرسل والمتبقي الخاص بالخادم. يحسبون التدرجات في الفضاء الكامل، ثم يسقطونها، ويجرون تحديثات مصححة لعدم التجانس في الفضاء الجزئي.
التجميع: يقوم الخادم بتجميع النهايات الطرفية المسقطة في الفضاء الجزئي.
إعادة الملء والتحديث: يقوم الخادم برفع النموذج مرة أخرى إلى الفضاء الكامل ويحدث متغيرات التحكم، مع الحفاظ على المكونات المتبقية.

3. المساهمات الرئيسية

تصميم الخوارزمية (SSF):
- أول خوارزمية تعلم اتحادي تقوم بتصحيح عدم التجانس بشكل أصيل في فضاء جزئي منخفض الأبعاد.
- تقدم تحديثاً بأسلوب "إعادة الملء" (backfill-style) الذي يحتفظ بالمكونات المتبقية، مما يضمن عدم فقدان معلومات تصحيح الانحراف التاريخية عند دوران أو تغير الفضاء الجزئي.
التحليل النظري:
- تثبت الورقة أنه تحت افتراضات السلاسة والتباين المحدود القياسية، تحقق SSF معدل تقارب غير تقاربي قدره $\tilde{O}(1/T + 1/\sqrt{NKT})$ .
- يطابق هذا المعدل التسريع الخطي لـ SCAFFOLD كامل الأبعاد، مما يثبت أن قيود الفضاء الجزئي لا تضعف سلوك التقارب التقاربي فيما يتعلق بانحراف العميل.
- ينطبق التحليل دون افتراض الاستقلال بين المسقط العشوائي والتدرجات العشوائية.
التحقق التجريبي:
- تم الاختبار على كل من مشكلة انحدار المصفوفة (تجربة محكومة) ومعيار التعلم العميق (CIFAR-100 مع ResNet-110).
- أظهرت النت أن SSF تقلل بشكل كبير من تكاليف الذاكرة والاتصال والحوسبة مع الحفاظ على دقة مقاربة لـ SCAFFold كامل الأبعاد.

4. النتائج التجريبية

المشكلة التجريبية (انحدار المصفوفة)

المتانة: في مستويات عدم تجانس متفاوتة (منخفضة، متوسطة، عالية)، تفوقت SSF باستمرار على FedSub (وهي طريقة فضاء جزئي أساسية بدون حفظ المتبقي) وعلى FedAvg.
الاستقرار: أظهرت FedSub عدم استقرار عددي وتباعد (أخطاء NaN) عند أبعاد فضاء جزئي أعلى ( $r=50$ ) بسبب فقدان المعلومات المتعامدة. بينما ظلت SSF مستقرة عبر جميع الأبعاد.
الدقة: مع نسبة فضاء جزئي $r/d = 0.2$ ، حققت SSF أخطاء نسبية قريبة جداً من Full-SCAFFOLD، وهي أفضل بكثير من Full-FedAvg.

التعلم العميق (CIFAR-100 / ResNet-110)

الترتيب: Full-SCAFFOLD > SSF > FedAvg > FedSub.
الأداء: حققت SSF دقة اختبار نهائية بلغت 45.43%، متفوقة على FedAvg (34.35%) و FedSub (23.17%) بفارق كبير.
الكفاءة: نجحت SSF في تقليل عبء الاتصال والذاكرة مع الحفاظ على متانة SCAFFOLD ضد عدم تجانس البيانات.

5. الأهمية والأثر

سد الفجوة: تحل SSF التوتر الجوهري بين المتانة (التعامل مع البيانات غير المتجانسة) والكفاءة (التعامل مع النماذج الضخمة). وهي تثبت أنه ليس من الضروري امتلاك حالات مساعدة كاملة الأبعاد لتصحيح انحراف العميل بفعالية.
القابلية للتوسع: من خلال تقليل بصمة الاتصال والذاكرة من $O(d)$ إلى $O(r)$ (حيث $r \ll d$ ) مع الحفاظ على ضمانات التقارب النظرية، تجعل SSF التعلم الاتحادي للنماذج الضخمة ممكناً على أجهزة الحافة محدودة الموارد.
الرؤية النظرية: يوفر ميكانزم "الحفاظ على المتبقي" نموذجاً جديداً لتحسين الفضاء الجزئي، حيث يوضح أن الحفاظ على ذاكرة كاملة الأبعاد لمتغيرات التحكم (حتى لو تم الوصول إليها جزئياً فقط) أمر بالغ الأهمية للاستقرار في بيئات الفضاء الجزئي الديناميكية.

في الختام، تقدم SSF حلاً عملياً وسليماً نظرياً لنشر التعلم الاتادي واسع النطاق وغير المتجانس، محققة "أفضل ما في العالمين": كفاءة طرق الفضاء الجزئي ومتانة تصحيح متغيرات التحكم.