🤖 AI

Shard the Gradient, Scale the Model: Serverless Federated Aggregation via Gradient Partitioning

تُمكِّن تقنية GradsSharding من تجميع نماذج التعلم الاتحادي الضخمة بشكل تعسفي على المنصات عديمة الخادم (serverless) عبر تقسيم ت tensors التدرج إلى أجزاء أصغر، مما يتغلب بذلك على حدود ذاكرة الوظيفة الواحدة التي تقيد البنى الهيكلية الحالية.

المؤلفون الأصليون: Amine Barrak

نُشر 2026-04-27

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC0 1.0

المؤلفون الأصليون: Amine Barrak

البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك جزء من مشروع عالمي ضخم لإنشاء أكبر أحجية (Puzzles) في العالم. بدلاً من أن يقوم شخص واحد بذلك، هناك 1,000 شخص حول العالم، كل منهم يحمل بضع قطع. لإكمال الأحجية، يتعين على الجميع إرسال قطعهم إلى "بناء رئيسي" (Master Builder) يقوم بتجميعها معاً.

هذه الورقة البحثية تتحدث عن مشكلة ضخمة تواجه نهج "البناء الرئيسي" هذا عندما تصبح الأحجية كبيرة جداً.

المشكلة: عنق الزجاجة في "الأحجية العملاقة"

في عالم الذكاء الاصطناعي (AI)، يُطلق على هذا اسم التعلم الاتحادي (Federated Learning). فبدلاً من إرسال البيانات الخاصة إلى خادم مركزي، يقوم الأشخاص بتدريب نماذج الذكاء الاصطناعي على أجهزتهم الخاصة، ويرسلون فقط "التعليمات" (التي تسمى التدرجات - Gradients) حول كيفية تحسين النموذج.

وجد الباحثون مشكلتين كبيرتين:

الانتظار العاطل: يقضي البناء الرئيسي 99% من وقته جالساً هناك، يشرب القهوة، منتظراً انتهاء الـ 1,000 شخص من عملهم. إن دفع أجر لبناء رئيسي بدوام كامل هو هدر هائل للمال.
جدار الذاكرة: مع كبر حجم نماذج الذكاء الاصطناعي (مثل تلك التي تقف وراء ChatGPT)، تصبح "التعليمات" ضخمة للغاية. وفي النهاية، ستصبح التعليمات كبيرة جداً لدرجة أنها لن تتسع حتى على مكتب البناء الرئيسي! إذا كانت التعليمات أكبر من المكتب، فإن المشروع ينهار.

الحلول القديمة: "خط التجميع"

قبل هذه الورقة، حاول الناس تجربة شيئين:

طريقة الشجرة: بدلاً من بناء واحد، يوجد تسلسل هرمي. يقوم عدد قليل من الأشخاص بتجميع القطع معاً، ثم يمررونها إلى مشرف، الذي يمررها بدوره إلى مدير. المشكلة؟ حتى المدير لا يزال يحتاج إلى مكتب كبير بما يكفي لاستيعاب الأحجية الكاملة.
طريقة المكتب المشترك: يحاول الناس العمل على نفس الطاولة المادية لتوفير الوقت. المشكلة؟ في "السحابة" الحديثة (مثل AWS Lambda)، يعمل الجميع في غرف منفصلة ومغلقة خاصة بهم. لا يمكنك مشاركة مكتب إذا لم تكن في نفس الغرفة!

الحل الجديد: "GradsSharding" (استراتيجية المفرمة)

اقترح المؤلفون طريقة جديدة بارعة تسمى GRADSSHARDING.

بدلاً من محاولة إيجاد مكتب أكبر، قرروا فرم التعليمات.

تخيل أن تعليمات الأحجية عبارة عن لفافة طولها 10 أميال. بدلاً من أن يحاول شخص واحد قراءة اللفافة بأكملها، قم بتمزيق اللفافة إلى 100 شريط صغير. قم بتوظيف 100 "بناء صغير" (يُطلق عليهم الوظائف عديمة الخادم - Serverless Functions).

البناء رقم 1 ينظر فقط إلى الشريط رقم 1.
البناء رقم 2 ينظر فقط إلى الشريط رقم 2.
... وهكذا.

لأن كل بناء ينظر فقط إلى شريط صغير، فإنه يحتاج فقط إلى مكتب صغير! يمكنهم العمل جميعاً في نفس الوقت (بالتوازي)، مما يجعل المهمة سريعة للغاية. وبمجرد انتهائهم من شرائطهم الصغيرة، يمكنك ببساطة لصقها معاً للحصول على التعليمات الكاملة.

لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة؟

اختبر الباحثون هذه الطريقة على أنظمة سحابية حقيقية (AWS Lambda) ووجدوا ثلاثة أشياء مذهلة:

إنه يكسر السقف: بينما "تنهار" الطرق القديمة بمجرد أن يصبح نموذج الذكاء الاصطناعي كبيراً جداً، يمكن لهذه الطريقة الجديدة التعامل مع أي حجم من النماذج. إذا أصبح النموذج أكبر، يمكنك ببساطة توظيف المزيد من البنائين الصغار وإعطاؤهم شرائط أصغر.
إنه أسرع: نظرًا لأن جميع البنائين الصغار يعملون في نفس الوقت تماماً، فسيتم إنجاز العمل بسرعة أكبر بكثير من "طريقة الشجرة" حيث يضطر الناس لانتظار مدرائهم.
إنه أرخص: بالنسبة لنماذج الذكاء الاصطناعي الكبيرة، هذه الطريقة أرخص بنحو 3 مرات. على الرغم من أنك توظف المزيد من الأشخاص، إلا أنهم يعملون لثوانٍ معدودة فقط، ولا يحتاجون إلى "مكاتب" باهظة الثمن وذات ذاكرة عالية.

ملخص في إيجاز

الطريقة القديمة: خبير واحد ضخم ومكلف ينتظر لساعات، ويفشل في النهاية لأن المهمة أكبر من قدرة عقله.

الطريقة الجديدة (GradsSharding): سرب من العمال الصغار، الرخيصين، والسريعين كالبرق، يأخذ كل منهم قضمة صغيرة من المهمة، ينهيها فوراً، ثم يمرر القطع مرة أخرى.

ملخص تقني: جزئ التدرج، وسّع النموذج: التجميع الاتحادي عديم الخادم عبر تقسيم التدرج

1. بيان المشكلة

يتضمن التعلم الاتحادي (Federated Learning) تجميع تحديثات النموذج (التدرجات) من عملاء موزعین. ومع توسع نماذج تعلم الآلة من ملايين إلى مليارات المعلمات (مثل GPT-2 وVGG-16)، تصبح خطوة التجميع المركزية عائقًا ضخمًا في الأنظمة.

تحدد الورقة البحثية "سقفًا للقدرة على التوسع" في بنيات التعلم الاتحادي عديم الخادم (Serverless FL) الحالية (مثل $\lambda$ -FL وLIFL). وبينما تُعد المنصات عديمة الخادم (مثل AWS Lambda) مثالية للتعلم الاتحادي نظرًا لنموذجها القائم على "الدفع مقابل الاستخدام" وقدرتها على التعامل مع الطبيعة المتقطعة والمتقلبة للعمل في جولات التعلم الاتحادي، إلا أنها تفرض حدودًا صارمة للذاكرة لكل دالة (على سبيل المثال، 10 جيجابايت في AWS Lambda). وتعتمد البنيات الحالية على تقسيم العمل حسب العملاء (باستخدام طوبولوجيا قائمة على الأشجار)، مما يعني أن كل مجمِّع يجب أن يحتفظ بـ كامل تنسور التدرج في الذاكرة. وبناءً على ذلك، بمجرد أن يتجاوز تدرج النموذج حد ذاكرة الخادم عديم الخادم، يصبح التجميع مستحيلاً من الناحية الجوهرية، بغض النظر عن عدد الدوال المستخدمة.

2. المنهجية: GRADSSHARDING

تقترح المؤلفة GRADSSHARDING، وهي بنية مبتكرة تنقل محور التقسيم من العملاء إلى بُعد النموذج.

تقسيم التدرج (Gradient Partitioning): بدلاً من قيام كل مجمِّع بمعالجة جميع المعلمات لمجموعة فرعية من العملاء، يتم تقسيم تنسور التدرج إلى $M$ من الأجزاء المتصلة (shards).
التجميع المتوازي (Parallel Aggregation): يتم تشغيل $M$ من الدوال عديمة الخادم المستقلة وغير الحالة (stateless) بشكل متزامن. كل دالة $j$ مسؤولة فقط عن الجزء رقم $j$ . تقوم كل دالة بجمع ذلك الجزء المحدد من جميع العملاء الـ $N$ ، وتحسب المتوسط لكل عنصر، وتكتب النتيجة في تخزين الكائنات السحابي (S3).
تحديد الذاكرة (Memory Bounding): نظرًا لأن كل دالة تعالج فقط شريحة من النموذج، فإن متطلبات الذاكرة لكل دالة تنخفض إلى $O(|\theta|/M)$ . وهذا يسمح للنظام بتجميع نماذج ضخمة للغاية عبر زيادة عدد الأجزاء ( $M$ ) ببساطة.
التكافؤ الرياضي (Mathematical Equivalence): بما أن خوارزمية FedAvg تقوم بعمل متوسط لكل عنصر، فإن حساب متوسط الأجزاء بشكل مستقل ثم دمجها هو أمر متطابق جبريًا مع حساب متوسط التدرج الكامل. وهذا يضمن نتائج متطابقة تمامًا (bit-identical) دون أي تأثير على دقة النموذج.

3. المساهمات الرئيسية

بنية جديدة: أول تصميم لتجميع التعلم الاتحادي عديم الخادم يفصل بين ذاكرة الدالة الواحدة وبين حجم النموذج وعدد العملاء.
التحقق التجريبي: دراسة شاملة باستخدام بنية AWS Lambda التحتية الحقيقية، واختبار نماذج تتراوح من 43 ميجابايت (ResNet-18) إلى 5 جيجابايت (نموذج اصطناعي).
نمذجة الأداء: تحديد "نقطة تقاطع التكلفة" و"حد إمكانية الذاكرة" للتعلم الاتحادي عديم الخادم.
المصدر المفتوح: توفير حزمة إعادة إنتاج كاملة تشمل الكود المصدري وسكربتات التجارب.

4. النتائج الرئيسية

تقيم الورقة البحثية GRADSSHARDING مقابل خطوط الأساس المتطورة ( $\lambda$ -FL وLIFL) من خلال ثلاثة أسئلة بحثية (RQs):

السؤال البحثي الأول (RQ1 - الدافع): تأكد من أن خادم المعلمات يكون خاملًا بنسبة تتراوح بين 79.8% إلى 99.6% من جولة التعلم الاتحادي، مما يبرر بقوة استخدام الحوسبة عديمة الخادم لتجنب دفع تكاليف وقت الخمول.
السؤال البحثي الثاني (RQ2 - استئصال الأجزاء/Shard Ablation):
- زمن الاستجابة (Latency): في AWS Lambda، يوفر زيادة $M$ تسريعًا يقترب من الخطية. بالنسبة لنموذج VGG-16، حقق $M=16$ تسريعًا قدره 16.2 ضعفًا مقارنة بـ $M=1$ .
- عنق الزجاجة (Bottleneck): تم تحديد أن إدخال/إخراج S3 (القراءة/الكتابة)، وليس الحوسبة، هو عنق الزجاجة الرئيسي، حيث يمثل 91-99% من إجمالي وقت التجميع.
- مقايضة التكلفة (Cost Tradeoff): تؤدي زيادة $M$ إلى تقليل تكاليف حوسبة Lambda (بسبب انخفاض متطلبات الذاكرة/الوقت) ولكنها تزيد من تكاليف إدخال/إخراج S3.
السؤال البحثي الثالث (RQ3 - المقارنة بين البنيات):
- تقاطع التكلفة (Cost Crossover): بالنسبة للنماذج الصغيرة (أقل من 500 ميجابايت)، يعد $\lambda$ -FL أرخص قليلاً بسبب عمليات S3 الأقل. ومع ذلك، بالنسبة للنماذج المتوسطة (مثل VGG-16)، فإن GRADSSHARDING أرخص بمقدار 2.7 مرة وأسرع بمقدار 1.7 مرة من $\lambda$ -FL.
- جدار القابلية للتوسع (The Scalability Wall): بالنسبة للنماذج التي يزيد حجمها عن ~3 جيجابايت، يصبح $\lambda$ -FL وLIFL غير قابلين للتنفيذ لأنها تتجاوز حد ذاكرة Lambda البالغ 10 جيجابايت. بينما يظل GRADSSHARDING قابلًا للنشر بالكامل عند جميع المقاييس عن طريق زيادة $M$ .

5. الأهمية

تقدم هذه الورقة مخططًا لتوسيع نطاق التعلم الاتحادي للوصول إلى عصر النماذج اللغوية الكبيرة (LLMs) باستخدام بنية تحتية سحابية مؤقتة ومنخفضة التكلفة. ومن خلال إثبات إمكانية تجاوز قيود الذاكرة عبر تقسيم التدرج، نقل المؤلفون التعلم الاتحادي عديم الخادم من كونه حلًا محدودًا للنماذج الصغيرة إلى بنية قابلة للتطبيق فعليًا لأعباء عمل تعلم الآلة الضخمة والمتطورة. كما تقدم الورقة إرشادات عملية للمهندسين حول المقايضة بين زمن الاستجابة والتكلفة عند اختيار عدد الأجزاء في البيئات السحابية.