Adaptive Data Partitioning for Energy-Efficient Federated and Distributed Learning on Heterogeneous Systems
تقترح هذه الورقة متحكماً في تقسيم البيانات تكيفياً مدفوعاً بالقياس، يقوم بإعادة تخصيص ميزانيات العينات ديناميكياً بناءً على مقاييس وقت التدريب والطاقة في الوقت الفعلي للتخفيف من حدة المتأخرين (stragglers)، وتقليل استهلاك الطاقة، وتحسين كفاءة التدريب عبر أنظمة التعلم الموزع والتعلم الاتحادي غير المتجانسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل فصلاً دراسياً حيث تحاول مجموعة من الطلاب حل لغز ضخم ومعقد معاً. في عالم مثالي، سيعمل الجميع بنفس السرعة تماماً، وينتهون من قطعهم في نفس الوقت، ويسلمونها للمعلم في آن واحد. لكن في العالم الحقيقي، يمتلك بعض الطلاب عقولاً فائقة السرعة، بينما يمتلك آخرون معالجات أبطأ، والبعض الآخر يشعر بالتعب، والبعض الآخر مشتت الذهن. هذا هو الواقع اليومي لـ التعلم الموزع (distributed learning)، وهو مجال تتعاون فيه أجهزة الكمبيوتر (أو الأجهزة المختلفة) لتدريب نماذج الذكاء الاصطناوي. فبدلاً من استخدام كمبيوتر خارق واحد للقيام بكل العمل، نستخدم العديد من الأجهزة الأصغر — مثل الهواتف الذكية، أو الأجهزة اللوحية، أو الرقائق المتخصصة — والتي تعمل بالتوازي.
ومع ذلك، هناك عقبة: يتعين على المجموعة بأكملها انتظار أبطأ طالب قبل الانتقال إلى الخطوة التالية. إذا كان أحد الطلاب بطيئاً، فإن الطلاب السريعين سيجلسون دون فعل شيء، مما يهدر الوقت وطاقة البطارية. يُسمى هذا بـ "تأثير المتلكئ" (the stragglers effect). الأمر يشبه سباق التتابع حيث يُجبر العداؤون السريعون على التوقف عند خط النهاية لانتظار العداء الأبطأ حتى يلحق بهم. الهدف الذي يسعى إليه الباحثون في هذا المجال هو معرفة كيفية إبقاء الجميع مشغولين، وإنهاء السباق بشكل أسرع، وتوفير الطاقة، حتى عندما يتكون الفريق من أنواع مختلفة جداً من العدائين.
المشكلة: فخ "المقاس الواحد الذي يناسب الجميع"
لاحظ الباحثون من جامعة لا لاغونا أن معظم الأنظمة تعامل جميع الأجهزة بالطريقة نفسها. فهم يقولون: "حسناً، لدينا 1,000 قطعة من اللغز؛ لنعطِ كل طالب 100 قطعة". يبدو هذا عادلاً، لكنه في الواقع غير فعال. إذا كان الطالب (أ) يمتلك حاسوباً فائق السرعة، فسسينهي الـ 100 قطعة الخاصة به في دقيقة واحدة ثم ينتظر لمدة 10 دقائق حتى ينتهي الطالب (ب)، الذي يمتلك جهازاً أبطأ. خلال هذه الدقائق العشر، سيظل حاسوب الطالب (أ) يعمل، مستهلكاً للكهرباء، وهو ينتظر فحسب.
يطرح البحث سؤالاً بسيطاً: ماذا لو لم نعطِ الجميع نفس القدر من العمل؟ ماذا لو أعطينا الطلاب السريعين قطعاً أكثر والطلاب الأبطئين قطعاً أقل، بحيث ينتهي الجميع في وقت متقارب تقريباً؟ والأفضل من ذلك، ماذا لو نظرنا أيضاً إلى أي الطلاب يستخدم أقل قدر من طاقة البطارية لكل قطعة؟
الحل: المدرب الذكي
قام المؤلفون ببناء "مدرب ذكي" (متحكم يعتمد على القياس) يراقب الطلاب أثناء عملهم. هو لا يخمن من هو سريع أو بطيء؛ بل يقوم بقياسهم بالفعل.
إليك كيف يعمل المدرب:
- الجولة الأولى: يحصل الجميع على حصة متساوية من اللغز.
- التحقق: في نهاية الجولة، يسأل المدرب: "كم استغرق الأمر منك؟" و "كم استهلكت من البطارية؟".
- التعديل: بالنسبة للجولة التالية، يعيد المدرب توزيع العمل. إذا كان الجهاز سريعاً وفعالاً، يقول المدرب: "عمل رائع! إليك المزيد من العمل". أما إذا كان الجهاز بطيئاً أو استنزف بطاريته بسرعة، فيقول: "تمهل، إليك عملاً أقل".
يحدث هذا عند حدود كل "جولة" من جولات التدريب. المدرب ذكي بما يكفي لمعرفة قواعد اللعبة. في بعض الألعاب (مثل التعلم الاتحادي - Federated Learning)، تنتمي البيانات لأشخاص محددين ولا يمكن نقلها من مكانها. في هذه الحالات، يمكن للمدرب فقط إعادة توزيع العمل بين الأجهزة داخل مجموعة ذلك الشخص. وفي ألعاب أخرى حيث يتشارك الجميع البيانات، يمكن للمدري توزيع العمل بحرية بين أي جهاز.
النتائج: السرعة والتوفير
اختبر الباحثون هذا "المدرب الذكي" في ساحة تجارب تضم 11 جهازاً مختلفاً، تتراوح من رقائق الكمبيوتر القوية إلى اللوحات الصغيرة منخفضة الطاقة. وقارنوا طريقتهم بطريقة "التقسيم المتساوي" القديمة، وبطريقة "الملف الشخصي الثابت" (حيث يقيسك المدرب مرة واحدة في البداء ولا يغير الخطة أبداً).
ما وجدوه:
- إنهاء أسرع: من خلال إعطاء المزيد من العمل للأجهزة السريعة والأقل للأجهزة البطيئة، أنهت المجموعة بأكملها التدريب بشكل أسرع بكثير. في بعض الاختبارات، انخفض الوقت المستغرق للانتهاء بنسبة تزيد عن 70% مقارنة بالتقسيم المتساوي.
- توفير الطاقة: نظرًا لأن الأجهزة السريعة لم تكن تجلس منتظرة، انخفض إجمالي الطاقة المستخدمة من قبل المجموعة بشكل كبير. وفي بعض الحالات، انخفض استهلاك الطاقة بأكثر من 40%.
- مفاجأة "وزن الطاقة": كان للمدرب إعداد خاص يسمى "وزن الطاقة". اعتقد الباحثون: "إذا أخبرنا المدرب بأن يعطي الأولوية لتوفير الطاقة، فسيكون ذلك أفضل". لكنهم وجدوا أمراً محيراً. إذا أعطى المدرب الكثير من العمل لجهاز فعال في استهلاك الطاقة ولكنه بطيء جداً، فسيضطر الفريق بأكمله للانتظار لفترة أطول، وسيزداد إجمالي استهلاك الطاقة فعلياً. اتضح أن أفضل توازن يعتمد على المهمة المحددة. في بعض الأحيان، كان التركيز الصرف على السرعة (الوقت فقط) هو الطريقة الأفضل لتوفير الطاقة، لأن ذلك ينهي المهمة بسرعة تجعل الأجهزة قادرة على الإغلاق في وقت أقرب.
ما لم يفعلوه (ولماذا يهم ذلك)
من المهم ملاحظة ما لم يفعله هذا البحث. لم يقم الباحثون بتغيير نموذج الذكاء الاصطناعي نفسه، ولم يغيروا الرياضيات التي يستخدمها الذكاء الاصطناعي للتعلم، ولم يطردوا الأجهزة البطيئة من اللعبة. لقد أبقوا الجميع في الغرفة. كما لم يستخدموا "تنبؤاً سحرياً" يتوقع المستقبل؛ بل استخدموا فقط ما تمكنوا من قياسه في الوقت الحالي.
كما أظهروا أن مجرد اختيار الأجهزة "الأسرع" وتجاهل الأجهزة البطيئة (وهي استراتيجية شائعة في بعض الأنظمة) ليس دائماً هو الحل إذا كنت تريد استخدام كل أجهزتك المتاحة. طريقتهم تبقي الجميع مشاركين ولكنها تعدل عبء العمل بحيث لا يترك أحد ينتظر في البرد.
الخلاصة
يثبت هذا البحث أنك لست بحاجة لترقية أجهزتك لجعل تدريب الذكاء الاصطناعي الخاص بك أسرع وأكثر رفقاً بالبيئة. أنت فقط بحاجة إلى طريقة أذكى لتوزيع العمل. من خلال مراقبة مدى سرعة وكفاءة كل جهاز في الوقت الفعلي وتعديل عبء العمل بناءً على ذلك، يمكنك منع "المتلكئين" من تعطيل السباق. الأمر يشبه مدرباً يدرك أن العدائين السريعين يجب أن يركضوا دورات أكثر بينما يركض العداؤون العاديون دورات أقل، لكي يعبر الجميع خط النهاية معاً، متعبين ولكن سعداء، دون أن يهدر أي شخص طاقته في الوقوف بلا عمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.