في عالم الحوسبة الحديث، برزت مشكلة هادئة ولكنها ملحة جنباً إلى جنب مع الصعود المذهل للذكاء الاصطناعي. فبينما تتعلم الآلات التعرف على الوجوه، وترجمة اللغات، والتنبؤ بالاتجاهات، فإنها تتطلب كميات هائلة من الكهرباء للتدريب. لم تعد تكلفة الطاقة هذه مجرد بند في فاتورة المرافق؛ بل أصبحت عائقاً متزايداً أمام الاستدامة. لعقود من الزمن، ركز الباحثون بشكل حصري تقريباً على جعل هذه النماذج أكثر دقة، متجاهلين في كثير من الأحيان مقدار الطاقة التي تستهلكها للوصول إلى ذلك. ومع ذلك، مع ازدياد حجم النماذج وتعقيدها، فإن الطاقة المطلوبة لتدريبها تتضاعف كل ثلاثة أشهر ونصف تقريباً. ويهدد هذا الاتجاه بجعل تطوير أدوات الذكاء الجديدة أمراً غير مستدام. التحدي، إذن، ليس فقط في بناء آلات أذكى، بل في بنائها بطريقة تحترم حدود شبكة الطاقة لدينا. ولحل هذه المعضلة، يتجه العلماء إلى طريقة تسمى "التحسين البايزي" (Bayesian optimization)، وهي استراتيجية بحث ذكية تساعد الحواسيب على إيجاد أفضل الإعدادات لمهمة ما دون الحاجة لتجربة كل الاحتمالات الممكنة، تماماً مثل متسلق يستخدم خريطة للعثور على أخفض نقطة في الوادي دون تسلق كل تلة.
قام فريق من الباحثين في جامعة برلين للعلوم التطبيقية بتطبيق استراتيجية البحث هذه على هدف جديد: تقليل الطاقة المستخدمة في تدريب نماذج تعلم الآلة. فبدلاً من البحث ببساطة عن الإعدادات التي تنتج أدق التوقعات، طرحوا سؤالاً مختلفاً؛ لقد أرادوا إيجاد الإعدادات التي تستخدم أقل قدر من الوقت والطاقة، بشرط أن يظل أداء النموذج جيداً بما يكفي ليكون مفيداً. وفي نهجهم، تعاملوا مع دقة النموذج ليس كشيء يجب تعظيمه، بل كقاعدة صارمة يجب اتباعها. فإذا انخفض أداء النموذج عن مستوى مقبول معين، يتم استبعاد تلك الإعدادات فوراً. سمحت هذه الطريقة، المعروفة باسم "التحسين البايزي المقيد" (constrained Bayesian optimization)، للباحثين بالتنقل في المشهد الشاسع من الخيارات الممكنة — مثل كيفية تنظيف البيانات، ومدى تعقيد النموذج، ومدة تدريبه — مع إبقاء قدم واحدة ثابتة بقوة على أرض الواقع المتمثل في الأداء المطلوب.
اختبر الباحثون هذا النهج في مجموعة متنوعة من المهام القياسية، بما في ذلك التنبؤ بأسعار المنازل وتصنيف المقالات الإخبارية إلى فئات. وقارنوا طريقتهم الجديدة بالطريقة التقليدية المتبعة، حيث تحاول الحواسيب تقليل الطاقة ولكن يُطلب منها فقط "محاولة عدم الفشل" في الدقة، بدلاً من إعطائها حداً صارماً. في الطريقة التقليدية، غالباً ما تجد الحواسيب إعداداً يستهلك طاقة قليلة جداً ولكنه ينتج نموذجاً غير دقيق لدرجة تجعله غير مفيد. ولإصلاح ذلك، عادة ما تضيف الطريقة التقليدية عقوبة ثقيلة على الدرجة كلما كانت الدقة منخفضة جداً، على أمل أن يثني ذلك الحاسوب عن اختيار الإعدادات السيئة. ومع ذلك، وجد الباحثون أن نهج العقوبة هذا غير دقيق وغالباً ما يفشل في إيجاد التوازن الحقيقي. في المقابل، نجح نهجهم المقيد في تحديد إعدادات استخدمت وقتاً وطاقة أقل بكثير مع الوفاء باستمرار بمعايير الدقة المطلوبة.
أظهرت النتائج أنه من خلال التعامل مع الأداء كقيد صلب وليس كهدف ثانوي، استطاع النظام العثور على "النقطة المثالية" التي فاتتها الطرق الأخرى. وفي التجارب، وصل النهج المقيد باستمرار إلى الدقة المستهدفة بشكل أسرع وبإجمالي وقت تشغيل أقل من الطريقة التقليدية القائمة على العقوبات. وهذا أمر بالغ الأهمية لأن وقت التدريب لهذه الخوارزميات يرتبط ارتباطاً مباشراً بالطاقة المستهلكة. وتثبت الدراسة أنه من الممكن أتمتة اختيار إعدادات تعلم الآلة لتوفير الطاقة دون التضحية بجودة النتائج. ومع ذلك، أشار الباحثون إلى أن طريقتهم تعتمد على وجود معيار واضح ومحدد مسبقاً لما يعتبر أداءً "جيداً بما يكفي". وفي الحالات التي يكون فيها أفضل أداء ممكن غير معروف أو حيث تكون العلاقة بين الإعدادات والطاقة معقدة للغاية، قد تحتاج الطريقة إلى مزيد من التطوير. ومع ذلك، تقدم النتائج مساراً عملياً نحو مستقبل أكثر استدامة للذكاء الاصطناعي، مما يثبت أنه يمكننا تدريب نماذج قوية دون استنزاف موارد الطاقة لدينا.
ملخص تقني: التقليل الآلي للطاقة الحسابية لخوارزميات تعلم الآلة باستخدام التحسين البايزي المقيد
بيان المشكلة تتناول الورقة البحثية الاستهلاك المتزايد للطاقة المرتبط بتدريب نماذج تعلم الآلة (ML)، والناتج عن تضخم أحجام النماذج وكثافة العمليات الحسابية لعملية تحسين المعلمات الفائقة (HPO). وبينما يركز بحث تحسين المعلمات الفائقة التقليدي بشكل أساسي على تقليل خسارة التحقق (validation loss) لتعظيم الأداء التنبؤي، تجادل هذه الدراسة بأن كفاءة الطاقة أصبحت قيداً حاسماً. ويشير المؤلفون إلى أن مجموعات أدوات تعلم الآلة الحالية غالباً ما تفتقر إلى الأدوات المناسبة لقياس الطاقة، كما أن عملية اختيار المعلمات الفائقة المثلى هي في حد ذاتها مستهلك رئيسي للطاقة. وتتمثل المشكلة الجوهرية في أتمتة اختيار المعلمات الفائقة لتقليل استهلاك الطاقة الحسابية (الذي يتم قياسه عبر وقت التشغيل الفعلي/wall-clock runtime) مع الالتزام الصارم بعتبة محددة مسبقاً للأداء (الدقة في التصنيف، أو متوسط مربع الخطأ في الانحدار).
المنهجية يقترح المؤلفون إطار عمل باستخدام التحسين البايزي المقيد (Constrained Bayesian Optimization - CBO) لحل هذه المشكلة متعددة الأهداف. وتتكون المنهجية من الهيكل التالي:
صياغة الهدف والقيد:
الهدف: تقليل τ(x)، وهو الوقت المستغرق لتدريب نموذج تعلم آلة بالمعلمات الفائقة x.
القيود: ضمان تحقيق النموذج لأداء أساسي c0. في حالة التصنيف، تكون الدقة cc(x)≥c0؛ وفي حالة الانحدار، يكون متوسط مربع الخطأ cr(x)≤c0.
النمذجة البديلة (Surrogate Modeling):
يستخدم المؤلفون عمليات غاوس (Gaussian Processes - GPs) مع نواة Matérn 5/2 لنمذجة كل من دالة الهدف ودوال القيود بشكل مستقل.
لضمان صحة التوزيعات المسبقة لعمليات غاوس (حيث إن مقاييس الوقت والخطأ الخام موجبة تماماً)، يطبق المؤلفون تحويلات لوغاريتمية بالنسبة للقيم المرجعية. وتحديداً، يتم نمذجة الهدف كـ f(x)=logτ(x)−logτb، بينما تُنمذج القيود كنسب لوغاريتمية لمقاييس الأداء مقابل عتباتهم المرجعية.
استراتيجية الاستحواذ (Acquisition Strategy):
يتم تعريف دالة استحواذ مشتركة كحاصل ضرب مكونين:
التحسين المتوقع (Expected Improvement - EI): يعمل على تحسين الهدف (تقليل وقت التشغيل).
احتمالية الجدوى (Probability of Feasibility - PoF): تُقدر احتمالية أن تحقق النقطة المرشحة القيد الخاص بالأداء.
يسمح هذا النهج المشترك للخوارزمية بتعلم المناطق الممكنة للقيد بالتزامن مع المناطق المثلى للهدف، مما يضمن مراعاة الجدوى أثناء عملية اتخاذ القرار بشأن نقطة أخذ العينات التالية.
المقارنة المرجعية:
تتم مقارنة الـ CBO المقترح مع نهج التحسين البايزي غير المقيد (Unconstrained BO) الذي يتضمن دالة جزاء تربيعية. في هذا النموذج المرجعي، تُضاف مخالفة القيد إلى دالة الهدف كحد جزاء: f′(x)=f(x)+21ρmax(0,c(x))2.
الإعداد التجريبي والنتائج تم تقييم إطار العمل على نماذج انحدار قياسية (Lasso, Elastic Net, KNN, Decision Tree, AdaBoost) ونماذج تصنيف (Ridge, Logistic Regression, KNN, Random Forest). واستخدمت التجارب مجموعتي بيانات كبيرتين: California Housing (للانحدار) و 20-Newsgroups (للتصنيف).
الأداء: تُظهر النتائج أنه بينما يجد التحسين البايزي غير المقيد مع الجزاءات غالباً الحد الأدنى لقيمة الهدف، فإنه كثيراً ما ينتهك قيود الأداء، مما يؤدي إلى إضافة حدود جزاء كبيرة تؤدي إلى تدهور الحل الفعال.
الكفاءة: نجح الـ CBO في تحديد تكوينات المعلمات الفائقة التي قللت من وقت التشغيل التراكمي (وكيل الطاقة) مع تلبية عتبات الأداء المحددة مسبقاً باستمرار.
الأدلة المرئية: توضح الأشكال 1 و 2 أن الـ CBO يحقق أوقات تشغيل تراكمية أقل مقارنة بالتحسين البايزي غير المقيد المعتمد على الجزاء، مع الحفاظ على متوسط مربع الخطأ (MSE) أو الدقة فوق/تحت العتبة المطلوبة.
المساهمات الرئيسية والأهمية تزعم الورقة المساهمات والأهمية التالية:
تحول في تركيز تحسين المعلمات الفائقة (HPO): تقترح الورقة تحولاً في النموذج حيث يصبح استهلاك الطاقة (وقت التشغيل) هو الهدف الأساسي المراد تقليله، مع معاملة الأداء التنبؤي كقيد صارم بدلاً من كونه الهدف الوحيد للتحسين.
إطار عمل فعال للتحسين البايزي المقيد (CBO): تثبت الدراسة أن دالة الاستحواذ المشتركة (EI × PoF) أكثر فعالية من التحسين البايزي غير المقيد المعتمد على الجزاءات لهذا النوع من المهام؛ فهي تتجنب عيوب ضبط الجزاء وتضمن أن المعلمات الفائقة المختارة نهائية هي فعالة من حيث استهلاك الطاقة وذات أداء عالٍ في آن واحد.
القابلية للتوسع والاستدامة: يسلط العمل الضوء على إمكانات الـ CBO لتطبيقات تعلم الآلة الحديثة التي تتضمن مجموعات بيانات ضخمة ونماذج عالية السعة، مما يوفر أداة لتأمين مستقبل أكثر استدامة وقابلية للتوسع لهندسة تعلم الآلة من خلال تقليل التكلفة الحسابية لتدريب النماذج دون المساس بجدواها.
القيود التي أقر بها المؤلفون أشار المؤلفون بتواضع إلى قيدين رئيسيين:
العتبات المحددة مسبقاً: يفترض هذا النهج وجود عتبة أداء معقولة ومحددة مسبقاً (مثل اتفاقيات مستوى الخدمة). وفي السيناريوهات التي تكون فيها المعلمات الافتراضية غير مثالية بالفعل أو لا يوجد خط مرجعي واضح، قد يكون تحديد القيد أمراً صعباً.
النمذجة البديلة المستقلة: يقوم إطار العمل الحالي بنمذجة النماذج البديلة للطاقة والأداء بشكل مستقل. ويقر المؤلفون بأن المعلمات الفائقة تؤثر غالباً على كلا المقياسين في آن واحد (مثل قوة التنظيم أو معالجة البيانات المسبقة)، ويهدف العمل المستقبلي إلى استكشاف دوال استحواذ يمكنها التقاط هذه الارتباطات.