Regime-First GPU Power Management for Deep Learning: Cross-Hardware Evidence from Power, Performance, and Energy

في القاعات الشاسعة والنابضة بالحياة لمراكز البيانات الحديثة، حيث يتم تدريب نماذج الذكاء الاصطناعي، تُخاض معركة صامتة على الكهرباء. هذه الآلات، التي تعمل بواسطة رقائق متخصصة تسمى وحدات معالجة الرسومات (GPUs)، تستهلك كميات هائلة من الطاقة لحل المشكلات المعقدة. لسنوات، عمل المهندسون وفق قاعدة بسيطة وبديهية: إذا قمت بتقليل كمية الطاقة التي يمكن للرقاقة سحبها، فستوفر الطاقة. يبدو من المنطقي أن خفض مستوى الصوت في مكبر الصوت يقلل من إجمالي الصوت الذي يصدره؛ وبالمثل، فإن خفض حد الطاقة للرقاقة يجب أن يقلل من إجمالي الكهرباء التي تستهلكها. أدت هذه الفكرة إلى ممارسات واسعة النط الانتشار لـ "تحديد سقف الطاقة" (power capping)، حيث يضع المسؤولون سقفاً صلباً لكمية الكهرباء المسموح للرقاقة باستخدامها في أي لحظة معينة، آملين في خفض التكاليف والحرارة دون الإضرار بالأداء. ومع ذلك، يعتمد هذا الافتراض على الاعتقاد بأن العلاقة بين القدرة والعمل هي علاقة مباشرة، متجاهلاً الطبيعة المعقدة والمتغيرة لكيفية تصرف هذه الرقائق فعلياً تحت ظروف مختلفة.

لقد تحدى فريق من الباحثين من جامعة فيشنو النسائية في الهند هذا المنظور المباشر من خلال سلسلة من التجارب الصارمة. لقد سعوا لاختبار ما إذا كان مجرد خفض حد الطاقة لوحدة معالجة الرسومات يؤدي دائماً إلى نتيجة أكثر كفاءة في استهلاك الطاقة، أم أن الإجابة تعتمد كلياً على النوع المحدد من الأجهزة والمهمة التي تؤديها. وللقيام بذلك، لم يعتمدوا على محاكاة الكمبيوتر أو النماذج النظرية، بل قاموا بتشغيل مهام تدريب حقيقية على رقائق فيزيائية فعلية، مع قياس كل واط من الكهرباء وكل ثانية من الوقت بدقة عالية. لقد اختبروا خمسة أنواع مختلفة من بنيات التعلم العميق — وهي هياكل رياضية معقدة تُستخدم للتعرف على الصور والأنماط — على نوعين مختلفين جداً من وحدات معالجة الرسومات: Tesla T4، وهي بطاقة مصممة لمراكز البيانات، وQuadro GV100، وهي بطاقة محطة عمل أكثر قوة. لاحقاً، أضافوا بطاقة ثالثة، وهي L4، لمعرفة ما إذا كانت نتائجهم ستصمد عبر أجيال مختلفة من التكنولوجيا.

اكتشف الباحثون أن سلوك هذه الرقائق ليس موحداً. ففي بطاقة Quadro GV100 القوية، كانت المهام المختلفة تسحب كميات مختلفة من الطاقة، وكانت الرقاقات تسخن بطريقة سلسة ومتوقعة. ولكن في بطاقة Tesla T4، كان الوضع مختلفاً تماماً؛ حيث كانت هذه الرقاقة تعمل في نطاق ضيق حيث يتم تحديد طاقتها بصرامة بواسطة إعدادات البرامج، بغض النظر عن المهمة المحددة التي تعمل عليها. وعندما حاول الباحثون خفض حد الطاقة في T4 من إعدادها القياسي البالغ 70 واط إلى 60 واط، حدث أمر غير متوقع؛ فقد سحبت الرقاقة بالفعل كهرباء أقل في أي لحظة منفردة، لكنها تباطأت بشكل كبير لدرجة أنها استغرقت وقتاً أطول لإنجاز نفس القدر من العمل. ولأن الرقاقة كانت تعمل لفترة أطول، فقد زادت إجمالي الطاقة المطلوبة لإكمال خطوة واحدة من عملية التدريب فعلياً. وفي بعض الحالات، أدى خفض حد الطاقة بنسبة 10 بالمائة تقريباً إلى زيادة الطاقة اللازمة لكل خطوة بنسبة تصل إلى 11.7 بالمائة. كانت الرقاقة تعمل بجهد أكبر ووقت أطول للقيام بنفس المهمة، مما أدى إلى هدر الطاقة في هذه العملية.

تتعارض هذه النتيجة مباشرة مع الاعتقاد الشائع بأن انخفاض القدرة اللحظية يعني دائماً كفاءة أفضل. وجد الباحثون أنه في T4، لم تكن نقطة التشغيل الأكثر كفاءة هي أدنى إعداد للطاقة، بل كانت نقطة وسط محددة. فعندما ضبطوا الحد عند 64 واط، تباطأت الرقاقة قليلاً فقط، وظل إجمالي الطاقة لكل خطوة مساوياً تقريباً للإعداد القياسي. ومع ذلك، فإن الضغط نزولاً إلى 60 واط تجاوز عتبة أصبح فيها التباطؤ شديداً للغاية، مما جعل العملية أقل كفاءة. كما اختبرت الدراسة نظام تحكم ديناميكي يقوم بتعديل حد الطاقة تلقائياً بناءً على درجة حرارة الرقاقة، وهو استراتيجية شائعة في الحوسبة الحديثة. ووجدوا أن هذا المتحكم الذكي لم يقدم أي فائدة حقيقية في T4، لأن الرقاقة كانت تُدار بالفعل بواسطة حدود برمجياتها الداخلية، ولم تغير التعديلات القائمة على درجة الحرارة النتيجة.

اتخذت القصة منعطفاً مثيراً للاهتمام عندما اختبر الباحثون رقاقة أحدث، وهي NVIDIA L4. هنا، تغيرت القواعد مرة أخرى؛ ففي هذه الأجهزة، أدى خفض حد الطاقة إلى 60 أو 64 واط في الواقع إلى تقليل إجمالي الطاقة المطلوبة لإكمال كل خطوة، رغم أن الرقاقة كانت لا تزال أبطأ. أثبت هذا أنه لا توجد قاعدة واحدة عالمية لإدارة الطاقة عبر جميع أنواع الأجهزة. فما ينجح مع رقاقة ما قد يكون كارثياً لرقاقة أخرى، وما ينجح مع مهمة معينة قد لا ينجح مع مهمة أخرى على نفس الرقاقة. وخلص الباحثون إلى أنه قبل أن يحاول أي شخص توفير الطاقة عن طريق تعديل حدود الطاقة، يجب عليه أولاً فهم "النظام" (regime) أو وضع التشغيل الخاص بجهازه المحدد.

اقترح الفريق نهجاً جديداً يسمى "الإدارة القائمة على النظام أولاً" (regime-first management). فبدلاً من تطبيق قاعدة توفير الطاقة بشكل أعمى، ينبغي لمديري الأنظمة أولاً قياس كيفية سلوك رقاقتهم المحددة. يجب عليهم إجراء اختبار قصير لمعرفة ما إذا كانت الرقاقة محدودة بالحرارة، أم محدودة بالطاقة، أم أن لديها مساحة وفيرة. وفقط بعد تحديد هذه الحالة، يمكنهم تقرير ما إذا كان ينبغي التدخل. فإذا كانت الرقاقة تعمل بالفعل عند حدها الأقصى، فإن إجبارها على استخدام طاقة أقل قد يجعلها فقط أبطأ وأقل كفاءة. أما إذا كان لديها مساحة كافية، فإن خفض الطاقة قد يوفر الطاقة بالفعل. هذه الطريقة تعامل الأجهزة ككيان فريد له شخصيته الخاصة، بدلاً من افتراض أن جميع الرقائق تتفاعل بنفس الطريقة مع نفس الأمر.

كما بحثت الدراسة فيما إذا كان بإمكان الذكاء الاصطناعي التنبؤ بهذه السلوكيات قبل حدوثها. طلب الباحثون من نموذج لغوي كبير، وهو نوع من الذكاء الاصطناعي المدرب على كميات هائلة من النصوص والأكواد، تخمين مقدار الطاقة التي ستستخدمها مهمة تدريب معينة. ووجدوا أن الذكاء الاصطناعي يمكنه تقديم تخمينات أفضل إذا تم تزويده بتفاصيل محددة حول الأجهزة، مثل اسم النموذج والمواصفات الفنية. ومع ذلك، عندما حاولوا تعليم الذكاء الاصطناعي من خلال إظهار مثال واحد فقط لكيفية سلوك الرقاقة، كانت النتائج مختلطة. ففي حالة T4، حيث كانت جميع المهام تتصرف بشكل متشابه، ساعد هذا المثال الوحيد الذكاء الاصطناعي على التنبؤ بالبقية. أما في حالة GV100، حيث كانت المهام تتصرف بشكل مختلف تماماً، فقد أدى ذلك المثال الوحيد في الواقع إلى تضليل الذكاء الاصطناعي. وهذا يشير إلى أنه بينما يمكن للذكاء الاصطناعي أن يكون أداة مفيدة لتقديم تخمينات أولية، إلا أنه لا يمكنه استبدال الحاجة إلى القياسات الواقعية.

في نهاية المطاف، تسلط هذه الأبحاث الضوء على حقيقة أساسية حول إدارة الأنظمة المعقدة: وهي أن الحدس يمكن أن يكون مضللاً. إن فكرة أن "الطاقة الأقل هي دائماً الأفضل" هي فخ يمكن أن يؤدي إلى هدر الطاقة وإبطاء الأداء. لقد أظهر الباحثون أن طريق الكفاءة ليس خطاً مستقيماً، بل هو مشهد يتألف من قمم ووديان تختلف من آلة إلى أخرى. ومن خلال تخصيص الوقت لقياس وفهم السلوك المحدد لأجهزتهم، يمكن للمهندسين تجنب أفخاخ الحلول الموحدة. إن هذا العمل بمثابة تذكير بأنه في عالم الحوسبة عالية الأداء، ليست الاستراتيجية الأكثر فعالية هي تطبيق قاعدة ثابتة، بل المراقبة، والقياس، والتكيف مع الواقع الفريد للآلة التي أمامك.