TokenPowerSandbox: Evidence-Gated CPU-First Screening for Energy-Aware LLM Serving
يُعد TokenPowerSandbox إطار عمل للفحص القائم على الأدلة والأولوية للمعالجة المركزية (CPU-first)، والذي يجمع بين الإسقاط القابل للتفسير والتحري المحدود عبر وحدة معالجة الرسومات (GPU) لتحقيق دقة عالية في التنبؤ بالطاقة لخدمة النماذج اللغوية الكبيرة (LLM)، مع إظهار حدود نماذج الطاقة صراحةً في اعتماد أداء زمن الاستجابة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
عندما يجيب نموذج لغوي كبير على سؤال، فإنه يقوم بكمية هائلة من العمليات الرياضية على شريحة حاسوبية متخصصة. تستهلك هذه العملية الكهرباء، ويتغير مقدار الطاقة المستخدمة بناءً على طول السؤال، وعدد الأشخاص الذين يطرحون الأسئلة في وقت واحد، وكيفية ضبط البرمجيات للتعامل مع هذا الحمل. بالنسبة للشركات التي تشغل هذه الأنظمة، يعد معرفة التكلفة الدقيقة لإعداد معين أمرًا بالغ الأهمية؛ فهي ترغب في توفير المال وتقليل أثرها البيئي، ولكن يجب عليها أيضًا أن تعد مستخدميها بأن الإجابات ستظهر بسرعة. وتكمن المشكلة في أن اختبار كل الإعدادات الممكنة على الأجهزة الفعلية هو أمر بطيء ومكلف، بينما محاولة تخمين النتائج باستخدام حاسوب عادي غالبًا ما تكون غير دقيقة بشكل خطير.
لقد طور الباحثون طريقة جديدة تسمى TokenPowerSandbox لحل هذه المشكلة. وبدلاً من محاولة استبدال الأجهزة المكلفة بتخمين رخيص، أنشأ الفريق سير عمل صارم يعامل تنبؤات الحاسوب كأفكار مؤقتة يجب إثباتها من خلال أدلة من العالم الحقيقي. لقد بنوا نظامًا يستخدم أولاً حاسوبًا عاديًا لاستبعاد الخيارات السيئة بوضوح، ثم يأخذ قياسًا قصيرًا وسريعًا على الشريحة الحقيقية للتحقق مما إذا كان التنبؤ صامدًا، وأخيرًا يجري اختبارًا كاملاً وشاملاً فقط على المرشحين الأكثر واعدية. يضمن هذا النهج أن القرارات تستند إلى حقائق مثبتة بدلاً من تخمينات واثقة قد تكون خاطئة في مواقف معينة.
اختبر الباحثون هذا النظام على بطاقة رسوميات عالية الأداء واحدة، وهي NVIDIA H100، وهي تشغل نموذجًا لغويًا محددًا. بدأوا بإنشاء نموذج بسيط على حاسوب عادي يمكنه تقدير استهلاك الطاقة بناءً على طول النص وعدد المستخدمين. وللتأكد من أن هذا النموذج عادل، قاموا أولاً بتدريبه على مجموعة صغيرة مكونة من ستة أعباء عمل مختلفة. ثم قاموا بقفل إعدادات النموذج بحيث لا يمكنه تعلم أي شيء جديد، واختبروه على مجموعة منفصلة تمامًا من أعباء العمل التي لم يسبق له رؤيتها. كانت النتائج مثيرة للإعجاب فيما يتعلق بالطاقة: كانت تقديرات الحاسوب ضمن حوالي ستة بالمائة من الطاقة الفعلية المستخدمة على الشريبة الحقيقية، كما نجح في تصنيف الإعدادات الأكثر كفاءة في كل حالة تقريبًا.
ومع ذلك، كشفت الدراسة عن قصور حاسم كان بإمكان المتوسط البسيط إخفاؤه. فبينما كان الحاسوب ممتازًا في التنبؤ بالطاقة، فشل في التنبؤ بالوقت الذي سيستغرقه ظهور الكلمة الأولى من الإجابة عندما يكون النظام تحت حمل خفيف. في حالات حركة المرور المنخفضة هذه، كانت تخمينات الحاسوب بعيدة تمامًا عن الواقع. وقد بنى الباحثون آلية أمان في نظامهم للتعامل مع هذا الأمر؛ حيث تمت برمجة النظام للاعتراف عندما يتجاوز قدراته. فإذا كانت حركة المرور خفيفة للغاية، يرفض النظام تقديم تنبؤ بشأن السرعة ويطلب بدلاً من ذلك قياسًا حقيقيًا. منعت قاعدة "الامتناع" هذه الفريق من ارتكاب خطأ مكلف بناءً على شعور زائف بالثقة.
ولإيجاد أفضل الإعدادات، قارن الفريق بين اثني عشر تكوينًا مختلفًا. حدد الفحص المعتمد على الحاسوب فقط الإعدادات التي تستهلك أقل قدر من الطاقة، لكنه فشل تمامًا في تحديد الإعدادات التي كانت سريعة بما يكفي لتلبية متطلبات المستخدمين. في الواقع، كان ترتيب السرعة الذي قدمه الحاسوب عكس الواقع تمامًا تقريبًا. ومن خلال إضافة خطوة قياس قصيرة وسريعة، تمكن الفريق من إصلاح ذلك. هذا الفحص الموجز على الأجهزة الحقيقية صحح ترتيبات السرعة ونجح في تحديد التكوين الأفضل الذي كان فعالًا في استهلاك الطاقة وسريعًا بما يكفي في آن واحد. ولولا هذا الفحص السريع، لكانوا قد اختاروا إعدادًا يبدو جيدًا على الورق ولكنه سيكون بطيئًا جدًا للمستخدمين الحقيقيين.
كانت الخطوة الأخيرة هي إثبات أن الإعداد المختار يعمل بالفعل في اختبار مستقل جديد. قام الباحثون بقفل اختيارهم وشغلوه مقابل خط أساس خبير تم اختياره مسبقًا على نفس الأجهزة. استخدم الإعداد الجديد طاقة أقل بنسبة 1.4 بالمائة تقريبًا لكل ألف كلمة يتم إنتاجها، وقلل الوقت اللازم لظهور الكلمة الأولى بأكثر من 21 بالمائة. قد تبدو هذه الأرقام صغيرة، ولكن في عالم مراكز البيانات الضخمة، تمثل وفورات كبيرة. لم تدعِ الدراسة حل المشكلة لجميع الحواسيب أو جميع النماذج، كما لم تدعِ أنها تعمل في شبكات معقدة من العديد من الرقائق. بدلاً من ذلك، أرست أساسًا موثوقًا لكيفية اتخاذ هذه القرارات بأمان.
الدرس الجوهري من هذا العمل هو أن التنبؤات الرخيصة لا تكون مفيدة إلا عندما تقترن بفهم واضح لحدودها. يمكن للحاسوب محاكاة تكلفة طاقة مهمة ما بدقة عالية، لكنه لا يستطيع بعد محاكة التأخيرات المعقدة التي تحدث عندما يكون النظام مشغولًا. لقد أظهر الباحثون أنه من خلال الجمع بين نموذج بسيط وبعض عمليات التحقق المستهدفة من العالم الحقيقي، ومن خلال جعل النظام يعرف متى يتوقف عن التخمين، يمكنك العثور على أفضل الإعدادات دون إضاعة الوقت أو المال. توفر هذه الطريقة وسيلة جديرة بالثقة للتنقل بين المقايضة بين توفير الطاقة والحفاظ على سرعة الخدمات، مما يضمن أن القرار النهائي مدعوم بالأدلة وليس بالأمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.