From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs
تقدم هذه الورقة منهجية تحليلية مُعايرة تجريبياً لتقدير استهلاك الطاقة لاستنتاج النماذج اللغوية الكبيرة (LLM) على وحدات معالجة الرسومات NVIDIA H100، وذلك عبر تفكيك أعباء العمل إلى مكونات حسابية وحركة مرور الذاكرة، مما يتيح تقييمات طاقة شفافة وقابلة للتكرار دون الحاجة إلى قياس مباشر من الأجهزة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمكتبة ضخمة تعج بالحركة، حيث يطلب ملايين الأشخاص باستمرار من أمين مكتبة سحري (ذكاء اصطناعي) أن يكتب قصصاً، أو يحل مسائل رياضية، أو يلخص أخباراً. لفترة طويلة، كنا نهتم فقط بمدى حاجة أمين المكتبة هذا إلى "قوة ذهنية" لتعلم حيله (التدريب). ولكن الآن، يعمل أمين المكتبة هذا دون توقف، مجيباً على ملايين الأسئلة يومياً. هذا العمل المستمر يستهلك كمية هائلة من الكهرباء، وهو أمر ضار بالكوكب. السؤال الكبير الذي يواجه العلماء والمهندسين هو: "كم تبلغ كمية الطاقة التي تستغرقها الإجابة على سؤال واحد فقط؟" تكمن المشكلة في أن قياس هذه الطاقة مباشرة يشبه محاولة وزن حبة رمل واحدة بينما تهب عاصفة حولها؛ فأنت بحاجة إلى مستشعرات خاصة وباهظة الثمن وظروف مثالية لا يملكها معظم الناس. وبدون وسيلة لتخمين تكلفة الطاقة، يصعب معرفة ما إذا كان أحد نماذج الذكاء الاصطناعي "أكثر رفقاً بالبيئة" من غيره، أو ما إذا كانت طريقة معينة لطرح السؤال تهدر الطاقة.
تقدم هذه الورقة البحثية، التي تحمل عنوان "من الرموز (Tokens) إلى واط-ساعة"، طريقة ذكية لحل هذا اللغز دون الحاجة إلى توصيل مقياس طاقة. فقد طور المؤلفون، وهم فريق من الباحثين من جامعات وشركات تقنية، "آلة حاسبة" رياضية تقدر مقدار الطاقة التي يستهلكها الذكاء الاصطناعي بمجرد النظر إلى حجم الذكاء الاصطناعي وطول المحادثة. فكر في الأمر كملصق غذائي للذكاء الاصطناعي: بدلاً من عد السعرات الحرارية، يقوم بعد "الواط-ساعة" (وحدة طاقة). وقد اختبروا آلتهم الحاسبة على شرائح كمبيوتر قوية تسمى NVIDIA H100s، وهي المحركات التي تقود العديد من أذكى نماذج الذكاء الاصطناعي اليوم.
إليك كيف تعمل آلتهم الحاسبة، باستخدام تشبيه بسيط. تخيل أن الذكاء الاصطناعي هو طاهٍ في مطبخ. لطهي وجبة (إنشاء إجابة)، يقوم الطاهي بشيئين: يقرأ الوصفة ويجمع المكونات (هذا هو جزء "الحوسبة")، ثم يركض ذهاباً وإياباً إلى المخزن لجلب التوابل والأدوات (هذا هو جزء "الذاكرة"). وجد الباحثون أنه بالنسبة للطلبات القصيرة، يكتفي الطاهي بالطهي غالباً، لذا فإن تكلفة الطاقة تتعلق بالطهي بشكل أساسي. ولكن بالنسبة للطلبات الطويلة والمعقدة، يضطر الطاهي للركض إلى المخزن مرات كثيرة لدرجة أن الطاقة المستهلكة في الركود تبدأ في الهيمنة على الفاتورة.
تقسم الورقة البحثية تكلفة الطاقة إلى مرحلتين:
- مرحلة "ما قبل التعبئة" (Prefill Phase): وهي عندما يقرأ الطاهي طلب الزبون (المدخلات). وتعتمد تكلفة الطاقة هنا على طول الطلب.
- مرحلة "فك التشفير" (Decode Phase): وهي عندما يكتب الطاهي الإجابة، كلمة بكلمة. وتعتمد تكلفة الطاقة هنا على طول الإجابة.
اكتشف الباحثون أن تكلفة الطاقة لا تعتمد فقط على مدى ضخامة الذكاء الاصطناعي (عدد "المكونات" أو المعلمات/Parameters التي يمتلكها)، بل تعتمد أيضاً بشكل كبير على طول المحادثة. ووجدوا أنه كلما زادت الإجابة طولاً، لا تزداد الطاقة في خط مستقيم، بل تنحني للأعلى بشكل حاد. لماذا؟ لأن كل كلمة جديدة يكتبها الذككاء الاصطناعي تتطلب منه العودة لقراءة كل الكلمات السابقة ليفهم سياق القصة. الأمر يشبه اضطرار الطاهي لإعادة قراءة الوصفة بأكملة في كل مرة يضيف فيها رشة ملح جديدة. فكلما طالت الوصفة، زادت الحاجة للركض ذهاباً وإياباً، وزادت الطاقة المهدرة.
باستخدام صيغتهم الحسابية، حسب الفريق أن ذكاءً اصطناعياً صغيراً (يحتوي على حوالي 0.3 مليار معلمة) يستهلك طاقة قليلة جداً، حوالي 0.001 واط-ساعة لكل طلب. ولكن ذكاءً اصطناعياً ضخماً (بـ 120 مليار معلمة) يستخدم طاقة أكبر بكثير—حوالي 0.15 واط-ساعة لنفس المهمة. كما أظهروا أنه بالنسبة لنموذج يحتوي على 70 مليار معلمة، كانت تقديراتهم قريبة جداً (ضمن نطاق 5%) من القياسات الواقعية التي أجراها علماء آخرون، مما يثبت أن "آلتهم الحاسبة" موثوقة بما يكفي للاستخدام عندما لا يمكنك قياس الطاقة مباشرة.
تذكر الورقة البحثية صراحةً أن هذه الأداة ليست بديلاً مثالياً لقياس الكهرباء باستخدام مقياس (عداد). فهي لا تحسب الطاقة المستخدمة في تكييف الهواء، أو كابلات الإنترنت، أو أجهزة الكمبيوتر الأخرى في مركز البيانات. إنها تحسب فقط الطاقة المستخدمة من قبل الشريحة المحددة التي تقوم بعملية التفكير. ومع ذلك، يجادل المؤلفون بأن طاقة هذه الشريحة هي الجزء الأكبر من الفاتورة الذي يمكن للمهندسين التحكم فيه.
إذاً، ماذا يعني هذا للمستقبل؟ تقترح الورقة أنه إذا أردنا توفير الطاقة، فلا ينبغي لنا فقط محاولة صنع أجهزة ذكاء اصطناعي أكبر، بل يجب أن نحاول جعل "الوصفات" أقصر (ضغط المدخلات)، أو طلب إجابات أقصر، أو استخدام "طهاة" أصغر ومتخصصين للمهام البسيطة. يأمل المؤلفون أن تساعد هذه الآلة الحاسبة المطورين على مقارنة نماذج الذكاء الاصطناعي المختلفة واختيار النماذج الأكثر كفاءة في استهلاك الطاقة، مما يساعد في بناء عالم رقمي "أكثر خضرة" دون الحاجة إلى تركيب مقياس طاقة على كل جهاز كمبيوتر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.