Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors
تقدم هذه الورقة البحثية HYMELL، وهو إطار عمل هجين ثلاثي المستويات يجمع بين النمذجة التحليلية وتعلم الآلة لتقدير زمن انتقال الاستدلال واستهلاك الطاقة بدقة لمختلف بنيات النماذج اللغوية الكبيرة على أجهزة مثل NVIDIA H100، محققاً خطأً يقل عن 5% وممكناً لاستكشاف مساحة التصميم بكفاءة دون الحاجة إلى أجهزة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء روبوت عملاق يتحدث، يمكنه كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. يُسمى هذا الروبوت "نموذج لغة كبير" (LLM). ولجعله يعمل، تحتاج إلى دماغ كمبيوتر فائق السرعة، عادة ما يكون "وحدة معالجة رسومات" (GPU)، وهي نفس نوع الرقاقة الموجودة في أجهزة ألعاب الفيديو المتطورة. لكن تكمن المشكلة في أن هذه الروبوتات تصبح ضخمة وذكية للغاية، مما يجعل تشغيلها مكلفاً بشكل لا يصدق؛ فهي تلتهم كميات هائلة من الكهرباء وتستغرق وقتاً طويلاً في التفكير، مما يجعل استخدامها صعباً في مواقف العالم الحقيقي مثل المستشفيات أو المدارس.
السؤال الكبير الذي يطرحه العلماء هو: "كيف يمكننا معرفة مقدار الطاقة والوقت الذي سيحتاجه الروبوت بالضبط قبل أن نبنيه حتى؟" حالياً، لمعرفة ذلك، يتعين عليك بناء الروبوت، وتشغيله، وقياسه باستخدام أدوات خاصة. وهذا أمر بطيء ومكلف ويتطلب أن يكون لديك الكمبيوتر الخارق الفعلي بين يديك. إذا كنت ترغب في تجربة ألف تصميم مختلف للروبوت لتجد التصميم الأكثر كفاءة، فسيتعين عليك بناء واختبار كل واحد منها على حدة، مما سيستغرق وقتاً طويلاً جداً ويكلف ثروة طائلة.
هنا يأتي دور فريق من الباحثين من جامعة جنوب كاليفورنيا بفكرة جديدة تسمى HYMELL. فكر في HYMELL على أنها "كرة بلورية" لعلماء الكمبيوتر. فبدلاً من بناء الروبوت واختباره، تتيح لك هذه الأداة الجديدة التنبؤ بدقة بمدى سرعة الروبوت ومدى استهلاكه للطاقة بمجرد النظر إلى مخططاته الهندسية. إنها تستخدم مزيجاً ذكياً من الصيغ الرياضية التقلية والتعلم الآلي الحديث لتخمين تكلفة تشغيل هذه النماذج الضخمة. اختبر الباحثون هذه الكرة البلورية على رقاقة كمبيوتر قوية تسمى NVIDIA H100، ووجدوا أنها تستطيع التنبؤ بسرعة الروبوت واستهلاك الطاقة بدقة مذهلة، حيث تكون نسبة الخطأ غالباً أقل من 5%. وهذا يعني أن المهندسين يمكنهم الآن تجربة آلاف التصاميم المختلفة للروبوتات بسرعة على جهاز كمبيوتر محمول للعثور على التصميم الأكثر كفاءة، دون الحاجة لشراء كمبيوتر خارق أو الانتظار لأيام للحصول على النتائج.
المحقق ذو المستويات الثلاثة
لفهم كيفية عمل HYMELL، تخيل أنك تحاول تقدير الوقت الذي يستغرقه خبز كعكة ضخمة متعددة الطبقات وكمية الكهرباء التي ستستخدمها الفرن. يمكنك محاولة تخمين الوقت الإجمالي بمجرد النظر إلى الكعكة النهائية، ولكن هذا غالباً ما يكون غير دقيق لأنك ستفقد التفاصيل الصغيرة. بدلاً من ذلك، يعمل HYMELL كمحقق ذي ثلاثة مستويات، حيث يقوم بتفكيك المشكلة إلى قطع أصغر يمكن إدارتها.
المستوى 1: المكونات الصغيرة (النمذجة التحليلية)
أولاً، ينظر النظام إلى أصغر "مكونات" دماغ الروبوت. هذه هي العمليات الرياضية الأساسية مثل ضرب الشبكات الضخمة من الأرقام (المسمى GEMM)، وتطبيع البيانات (RMSNorm)، وحساب درجات الانتباه (Softmax). أدرك الباحثون أن هذه العمليات الصغيرة تتصرف بشكل مختلف اعتماداً على حجم المهمة.
- التشبيه: فكر في مهمة مطبخ صغيرة مثل تقطيع بصلة واحدة. إذا كان لديك بصلة واحدة فقط، فإن الوقت المستغرق يتعلق أساساً بالوقت الذي يستغرقه المشي إلى الثلاجة، وإحضار السكين، والبدء في التقطيع (وهذا يسمى "مرتبط بالإطلاق" أو launch-bound). ولكن إذا كان عليك تقطيع جبل من البصل، فإن الوقت يتعلق أساساً بسرعة التقطيع وسرعة نقل البصل حول المكان (وهذا يسمى "مرتبط بالذاكرة" أو memory-bound).
- يستخدم HYMELL صيغاً رياضية لحساب تكلفة هذه المكونات الصغيرة بناءً على ما إذا كانت المهمة صغيرة أم ضخمة. إنه لا يخمن؛ بل يستخدم قواعد قائمة على الفيزياء لتحديد التكلفة الأساسية لهذه العمليات.
المستوى 2: كتل الوصفات (التعلم الآلي)
بعد ذلك، يقوم النظام بتجميع هذه المكونات الصغيرة في "كتل" أكبر، مثل "كتلة الانتباه" (التي تساعد الروبوت على التركال على الكلمات المهمة) و"شبكة التغذية الأمامية" (التي تساعده على معالجة المعلومات).
- التشبيه: تخيل أنك تعرف بالضبط الوقت المستغرق لتقطيع البصل والوقت المستغرق لخفق البيض. ولكن عندما تجمعهما لصنع عجة (أومليت)، تظهر خطوات إضافية: كسر القشرة، تنظيف الوعاء، وربما بعض الانتظار. هذه الخطوات الإضافية يصعب حسابها بالرياضيات البسيطة.
- لذلك، يستخدم HYMELL برنامج كمبيوتر صغيراً وذكياً (نموذج تعلم آلي) لتعلم هذه "الخطوات الإضافية". فهو ينظر إلى التقديرات القائمة على الرياضيات من المستوى 1 ويضيف عامل تصحيح للأعباء الإضافية الواقعية مثل إعادة تشكيل البيانات أو التبديل بين المهام. وهذا يسمح له بالتنبؤ بتكلفة "كتلة الوصفة" بأمانة شديدة.
المستوى 3: الكعكة بأكملها (التنبؤ من البداية إلى النهاية)
أخيراً، يضع النظام كل الكتل معاً للتنبؤ بتكلفة تشغيل الروبوت بأكمله خلال محادثة كاملة.
- التشبيه: الآن لديك الوقت اللازم لعمل العجة، والكعكة، والسلطة. ولكن خبز مأدبة كاملة يتضمن أكثر من مجرد جمع الأوقات معاً. يجب أن تقلق بشأن تسخين الفرن، وازدحام المطبخ، والوقت المستغرق لنقل الأطباق من المنضدة إلى الطاولة.
- يستخدم HYMELL برنامج كمبيوتر ذكياً آخر ليأخذ تكاليف جميع الكتل ويضيف إليها التأثيرات "على مستوى النظام". فهو يأخذ في الاعتبار أشياء مثل عدد الأشخاص الذين يطرحون الأسئلة في وقت واحد (حجم الدفعة/batch size) وما إذا كان الروبوت يقرأ نصاً طويلاً أو يولد كلمة واحدة فقط في كل مرة. وهذا يعطي تنبؤاً نهائياً ودقيقاً للوقت والطاقة المطلوبة.
ما الذي وجدوه
اختبر الباحثون هذا المحقق ذي المستويات الثلاثة على وحدة معالجة رسومات NVIDIA H100 قوية باستخدام نماذج روبوت مشهورة مثل LLaMA 3 و Mistral و Qwen. كانت النتائج مبهرة.
- دقة عالية: بالنسبة للمكونات الصغيرة (المستوى 1)، كانت التنبؤات قريبة جداً من الواقع، حيث كانت الأخطاء غالباً أقل من 4%. وبالنسبة للروبوت بأكمله (المستوى 3)، تنبأ النظام بالوقت واستهلاك الطاقة بخطأ أقل من 5% للعديد من النماذج. على سبيل المثال، عند اختبار نموذج LLaMA 3 8B، كان الخطأ 4.19% فقط للوقت و2.92% للطاقة خلال مرحلة "التحضير" (prefill) (قراءة النص)، وأقل من ذلك (حوالي 1.5%) خلال مرحلة "التوليد" (decode) (إنتاج الكلمات).
- السرعة والمرونة: نظرًا لأن HYMELL يتنبأ بناءً على المخطط الهندسي (المعلمات المعمارية) وليس عن طريق تشغيل الروبوت، فإنه سريع للغاية. فهو يسمح للمهندسين باستكشاف آلاف التغييرات في التصميم فوراً. على سبيل المثال، يمكنهم التساؤل: "ماذا يحدث إذا ضاعفنا عدد رؤوس الانتباه؟" والحصول على إجابة في ثوانٍ، مما يوضح أن 64 رأساً قد يكون الخيار الأكثر كفاءة في استهلاك الطاقة لإعداد معين.
- العمل على أجهزة مختلفة: أظهر الفريق أيضاً أن هذه الطريقة ليست مرتبطة بنوع واحد من الكمبيوتر. فقد اختبروه على وحدة معالجة رسومات مختلفة (NVIDIA RTX A6000) وظل النظام يعمل بشكل جيد، مع أخطاء في حدود 8%. وهذا يشير إلى أنه إذا كنت تريد استخدام HYMELL على شريحة كمبيوتر جديدة، فلن تحتاج إلى إعادة اختراع العجلة بالكامل؛ ستحتاج فقط إلى قياس السلوكيات الأساسية للشريحة الجديدة مرة واحدة، وسيتكيف بقية النظام تلقائياً.
ما ليس هو عليه
من المهم ملاحظة ما لا يفعله HYMELL. إنه ليس عصا سحرية تخبرك بكيفية بناء روبوت من الصفر، ولا يحل محل الحاجة إلى الاختبار الحقيقي تماماً. إنه أداة تنبؤ. يذكر الباحثون صراحة أنه على الرغم من أن نموذجهم دقيق للغاية، إلا أنه لا يزال يحتوي على أخطاء صغيرة، خاصة عند التعامل مع التفاعلات المعقدة جداً بين أجزاء مختلفة من الروبوت أو عند التبديل بين أنواع مختلفة من تحسينات الذاكرة. أيضاً، بينما اختبروه على أجهزة كمبيوتر فردية، فقد أشاروا إلى أن التنبؤ بكيفية عمل هذه الروبوتات عبر العديد من أجهزة الكمبيوتر التي تعمل معاً (متعددة وحدات المعالجة الرسومية/multi-GPU) سيتطلب إضافة بعض الخطوات الإضافية للنظام، وهو أمر لم يحلوه بالكامل بعد.
لماذا يهم هذا
تكمن روعة HYMELL في أنه يحول لعبة التخمين البطيئة والمكلفة إلى علم سريع ودقيق. فمن خلال الجمع بين موثوقية الصيغ الرياضية ومرونة التعلم الآلي، فإنه يمنح المصممين أداة قوية لبناء ذكاء اصطناعي أكثر خضرة وسرعة وكفاءة. وبدلاً من استنزاف الكهرباء والوقت لاختبار كل فكرة، يمكنهم استخدام هذه "الكرة البلورية" للعثور على أفضل التصاميم قبل بنائها حتى، مما يمهد الطريق لمستقبل أكثر استدامة للذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.