ملخص تقني: EnergyLens

بيان المشكلة

مع تطور النماذج اللغوية الكبيرة (LLMs) لتشمل بنى كثيفة، وبنى خليط الخبراء (MoE)، وبنى فضاء الحالة (SSM)، ومع نشرها على مسرعات غير متجانسة (NVIDIA، Intel، AMD) لأعباء عمل متعددة الوسائط متنوعة (نص، صورة، فيديو)، أصبح تحسين طاقة الاستدلال (Inference Energy) أمراً بالغ الأهمية بقدر تحسين زمن الاستجابة (Latency) والإنتاجية (Throughput). ومع ذلك، تعاني النهج الحالية للتنبؤ بالطاقة من ثلاث عيوب رئيسية:

1. نماذج استدلال زمن الاستجابة (Latency Proxies): تعامل العديد من النماذج التحليلية زمن الاستجابة كبديل للطاقة. وقد أثبت المؤلفون أن الأمثلية في زمن الاستجابة والأمثلية في الطاقة تتباعد في أكثر من 20% من التكوينات المختبرة، مما يؤدي إلى عقوبات في استهلاك الطاقة تصل إلى 79.8% عند استخدام استراتيجيات تعتمد على زمن الاستجداء.
2. النماذج البديلة "الصندوق الأسود" (Black-Box Surrogates): تحقق النماذج القائمة على البيانات والتعلم الآلي (مثل الغابات العشوائية أو الشبكات العصبية) دقة معقولة، لكنها "شرهة للبيانات"، حيث تتطلب مئات عينات التوصيف للتعميم. كما أنها تفتقر إلى القابلية للتفسير، فلا تقدم رؤية فيزيائية حول سبب كفاءة تكوين معين، وتفشل في التعميم الموثوق على أحجام الدفعات (Batch Sizes) أو الأجهزة غير المرئية.
3. نقص القدرة على التعميم: تفشل النماذج التحليلية الحالية غالباً في فصل التأثيرات الفيزيائية المتميزة للتوازي التنسوري (Tensor Parallelism - TP) والتوازي الأنبوبي (Pipeline Parallelism - PP)، أو تفشل في مراعاة التوسع غير الخطي للطاقة مع حجم الدفعة وطول التسلسل عبر الوسائط المختلفة.

المنهجية: إطار عمل EnergyLens

يقترح المؤلفون EnergyLens، وهو إطار عمل يستخدم الانحدار الرمزي (Symbolic Regression) لاكتشاف تعبيرات رياضية موجزة ومغلقة الشكل لاستهلاك طاقة وحدة معالجة الرسومات (GPU). وخلافاً لنماذج الصندوق الأسود، يستخلص EnergyLens معادلات تتوافق حدودها مباشرة مع خصائص النظام القابلة للقياس.

1. نموذج طاقة موحد

جوهر EnergyLens هو معادلة مغلقة ذات اثني عشر معاملًا تفكك الطاقة ($E$) إلى ثلاثة مكونات قائمة على أسس فيزيائية:
$$E = E_{prefill} + E_{decode} + E_{overhead}$$

• تفكيك المراحل (Phase Decomposition): يفصل النموذج صراحةً بين مرحلة التمهيد (prefill) المرتبطة بالحوسبة (معالجة الرموز المدخلة) ومرحلة فك التشفيد (decode) المرتبطة بالذاكرة (توليد الرموز المخرجة).
• فك الارتباط بالتوازي (Parallelism Decoupling): يميز النموذج بين التوازي التنسوري ($d_{TP}$) والتوازي الأنبوبي ($d_{PP}$). فهو يدرك أن TP يقلل من الحوسبة لكل وحدة معالجة رسومات عبر الاستخدام الفعال لـ Tensor Cores، ولكنه يقدم عبء التزامن، بينما يسبب PP فقاعات في الأنابيب ويبقي الأجهزة في حالة تشغيل أثناء مراحل الخمول.
• التوسع غير الخطي (Non-Linear Scaling): تلتقط الصيغة التخفيف دون الخطي للتكاليف الثابتة (مثل إطلاق النواة - Kernel Launches وتهيئة ذاكرة KV-cache) مع زيادة حجم الدفعة، وقوانين التوسع المحددة لمختلف الوسائط (مثل الضغط اللوغاريتمي لأعباء عمل الفيديو والصور).

الشكل العام (المعادلة 4 في الورقة البحثية) هو:
$$E = \alpha_p \frac{\text{total input tokens}}{(\text{batch size}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batch size}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$$

2. التدريب والملاءمة (Training and Fitting)

• جمع البيانات: يقوم إطار عمل للتوصيف بمسح منهجي لاستراتيجيات التوازي، ومخططات التكميم (Quantization)، وأحجام الدفعات، وأطوال التسلسل عبر وحدات معالجة الرسومات من NVIDIA وIntel وAMD.
• الانحدار الرمزي: يبحث إطار العمل في فضاء التعبيرات الرياضية لإيجاد البنية التي تناسب بيانات التوصيف بأفضل شكل.
• تقدير المعلمات: بمجرد تحديد بنية الصيغة، يتم ضبط الاثني عشر معاملًا ($\phi$) باستخدام تحسين L-BFGS-B على مجموعة بيانات تمثيلية صغيرة.
• كفاءة العينات: يتطلب النموذج ما لا يقل عن 50 قياسًا للتوصيف فقط لتحقيق دقة عالية، وهو انخفاض بمقدار 10 أضعاف مقارنة بطرق التعلم الجماعي (Ensemble ML) التي تتطلب حوالي 500 عينة.

المساهمات الرئيسية

1. نموذج موحد مغلق الصيغة: تطوير نموذج طاقة واحد يفكك مساهمات TP وPP ويفصل بين طاقة مرحلة التمهيد وطاقة مرحلة فك التشفيد، مع معلمات تحمل معانٍ فيزيائية صريحة.
2. اكتشاف الانحدار الرمزي: إثبات قدرة الانحدار الرمزي على كشف بنى الصيغ غير الخطية التي تعمم عبر مختلف البنى (Dense, MoE, SSM)، والوسائط (نص، صورة، فيديو)، والأجهزة دون تغيير قالب الصيغة.
3. إطار عمل توصيف منهجي: تنفيذ إطار عمل يستكشف الفضاء المشترك للتوازي، والتكميم، ومعلمات عبء العمل لتوليد البيانات المهيكلة اللازمة للنمذجة التحليلية.
4. نمذجة مباشرة للطاقة: من خلال نمذجة الطاقة مباشرة بدلاً من استخدام زمن الاستجابة كبديل، يحدد إطار العمل تكوينات التوازي الأكثر كفاءة في استهلاك الطاقة والتي تتجاهلها أنظمة تحسين زمن الاستجابة بشكل منهجي.

النتائج التجريبية

قيم المؤلفون EnergyLens عبر 940 سيناريو تتضمن نماذج Transformer كثيفة، ونماذج MoE، ونماذج حالة الفضاء (SSM) على وحدات NVIDIA A100 وAMD MI100 وIntel Max 1550.

• دقة اختيار التكوين: حقق EnergyLens دقة اختيار أفضل تكوين (Top-1) بنسبة 88.2% (تحديد أفضل تكوين طاقة واحد)، متفوقاً بشكل كبير على أقرب نموذج تحليلي، MAVERIQ، الذي حقق 60.9%.
• التصنيف الزوجي (Pairwise Ranking): حقق EnergyLens دقة تصنيف زوجي بنسبة 95.8% (التنبؤ الصحيح بأي التكوينين أكثر كفاءة) مقارنة بـ 91.5% لـ MAVERIQ.
• كفاءة العينات: يضاهي EnergyLens دقة التنبؤ بطرق التعلم الجماعي (الغابات العشوائية، تعزيز التدرج) مع الحاجة إلى 10 أضعاف أقل من عينات التوصيف (13.0% MAPE عند $n=50$ مقابل 49.0% MAPE لـ Random Forest عند $n=50$).
• القدرة على التعميم:
  • عبر الأجهزة: ينتقل النموذج عبر الشركات المصنعة لوحدات معالجة الرسومات (NVIDIA, Intel, AMD) مع إعادة ضبط المعاملات القياسية فقط.
  • عبر الوسائط: يعمل بقوة على أعباء عمل النص، والصورة+النص، والفيديو+النص.
  • الاستقراء (Extrapolation): يستقرئ EnergyLens بشكل موثوق أحجام الدفعات غير المرئية (من 3 إلى 10 أضعاف أكبر من بيانات التدريب) بدقة زوجية $\ge 93\%$ في خمسة من أصل سبعة مجموعات بيانات، بينما تفشل النماذج الخطية للدفعات بشكل كبير.
• المتانة: بخلاف بدائل زمن الاستجابة التي تتطلب قياسات دقيقة للطاقة لكل تكوين، يقوم EnergyLens بنمذجة الطاقة أصالة ويحافظ على دقة عالية حتى عندما لا تتوفر بيانات التتبع (Telemetry) الخاصة بالطاقة.

الأهمية والادعاءات

يزعم البحث أن EnergyLens يوفر أداة عملية وقابلة للتفسير لنشر النماذج اللغوية الكبيرة (LLMs) المثلى من حيث استهلاك الطاقة. تكمن أهميته في:

• القابلية للتفسير: بخلاف النماذج البديلة "الصندوق الأسود"، يقدم EnergyLens تنبؤات "قابلة للتدقيق" حيث يمكن للمشغلين فحص الحدود لفهم المحركات الفيزيائية لاستهلاك الطاقة (مثل التحقق من التكلفة النسبية لتوسع TP مقابل PP).
• القابلية للتنفيذ: يتيح النموذج تحديد التكوينات المثلى لـ Pareto (Pareto-optimal) للنشر دون الحاجة لقياسات شاملة.
• فعالية التكلفة: من خلال تقليل ميزانية التوصيف من مئات العينات إلى حوالي 50 عينة، يجعل ضبط التكوين الواعي بالطاقة أمراً ممكناً في بيئات الإنتاج.
• التأسيس الفيزيائي: إن اكتشاف أن مثالية زمن الاستجابة ومثالية الطاقة تتباعد، وأن التوازي الأنبوبي (Pipeline Parallelism) يمكن أن يقلل من استهلاك الطاقة حتى عندما لا يقلل من زمن الاستجابة، يتحدى الافتراض السائد بأن زمن الاستجటు هو بديل كافٍ لكفاءة الطاقة.

يختتم المؤلفون بأن القالب الحالي يستخدم حدوداً جمعية، ويمكن للعمل المستقبلي استكشاف التفاعلات الضربيه لأعباء عمل MoE والأعمال ذات السياق الطويل، بالإضافة إلى التكامل مع المجدولين الديناميكيين لإعادة التشكيل عبر الإنترنت. ومن المقرر إصدار إطار العمل ومجموعات البيانات كمصادر مفتوحة.