🤖 AI

The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures

تكشف هذه الورقة أن تحديد سقف القدرة (power capping) غير فعال لعملية فك التشفير التكراري (autoregressive decode) في النماذج اللغوية الكبيرة بسبب اختناقات مرتبطة بالذاكرة تترك فائض القدرة في وحدة معالجة الرسومات غير مستغل، وتثبت أن قفل تردد وحدات الحوسطة (SM clock locking) هو استراتيجية متفوقة تستعيد ما يصل إلى 32% من طاقة فك التشفير مع تقليل فقدان الإنتاجية عبر بنيات الانتباه المتنوعة.

المؤلفون الأصليون: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: مفتاح الطاقة "الوهمي"

تخيل أنك تدير مكتبة ضخمة (مركز بيانات) حيث تقوم الروبوتات (وحدات معالجة الرسومات - GPUs) بقراءة الكتب وكتابة صفحات جديدة (توليد النصوص للذكاء الاصطني AI).

يضع مديرو المكتبة قاعدة قياسية لتوفير الكهرباء: "إذا بدأ الروبوت في استهلاك الكثير من الطاقة، قم بخفض سرعته حتى يظل تحت حد معين." يُسمى هذا "تحديد القدرة" (Power Capping). هذه القاعدة تعمل بشكل رائع عند القيام بالأعمال الشاقة، مثل نقل الصناديق الثقيلة (تدريب النماذج أو معالجة مجموعات ضخمة من البيانات دفعة واحدة).

ومع ذلك، اكتشفت هذه الورقة خدعة. عندما تقوم الروبوتات بمجرد قراءة جملة واحدة في كل مرة وكتابة الكلمة التالية (عملية تسمى "التشفير" أو decode)، فإن قاعدة الطاقة لا تعمل على الإطلاق. الروبوتات مركزة جدًا في جلب الصفحة التالية من رف الكتب لدرجة أنها لا تعمل بجهد كافٍ لتفعيل حد الطاقة. "تحديد القدرة" يشبه لوحة تحديد السرعة على طريق لا يقود فيه أحد بسرعة كافية للحصول على مخالفة. إنه مجرد وهم.

المشكلة الحقيقية: عنق زجاجة "رف الكتب"

لماذا لا يعمل الروبوت بجهد؟

الروبوت (GPU): لديه عقل فائق السرعة (الحوسبة - Compute) وذاكرة فائقة السرعة (HBM).
المهمة: لكتابة الكلمة التالية، يجب على الروبوت الركض إلى رف الكتب، وأخذ كتاب ثقيل، وقراءة جزء صغير منه، ثم العودة.
عنق الزجاجة: الروبوت ليس محدودًا بمدى سرعة تفكير عقله؛ بل هو محدود بمدى سرعة ركضه إلى رف الكتب.

بسبب ركض الروبوت المستمر ذهابًا وإيابًا إلى رف الكتب، يظل عقله خاملًا معظم الوقت. حتى لو أخبرت الروبوت أن "يبطئ" لتوفير الطاقة، فإنه لا يستطيع التباطؤ كثيرًا لأنه ينتظر بالفعل الرف. إذا حاولت تحديد إجمالي استهلاكه للطاقة، فسيتجاهلك الروبوت ببساة لأنه يستخدم بالفعل طاقة قليلة جدًا (حوالي 200-300 واط فقط من جهاز مصنف لـ 700 واط).

الحل: "ناقل الحركة اليدوي"

بما أن مفتاح الطاقة التلقائي (تحديد القدرة) غير مفيد، فقد وجد المؤلفون طريقة أفضل: قفل ساعة SM (SM Clock Locking).

فكر في هذا كأنه تغيير تروس الروبوت يدويًا.

الطريقة القديمة (تحديد القدرة): "لا تستخدم أكثر من 280 واط!" (الروبوت يقول: "أنا أستخدم بالفعل 200 واط فقط، لذا سأفعل ما يحلو لي").
الطريقة الجديدة (قفل الساعة): "يا روبوت، بما أنك تنتظر فقط عند رف الكتب، فلنضعك في الترس المنخفض".

من خلال إخبار الروبوت يدويًا بأن يعمل بعقل يعمل بسرعة ثابتة وأبطأ (قفل الساعة)، يوفر الروبوت كمية هائلة من الطاقة (تصل إلى 32%) دون إبطاء سرعة الكتابة فعليًا. لماذا؟ لأن الروبوت كان ينتظر بالفعل عند رف الكتب، لذا فإن إبطاء العقل لم يجعله ينتظر لفترة أطول. لقد وفر فقط كهرباء أقل أثناء انتظاره.

"الروبوتات الجديدة" (بنيات مختلفة)

اختبرت الورقة أربعة أنواع مختلفة من تصميمات الروبوتات (GQA, MLA, GDN, Mamba2). جميعها تتصرف بشكل متشابه خلال مرحلة "الكتابة": جميعها عالقة في انتظار رف الكتب.

ومع ذلك، لديها "تكاليف بدء تشغيل" مختلفة:

البادئون الثقلاء (GDN, Mamba2): تستغرق هذه الروبوتات وقتًا طويلاً وتستهلك الكثير من الطاقة للاستعداد (مرحلة الـ prefill). ولكن بمجرد أن تبدأ في الكتابة، تصبح فعالة للغاية. إذا طلبت منها كتابة قصة طويلة، فستصبح في النهاية الخيار الأرخص لأنها سريعة جدًا في مرحلة "الكتابة".
البادئون المضغوطون (MLA): تحمل هذه الروبوتات حقيبة ظهر أصغر (ذاكرة مضغوطة). تستغرق وقتًا إضافيًا بسيطًا لتفريغ حقيبتها في البداية، ولكن بمجرد أن تبدأ في الكتابة، تكون فعالة جدًا.
البادئ القياسي (GQA): الروبوت الموثوق والقياسي. ليس لديه تكلفة بدء تشغيل ثقيلة، لكنه ليس بكفاءة النماذج الجديدة في كتابة القصص الطويلة.

الدرس المستفاد: إذا كنت تكتب ملاحظة قصيرة، فالروبوت القياسي جيد. إذا كنت تكتب رواية كاملة، فإن "البادئين الثقلاء" أو "البادئين المضغوطين" يوفرون لك المال أكثر على المدى الطويل، رغم أن تكلفة بدئهم أعلى.

"السرعة الوهمية"

هناك شيء واحد محير آخر وجده المؤلفون. عندما حاولوا ضبط سرعة الروبوت يدويًا إلى أقصى سرعة لها (1980 ميجاهرتز)، قام البرنامج الداخلي للروبوت (البرامج الثابتة/firmware) سرًا بخفضها إلى سرعة أقل (1830 ميجاهرتز).

الأمر يشبه إخبار سيارة بأن تقود بسرعة 120 ميل في الساعة، لكن كمبيوتر السيارة يحدد سرعتها سرًا عند 110 ميل في الساعة.
والأسوأ من ذلك، وجد المؤلفون أن القيادة بسرعة 110 ميل مقابل 95 ميل لم تحدث أي فرق في سرعة كتابة الروبوت للقصة. كان الروبوت لا يزال ينتظر عند رف الكتب. لذا، كانت السرعة الإضافية مجرد حرق للكهرباء دون فائدة.

الملخص

تحديد القدرة هو أسطورة بالنسبة لكتابة الذكاء الاصطناي: فهو لا يوفر الطاقة عندما يقوم الذكاء الاصطناعي بتوليد النص لأن الذكاء الاصطناعي لا يستخدم طاقة كافية لتفعيل الحد.
التحكم اليدوي في السرعة هو الفائز: بدلًا من وضع حد للطاقة، يجب عليك تقليل سرعة عقل الروبوت يدويًا. هذا يوفر ما يصل إلى 32% من الطاقة دون أي خسارة تذكر في السرعة.
روبوتات مختلفة لمهام مختلفة: تصميمات الذكاء الاصطناعي الجديدة رائعة للمحادثات الطويلة لأنها فعالة جدًا في الكتابة، حتى لو كانت بطيئة نوعًا ما في البداية.
رف الكتب هو الملك: سرعة الذكاء الاصطناي محدودة بمدى سرعة جلب البيانات من الذاكرة، وليس بمدى سرعة تفكير عقله.

الخلاصة: مراكز البيانات تستخدم الأداة الخاطئة لتوف توفير المال. يجب عليهم التوقف عن الاعتماد على حدود الطاقة التلقائية والبدء في ضبط سرعة روبوتات الذكاء الاصطناًي يدويًا لتناسب واقع المهمة.

ملخص تقني: وهم تحديد القدرة (Power Capping) في مرحلة فك التشفير لنماذج LLM

بيان المشكلة

تعتمد مراكز البيانات بشكل متزايد على تحديد قدرة وحدة معالجة الرسومات (GPU power capping) كآلية أساسية لإدارة البصمة الطاقية لاستدلال النماذج اللغوية الكبيرة (LLM). يفترض النموذج التشغيلي السائد أن وضع سقف للواط (watt ceiling) على مستوى اللوحة سيجبر برنامج تشغيل وحدة معالجة الرسومات على خفض ترددات الساعة (throttling clocks)، مما يقايض الإنتاجية بتوفير مضمون في الطاقة. وبينما يظل هذا النموذج صالحاً لأعباء العمل المعتمدة على الحوسبة (compute-bound workloads) (مثل التدريب أو نوى HPC الكثيفة) التي تدفع وحدات معالجة الرسومات نحو حدود التصميم الحراري (TDP)، تجادل هذه الورقة بأن هذا النموذج معيب هيكلياً لمرحلة "فك التشفير التكراري" (autoregressive decode) التي تهيمن على عمليات الخدمة في الإنتاج.

المشكلة الجوهرية هي أن تحديد القدرة يكون خاملاً أثناء مرحلة فك التشفير لأن عبء العمل يعتمد على الذاكرة (memory-bound) وليس على الحوسبة. ونتيجة لذلك، لا تسحب وحدة معالجة الرسومات طاقة كافية لتفعيل السقف، مما يجعل رافعة الطاقة غير فعالة. علاوة على على ذلك، فإن سلوكيات البرامج الثابتة (firmware)، مثل خفض تردد الساعة الصامت عند استخدام nvidia-smi --lock-gpu-clocks ، تخلق "قناعاً مزدوجاً" يحجب العلاقة الحقيقية بين التردد والقدرة والإنتاجية.

المنهجية

أجرى المؤلفون توصيفاً منهجياً للطاقة عبر أربعة نماذج انتباه متميزة على وحدة NVIDIA H200 SXM واحدة (بقدرة 700 واط TDP، ونطاق ترددي 4.8 تيرابايت/ثانية من نوع HBM3e):

GQA (انتباه الاستعلام المجموع، مثل Qwen3-4B)
MLA (انتباه الرؤوس المتعددة الكامن، مثل Minitron-4B عبر TransMLA)
Gated DeltaNet (التكرار الخطي، مثل Qwen3.5-4B)
Mamba2 (نماذج حالة الفضاء، مثل Nemotron-Nano)

إعداد التجربة:

الأجهزة والبرمجيات: تم تقديم النماذج عبر vLLM بدقة BF16 دون استخدام نوى مخصصة لتعكس عمليات النشر القياسية للممارسين.
الضوابط: تم إجراء تجريد محكوم باستخدام TransMLA لتحويل GQA-ctrl (Minitron-4B) إلى MLA، لضمان أن فروق الطاقة تعود حصرياً إلى آلية الانتباه وليس إلى أوزان النموذج أو المفردات.
المقاييس: تم قياس الطاقة لكل توكن (mJ/tok) لكل من مرحلتي "الاستباق" (prefill) و"فك التشفير" (decode).
المتغيرات: شملت الدراسة مسح خمس مستويات لتردد ساعة SM (من 390 إلى 1980 ميجاهرتز)، وخمس مستويات لتحديد القدرة (من 280 إلى 700 واط)، وأحجام دفعات (1–32)، وأطوال تسلسل (1K–64K توكن).
التحليل: تم استخدام نمذجة السقف (Roofline modeling) لتحديد الكثافة الحسابية، وتم بناء حدود باريتو (Pareto frontiers) لمقارنة الإنتاجية مقابل كفاءة الطاقة تحت آليات تحكم مختلفة.

النتائج الرئيسية

1. وهم تحديد القدرة

على عكس الافتراض بأن تحديد القدرة يعمل بنشاط على خفض أداء وحدات معالجة الرسومات أثناء استدلال LLM، وجدت الدراسة أنه خلال مرحلة فك التشفير، تسحب وحدة معالجة الرسومات ما يتراوح بين 137–300 واط فقط على بطاقة بقدرة 700 واط TDP.

الأسقف الخاملة: نظرًا لأن عبء العمل يعتمد على الذاية (عبر إشباع نطاق تردد HBM بدلاً من الحوسبة)، فإن وحدة معالجة الرسومات لا تصل أبداً إلى أدنى سقف مهيأ (280 واط). يتجاهل برنامج التشغيل السقف ويحافظ على تردد افتراضي يبلغ ≈1830 ميجاهرتز.
آثار البرامج الثابتة: يقوم أمر nvidia-smi --lock-gpu-clks بصمت بتقييد أي قفل مطلوب أعلى من 1830 ميجاهرتز إلى 1830 ميجاهرتز، وهو ما يختلف عن التردد الحر (boost) الذي يصل إلى 1980 ميجاهرتز. هذا يخلق فجوة قدرها 240 ميجاهرتز حيث تؤدي الترددات الأعلى إلى زيادة في الإنتاجية ولكنها تزيد من استهلاك الطاقة بنسبة 7-13%، مما يزيد من إرباك قياسات الطاقة.

2. قفل تردد ساعة SM كرافعة صحيحة

بما أن مرحلة فك التشفير تعتمد على الذاكرة، فإن المسار الحرج هو نظام الذاكرة الفرعي، وليس تردد الحوسبة.

هيمنة باريتو: يتفوق قفل تردد SM الثابت على تحديد القدرة عند كل نقطة تشغيل متطابقة. فمن خلال خفض تردد SM (على سبيل المثال، إلى 780 ميجاهرتز)، يستعيد النظام ما يصل إلى 32% من طاقة فك التشفير مع فقدان أقل من 1% في الإنتاجية.
فئات البنية: حدد المؤلفون ثلاث فئات سلوكية فيما يتعلق بتغيير الجهد والتردد الديناميكي (DVFS):
- ثبات الدفعة (GQA, GQA-ctrl): تظل معتمدة على الذاكرة حتى عند أحجام دفعات كبيرة (BS=32)؛ لذا فإن تردداً منخفضاً واحداً هو الأمثل.
- الحساسية للدفعة (MLA, Mamba2): تحتوي على حوسبة كافية لكل خطوة (فك ضغط KV أو عمليات مسح SSM) مما يدفعها نحو أنظمة معتمدة على الحوسبة مع زيادة أحجام الدفعات، مما يتطلب ترددات أعلى مع زيادة حجم الدفعة.
- خفة الحوسبة (GDN): يهيمن عليها العمليات العنصرية (elementwise operations)؛ وتتحمل أخفض ترددات ممكنة دون قيد أو شرط.

3. مشهد الطاقة عبر البنى المختلفة

تتشارك البنى الجديدة (MLA, GDN, Mamba2) في نمط طاقة مشترك: تكلفة استباق (prefill) عالية يتم تعويضها لاحقاً بكفاءة في مرحلة فك التشفير (decode).

عقوبة الاستباق: تظهر GDN وMamba2 طاقة استباق لكل توكن أعلى بمراحل بسبب التكرار التسلسلي للحالة والتنفيذ غير المدمج في vLLM. تعاني MLA من عقوبة أقل ولكنها مستمرة بسبب عبء فك ضغط KV وعدم استغلال نوى Tensor بترددات من مضاعفات الرقم 2.
عائد فك التشفير: في مرحلة فك التشفير، تصبح هذه البنى عالية الكفاءة.
- Mamba2: تحقق زمن انتقال ثابت لكل خطوة ( $O(1)$ )، وتتخطى GQA في إجمالي طاقة الطلب بعد حوالي 1,000 توكن مخرجات عند أحجام الدفعات الإنتاجية.
- MLA: تتخطى GQA عند عتبة سياق تعتمد على حجم الدفعة (مثلاً 4K توكن عند BS=32). عند BS=32 وسياق 65K، تستخدم MLA أقل من نصف طاقة فك التشفير الخاصة بـ GQA.
إجمالي طاقة الطلب: في أحجام الدفعات الإنتاجية (BS=32)، تسمح كفاءة مرحلة فك التشفير لهذه البنى الجديدة بتقليل إجمالي طاقة الطلب إلى النصف مقارنة بـ GQA القياسية، رغم عقوبات الاستباق.

الأهمية والادعاءات

تدعي الورقة أن اعتماد الصناعة على تحديد القدرة لاستدلال LLM هو أمر غير فعال هيكلياً لمرحلة فك التشفير المهيمنة. ويؤكد المؤلفون ما يلي:

تحديد القدرة هو "قناع مزدوج": يفشل في التفعيل لأنه لا يتم استغلال وحدة معالجة الرسومات من حيث الطاقة (بسبب اختناقات الذاية)، كما أن تقييد تردد الساعة في البرامج الثابتة يُدخل انحرافات غير ذات صلة تفسد قياسات الإنتاجية.
قفل تردد SM هو الحل العالمي: فهو يستهدف مباشرة المورد الموجود في المسار الحرج (التردد) لأعباء العمل المعتمدة على الذاكرة، مما يوفر مقايضة مهيمنة على منحنى باريتو بين الطاقة والإنتاجية لا يمكن لتحديد القدرة تحقيقها.
الآثار المعمارية: فوائد الطاقة لآليات الانتباه الجديدة (MLA, Mamba2) تقتصر حصرياً على مرحلة فك التشفير. وهذا يدعم اعتماد بنى الخدمة المنفصلة (disaggregated serving)، حيث يتم توجيه الاستباق وفك التشفير إلى مجموعات مختلفة من وحدات معالجة الرسومات المحسنة لكل مرحلة على حدة.

يخلص المؤلفون إلى أنه بالنسبة لمراكز البيانات التي تدير استدلال LLM، فإن استبدال تحديد القدرة بقفل تردد SM الثابت لمجموعات فك التشفير هو تدخل مباشر وعالي التأثير يمكن أن يحقق توفيراً في الطاقة بمقدار ميجاواط مستمر على نطاق واسع، وهي نتيجة لا يمكن تحقيقها من خلال استراتيجيات تحديد القدرة الحالية.