Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling
تقدم هذه الورقة AFlex، وهو إطار عمل يقلل من استهلاك الطاقة في خدمة النماذج اللغوية الكبيرة (LLMs) بنسبة تصل إلى 49% من خلال تنفيذ منفصل لعمليات الانتباه (Attention) والشبكات العصبية المغذية (FFN)، والتحسين المشترك للموارد والتردد، وخط أنابيب متداخل يتكيف مع حساسيات التردد على مستوى العمليات مع الالتزام بمتطلبات اتفاقية مستوى الخدمة (SLO) الصارمة لزمن الاستجابة.
المؤلفون الأصليون:Cunchen Hu, Liangliang Xu, Tian Liu, Min Lyu, Yongkun Li, Sa Wang, Shuo Quan, Yanan Yang, Wenda Tang, Yiduo Wang, Fu Yu, Jie Wu
تخيل أنك تدير عقلاً آلياً ضخماً وذكياً للغاية في مركز بيانات عملاق. هذا العقل، المعروف باسم النموذج اللغوي الكبير (LLM)، هو المحرك الذي يقف وراء برامج الدردشة الآلية، ومساعدي البرمجة، والكُتّاب المبدعين. لكن هناك مشكلة: هذه العقول جائعة للغاية، فهي تستهلك كميات هائلة من الكهرباء، وغالباً ما تعمل معالجاتها بأقصى سرعتها، مثل محرك سيارة سباق يزأر عند أقصى عدد دورات في الدقيقة حتى عندما تكون السيارة عالقة في زحام مروري. هذه مشكلة لأنها تكلف ثروة من الطاقة وتولد الكثير من الحرارة.
ولجعل هذه الروبوتات تعمل بشكل أسرع، اكتشف العلماء كيفية تقسيم العمل. فكر في عملية التفكير الخاصة بالروبوت على أنها تتكون من خطوتين رئيسيتين: أولاً، يقرأ ويفهم سؤالك (مرحلة الـ "prefill")، وثانياً، يكتب الإجابة كلمة بكلمة (مرحلة الـ "decode"). مؤخراً، أدرك المهندسون أنه من الأفضل وضع هاتين الخطوتين في غرفتين مختلفتين مع فريقين مختلفين من العمال، بدلاً من جعل فريق واحد يقوم بكليهما. يُسمى هذا "التفكيك" (disaggregation). يساعد هذا في جعل الروبوت يجيب بشكل أسرع، لكنه لا يجعل استهلاك الكهرباء أقل بالضرورة. في الواقع، إذا قمت فقط بخفض سرعة العمال لتوفير الطاقة، فقد يصبح الروبوت بطيئاً جداً ويفشل في الالتزام بمواعيده النهائية. السؤال الكبير هو: كيف يمكننا إبطاء العمل لتوفير الطاقة دون جعل الروبوت يتلعثم أو يفشل؟
يقدم هذا البحث نظاماً ذكياً جديداً يسمى AFlex يحل هذا اللغز من خلال التعامل مع عقل الروبوت كفريق من المتخصصين ذوي الاحتياجات الطاقية المختلفة. فقد اكتشف الباحثون أن الجزئين الرئيسيين من عقل الروبوت — الجزء الذي ينتبه لكلماتك (الانتباه - Attention) والجزء الذي يعالج المنطق (الشبكة المغذية للأمام، أو FFN) — ليسا متشابهين. إنهما يشبهان رياضيين مختلفين: أحدهما عداء مسافات قصيرة (سبرينتر) يحتاج إلى دفعة سرعة عالية ليركض بسرعة، والآخر عداء ماراثون يتعب إذا ضغطت عليه بقوة ولكنه يمكنه الحفاظ على وتيرة ثابتة وبطيئة بكفاءة.
في السابق، كانت الأنظمة تعامل العقل بأكمله كوحدة واحدة، مما يجبر "العداء السريع" و"عداء الماراثون" على الركض بنفس السرعة تماماً. فإذا قمت بتسريعهم لمساعدة العداء السريع، سيهدر عداء الماراثون الطاقة. وإذا أبطأت السرعة لتوفير الطاقة لعداء الماراثون، سيصبح العداء السريع بطيئاً جداً. وجد مؤلفو هذا البحث أن هذين الجزأين يفضلان في الواقع سرعات مختلفة اعتماداً على ما يفعله الروبوت، وطول السؤال، وعدد الأشخاص الذين يطرحون الأسئلة في وقت واحد.
ولحل هذه المشكلة، يعمل AFlex كمدير ذكي يمكنه منح "العداء السريع" و"عداء الماراثون" مساراتهما الخاصة وإعدادات السرعة الشخصية الخاصة بهما. فهو يستخدم "مجدولاً عالمياً" (Global Scheduler) للتخطيط للصورة الكبيرة، وتحديد عدد العمال المخصصين لكل مهمة، و"متحكماً محلياً" (Local Controller) لتعديل سرعاتهم في الوقت الفعلي، ثانية بثانية. كما يستخدم النظام تقنية "خط أنابيب" (pipeline) خاصة حيث يتبادل العمال الملاحظات فيما بينهم بينما لا يزالون يعملون، حتى لا يجلس أحد منتظراً. هذا النهج "المتداخل" (interleaved) يحافظ على حركة خط التجميع بسلاسة دون أي فجوات.
اختبر الباحثون نظام AFlex على شرائح حاسوبية قوية (NVIDIA A800 GPUs) باستخدام بيانات واقعية من مهام البرمجة والمحادثة. ووجدوا أنه من خلال السماح لجزءي "الانتباه" و"الشبكة المغذية للأمام" بالعمل بسرعات فريدة وموفرة للطاقة، استطاع النظام خفض الطاقة المستخدمة لكل كلمة يتم إنتاجها بنسبة تصل إلى 49% مقارم بأفضل الأساليب الموجودة التي تقسم العمل، وبنسبة 48% مقارنة بالأنظمة التي حاولت فقط إبطاء الشريحة بأكملها. والأهم من ذلك، ظل الروبوت يجيب بنفس السرعة السابقة، ملتزماً بوعوده المتعلقة بالسرعة. ويشير البحث إلى أن هذا النهج المتمثل في إعطاء أجزاء مختلفة من عقل الذكاء الاصطناعي سرعات مختلفة هو خطوة كبيرة نحو جعل الذكاء الاصطناعي أكثر كفاءة في استخدام الطاقة دون التضحية بالأداء.
ملخص تقني: AFlex – تقديم النماذج اللغوية الكبيرة (LLM) بكفاءة في استهلاك الطاقة عبر فصل الانتباه (Attention) والشبكات العصبية التغذوية (FFN) وتغيير التردد المرن
1. بيان المشكلة
تواجه عملية تقديم النماذج اللغوية الكبيرة (LLM) في مراكز البيانات الحديثة مقايضة حرجة بين تلبية أهداف مستوى الخدمة (SLOs) الصارمة — وتحديداً "زمن الوصول لأول توكن" (TTFT) و"زمن الوصول لكل توكن مخرج" (TPOT) — وتقليل استهلاك الطاقة. وبينما يوفر "تغيير الجهد والتردد الديناميكي" (DVFS) آلية للمقايضة بين الأداء وتوفير الطاقة، تعاني النهج الحالية لإدارة الطاقة من مشكلتين رئيسيتين:
التحكم في التردد خشن الحبيبات (Coarse-Grained): تطبق الأنظمة الحالية تغيير التردد على مستوى الطلب، أو مستوى مرحلة الاستدلال (التمهيد مقابل فك التشفير)، أو على مستوى النسخة (Instance). وهي تفشل في مراعاة التباين على مستوى المشغل (Operator). وتحديداً، فإن مشغلي الـ LLM المهيمنين، وهما الانتباه (Attention) والشبكات العصبية التغذوية (FFN)، يظهران خصائص حسابية وذاكرية متباينة. فعملية الانتباه غالباً ما تكون مرتبطة بالذاكرة (حساسة للوصول إلى ذاكرة KV cache)، بينما تكون FFN عادةً مرتبطة بالحوسبة. وبناءً على ذلك، تختلف الترددات المثلى لكفاءة الطاقة لكل منهما بشكل كبير وتتغير ديناميكياً بناءً على عبء العمل، وحجم الدفعة (Batch size)، وتكوينات التوازي عبر التنسور (TP).
عدم كفاءة التقديم المفصول (Disaggregated Serving): رغم أن التقديم المفصول مرحلياً (P/D) يفصل بين مرحلتي التمهيد (Prefill) وفك التشفير (Decode) لتقليل التداخل، إلا أنه لا يزال يعامل كل مرحلة كنطاق تردد واحد. علاوة على ذلك، فإن التقديم المفصول للمشغلين (A/F) — والذي يفصل بين تنفيذ الانتباه وFFN — يفرض تحديات:
تعقيد مساحة البحث: إن التحسين المشترك لتوفير الموارد (درجات TP، عدد النسخ) والترددات المستقلة لأربعة مجموعات من المشغلين (التمهيد-الانتباه، التمهيد-FFN، فك التشفير-الانتباه، فك التدوير-FFN) يخلق مساحة بحث تركيبية هائلة.
العبء الإضافي (Overhead): يتطلب الفصل (A/F) نقل الحالات الخفية (Hidden-states) بين المشغلين. كما أن إعادة التشكيل الديناميكي للموارد والتبديل المتكرر للتردد يؤديان إلى أعباء اتصال وانتقال قد تلغي توفير الطاقة إذا لم تتم إدارتها بعناية.
2. المنهجية: إطار عمل AFlex
لمعالجة هذه التحديات، يقدم المؤلفون AFlex، وهو إطار عمل يحسن بشكل مشترك توفير الموارد وتغيير تردد وحدة معالجة الرسومات (GPU) لتقديم خدمة A/F مفصولة. بُني AFlex على أربع مبادئ تصميمية: الوعي بالمشغل، التحسين المشترك المراعي لـ SLO، فصل تخطيط الموارد عن التحكم في وقت التشغيل، وإعادة التشكيل المدركة للأعباء الإضافية.
أ. البنية الهيكلية
يستخدم AFlex مستوى تحكم ثنائي المستويات ومستوى بيانات متسلسل (Pipelined):
المجدول العالمي (مستوى التحكم):
التنميط والتنبؤ: يستخدم التنميط غير المتصل (Offline profiling) لتدريب نماذج انحدار خفيفة الوزن (Gradient-Boosted Decision Trees) تتنبأ بزمن استجابة المشغل واستهلاك الطاقة بناءً على تردد وحدة معالجة الرسومات، وحجم الدفعة، وطول التسلسل، ودرجة TP.
منظم الموارد: يقوم بحل برنامج خطي صحيح (ILP) بشكل دوري لتحديد العدد الأمثل من أزواج A/F، ودرجات TP، والترددات الأساسية. يقلل الـ ILP إجمالي الطاقة مع مراعاة قيود ذاكرة وحدة معالجة الرسومات، ومتطلبات الإنتاجية، وقيود TTFT/TPOT لكل طبقة.
محرك إعادة التشكيل في وقت التشغيل: يطبق التكوينات الجديدة بشكل تدريجي. فهو يعيد استخدام شظايا الأوزان المقيمة ويجلب الشظايا المفقودة بشكل غير متزامن لتقليل الاضطراب، ويميز بين إعادة تشكيل TP الثقيلة وتعديلات التردد الخفيفة.
متحكم DVFS المحلي (مستوى التحكم):
يعمل على تحسين الخطة العالمية بدقة ميلي ثانية.
التمهيد (Prefill): يختار زوج تردد ثابت لـ PA/PF قبل إطلاق الدفعة بناءً على ميزانية TTFT المتبقية.
فك التشفير (Decode): يستخدم خوارزمية قائمة على النافذة (Window-based algorithm) لتقليل تكاليف تبديل التردد. يقوم بضبط ترددات DA/DF فقط عندما يتغير حجم الدفعة بشكل كبير أو عندما تتعرض SLO الخاصة بـ TPOT للخطر، لتجنب عمليات التبديل المكلفة للغاية في كل تكرار.
مستوى بيانات AFD:
خط أنابيب متداخل (Interleaved Pipeline): يطلق مشغل الانتباه للطبقة التالية بمجرد اكتمال مشغل FFN للطبقة الحالية، مما يسمح بتداخل عمليات نقل الحالة الخفية مع الحوسبة.
الدفعات الصغيرة الديناميكية والتدريج التكيفي: يختار ديناميكياً عمق الدفعات الصغيرة (M) وأحجام دفعات الطلبات لموازنة تنفيذ A/F. على سبيل المثال، في حالة الحمل المنخفض، قد يستخدم M=1 لتجنب تقسيم الدفعات الصغيرة؛ وتحت الحمل العالي، يزيد M لتعظيم التداخل وتقليل فجوات خط الأنابيب (Pipeline bubbles).
النقل المدرك للموضع (Placement-Aware Transfer): يحسن عمليات نقل الحالة الخفية عبر مجموعات TP غير المتجانسة باستخدام تجميعات مرتبطة بالشبكة (NIC-affine grouping) لموازنة عمليات النقل دون الحاجة إلى تكرار كامل للتنشيط.
ب. الرؤى التقنية الرئيسية
التصميم قائم على ملاحظات تجريبية:
الاستمثال الطاقي غير المتجانس: تصل مشغلات الانتباه وFFN إلى الحد الأدنى من الطاقة عند ترددات مختلفة (متوسط الفجوة 429 ميجاهرتز). التردد الواحد يكون دون المستوى الأمثل لكليهما.
الحساسية الديناميكية: تتغير حساسية المشغل لتبديل التردد مع حجم الدفعة ودرجة TP، مما يستلزم التكيف في وقت التشغيل بدلاً من التكوينات الثابتة.
تكاليف عدم التوازن: تؤدي التخصيصات المتجانسة إلى فجوات كبيرة في خط الأنابيب (19.7–75.7% من وقت الخطوة)، مما يسبب هدراً كبيراً في الطاقة.
3. المساهمات الرئيسية
يدعي البحث المساهمات التالية:
توصيف التباين على مستوى المشغل: تحليل منهجي يكشف أن مشغلات A/F لها حساسيات تردد متباينة ونقاط استمثال طاقة تختلف باختلاف المراحل، وأعباء العمل، وتكوينات النظام.
مستوى تحكم ثنائي المستويات: بنية مبتكرة تجمع بين توفير موارد A/F العالمي (عبر ILP) مع تكيف DVFS المحلي لكل مشغل لتقليل الطاقة تحت قيود صارمة.
مستوى بيانات A/F متداخل: تصميم خط أنابيب يداخل الاتصال مع الحوسبة ويعدل ديناميكياً عمق الدفعات الصغيرة وتجميع الطلبات للقضاء على فجوات خط الأنابيب.
تقييم شامل: تنفيذ وتقييم على عنقود (Cluster) من وحدات معالجة الرسومات متعدد العقد باستخدام آثار إنتاج حقيقية، مما أظهر تقليلاً كبيراً في استهلاك الطاقة مقارنة بالأنظمة المتطورة.
4. النتائج التجريبية
قام المؤلفون بتنفيذ AFlex فوق SGLang وتقييمه على وحدات NVIDIA A800 GPU باستخدام نماذج Qwen3-32B (كثيفة) و Mixtral-8×7B (MoE). شملت أعباء العمل آثار إنتاج (المحادثة، البرمجة) وأعباء عمل اصطناعية محكومة (الأسئلة والأجوبة، RAG، الدردشة، التلخيص).
مقاييس الأداء:
كفاءة الطاقة: يقلل AFlex من الطاقة لكل توكن بنسبة تصل إلى 49% مقارنة بالتقديم المفصول المتطور (DistServe) وبنسبة 48% مقارنة بأنظمة تغيير التردد (DynamoLLM).
الامتثال لـ SLO: يلبي AFlex باستمرار متطلبات P90 TTFT وTPOT عبر جميع الأحمال المختبرة، بينما تفشل بعض النماذج المرجعية في تحقيق SLO أو تتطلب ترددات أعلى لتحقيقها، مما يزيد من استهلاك الطاقة.
القابلية للتوسع: تستمر ميزة توفير الطاقة عند التوسع من عقدة واحدة إلى 4 عقد. يحافظ AFlex على تحسن بنسبة 20.2% على الأقل عن أفضل نموذج مرجعي عبر أحجام العنقود.
دعم MoE: يتعامل AFlex بفعالية مع نماذج Mixture-of-Experts، معالجاً عدم التوازن في A/F داخل المرحلة الذي لا يمكن لتقديم P/D وحده حله، محققاً توفيراً في الطاقة يصل إلى 41.4% مقارنة بالنماذج المرجعية.
العبء الإضافي: يضيف حل ILP العالمي عبئاً ضئيلاً جداً (<0.2% من نافذة الجدولة التي تبلغ 5 دقائق). كما تقلل إعادة التشكيل التدريجي من أوقات انتقال TP بنسبة 52–72% مقارنة بالطرق الأساسية.
5. الأهمية والادعاءات
يضع البحث AFlex كأول إطار عمل لتقديم الـ LLM يجمع بين تنفيذ الانتباه-FFN المفصول وبين تغيير التردد المستقل والمرن لكل مشغل.
التكامل: يجادل المؤلفون بأن الفصل الدقيق للمشغلين (AFD) وتغيير التردد (DVFS) دقيق الحبيبات هما أمران متكاملان. فبينما يكشف الـ AFD عن عدم تجانس الموارد، يستغل الـ DVFS "الفائض" الناتج لخفض الترددات في المشغلات الأقل حساسية (مثل خفض تردد FFN عندما يكون الانتباه هو عنق الزجاجة).
الواقعية: من خلال فصل إعادة تشكيل الموارد البطيئة عن المسار الحرج للاستدلال وتوزيع تكاليف التبديل عبر التحكم القائم على النافذة، يثبت AFlex أن التحسين الدقيق للطاقة أمر ممكن دون التضحية بمتطلبات زمن الاستجابة (SLO).
الأثر: تشير النتائج إلى أن الانتقال من التحكم على مستوى المرحلة أو مستوى النسخة إلى التحكم على مستوى المشغل أمر ضروري للجيل القادم من تقديم الـ LLM بكفاءة في استهلاك الطاقة، خاصة مع تنوع أعباء العمل وتشدد القيود العتادية.
يخلص المؤلفون إلى أن AFlex يوفر حلاً قوياً وقابلاً للتوسع لتقليل البصمة الكربونية لاستدلال الـ LLM مع الحفاظ على الاستجابة المطلوبة للتطبيقات التفاعلية.