🤖 machine learning

Theoretically Optimal Attention/FFN Ratios in Disaggregated LLM Serving

تقدم هذه الورقة إطاراً تحليلياً وقاعدة تخصيص ذات صيغة مغلقة لتحديد النسبة المثلى نظرياً لموارد الانتباه (Attention) مقابل طبقات التغذية الأمامية (FFN) في خدمة النماذج اللغوية الكبيرة (LLM) المفككة، مع مراعاة ديناميكيات عبء العمل العشوائية وأعباء التزامن الإضافية لتقليل وقت خمول الأجهزة وحظر مستوى الخطوة.

المؤلفون الأصليون: Chendong Song, Meixuan Wang, Hang Zhou, Hong Liang, Yuan Lyu, Zixi Chen, Yuwei Fan, Zijie Zhou

نُشر 2026-05-08

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chendong Song, Meixuan Wang, Hang Zhou, Hong Liang, Yuan Lyu, Zixi Chen, Yuwei Fan, Zijie Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مصنعاً ضخماً فائق السرعة ينتج "أفكاراً" (رموزاً/tokens) لعقل ذكاء اصطناعي عملاق. هذا المصنع لديه خطا تجميع رئيسيان يعملان معاً لإتمام كل فكرة:

خط الذاكرة (الانتباه - Attention): هذا الفريق يشبه أمين المكتبة. عليهم الركض ذهاباً وإياباً إلى رفوف كتب ضخمة ومتنامية (ذاكرة الـ KV cache) للعثور على صفحات محددة لكل طلب. ومع ازدياد حجم رفوف الكتب، يصبح هذا الفريق أبطأ وأبطأ لأنهم يحملون أحمالاً أثقل. إنهم مقيدون بالذاكرة (memory-bound).
خط الحساب (الشبكة العصبية الأمامية - FFN): هذا الفريق يشبه آلة حاسبة فائقة السرعة. هم لا يحتاجون للنظر في رفوف الكتب؛ بل يقومون فقط بمعالجة الأرقام بناءً على ما يسلمه لهم أمناء المكتبة. إنهم مقيدون بالحوسبة (compute-bound) ويمكنهم العمل بسرعة هائلة إذا توفر لديهم عمل كافٍ للقيام به.

المشكلة: "الرقصة غير المتوافقة"

في الأيام الخوالي، كان هذان الفريقان عالقين في نفس الغرفة. إذا كان أمناء المكتبة بطيئين، كان على الآلات الحاسبة الجلوس في حالة خمول انتظاراً لهم. وإذا كانت الآلات الحاسبة سريعة، كان أمناء المكتبة هم حجر العثرة.

لحل هذه المشكلة، ابتكر المهندسون تخطيطاً جديداً يسمى AFD (تجزئة الانتباه والشبكة العصبية الأمامية). لقد نقلوا أمناء المكتبة والآلات الحاسبة إلى غرف منفصلة. الآن، يمكنك امتلاك العديد من فرق أمناء المكتبة لتغذية غرفة حاسبة واحدة ضخمة.

لكن هنا تكمن العقبة: كم عدد فرق أمناء المكتبة التي تحتاجها لغرفة حاسبة واحدة؟

أمناء مكتبة قليلون جداً؟ ستجلس الآلة الحاسبة خاملة، جائعة للبيانات.
أمناء مكتبة كثيرون جداً؟ ستصبح الآلة الحاسبة مثقلة، وسيتعين على أمناء المكتبة الوقوف بانتظار اللحاق بالآلة الحاسبة.

إن إيجاد النسبة المثالية (والتي سنسميها r) يشبه محاولة إيجاح العدد المثالي من النادلين لطاهٍ واحد. إذا أخطأت في التقدير، فسيتباطأ المصنع بأكمله.

حل الورقة البحثية: "كرة بلورية" لمديري المصانع

أدرك مؤلفو هذه الورقة أن التخمين في تحديد النسبة أمر صعب لأن العمل عشوائي.

بعض العملاء لديهم أسئلة قصيرة؛ وآخرون لد لديهم قصص طويلة.
بعض الطلبات تنتهي بسرعة؛ بينما يستغرق البعض الآخر وقتاً طويلاً.
"رفوف الكتب" (الذاكرة) تنمو بشكل مختلف لكل طلب.

بسبب هذه العشوائية، لا يمكنك مجرد استخدام معادلة رياضية بسيطة تعتمد على المتوسطات. أنت بحاجة إلى طريقة للتنبؤ بالفوضى.

"الخلطة السرية" الخاصة بهم هي إطار عمل رياضي جديد يقوم بثلاثة أشياء:

يقيس "متوسط الفوضى": طوروا طريقة للنظر في سجلات الطلبات السابقة (traces) وحساب رقم واحد (يسمى θ) يمثل عبء العمل الحقيقي، مع مراعاة حقيقة أن الطلبات الأطول هي الأكثر عرضة للظهور في أي لحظة عشوائية.
يأخذ في الاعسبار "العداء الأبطأ": في هذا المصنع، يجب على جميع فرق أمناء المكتبة إنهاء عملهم قبل أن تبدأ الآلة الحاسبة. إذا علق فريق واحد مع كتاب ضخم، فإن الخط بأكمله ينتظر. وضع المؤلفون صيغة للتنبؤ بمقدار الوقت الإضافي الضائع بسبب هؤلاء "المتلكئين" (أبطأ العمال).
يعطي وصفة "النسبة الذهبية": باستخدام هذين الاستبصارين، استنتجوا قاعدة بسيطة ذات صيغة مغلقة. أدخل مواصفات الأجهزة الخاصة بك وسجلات الطلبات، وستخبرك الصيغة بالعدد الدقيق لفرق أمناء المكتبة التي تحتاجها لغرفة الحاسبة الخاصة بك لتعمل بأقصى سرعة.

النتائج: "إنه يعمل!"

بنى الفريق محاكياً رقمياً (مصنعاً افتراضياً) لاختبار نظريتهم.

جربوا أعداداً مختلفة من فرق أمناء المكتبة (من 1 إلى 32).
قارنوا توقع "النسبة الذهبية" الخاصة بهم مقابل أفضل أداء فعلي وجده المحاكي.
الحكم: كان توقعهم دقيقاً للغاية، حيث طابق المحاكاة الواقعية بنسبة ضمن 10%.

وجدوا أيضاً أنه مع إضافة المزيد من فرق أمناء المكتبة، فإن "وقت الانتظار" الناتج عن أبطأ فريق يزداد، لكن صيغتهم تأخذ هذا في الاعتبار، مما يضمن عدم إضافة الكثير من الفرق وإهدار المال.

الخلاصة

توفر هذه الورقة البحثية كتاب قواعد علمي لبناء مصانع الذكاء الاصطناعي المنقسمة هذه. بدلاً من التخمين أو التجربة والخطأ، يمكن لمصممي الأنظمة استخدام هذه الرياضيات لتحديد كيفية موازنة موارد الذاكرة والحوسبة بدقة، مما يضمن تشغيل الذكاء الاصطناعي بأسرع وأكثر كفاءة ممكنة.

ملخص تقني: التخصيص التحليلي لخدمة النماذج اللغوية الكبيرة ذات بنية الانفصال بين طبقتي الانتباه وFFN تحت أعباء العمل العشوائية

بيان المشكلة

تواجه خدمة النماذج اللغوية الكبيرة (LLM) تحديات كبيرة في الكفاءة مع توسع أحجام النماذج. وبينما برزت بنية انفصال طبقة الانتباه عن طبقة الـ FFN (Attention–FFN Disaggregation - AFD) كبنية واعدة لفصل طبقات الانتباه المرتبطة بالذاكرة (المعتمدة على الحالة، وتهيمن عليها ذاكرة KV-cache) عن طبقات FFN المرتبطة بالحوسبة (غير المعتمدة على الحالة)، إلا أن تحديد نسبة تخصيص الموارد المثلى يظل مشكلة مفتوحة.

في توبولوجيا AFD (التي يُرمز لها بـ $r$ A–1F، حيث تغذي $r$ من مثيلات الانتباه مثيلاً واحداً من FFN)، تكون أداء النظام حساسة للغاية للنسبة $r$ .

إذا كانت $r$ صغيرة جداً، ستعاني خوادم FFN من نقص المدخلات، مما يؤدي إلى هدر موارد الحوسبة الخاملة.
إذا كانت $r$ كبيرة جداً، ستنتظر مثيلات الانتباه (Attention) وصول الدور، مما يتسبب في حجز الخطوات (step-level blocking) وظهور فجوات في خط الأنابيب (pipeline bubbles).

تعتمد الأنظمة الحالية عادةً على البحث التجريبي أو التقريبات الحتمية البسيطة التي تتجاهل العشوائية في أعباء العمل. وتكمن الصعوبة الجوهرية في الطبيعة الديناميكية لعبء عمل الانتباه: فخلافاً لحوسبة FFN التي تعتمد فقط على حجم الدفعة (batch size)، يتطور زمن انتقال الانتباه باستمرار مع نمو ذاكرة KV-cache وتجدد الطلبات بأطوال "مقدمة" (prompt) و"فك تشفير" (decode) عشوائية. علاوة على ذلك، فإن التنفيذ المتزامن لعدة عمال (workers) في طبقة الانتباه يفرض تأثير "المتلكئ" (straggler effect) الذي يحكمه أبطأ عامل، مما يخلق حاجز مزامنة يصعب نمذجته تحليلياً.

المنهجية

قام المؤلفون بتطوير إطار عمل احتمالي صارم لاستخلاص قاعدة تخصيص ذات صيغة مغلقة للنسبة المثلى A/F ( $r^*$ ) تحت أعباء العمل العشوائية. تعالج المنهجية مصدرين رئيسيين للعشوائية:

تطور عبء العمل لكل خانة (Per-Slot): صاغ المؤلفون نموذجاً لحمل التوكن لكل خانة باستخدام تحليل المكافأة-التجدد في الزمن المنفصل (discrete-time renewal-reward analysis). وقد حددوا إحصائية واحدة لعبء العمل، وهي $\theta$ (متوسط حمل التوكن المستقر لكل خانة)، والتي تحكم عملية التخصيص. تأخذ هذه الإحصائية في الاعتبار تأثير "انحياز الطول" (length-biasing) حيث يتم أخذ عينات من الطلبات الأطول بشكل متكرر عند خطوات فك التشفير العشوائية. ومن الأهمية بمكان أنه يمكن تقدير $\theta$ وتباينها $\nu^2$ بشكل غير معلمي (nonparametrically) من تتبع الطلبات دون افتراض عائلات توزيع محددة.
المزامنة عبر العمال: لمعالجة تأثير الحاجز حيث ينتظر النظام أبطأ $r$ من العمال، طبق المؤلفون تصحيح الإحصاء الرتبي الغاوسي (Gaussian order-statistic correction). قاموا بنمذجة إجمالي الحمل على العمال $r$ كمجموع لمتغيرات عشوائية مستقلة ومتماثلة التوزيع (i.i.d.)، وقربوا القيمة القصوى باستخدام القيمة المتوقعة لأقصى قيمة لـ $r$ من المتغيرات الطبيعية القياسية ( $\kappa_r$ ).

ينتج عن هذا التحليل قاعدتان للتخصيص:

قاعدة المجال المتوسط (Mean-Field Rule - $r^*_{mf}$ ): حل مغلق الصيغة مستمد من تجاهل حاجز المزامنة (بافتراض توازن حمل مثالي). تنقسم هذه القاعدة إلى ثلاثة أنظمة: عنق زجاجة الانتباه، وعنق زجاجة الاتصال، وعنق زجاجة FFN.
التحسين المراعي للحاجز (Barrier-Aware Refinement - $r^*_G$ ): تحسين دقيق يدمج عبء المزامنة ( $\sqrt{B}\nu\kappa_r$ ) في تقريب زمن الدورة. يتم حل هذا عبر تحسين تحليلي أحادي البعد مدمج مع بحث منفصل.

المساهمات الرئيسية

نموذج عبء العمل الاحتمالي: وضع البحث إطاراً تحليلياً يلتقط الديناميكيات العشوائية لخدمة AFD مع التجميع المستمر (continuous batching). وقد حدد $\theta$ كإحصائية حاكمة للتخصيص، وهي صالحة لأي توزيعات لأطوال المقدمة وفك التشفيد، كما قدم مقدراً غير معلمي لـ $\theta$ و $\nu^2$ من خلال تتبع الطلبات.
قاعدة تخصيص ذات صيغة مغلقة: استنتج المؤلفون نسبة مثلى للمجال المتوسط توازن صراحةً بين اختناقات الانتباه، والاتصال، وFFN. كما قدموا تحسيناً مراعياً للحاجز يحدد كمياً عبء المزامنة الناتج عن العمال المتلكئين، موضحين أن هذا العبء ينمو بشكل دون لوغاريتمي مع $r$ .
التحقق المعاير بالتتبع (Trace-Calibrated Validation): طور الفريق محاكياً لـ AFD تمت معايرته مع تتبعات واقعية ومعايير الأجهزة (تحديداً وحدات المعالجة العصبية Huawei Ascend 910C). وقد تحققوا من صحة الإطار عبر أعباء عمل وتكوينات أجهزة متنوعة.

النتائج

أظهر التحقق التجريبي دقة عالية في التنبؤ بسلوك النظام:

دقة النسبة المثلى: تطابقت النسبة المثلى المتوقعة ( $r^*_{mf} \approx 9.3$ ) بشكل وثيق مع النسبة المثلى في المحاكاة. كما تتبع منحنى الإنتاجية النظري نتائج المحاكاة بشكل جيد عبر جميع التكوينات المختبرة ( $r \in \{1, 2, 4, 8, 16, 24, 32\}$ ).
هوامش الخطأ: طابقت النسبة المثلى المتوقعة النسبة المثلى في المحاكاة ضمن هامش 10%.
تأثير المتلكئين: لوحظت فجوة متبقية تصل إلى ~15% في التنبؤ بالإنتاجية بين نموذج المجال المتوسط والمحاكاة عند قيم $r$ الكبيرة. وقد فسر تحليل "المراعي للحاجز" هذا التباين، عازياً إياه إلى عبء المزامنة الذي يصل إلى ~11% عند $r=24$ .
حساسية المعلمات: أظهرت دراسات الاستئصال (Ablation studies) أن النسبة المثلى $r^*$ تزدادة مع زيادة أحجام الدفعات الصغيرة ( $B$ ) وأطوال السياق الإجمالية (سواء مقدمة $\mu_P$ أو فك التشفيد $\mu_D$ )، حيث تزيد هذه العوامل من الضغط الحسابي على جانب الانتباه.

الأهمية والادعاءات

يزعم البحث أنه يقدم أول أساس تحليلي مبدئي لتخصيص أنظمة AFD، متجاوزاً البحث التجريبي. ومن خلال تقديم حساب مدمج وقابل للمعايرة لكيفية تحديد هيكل عبء العمل العشوائي لعملية التخصيص، يُمكّن هذا الإطار مصممي الأنظمة من:

تحديد النسبة المثلى لـ A/F دون الحاجة لبناء أنظمة واسعة النطاق أو تجربة الخطأ والصواب.
فهم المقايضات بين توسع الذاكرة (الانتباه) وتوسع الحوسبة (FFN) تحت أعباء عمل واقعية وعشوائية.
قياس تكلفة حواجز المزامنة في البنى التحتية المنفصلة.

يشير المؤلفون إلى أنه بينما يُترك التحقق من الأنظمة الحقيقية للمستقبل مع نضوج تطبيقات AFD، فإن التحقق القائم على المحاكاة الحالي (باستخدام تتبعات من توزيعات شبيهة بالإنتاج) يوفر تأكيداً تجريبياً قوياً للنظرية. ويُقدم هذا العمل كنسخة أولية (arXiv:2601.21351v2)، مما يشير إلى أنه مساهمة تأسيسية في مجال خدمة الـ LLM المنفصلة الناشئ.