🤖 AI

Memory-Bound but Not Bandwidth-Limited: The Physical AI Inference Gap in Batch-1 LLM Decode

تكشف هذه الورقة أنه بينما يعتمد استنتاج النماذج اللغوية الكبيرة (LLM) في مرحلة الدفعة الأولى (batch-1) للذكاء الاصطناعي الفيزيائي على الذاكرة، فإن وحدات معالجة الرسومات الأسرع تعاني من أعباء إضافية غير متناسبة في جانب الإطلاق تمنع تحقيق مكاسب متناسبة في زمن الاستجابة، وأن طرق التكميم القياسية غالبًا ما تفشل في تحقيق تسريع السرعة المتوقع ما لم تقترن بنواة محسنة للغاية مثل GPTQ+ExLlamaV2.

المؤلفون الأصليون: Josef Chen

نُشر 2026-06-01

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Josef Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: "السيارة السريعة" مقابل "الازدحام المروري"

تخيل أنك تحاول قيادة سيارة من النقطة (أ) إلى النقطة (ب). لديك نوعان من السيارات:

الـ L4: سيارة سيدان عادية وموثوقة.
الـ H100: سيارة فورمولا 1 فائقة السرعة بمحرك ضخم.

تطرح الورقة سؤالاً بسيطاً: إذا كنت تقود بمفردك (دفعة واحدة - Batch-1) وتحتاج فقط لنقل كمية صغيرة جداً من الأمتعة (روبوت واحد أو جلسة مستخدم واحدة)، فأي سيارة ستوصلك بشكل أسرع؟

كان الاعتقاد الشائع هو: "سيارة الفورمولا 1 (H100) أسرع بـ 11 مرة لأن محركها أكبر بكثير (عرض نطاق الذاكرة). يجب أن تفوز في كل مرة".

ما وجدته الورقة: سيارة الفورمولا 1 في الواقع تخسر، أو على الأقل لا تفوز بفارق كبير. لماذا؟ لأن سيارة السباق سريعة جداً لدرجة أن الوقت المستغرق في تشغيل المحرك ووضع ناقل الحركة في وضعية الحركة (وقت إطلاق المعالج - CPU launch overhead) يصبح هو التأخير الأكبر. أما في السيارة الأبطأ (السيدان)، فإن المحرك هو عنق الزجاجة، لذا فإن عملية التشغيل لا تهم كثيراً.

المشكلة الجوهرية: "ضريبة الإطلاق"

في عالم الذكاء الاصطناعي، عندما يقوم الكمبيوتر بتوليد كلمة واحدة (Token) في كل مرة، يتعين عليه القيام بمجموعة محددة من المهام مراراً وتكراراً.

الرؤية القديمة: تعتمد السرعة كلياً على مدى سرعة قدرة الكمبيوتر على قراءة ذاكرته (مثل سرعة ركض أمين المكتبة إلى الرفوف لجلب الكتب). الـ H100 لديه رفوف فائقة السرعة، لذا يجب أن يكون الأمر لحظياً.
الرؤية الجديدة: تعتمد السرعة على عدد المرات التي يتعين فيها على الكمبيوتر أن يقول: "حسناً، ابدأ هذه المهمة!".

التشبيه:
تخيل سائق توصيل (الـ GPU) يحتاج لتوصيل طرد.

في حالة الـ L4 (السائق البطيء): يقضي السائق 20 دقيقة في القيادة إلى المنزل ودقيقة واحدة في ركن السيارة. القيادة هي عنق الزجاجة.
في حالة الـ H100 (السائق السريع): يمكن للسائق الوصول إلى المنزل في دقيقة واحدة. ولكن، في كل مرة يضع فيها طرداً، يتعين عليه قضاء 30 ثانية في المشي من الشاحنة إلى الباب، والتوقيع على نموذج، ثم العودة.
- لأن القيادة سريعة جداً، فإن تلك الـ 30 ثانية من "المشي إلى الباب" (ضريبة الإطلاق) تصبح هي السبب الرئيسي في بطء عملية التوصيل.
- الـ H100 قوي جداً لدرجة أنه يجلس دون عمل، منتظراً السائق حتى ينهي الأوراق الرسمية.

التجربة: إصلاح "الرسوم البيانية" (The Graphs)

لإثبات ذلك، جرب الباحثون حيلة تسمى CUDA Graphs.

التشبيه:
بدلاً من أن يسأل السائق: "هل يمكنني البدء؟ حسناً، انطلق. هل يمكنني البدء؟ حسناً، انطلق" لكل طرد على حدة، يقومون بكتابة نص رئيسي (رسم بياني/Graph) يقول: "قد، اركن، ضع الطرد، عد، كرر". يسلمون هذا النص للسائق مرة واحدة، ويقوم السائق باتباع النص دون طلب الإذن في كل مرة.

النتائج:

على الـ H100 (سيارة السباق): أحدث هذا النص فرقاً كبيراً. فقد زادت سرعة السيارة بنسبة 26%. أثبت هذا أن "الأوراق الرسمية" (وقت إطلاق العمليات) كانت هي المشكلة بالفعل.
على الـ L4 (السيدان): لم يحدث النص فرقاً يُذكر (زيادة بنسبة 3% فقط). وذلك لأن سيارة السيدان كانت تقضي معظم وقتها بالفعل في القيادة (قراءة الذاكرة)، وليس في انتظار الأوراق الرسمية.

"سلم التكلفة المقلوب"

هذا هو الجزء الأكثر إثارة للدهشة في الورقة.

عادة ما تفكر الشركات: "إذا أردت توفير المال، يجب أن أشتري أرخص وأبطأ شريحة (L4). وإذا أردت السرعة، أشتري الشريحة الغالية والسريعة (H100)".

تقول الورقة: بالنسبة للذكاء الاصطناعي أحادي المسار (مثل روبوت يتحدث إليك)، هذا معكوس.

الـ H100 غالي وسريع، لكنه يهدر الكثير من سرعته في "الأوراق الرسمية".
الالـ L4 رخيص وبطيء، لكنه يستخدم 100% من سرعته في العمل الفعلي.

"الخدعة السحرية":
وجد الباحثون أنه إذا استخدمت نوعاً معيناً من "ضغط البرمجيات" (يسمى ExLlamaV2) مع الـ L4 الرخيص، فإن الـ L4 يصبح سريعاً تقريباً مثل الـ H100.

H100 مع الحيل: 11.78 ميلي ثانية لكل خطوة.
L4 مع الحيل: 17.36 ميلي ثانية لكل خطوة.

على الرغم من أن الـ H100 أقوى بـ 11 مرة من الناحية النظرية، إلا أن الـ L4 (مع البرمجيات المناسبة) أبطأ بنحو 1.5 مرة فقط، لكنه يكلف 10 أضعاف أقل للتشغيل.

ملخص النقاط الرئيسية

السرعة لا تعني دائماً الأفضل: مجرد امتلاك الشريحة لـ "طريق ذاكرة سريع" (عرض نطاق) لا يعني أنها ستنهي المهمة بشكل أسرع إذا كان "وقت بدء التشغيل" (وقت الإطلاق) طويلاً جداً.
عنق الزجاجة يتغير:
- في الشرائح الرخيصة (L4)، عنق الزجاجة هو نقل البيانات (عرض نطاق الذاكرة).
- في الشرائح الغالية (H100)، عنق الزجاجة هو بدء المهام (وقت إطلاق المعالج).
البرمجيات أهم من الأجهزة: بالنسبة لمهام الذكاء الاصطناعي "واحدة تلو الأخرى" هذه، فإن اختيار البرمجيات الصحيحة (مثل ExLlamaV2) على شريحة رخيصة هو صفقة أفضل من شراء أغلى شريحة.
لمن هذا الكلام؟ هذا ينطبق على الذكاء الاصطناعي الفيزيائي: الروبوتات، السيارات ذاتية القيادة، والمساعدين الشخصيين الذين يتحدثون إليك جملة تلو الأخرى. هذا لا ينطبق على برامج الدردشة (Chatbots) التي تتحدث مع آلاف الأشخاص في وقت واحد (المعالجة بالدفعات/Batch processing)، حيث تختلف القواعد.

باختصار: إذا كنت تبني روبوتاً يحتاج للتفكير والتحدث إليك في الوقت الفعلي، فلا تشترِ فقط أغلى كمبيوتر خارق. اشترِ كمبيوتراً أرخص وقم بضبط البرمجيات لمنعها من إضاعة الوقت في "الأوراق الرسمية". ستحصل على أداء أفضل مقابل مال أقل.

ملخص تقني: مقيد بالذاكرة ولكن ليس بنطاق التردد: فجوة استنتاج الذكاء الاصطناعي الفيزيائي في فك التشفير بـ Batch-1 لـ LLM

بيان المشكلة

تعمل أنظمة الذكاء الاصطناعي الفيزيائي (الروبوتات، المركبات ذاتية القيادة، المساعدين الطرفيين) عادةً تحت عبء عمل فك تشفير تلقائي (autoregressive decode) أحادي المسار، وبحجم دفعة واحد (batch-1). وخلافًا لخدمات السحاب التي تحسن الإنتاجية عبر دفعات كبيرة، ينتظر الذكاء الاصطناعي الفيزيائي الرمز التالي (token) لمستخدم أو وكيل واحد. الافتراض السائد في الصناعة هو أن عبء العمل هذا مقيد بنطاق تردد الذاكرة (HBM-bandwidth-bound)، مما يعني أن زمن الاستجابة (latency) يتناسب عكسيًا مع ذروة نطاق تردد الذاكرة ( $B_{peak}$ ). بناءً على ذلك، يُفترض أن سلم النشر هو $L4 \to L40S \to A100 \to H100$ ، حيث يؤدي نطاق التردد الأعلى مباشرة إلى زمن استجابة أقل وتكلفة أقل لكل رمز.

تتحدى هذه الورقة هذا الافتراض، وتجادل بأن فك التشفير بـ batch-1 على السيليكون السريع (مثل H100) ينقل عنق الزجاجة من نطاق تردد الذاكرة إلى تكلفة إطلاق النواة (kernel launch overhead) لكل دورة مع المعالج المركزي (CPU). ويفترض المؤلفون أن الذاكرة الأسرع لا تترجم بالضرورة إلى مكاسب متناسبة في زمن الاستجابة لأن التكلفة الثابتة لإطلاق النوى تصبح هي الجزء المهيمن من وقت الخطوة (step time) على وحدات معالجة الرسوميات عالية النطاق، بينما تظل وحدات معالجة الرسوميات الأبطأ مقيدة فعليًا بنطاق التردد.

المنهجية

الدراسة هي تجربة قياس مضبوطة، وليست نموذجًا نظريًا، أُجريت على مستضيفات Modal السحابية باستخدام أربع وحدات معالجة رسوميات من NVIDIA وهي: H100 SXM5، و A100-80GB SXM4، و L40S، و L4.

عبء العمل: ثلاثة نماذج Transformer من نوع GQA بحجم 7-8 مليار بارامتر (Qwen-2.5-7B، Mistral-7B-v0.3، Llama-3.1-8B) بأوزان bf16 وآلية انتباه SDPA.
النطاق: 44 خلية صالحة تغطي 4 أطوال سياق (من 2048 إلى 16384) و4 وحدات معالجة رسوميات.
المقاييس:
- $R_{floor}$ : نسبة الحد الأدنى التحليلي للذاكرة ( $t_{floor} = (W+K)/B_{peak}$ ) إلى وقت الخطوة المرصود ( $t_{obs}$ ). القيمة 1.0 تعني استخدامًا مثاليًا لنطاق التردد.
- اختبار A/B لرسومات CUDA (CUDA Graphs): تجربة تفنيد تقارن بين التنفيذ "اللحظي" (eager execution) مقابل التنفيذ "الرسومي" (graphed execution) لعزل تكلفة إطلاق النواة.
- مصفوفة الحزمة البرمجية: مقارنات بين خلفيات الانتباه (SDPA، FlashAttention-2/3، FlashInfer) ومسارات التكميم (bf16، bnb-nf4، AutoAWQ+Marlin، GPTQ+ExLlamaV2).

النتائج الرئيسية

1. السلم المقلوب للتكلفة لكل رمز (Inverted Cost-Per-Token Ladder)

تكشف الدراسة عن تباين صارخ في استخدام نطاق التردد:

L4 (300 GB/s): يحقق ~81% من ذروة نطاق تردد HBM ( $R_{floor} \approx 0.81$ ). عبء العمل مقيد حقًا بالذاكرة.
H100 (3350 GB/s): يحقق فقط ~27% من ذروة نطاق تردد HBM ( $R_{floor} \approx 0.27$ ).
الاستنتاج: ميزة نطاق التردد بمقدار 11 ضعفًا في H100 مقارنة بـ L4 لا تحقق تسارعًا بمقدار 11 ضعفًا. بدلاً من ذلك، يتعطل H100 بسبب تكلفة الإطلاق، بينما يتعطل L4 بسبب حركة مرور الذاكرة.

2. اختبار تفنيد رسومات CUDA

عزل المؤلفون الآلية عبر إزالة تكلفة إطلاق المعالج المركزي باستخدام رسومات CUDA:

في H100 (سياق=2048): حسنت رسومات CUDA زمن الاستجابة بمقدار 1.259× (فاصل ثقة 95% [1.253, 1.267]). وهذا يؤكد أن تكلفة الإطلاق تمثل حوالي 20% من وقت الخطوة.
في L4 (سياق=2048): أدى التدخل نفسه إلى تحسن بنسبة 1.028× فقط.
الاستنتاج: "ضريبة الإطلاق" (launch tax) هي القيد المقيد لـ H100 في فك التشفير بـ batch-1، بينما نطاق التردد هو القيد لـ L4.

3. اختيار نواة الانتباه (Attention Kernel)

على عكس الاعتقاد بأن متغيرات FlashAttention هي دائمًا الأفضل:

في حالة batch-1 لـ H100، تفوق موزع SDPA الافتراضي لـ PyTorch (36.05 µs/layer) على كل من FlashAttention-3 (79.25 µs) و FlashInfer (48.20 µs) وحتى سياق FlashAttention-2 (44.35 µs).
القيد المقيد هو تسلسل إطلاق النوى، وليس إنتاجية نواة الانتباه نفسها.

4. التكميم وتنفيذ النواة على L4

في حالة L4 المقيدة بنطاق التردد، التكميم وحده لا يكفي؛ بل تنفيذ النواة هو المهم:

bf16: 62.32 ms/step.
bnb-nf4: 59.36 ms/step (مكسب ضئيل بسبب عبء إلغاء التكميم/dequantization).
AutoAWQ + Marlin: 45.24 ms/step (تسارع بمقدار 1.38×). ملاحظة: Marlin مُحسّن لمعمارية Ampere (SM80)، وليس Ada (SM89).
GPTQ + ExLlamaV2: 17.36 ms/step (تسارع بمقدار 3.59×). نوى ExLlamaV2 مُحسّنة لمعمارية Ada (SM89)، مما نجح في تحقيق توفيرات نطاق التردد النظرية.
النتيجة: وحدة L4 مع ExLlamaV2 (17.36 ms) أسرع بكثير من H100 مع التنفيذ اللحظي القياسي (14.83 ms) وتنافس H100 باستخدام رسومات CUDA (11.78 ms)، رغم امتلاك H100 لنطاق تردد ذروة أعلى بـ 11 ضعفًا.

الأهمية والادعاءات

تدعي الورقة أنها أثبتت أن سلم النشر القياسي ( $L4 \to H100$ ) مقلوب لأعباء عمل الذكاء الاصطناعي الفيزيائي:

هيمنة تكلفة الإطلاق: في وحدات معالجة الرسوميات السريعة (H100) مع سياقات قصيرة، تهيمن تكلفة إطلاق النواة من المعالج المركزي على وقت الخطوة، مما يجعل نطاق تردد الذاكرة الذروي غير ذي صلة إلى حد كبير.
تنفيذ النواة > ترقية الأجهزة: لفك التشفير بالبث (streaming decode) بـ batch-1، فإن تحسين تنفيذ النواة (مثل استخدام ExLlamaV2 على L4) يحقق تخفيضات في زمن الاستجلة أكبر من الترقية إلى وحدة معالجة رسوميات ذات نطاق تردد أعلى.
كفاءة التكلفة: وفقًا لأسعار Modal المنشورة (مايو 2026)، تخدم وحدة L4 مع النوى المحسنة الرموز بتكلفة أقل بنحو 6 أضعاف من H100 مع رسومات CUDA، رغم تفوق المواصفات الخام لـ H100.
حدود النطاق: يذكر المؤلفون صراحة أن هذه النتائج تنطبق على نماذج GQA بـ 7-8 مليار بارامتر، و batch-1، و bf16، و فك التشفير أحادي المسار. وهم لا يدعون أن هذه النتائج تعمم على الدفعات الكبيرة (حيث تقل ضريبة الإطلاق)، أو البنى المختلفة (MHA/MQA)، أو الأجهزة الأخرى (AMD، Blackwell).

تخلص الورقة إلى أنه بالنسبة لاستنتاج الذكاء الاصطناعي الفيزيائي، فإن تسمية "مقيد بالذاكرة" (memory-bound) غير مكتملة؛ فالنظام غالبًا ما يكون مقيدًا بالإطلاق (launch-bound) على السيليكون عالي الأداء، و مقيدًا بنطاق التردد (bandwidth-bound) على السيليكون الطرفي، مما يتطلب روافع تحسين مختلفة (رسومات CUDA مقابل النوى المتخصصة) بدلاً من مجرد مسار بسيط لترقية الأجهزة.