DeInfer: Efficient Parallel Inferencing for Decomposed Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "DeInfer: الاستدلال المتوازي الفعال لنماذج اللغات الكبيرة المفككة".

1. بيان المشكلة

بينما يتم ضغط نماذج اللغات الكبيرة (LLMs) بشكل متزايد باستخدام تفكيك النماذج (تحديداً التفكيك منخفض الرتبة مثل SVD) لتقليل بصمة الذاكرة، يركز البحث الحالي بشكل أساسي على أداء المهام النهائية. وتتجاهل هذه الأعمال إلى حد كبير تدهور أداء الاستدلال المتوازي الشديد الذي يحدث عند توسيع النماذج المفككة عبر عدة وحدات معالجة رسومية (GPUs).

حدد المؤلفون ثلاث عقبات حرجة تمنع نماذج اللغات الكبيرة المفككة من التوسع بكفاءة في الإعدادات المتوازية:

1. الإفراط في تكلفة الاتصال (Communication Overhead): يستبدل التفكيك منخفض الرتبة مصفوفة أوزان واحدة بمصفوفتين أصغر ($A$ و $B$). وفي إطار التوازي المجمعي (Tensor Parallelism)، يؤدي هذا إلى إدخال عمليات جمع اختزالي (reduce-sum) متعددة (وهي عمليات اتصال جماعية ذات تكلفة عالية في زمن الوصول وعرض النطاق الترددي) لكل طبقة، بينما كان النموذج الأصلي يتطلب عملية واحدة فقط.
2. حساب الانتباه الذاتي المكرر: في التوازي المجمعي القياسي، تقوم العمليات بتقسيم البيانات وحسابها محلياً. ومع ذلك، بعد التفكيك، غالباً ما تتطلب النتائج الوسيطة مزامنة (reduce-sum) قبل آلية الانتباه الذاتي. وهذا يجبر كل وحدة معالجة رسومية على الاحتفاظ بنسخة متطابقة من البيانات، مما يؤدي إلى حسابات انتباه ذاتي مكررة على كل جهاز، وهو أمر مهدر للحوسبة.
3. عدم التوافق مع رسوم CUDA البيانية (CUDA Graphs): تستخدم أنظمة الاستدلال الحديثة (مثل vLLM) رسوم CUDA البيانية لإزالة زمن انتقال إطلاق النواة (kernel launch overhead) عن طريق استخدام رسوم حسابية ثابتة. ومع ذلك، تتطلب النماذج المفككة إعادة بناء ذاكرة KV cache أثناء عملية فك التشفين (decoding). وبما أن حجم ذاكرة KV cache المعاد بناؤها ينمو ديناميكياً مع طول التسلسل، فإن ذلك يخلق شكلاً ديناميكياً يتعارض مع المتطلبات الثابتة لرسوم CUDA البيانية، مما يضطر النظام للعودة إلى التنفيذ الديناميكي الأبطأ.

2. المنهجية: نظام DeInfer

DeInfer هو نظام استدلال عالي الأداء مصمم خصيصاً للقضاء على العقبات المذكورة أعلاه. وهو يتكامل مع الأنظمة المتطورة مثل vLLM ويستخدم التحسينات الرئيسية التالية:

أ. اتصالات فعالة للغاية منخفضة الرتبة

يعيد DeInfer هيكلة خط أنابيب الحوسبة لإجراء الاتصال في الفضاء الكامن منخفض الرتبة بدلاً من الفضاء كامل الرتبة.

• الآلية: بدلاً من إجراء عمليات الجمع الاختزالي بعد كل طبقة فرعية في البعد الكامل، يقوم DeInfer بعملية All-Gather مباشرة بعد مصفوفات الإسقاط الهابطة ($x_v$) في البعد منخفض الرتبة.
• النتيجة: يحصل كل مسار (process) على بيانات منخفضة الرتبة متطابقة. تُجرى العمليات اللاحقة (مثل الانتباه الذاتي أو التنشيط) محلياً دون مزيد من الاتصال حتى عملية الإسقاط الصاعد ($x_u$). وهذا يقلل بشكل كبير من حجم البيانات المنقولة وعدد عمليات الـ reduce-sum المكلفة.
• الأثر: يقلل من استخدام عرض نطاق الاتصال بنسبة تصل إلى 78% (تم تحليل ذلك تحديداً على نموذج LLaMA-3-70B مع ضغط بنسبة 40%).

ب. القضاء على الحساب المكرر

من خلال إعادة ترتيب خط الأنابيب بحيث يحدث All-Gather قبل آلية الانتباه الذاتي (في الفضاء منخفض الرتبة)، يضمن DeInfer أن كل وحدة معالجة رسومية تعالج أجزاء فريدة من البيانات لحساب الانتباه.

• النتيجة: هذا يلغي تماماً حساب الانتباه الذاتي المكرر الملاحظ في التنفيذات المفككة البدائية، مما يقلل وقت الحوسبة بنسبة 10–30%.

ج. دمج ذاكرة KV cache المجدولة مع رسوم CUDA البيانية

لحل مشكلة الشكل الديناميكي لإعادة بناء ذاكرة KV cache، يقدم DeInfer عملية مكونة من مرحلتين متوافقة مع رسوم CUDA البيانية:

1. مرحلة التحضير: يقوم DeInfer بمسح الذاكرة المجدولة لتحديد الكتل المتصلة فيزيائياً من ذاكرة KV cache المشتتة. ويقوم بإنشاء قائمة فهرس إعادة التعيين (جدول كتل جديد) ونسخ هذه الكتل إلى مخزن مؤقت متصل.
2. مرحلة إعادة تشغيل الرسم البياني: ينفذ النظام رسماً بيانياً تم التقاطه حيث يتم ضرب المخزن المؤقت المتصل بمصفوفات الإسقاط الصاعدة لإعادة بناء ذاكرة KV cache.

• الابتكار الرئيسي: على الرغم من أن الشكل المنطقي للبيانات يتغير، إلا أن عنوان الذاكرة ومعلمات إطلاق النواة تظل ثابتة. وهذا يسمح باستخدام نواة GEMM ثابتة الحجم وكبيرة للتعامل مع إعادة البناء داخل رسم CUDA بياني ثابت، مما يلغي زمن انتقال إطلاق النواة.

د. التعميم

تم تصميم DeInfer ليكون غير مرتبط بنسب تفكيك محددة أو أشكال مصفوفات معينة. فهو يدعم:

• نسب ضغط متغيرة (طبقات مختلفة بمستويات ضغط مختلفة).
• آليات انتباه مختلفة (MHA, GQA, MQA, MLA).
• متغيرات MLP مختلفة (GLU وغير GLU).
• يدعم حالياً النماذج غير المعتمدة على خلط الخبراء (non-MoE) مثل (LLaMA, OPT, Qwen).

3. المساهمات الرئيسية

1. تحديد النظام: أول عمل يحدد ويحلل بشكل منهجي عقبات الأداء المحددة (الاتصال، الحوسبة المكررة، عدم التوافق مع رسوم CUDA البيانية) للاستدلال المتوازي لنماذج اللغات الكبيرة المفككة.
2. بنية DeInfer: نظام استدلال مبتكر يتميز بأداة اتصال منخفضة الرتبة وآلية إعادة بناء ذاكرة KV cache متوافقة مع رسوم CUDA البيانية.
3. تحسين الأداء: يحقق تخفيضات كبيرة في عرض نطاق الاتصال (تصل إلى 78%) وفي تكرار الحوسبة (10–30%).
4. تقييم شامل: تجارب واسعة النطاق على LLaMA-3-70B و LLaMA-65B و OPT-30B عبر تكوينات أجهزة مختلفة (A800 مع NVLink، و A6000 بدون NVLink).

4. النتائج التجريبية

قام المؤلفون بتقييم DeInfer مقابل تنفيذ توازي مجمعي "بدائي" (Naive) باستخدام vLLM.

• الإنتاجية (Throughput):
  • في سيناريوهات الحمل العالي بدون NVLink، حقق DeInfer تسريعاً يتراوح بين 4.59x إلى 6.59x مقارنة بالأساس.
  • مع NVLink، تراوحت معدلات التسريع بين 1.49x إلى 1.88x.
  • أظهر DeInfer قدرة ممتازة على التوسع مع زيادة عدد وحدات المعالجة الرسومية من 2 إلى 8، بينما تدهور أداء الأساس أو استقر.
• زمن الوصول (Latency):
  • زمن الوصول لأول توكن (TTFT): انخفض بنسبة 77–83% (على سبيل المثال، من ~21 ثانية إلى ~3.6 ثانية لنموذج LLaMA-3-70B).
  • زمن الوصول بين التوكنات (ITL): انخفض بنسبة 68–79%.
• القابلية للتوسع:
  • عند استخدام 8 وحدات معالجة رسومية مع ضغط بنسبة 60%، حقق DeInfer تسريعاً قدره 2.25x (مع NVLink) و 8.81x (بدون NVLink) مقارنة بالأساس.
  • تحسن الأداء مع زيادة نسب الضغط، مما يثبت أن النظام يتوسع جيداً مع مستويات الضغط الأعلى.
• تأثير رسوم CUDA البيانية:
  • عندما يكون NVLink مفعلاً (مما يجعل الاتصال أقل تأثيراً كعقبة)، وفر تفعيل رسوم CUDA البيانية تحسيناً إضافياً في الإنتاجية بنسبة 5–20% من خلال إزالة زمن انتقال إطلاق النواة.

5. الأهمية

يسد DeInfer فجوة حرجة بين ضغط النماذج وكفاءة النشر. وبينما يعد تفكيك النماذج تقنية قوية لتقليل بصمة الذاكرة، إلا أنه كان يُعتبر سابقاً "غير صديق للاستدلال" في الإعدادات المتوازية. يثبت DeInfer أنه من خلال التحسينات الصحيحة على مستوى النظام، يمكن للنماذج المفككة ليس فقط أن تُنشر، بل يمكنها أيضاً التفوق على التنفيذات المجمعية البدائية بشكل كبير. يتيح هذا العمل التوسع العملي للنماذج عالية الضغط على مجموعات متعددة من وحدات المعالجة الرسومية، مما يجعل استدلال الذكاء الاصطناعي واسع النطاق، والموفر للذاكرة، أكثر سهولة من حيث التكلفة والوصមាន.