Efficient, VRAM-Constrained xLM Inference on Clients

إليك ملخص تقني مفصل لورقة البحث بعنوان "Efficient, VRAM-Constrained xLM Inference on Clients" (استنتاج نماذج xLM بكفاءة تحت قيود ذاكرة الفيديو VRAM على أجهزة المستخدمين).

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في تشغيل نماذج الذكاء الاصطناعي عالية الدقة وواسعة النطاق (التي تُسمى مجتمعة xLMs، وتشمل النماذج الكثيفة Dense LLMs، ونماذج خليط الخبراء MoE LLMs، ونماذج الرؤية واللغة VLMs) على أنظمة أجهزة المستخدمين (أجهزة المكتب والمحمول) ذات ذاكرة الفيديو (VRAM) المحدودة.

• القيد: غالبًا ما تمتلك وحدات معالجة الرسومات (GPUs) لدى المستخدمين ذاكرة VRAM أقل بكثير من إجمالي الذاكرة المطلوبة للنماذج الحديثة عالية الدقة (على سبيل المثال، نموذج بحجم 77 جيجابايت على وحدة معالجة رسومات بسعة 16 جيجابايت).
• قصور الحلول الحالية:
  • الكمية/التقليم (Quantization/Pruning): تقلل هذه التقنيات من حجم النموذج ولكنها تضحي بالدقة، وهو أمر غير مقبول للتطبيقات عالية الجودة.
  • النقل الثابت (Static Offloading): تعتمد الجدولة الهجينة الحالية (مثل الموجودة في llama.cpp) غالبًا على التكوين اليدوي (مثل تحديد عدد طبقات وحدة معالجة الرسومات) وتفشل في التكيف ديناميكيًا مع ظروف النظام المتغيرة (خيوط المعالجة CPU threads، عرض نطاق PCIe) أو مراحل الاستنتاج (مرحلة التعبئة Prefill مقابل مرحلة فك التشفيد Decode).
  • الافتقار إلى الشمولية: لا يوجد منتج واحد حالي يمكنه التعامل بكفاءة مع الأنماط التفاعلية، ومعالجة الدفعات (Batch processing)، ونماذج الرؤية واللغة (VLMs) عالية الدقة، وكلا بنيتي النماذج الكثيفة وMoE في وقت واحد تحت ميزانيات صارمة لـ VRAM.

2. المنهجية

يقترح المؤلفون تقنية جدولة هجينة جديدة تعتمد على التنميط الموجه بالبصمات (Benchmark-profile-guided) تسمى التجزئة المتسلسلة (Pipelined Sharding)، مقترنة بمجموعة من تحسينات الرؤية تسمى VLMOpt.

أ. التجزئة المتسلسلة (الابتكار الجوهري)

هذه تقنية جدولة تلقائية بالكامل تقوم بتفكيك رسم الاستنتاج البياني عند مستوى الطبقة الفرعية (Sub-layer level) (على سبيل المثال، تقسيم كتل الانتباه Attention وFFN) بدلاً من الاكتفاء بمستوى الطبقة فقط. وهي تعمل عبر ثلاث مراحل:

1. مرحلة التثبيت (التنميط - Profiling):

   • تعمل مجموعة اختبار (Benchmark suite) على أجهزة المستخدم المحددة لتنميط أداء النواة (Kernel performance - FLOPS) لمختلف أحجام التنسورات (Tensors)، ومستويات الكمية، وأعداد خيوط المعالجة في CPU.
   • والأهم من ذلك، يتم التنميط تحت حمل متزامن (لمحاكاة حركة مرور PCIe وتنازع متحكم الذاكرة) لإنشاء تقديرات زمنية دقيقة للتنفيذ الهجين بين CPU وGPU.
   • يؤدي هذا إلى إنشاء قاعدة بيانات تنميط صغيرة (~170 كيلوبايت) تُستخدم لتقدير التكلفة.

2. مرحلة التخطيط (توليد الجدول الزمني - Planning):

   • يحدد النظام مجموعة من "طبقات الرموز" (Token Tiers) (مثل 1، 4، 16، 64 رمزًا لكل دورة) والتي تمثل أحمال الاستنتاج المختلفة.
   • لكل طبقة، يقوم النظام بإنشاء ثلاث خطط جدولة متميزة بناءً على ميزانية VRAM الحالية وظروف النظام:
     • الاعتماد على GPU فقط (GPU-Only): يتم تشغيل جميع الطبقات الفرعية غير المثبتة على الـ GPU؛ حيث يتم تدفق الأوزان عبر PCIe. هذا الخيار مثالي لأحمال الحوسبة العالية (الدفعات الكبيرة/السياقات الكبيرة) حيث يتم إخفاء زمن انتقال PCIe بواسطة الحوسبة.
     • الثابت (Static): يتم تثبيت الطبقات الفرعية ذات الأولوية العالية (الانتباه Attention، وذاكرة KV Cache) في الـ VRAM؛ بينما يتم تشغيل الطبقات منخفضة الأولوية (FFN) على الـ CPU. هذا يقلل من حركة مرور PCIe ولكنه يعتمد على حوسبة الـ CPU.
     • الديناميكي (Dynamic): نهج هجين حيث يتم تدفق أوزان الطبقات الفرعية المخصصة للـ GPU من ذاكرة النظام (sysRAM) بينما يقوم الـ CPU بتنفيذ الطبقات السابقة. هذا يتداخل فيه نقل بيانات PCIe مع عملية الحوسبة.
   • يستخدم مُقدر توقيت قائم على نموذج Roofline قاعدة بيانات التنميط للتنبؤ بزمن انتقال كل خطة واختيار الخطة المثلى لطبقة الرموز المحددة.

3. مرحلة الاستنتاج (التنفيذ - Inference):

   • أثناء الاستنتاج، يحدد النظام عدد "الرموز الجديدة" (New token count) للدفعة الحالية.
   • يبحث النظام عن الجدول الزمني الأمثل المحسوب مسبقًا لطبقة الرموز تلك ويقوم بتنفيذه.
   • يسمح هذا للنظام بالتكيف بسلاسة بين النمط التفاعلي (حجم الدفعة = 1، رموز قليلة) ونمط الدفعات (حجم الدفعة > 1، رموز كثيرة).

ب. VLMOpt (تحسين الرؤية واللغة)

لدعم نماذج الرؤية واللغة عالية الدقة (تحديدًا نموذج Cosmos-Reason1)، قام المؤلفون بتنفيذ ثلاثة تحسينات داخل llama.cpp:

1. إخراج تنسورات الرؤية إلى الـ CPU (Vision Tensor CPU Offloading): يتم تثبيت أوزان نموذج الرؤية في ذاكرة الـ CPU وتدفقها إلى الـ GPU عند الحاجة فقط، مما يقلل من بصمة الـ VRAM.
2. الانتباه الخاطف للرؤية (Flash Attention for Vision): تنفيذ آلية Flash Attention في مشفر الرؤية لتقليل التعقيد الذاكري $O(N^2)$ لدرجات الانتباه عند التعامل مع صور عالية الدقة.
3. تجنب تداخل VRAM (VRAM Overlap Avoidance): إعادة هيكلة التنفيذ لضمان اكتمال ترميز الرؤية وتحرير الـ VRAM قبل بدء فك تشفير اللغة، مما يضمن أن ذروة استخدام VRAM هي الحد الأقصى بين الجزأين وليس مجموعهما.

3. المساهمات الرئيسية

1. خوارزمية التجزئة المتسلسلة (Pipelined Sharding Algorithm): مجدول هجين تلقائي مبتكر يتكيف مع ظروف النظام (خيوط CPU، عرض نطاق PCIe) وحالات الاستنتاج (السياق مقابل فك التشفيد) دون ضبط يدوي.
2. تنفيذ VLMOpt: مجموعة من التحسينات التي تمكن استنتاج نماذج VLM عالية الدقة على أجهزة المستخدم مع تقليل متطلبات VRAM بشكل كبير.
3. تنفيذ مفتوح المصدر بلغة C++: تم تنفيذ الحل في llama.cpp (إطار عمل يعتمد على C++ أولاً)، مما يجعله متاحًا لمطوري الألعاب ومهندسي الذكاء الاصطنا البدني (Physical AI).
4. تقييم شامل: اختبارات صارمة عبر نماذج LLM كثيفة، ونماذج MoE، ونماذج VLM على أجهزة متنوعة تتراوح من المحمول إلى أجهزة المكتب عالية الأداء.

4. النتائج

تظهر التقييمات تحسنًا كبيرًا في الأداء مقارنة بالنماذج المرجعية القوية (المضبوطة يدويًا مثل llama.cpp وvLLM):

• النمط التفاعلي (حجم الدفعة = 1):
  • زمن الوصول لأول رمز (TTFT): تحسن بنسبة تصل إلى 6.7 ضعف.
  • عدد الرموز في الثانية (TPS): تحسن بنسبة تصل إلى 30 ضعفًا (على سبيل المثال، لنموذج Qwen235B بحجم 77 جيجابايت).
  • الجدوى: يتيح تشغيل النماذج الضخمة (مثل 77 جيجابايت) بشكل تفاعلي على وحدات معالجة رسومات بسعة 2 جيجابايت فقط (مع تحقيق أكثر من 5 رموز في الثانية، وهو عتبة سرعة القراءة البشرية).
• نمط الدفعات (حجم الدفعة > 1):
  • تحسن في الإنتاجية يصل إلى 8.2 ضعف مقارنة بالنماذج المرجعية.
  • يقوم المجدول بترحيل العمل بفعالية إلى الـ GPU مع زيادة حجم الدفعة، متجنبًا اختناقات الـ CPU.
• أداء VLM (Cosmos-Reason1):
  • تقليل VRAM: تقليل الطلب على VRAM بمقدار 10 أضعاف (من ~20 جيجابايت إلى ~2 جيجابايت)، مما يتيح استنتاج الصور عالية الدقة (1440p) على أجهزة المستخدم حيث كان ذلك مستحيلاً سابقًا.
  • زمن الانتقال (Latency): حقق تسارعًا يصل إلى 1.78 ضعف في زمن الانتقال من البداية إلى النهاية (E2EL) مقارنة بالنماذج المرجعية عند نفس ميزانية VRAM.
• التنفيذ المشترك (Co-Execution): في السيناريوهات التي يتم فيها تشغيل لعبة (مثل Cyberpunk 2077) ونموذج LLM في آن واحد، يسمح الحل للعبة بالاحتفاظ بمزيد من الأصول (Assets) في الـ VRAM، مما يحسن كل من معدل إطارات اللعبة (FPS) وعدد رموز LLM (TPS) عبر تجنب تنازع الموارد.

5. الأهمية

يسد هذا العمل الفجوة بين متطلبات الدقة العالية لنماذج الذكاء الاصطنا الحديثة وبين قيود الأجهزة في أجهزة المستخدمين.

• استنتاج بدون فقدان (Lossless Inference): يثبت العمل أنه يمكن تشغيل النماذج عالية الدقة على أجهزة المستخدم دون التضحية بدقة النموذج من خلال الكمية أو التقليم.
• الديمقراطية (Democratization): من خلال تمكين نماذج VLM عالية الدقة ونماذج MoE الضخمة على أجهزة المحمول والمكتب القياسية، فإنه يُمكّن المطورين من بناء تطبيقات "الذكاء الاصطناعي البدني" المتقدمة أو مساعدي الذكاء الاصطناعي داخل الألعاب دون الاعتماد على بنية تحتية سحابية مكلفة.
• القابلية للتكيف: يوفر نهج طبقات الرموز والتنميط إطارًا قويًا لتطور الأجهزة في المستقبل، مما يضمن أن أداء الاستنتاج يتوسع مع الموارد المتاحة (خيوط CPU، عرض نطاق PCIe) بدلاً من أن يكون مقيدًا ثابتًا بتكوين محدد.

باختًا، تقدم الورقة حلاً جاهزًا للإنتاج، مؤتمتًا، يجعل الجيل القادم من الذكاء الاصطناعي على أجهزة المستخدم ممكنًا، فعالاً، وبدون فقدان للدقة.