RequestRouter: Request-Boundary Routing for Efficient Single-GPU LLM Inference
يُعد RequestRouter متحكماً خفيف الوزن عند حدود الطلبات، يقوم باختيار أوضاع الاستدلال المثلى ديناميكياً (مثل التكميم، أو فك التشفيد التخميني، أو التخزين المؤقت للبادئة) لخدمة النماذج اللغوية الكبيرة على وحدة معالجة رسومات واحدة، محققاً تخفيضات كبيرة في زمن الاستجابة واستهلاك الطاقة مع عبء إضافي ضئيل للغاية مع الحفاظ على دقة شبه متطابقة مع الاستدلال بدقة كاملة.
المؤلفون الأصليون:Aman Sunesh, Ali Alshehhi, Hivansh Dhakne
يعتمد الذكاء الاصطناعي الحديث على النماذج اللغوية الكبيرة لتوليد النصوص، والإجابة على الأسئلة، وحل المشكلات. هذه الأنظمة قوية، لكنها أيضاً نهمة للكهرباء. ففي كل مرة يطرح فيها مستخدم سؤالاً، يجب على الحاسوب إجراء مليارات العمليات الحسابية لإنتاج إجابة، وهي عملية تستهلك طاقة كبيرة وتستغرق وقتاً. وبالنسبة للأشخاص الذين يديرون هذه الأنظمة، فإن التحدي يكمل في جعل الحاسوب يعمل بأسرع ما يمكن دون إهدار الطاقة. حالياً، تستخدم معظم الأنظمة إعداداً واحداً ثابتاً لكل طلب، بغض النظر عما إذا كانت المهمة بسيطة أم معقدة. هذا يشبه قيادة شاحنة ثقيلة بسرعة الطرق السريعة سواء كنت تعبر مربع سكني أو تسافر عبر البلاد؛ الأمر يعمل، ولكنه غالباً ما يكون غير فعال. ويبحث الباحثون الآن عن طرق لمطابقة إعدادات الحاسوب مع الوظيفة المحددة المطلوبة، آملين في توفير الطاقة وتسريع الاستجابات دون تغيير الذكاء الأساسي للنموذج نفسه.
لقد طور فريق من الباحثين في جامعة نيويورك نهجاً جديداً يسمى "RequestRouter" لحل هذه المشكلة. فبدلاً من إجبار كل طلب على المرور عبر نفس العملية البطيئة والمستهلكة للطاقة، يعمل هذا النظام كمنظم مرور خفيف الوزن. قبل أن يبدأ الحاسوب في توليد الإجابة، ينظر هذا المنظم في بعض التفاصيل البسيطة حول الطلب، مثل طول سؤال المستخدم، وطول الإجابة المتوقعة، وما إذا كان السؤال يتشارك في عبارة بدائية مشتركة مع أسئلة أخيرة أخرى. وبناءً على هذه القرائن، يختار المنظم فوراً الطريقة الأكثر كفاءة لمعالجة ذلك الطلب المحدد من قائمة الخيارات المتاحة. وتشمل هذه الخيارات تشغيل النموذج بأرقام دقة أقل لتوفير الطاقة، أو استخدام تقنية تخمن الكلمات التالية لتسريع عملية التوليد، أو إعادة استخدام أجزاء من المحادثة التي تم حسابها بالفعل. لا يقوم النظام بإعادة تدريب النموذج أو تغيير بنيته؛ بل يختار ببساطة الأداة الأفضل للمهمة من الأدوات المتاحة بالفعل.
اختبر الباحثون هذه الفكرة على بطاقة رسومات قوية، وهي قطعة عتاد شائعة تُستخدم لتشغيل هذه النماذج، باستخدام نموذج لغوي قياسي يحتوي على ثمانية مليارات معلمة. وأجروا آلاف الاختبارات مع أنواع مختلفة من الطلبات، تراوحت بين التفاعلات القصيرة والسريعة والمحادثات الطويلة والمعقدة. وقارنوا أداء هذا المنظم الذكي بالطريقة القياسية التي تستخدم إعداداً واحداً غير مُحسّن لكل شيء. وكانت النتائج مذهلة؛ ففي المتوسط، جعل المنظم النظام أسرع بمرتين من الطريقة القياسية مع استخدام أقل من نصف الطاقة لكل كلمة يتم توليدها. وفي اختبار أكثر صرامة حيث كرروا نفس الطلبات عدة مرات للتأكد من أن النتائج ليست مجرد مصادفة، حافظ المنظم أيضاً على زيادة في السرعة تقارب الضعف وانخفاض كبير في استهلاك الطاقة. كما كان المنظم سريعاً للغاية في اتخاذ قراراته، حيث استغرق أقل من خمسة من ألف من الملي ثانية لاختيار المسار، وهو تأخير ضئيل جداً لدرجة أنه غير مرئي للمستخدم فعلياً.
ومن الأهمية بمكان أن الباحثين وجدوا أن مكاسب الكفاءة هذه لم تأتِ على حساب الجودة. فقد اختبروا النظام على مجموعة متنوعة من المعايير المصممة لقياس مدى فهم النموذج للأسئلة وإجابته عليها. وقد حافظ المنظم الذكي على معظم دقة الطريقة القياسية، محتفظاً بأكثر من تسعين بالمائة من الأداء. وهذا أمر مهم لأن بعض طرق توفير الطاقة الأسرع يمكن أن تجعل النموذج أقل دقة أحياناً. يستخدم المنظم سياسة قائمة على القواعد البسيطة لتجنب هذه العثرات، وذلك عن طريق توجيه الأسئلة الصعبة إلى الإعدادات الأكثر موثوقية بينما يرسل المهام الأبسط إلى الأنماط الأسرع والأكثر كفاءة. كما قارنت الدراسة بين هذا المنظم البسيط القائم على القواعد وبين الأنظمة الأكثر تعقيداً والتي تعتمد على التعلم، والتي تحاول التنبؤ بالإعداد الأفضل باستخدام الذكاء الاصطناعي. ووجدوا أن الأنظمة المعقدة كانت أبطأ بكmuch في اتخاذ القرارات، مما أدى إلى إضافة قدر من التأخير ألغى فوائد توفير الطاقة. وقد أثبت النهج البسيط القائم على القواعد أنه الحل الأكثر عملية، حيث قدم أفضل توازن بين السرعة والطاقة والجودة.
يشير هذا العمل إلى أن مستقبل الذكاء الاصطناعي الفعال قد لا يتطلب بناء نماذج جديدة أكثر ذكاءً أو اختراع عتاد جديد. بدلاً من ذلك، يمكن تحقيق تحسينات كبيرة بمجرد الانتباه إلى بنية الطلبات الواردة ومطابقتها مع وضع المعالجة المناسب. لقد أثبت الباحثون أنه من خلال التعامل مع تقنيات التحسين المختلفة ليس كإعدادات دائمة ولكن كخيارات قابلة للاختيار، استطاعوا استعادة كفاءة كبيرة. هذا النهج يحترم جودة المخرجات مع تقليل تكلفة الطاقة لتشغيل هذه الأنظمة بشكل جذري. إنه يقدم مساراً واضحاً لجعل النماذج اللغوية الكبيرة أكثر استدامة، موضحاً أن الطريقة الأكثر فعالية لتوفير الطاقة أحياناً ليست بالعمل بجهد أكبر، بل بالعمل بذكاء أكبر عبر اختيار الأداة المناسبة لكل مهمة محددة.
ملخص تقني: RequestRouter
بيان المشكلة
يعد استنتاج النماذج اللغوية الكبيرة (LLM) مصدراً كبيراً للتكلفة الحسابية واستهلاك الطاقة في أنظمة الذكاء الاصطناعي الحديثة. تعتمد عمليات النشر الحالية عادةً على تكوين استنتاج واحد وثابت (على سبيل المثال، دقة ثابتة أو تقنية تحسين واحدة) عبر جميع الطلبات الواردة. هذا النهج غير فعال لأن الطلبات المختلفة تضغط على وحدة معالجة الرسومات (GPU) بطرق مختلفة جوهرياً:
المطالبات القصيرة والتفاعلية تكون حساسة لزمن الاستجبابة (latency).
طلبات التوليد الطويلة تقضي وقتاً أطول في مرحلة فك الترميز (decoding).
أعباء عمل الدردشة ذات البادئة المشتركة (shared-prefix) يمكن أن تستفيد من إعادة استخدام الذاكرة المخبئية (cache reuse).
أعباء العمل ذات الضغط العالي على الذاكرة تتطلب أوضاعاً أكثر تحفظاً لتجنب أخطاء نفاذ الذاكرة (out-of-memory).
لا يوجد وضع استنتاج واحد مثالي عبر كل هذه الإعدادات غير المتجانسة. وبينما توجد تحسينات متنوعة (مثل التكميم/quantization، والفك التخميني/speculative decoding، وتخزين البادئة المؤقت/prefix caching، والتجميع المستمر/continuous batching)، إلا أنها غالباً ما تُقيّم كإعدادات عالمية ثابتة بدلاً من اختيارها ديناميكياً بناءً على خصائص الطلب. التحدي يكمل في اختيار وضع الاستنتاج الأكثر كفاءة لطلب معين دون التسبب في عبء إضافي كبير في التوجيه (routing overhead) أو المساس بجودة المخرجات.
المنهجية
يقترح المؤلفون RequestRouter، وهو متحكم خفيف الوزن يعمل عند حدود الطلب (request-boundary controller) ومصمم للاستنتاج أحادي وحدة معالجة الرسومات (single-GPU). يعمل النظام عن طريق اختيار وضع استنتاج ثابت واحد لكل طلب قبل بدء عملية التوليد، بناءً على ميزات بسيطة على مستوى الطلب.
بنية النظام
منطق المتحكم (Controller Logic): يقوم المتحكم بتحليل ميزات مثل طول المطالبة (prompt length)، وطول المخرجات المتوقع، وحالة البادئة المشتركة، والضغط على الذاكرة، والضغط على الدفعات (batch pressure)، وعائلة عبء العمل.
الأنماط المرشحة (Candidate Modes): يختار النظام من بين مجموعة من تحسينات الاستنتاج الحالية، بما في ذلك:
الأنماط الهجينة (Hybrid Modes): تركيبات مثل GPTQ + تخزين البادئة المؤقت، أو INT8 + التجميع المستمر.
القيود: لا يقوم النظام بإعادة تدريب النموذج، ولا يعدل البنية المعمارية، ولا يغير الأنماط أثناء الطلب. يعمل على وحدة معالجة رسومات واحدة (NVIDIA A100) باستخدام حزمة الخدمة vLLM.
سياسة التوجيه (Routing Policy)
يقيم البحث نوعين من سياسات التوجيه:
السياسة القائمة على القواعد (Rule-Based Policy): سياسة بسيطة مصممة يدوياً (الجدول 1) تربط ظروف طلب محددة بأنماط معينة (مثلاً: طلبات البادئة المشتركة ← GPTQ + تخزين البادئة المؤقت؛ الطلبات كثيفة فك الترميز ← الفك التخميني).
الموجهات المتعلمة (Learned Routers): أشجار القرار، والغابات العشوائية (random forests)، والانحدار اللوجستي (logistic regression) التي تم تدريبها لمحاكاة "أوراكل مدرك للقيود" (النمط الأسرع الذي يستوفي قيود الجودة والطاقة).
إعداد التقييم
الأجهزة (Hardware): NVIDIA A100 40GB (أساسي) و A100-SXM4-80GB (للتقييم المتطابق). تم إجراء فحوصات أصغر على L40S و RTX PRO 6000 Blackwell.
النموذج: Meta-Llama-3.1-8B-Instruct.
أعباء العمل (Workloads):
اصطناعية: أطوال متنوعة للمطالبات/المخرجات (قصير/قصير، طويل/طويل، إلخ)، الدردشة ذات البادئة المشتركة، وسيناريوهات الضغط على الذاكرة.
الاختبارات المرجعية (Benchmarks): MMLU-Pro، و GSM8K، و TruthfulQA، و GPQA، و MLU لقياس جودة المخرجات.
المقاييس: زمن الاستجابة الإجمالي (Total latency)، الإنتاجية (throughput)، الطاقة لكل توكن مُولد (مقاسة عبر NVML)، ذروة ذاكرة وحدة معالجة الرسومات، وفارق الدقة بالنسبة لـ FP16.
المساهمات الرئيسية
توصيف أنماط الاستنتاج: يوضح المؤلفون أن أنماط استنتاج مختلفة تهيمن على عائلات أعباء عمل مختلفة. على سبيل المثال، يتفوق GPTQ 4-bit في أعباء العمل الاصطناعية، بينما يتفوق الفك التخميني في المهام كثيفة فك الترميز.
متحكم حدود الطلب (Request-Boundary Controller): اقتراح متحكم منخفض التكلفة يختار بين أنماط الاستنتاج الموجودة بناءً على هيكل الطلب، مما يتجنب الحاجة إلى إعادة تدريب النموذج أو تغييرات في البنية المعمارية.
التحقق التجريبي: تقييم شامل يظهر أن التوجيه الخفيف يستعيد مكاسب كفاءة كبيرة مع الحفاظ على جودة الاختبارات المرجعية.
النتائج
مكاسب الكفاءة
زمن الاستجابة (Latency): في أعباء العمل الشبيهة بالنشر الفعلي، يحقق RequestRouter تسريعاً في متوسط زمن الاستجابة بمقدار 2.10× مقارنة بأساس FP16. وفي تقييم متطابق محكم (4,320 عملية توليد)، كان التسريع 1.93× (فاصل ثقة 95%: 1.88–1.98×).
الطاقة: يقلل النظام استهلاك الطاقة إلى 0.48× من أساس FP16 في أعباء العمل الخاصة بالنشر. وأظهر التقييم المتطابق نسبة طاقة بلغت 0.523 (فاصل ثقة 95%: 0.506–0.540).
عبء التوجيه (Routing Overhead): يتحمل المتحكم القائم على القواعد عبئاً ضئيلاً جداً. في اختبار مرجعي دقيق للمعالج (CPU microbenchmark) مكون من 100,000 استدعاء، كان متوسط وقت التوجيه هو 0.00475 مللي ثانية (p99: 0.00532 مللي ثانية). في المقابل، تسببت الموجهات المتعلمة (مثل الغابة العشوائية) في أعباء تتراوح بين 4.5 مللي ثانية و20.9 مللي ثانية، مما يجعلها أقل عملية بشكل كبير.
الحفاظ على الجودة
الدقة: تحتفظ السياسة الموجهة بـ 99.6% من دقة الاختبار المرجعي الكلي لـ FP16.
بوابة الجودة (Quality Gate): يحدد النظام نمطاً بأنه "مؤهل للجودة" إذا لم ينخفض أي اختبار مرجعي بأكثر من 1.5 نقطة مئوية. كان أسوأ فارق للسياسة الموجهة هو -1.33 نقطة، وظل ضمن البوابة. بالمقابل، أدت سياسة "دائماً GPTQ" الثابتة إلى انخفاض أسوأ قدره -3.67 نقطة.
المقارنة بالسياسات الثابتة: في متغيرات أعباء العمل المحجوزة، تفوق RequestRouter على أفضل سياسة ثابتة مؤهلة للجودة (INT8) بميزة زمن استجابة بلغت 1.118×.
انتقال الأجهزة (Hardware Transfer)
لوحظ أن مكاسب الكفاءة استمرت على المسرعات الأحدث (NVIDIA L40S و RTX PRO 6000 Blackwell)، مع تسريع بلغ ~2.05× و ~2.06× على التوالي، مما يشير إلى أن النهج ليس مقتصرًا على بنية A100.
الأهمية والادعاءات
يجادل البحث بأن الحوسبة منخفضة الكربون للنماذج اللغوية الكبيرة لا تتطلب بالضرورة تصميم نماذج جديدة أو نشر أجهزة جديدة. بدلاً من ذلك، يمكن تحقيق وفورات كبيرة في طاقة التشغيل من خلال مطابقة تحسينات الاستنتاج الحالية مع هيكل الطلبات الواردة.
الطاقة التشغيلية مقابل الطاقية (Operational vs. Embodied): يصرح المؤلفون صراحةً بأن نتائجهم تمثل كفاءة الطاقة التشغيلية (تقليل الجول لكل توكن). هم لا يدعون تقليل الكربون المتجسد (انبعاثات التصنيع)، حيث تعمل جميع الأنماط على نفس الأجهزة الفيزيائية أثناء التقييم.
تكلفة المتحكم: النتيجة الرئيسية هي أن قرار التوجيه يجب أن يكون رخيصاً. يوضح البحث أن السياسات البسيطة القائمة على القواعد تتفوق على النماذج المتعلمة المعقدة في هذا السيايا لأنها تلتقط الحالات الهيكلية الضرورية دون إضافة أعباء كبيرة على المعالج (CPU) أو تعقيد.
التكامل (Complementarity): يُقدم RequestRouter كمكمل، وليس كبديل، لاستراتيجيات الجدولة والوضع واسعة النطاق الواعية بالكربون. فهو يحسن "كيفية" الاستنتاج على وحدة معالجة رسومات واحدة، بينما يمكن للعمل المستقبلي معالجة "متى" و"أين" بناءً على كثافة كربون الشبكة.
يخلص المؤلفون إلى أن الاختيار غير المكلف والواعي بالطلب يمكن أن يستعيد كفاءة زمن الاستجابة والطاقة بشكل كبير مع احترام قيود الجودة، مما يتحدى الفكرة القائلة بأن التكوين العالمي الواحد هو الأمثل لأعباء عمل النماذج اللغوية الكبيرة غير المتجانسة.