Coral: Cost-Efficient Multi-LLM Serving over Heterogeneous Cloud GPUs
يُعد Coral نظاماً لخدمة النماذج اللغوية الكبيرة المتعددة (multi-LLM) يتسم بالتكيف والوعي بالتباين، حيث يعمل على تحسين تخصيص الموارد واستراتيجيات الخدمة بشكل مشترك عبر وحدات معالجة الرسومات السحابية المتنوعة، محققاً خفضاً في التكلفة يصل إلى 2.79 ضعفاً وزيادة في الإنتاجية الجيدة (goodput) بمقدار 2.39 ضعفاً، وذلك باستخدام عملية تفكيك ثنائية المرحلة غير فاقدة للمعلومات لتمكين اتخاذ قرارات سريعة وشبه مثالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مطبخاً ضخماً وراقياً للمطاعم. في الماضي، كان الجميع يعتقد أنك بحتاج إلى أكثر الطهاف رؤوساً وتطوراً وباهظ الثمن، وأكبر وأسرع موقد لطهي كل طبق. ولكن، في عالم النماذج اللغوية الكبيرة (LLMs) – وهي العقول الاصطناعية التي تقف وراء برامج الدردشة ومولدات الأكواد – تغير هذا الأمر. فلا يوجد نموذج ذكاء اصطناائي واحد هو الأفضل في كل شيء؛ فبعضها يتفوق في كتابة الأكواد، وبعضها في الدردشة، وبعضها الآخر مناسب فقط للمهام البسيطة.
علاوة على ذلك، فإن "المطبخ" (خوادم السحابة) هو مزيج فوضوي من المعدات المتنوعة. لديك مواقد "H100" فائقة السرعة وباهظة الثمن، ومع ذلك فهي غالباً ما تكون محجوزة بالكامل. كما أن لديك مواقد "L4 أو "A100" أقدم وأرخص متوفرة، وهي تقدم بشكل مفاجئ نفس قوة الطهي لكل دولار مقارنة بغيرها.
المشكلة هي: كيف تدير مطبخاً يحتوي على 46 وصفة مختلفة (نماذج) باستخدام مزيج من المواقد الغالية والرخيصة دون إهدار المال أو جعل الزبائن ينتظرون؟
هذا هو بالضبط ما يحله Coral.
الطريقة القديمة: خطأ "المقاس الواحد الذي يناسب الجميع"
حاولت الأنظمة السابقة حل هذه المشكلة عبر التعامل مع كل طبق كصندوق أسود. كانوا يقولون: "بالنسبة لطبق كتابة الكود، نحتاج إلى موقد H100 كامل. أما بالنسبة لطبق الدردشة، فنحتاج إلى موقد A100". لم ينظروا داخل الوصفة ليروا ما إذا كان بإمكانهم خلط وتكييف أجزاء من الموقد.
أدى هذا إلى مشكلتين رئيسيتين:
- إهدار المال: غالباً ما كانوا يشترون أغلى المعدات، حتى لو كان مزيج أرخص سيعمل بنفس الكفاءة.
- الاختناقات: عندما تنفد المواقد الغالية، يتوقف المطبخ بأكمله عن العمل، رغم وجود العديد من المواقد الأرخص التي تقبع دون استخدام.
حل Coral: "الشيف الرئيسي" المبدع في المزج والاختيار
Coral يشبه شيف رئيساً عبقرياً يدرك أن الطبق الواحد لا يحتاج بالضرورة للطهي على نوع واحد من المواقد. بدلاً من ذلك، يقوم Coral بتقسيم عملية الطهي إلى مراحل وتعيين الموقد المثالي لكل مرحلة.
إليك كيف يعمل، باستخدام تشبيه بسيط:
1. استراتيجية المرحلتين (خارج الخط - Offline مقابل داخل الخط - Online)
يقسم Coral تفكيره إلى جزئين لتجنب الارتباك:
المرحلة 1: كتاب الوصفات (خارج الخط - Offline)
قبل افتتاح المطعم، يقضي Coral وقتاً في إنشاء "كتاب وصفات" ضخم. لكل طبق ممكن (نموذج) ولكل مزيج ممكن من المواقد (وحدات معالجة الرسومات - GPUs)، يقوم بحساب أفضل طريقة لطهيه على الإطلاق.- مثال: يحدد أنه لطهي طبق "Qwen-3 235B"، فإن أفضل طريقة لطهي الجزء الأول (التحضير المسبق - Prefill) هي استخدام ثلاثة مواقد L40S رخيصة واثنين من مواقد H100 الغالية في تسلسل محدد.
- يقوم بكتابة هذه "الوصفات المثالية" كـ قوالب تقديم (Serving Templates). يستغرق هذا وقتاً طويلاً ولكنه يحتاج للحدوث مرة واحدة فقط.
المرحلة 2: نوبة العمل اليومية (داخل الخط - Online)
عندما يفتح المطعم وتبدأ الطلبات في الوصول، لا يتوقف Coral لإعادة التفكير من الصفر في كيفية الطهي. بل ببساطة ينظر في كتاب الوصفات الخاص به.- يتحقق من: "لدينا حالياً 5 من L40s و2 من H100 متاحين. نحتاج لتحضير 100 طبق من Qwen-3".
- يختار فوراً الوصفة المحسوبة مسبقاً والتي تناسب هذه المواقد المحددة وتلبي متطلبات سرعة العميل.
- بما أن الحسابات المعقدة تمت مسبقاً، يمكن لـ Coral اتخاذ هذه القرارات في ثوانٍ وليس ساعات. وهذا يسمح للمطبخ بالتكيف فوراً إذا تعطل موقد أو تدفقت طلبات جديدة.
2. تشبيه "العمل الجماعي"
تخيل أن لديك فريقين من العمال (نموذجين مختلفين للذكاء الاصطناعي) وكمية محدودة من الأدوات (وحدات معالجة الرسومات - GPUs).
- الطريقة القديمة: الفريق (أ) يستولي على أفضل الأدوات لأنهم "الفريق الأفضل". ويُترك الفريق (ب) بالأدوات المكسورة ولا يستطيع إنهاء عمله.
- طريقة Coral: ينظر Coral إلى الصورة الكبيرة. يدرك أن الفريق (أ) يمكنه في الواقع القيام بعمله بنفس الكفاءة باستخدام مزيج من الأدوات الجيدة والمتوسطة إذا أعادوا تنظيم سير عملهم. هذا يفرغ أفضل الأدوات للفريق (ب). ينهي كلا الفريقين عملهما في الوقت المحدد، ولا تضيع أي أدوات سدى.
لماذا يهم هذا؟
اختبرت الدراسة نظام Coral مع 6 نماذج ذكاء اصطناعي مختلفة و20 نوعاً مختلفاً من شرائح الكمبيوتر (GPUs). كانت النتائج مبهرة:
- أرخص: خفض Coral تكلفة تشغيل نماذج الذكاء الاصطناعي هذه بمقدار يصل إلى 2.79 ضعفاً مقارنة بأفضل الطرق الموجودة. هذا يشبه دفع 36 دولاراً فقط مقابل وجبة بجودة 100 دولار.
- أسرع (مع الموارد الشحيحة): عندما يصبح "المطبخ" مزدحماً ويصعب العثور على الأدوات، تمكن Coral من خدمة 2.39 ضعف عدد الزبائن مقارنة بالمنافسين دون تباطؤ.
الخلاصة
Coral هو نظام يتوقف عن معاملة نماذج الذكاء الاصطناعي كآلات جامدة وكتلة واحدة. بدلاً من ذلك، يعاملها كوصافات مرنة يمكن تحضيرها بمزيج من المعدات القديمة والجديدة. ومن خلال التخطيط لـ "المزيج المثالي" مسبقاً ثم تطبيقه بسرعة في الوقت الفعلي، فإنه يوفر مبالغ هائلة من المال ويحافظ على سلاسة عمل الذكاء الاصطناعي، حتى عندما يكون توفر الأجهزة غير مستقر.
باختصار: Coral هو المدير الذكي الذي يعرف كيف يستخدم مزيجاً من الأدوات الغالية والرخيصة لإنجاز المهمة بشكل أسرع وأرخص من أي شخص آخر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.