Compass: SLO-aware Query Planner for Compound AI Serving at Scale
يُعد Compass مخطط استعلام مبتكرًا يراعي مستويات هدف الخدمة (SLO)، مما يتيح تقديم نماذج الذكاء الاصطناعي المركبة بكفاءة وعلى نطاق واسع عبر بيئات نشر متنوعة، وذلك من خلال تفكيك مشكلات التخطيط المعقدة، واستخدام التوصيف الانتقائي لتقدير الأداء بتكلفة اقتصادية، وتوظيف المطابقة ثنائية الأجزاء لتعظيم إنتاجية الخدمة مع تقليل التكاليف وزمن تخطيط الاستعلام بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مطبخاً تقنياً ضخماً وعالي التطور. في الماضي، كان الطهاة (نماذج الذكاء الاصطنا لذا تعمل بمفردها في مطبخ واحد كبير (السحابة/Cloud). أما الآن، فإن "الذكاء الاصطناعي المركب" (Compound AI) يشبه وجبة معقدة تتطلب فريقاً كاملاً: مساعد طباخ لتقطيع الخضروات، وخبير مشويات لطهي اللحم، وخبير صلصات، وسائق توصيل، يعملون جميعاً معاً لتقديم طبق واحد للزبون.
ما هي المشكلة؟ لديك آلاف الطلبات الواردة في وقت واحد. بعض الزبائن يريدون طعامهم خلال 30 ثانية (دردشة فيديو مباشرة)، بينما لا يمانع آخرون الانتظار لفترة أطول قليلاً ولكنهم يريدون الخيار الأرخص الممكن (توليد الأكواد بنظام الدفعات/Batch). كما أن مطبخك ليس مجرد غرفة واحدة؛ بل لديك مطبخ رئيسي فاخر (السحابة)، ومطبخ فرعي صغير قريب (الحافة/Edge)، وحتى طهاة منزليون (أجهزة الحافة) يمكنهم المساعدة أيضاً.
Compass هو "رئيس الطهاة" الجديد فائق الذكاء (مخطط الاستعلام/Query Planner) المصمم لإدارة هذه الفوضى. وإليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. المشكلة: خيارات كثيرة، وقت غير كافٍ
في الأيام الخوالي، إذا جاء طلب جديد، كان رئيس الطهاة يحاول ابتكار الوصفة المثالية. ولكن مع الذكاء الاصطناعي المركب، هناك ملايين الطرق لتحضير الطبق:
- التوزيع (Placement): هل يجب أن يتم التقطيع في المطبخ الرئيسي أم في المطبخ الفرعي؟
- الإعداد (Configuration): هل نستخدم سكيناً ضخماً وغالياً (نموذج ذكاء اصطناعي ضخم) أم سكيناً صغيراً وسريعاً؟
- الموارد (Resources): كم عدد الطهاة الذين يجب تعيينهم؟
محاولة إيجاد الخطة المثالية لكل طلب على حد حد سواء تستغرق ساعات. وبحلول الوقت الذي ينتهي فيه الشيف من تحديد الخطة، يكون الزبون قد غادر بالفعل، أو يكون الطعام قد برد. كانت الأنظمة الموجودة سابقاً إما بطيئة جداً أو تعمل فقط للطلبات البسيطة ذات الطبق الواحد.
2. الحل: "الاختصارات الذكية" لـ Compass
لا يحاول Compass تذوق كل وصفة ممكنة، بل يستخدم ثلاث حيل ذكية لإيجاد وصفة رائعة في ثوانٍ:
أ. اختصار "التشابه" (محسن البحث/Search Optimizer)
تخيل أنك طهوت طبق "توفو حار" لزبون من قبل. الآن، طلب زبون جديد "توفو حار مع ملح أقل قليلاً".
بدلاً من البدء من الصفر، ينظر Compass إلى تاريخه ويقول: "مهلاً، أنا أعرف كيف كان طعم التوفو الحار الأخير. يمكنني استخدام تلك المعرفة لتوقع كيف سيكون طعم هذا الطبق الجديد".
- التشبيه: إنه مثل طاهٍ يتذكر أن "الوصفة أ" و"الوصفة ب" متشابهتان بنسبة 90%. لا يحتاج لتذوق التجربة بالكامل مرة أخرى؛ هو فقط يعدل كمية الملح. هذا يوفر وقتاً وأموالاً هائلة (تكاليف الـ GPU).
ب. فرز "اختبار المذاق" (محلل مستويات الخدمة/SLO Profiler)
لمعرفة ما إذا كانت الوصفة جيدة، عليك عادةً طهي الطبق كاملاً وتذوقه. لكن طهي نموذج ذكاء اصطناي ضخم أمر مكلف (يكلف مالاً حقيقياً للتشغيل على حواسيب قوية).
يستخدم Compass تقنية "أخذ العينات الذكي".
- التشبيه: بدلاً من أكل البيتزا بأكملها لمعرفة ما إذا كانت مالحة بما يكفي، يأخذ Compass قضمة صغيرة فقط. إذا كانت القضمة الأولى مالحة بوضوح، يتوقف فوراً ويقول: "لا، تخلص من هذه الوصفة". وإذا كانت القضمة الأولى مثالية بوضوح، يتوقف ويقول: "رائع، استمر في هذه الوصفة". هو يطهي البيتزا كاملة فقط إذا كان الأمر محيراً. هذا يوفر الكثير من المال والوقت.
ج. "مخطط الجلوس العالمي" (مخطط الاستعلامات المتعددة/Multi-Query Planner)
إذا خططت لكل طلب بشكل فردي، فقد تخصص عن طريق الخطأ جميع "خبراء المشويات" لنفس الطاولة، مما يترك الطاولات الأخرى فارغة وجائعة.
ينظر Compass إلى جميع الطلبات في وقت واحد، حيث ينشئ مخطط جلوس يوازن بين الأحمال.
- التشبيه: إنه مثل حارس الأمن في ملهى ليلي لا يسمح بدخول الناس واحداً تلو الآخر فحسب، بل ينظر إلى الحشد بأكمله ويقول: "حسناً، لدينا مساحة في الطاولة (أ) للمجموعة الكبيرة، وفي الطاولة (ب) للمجموعة الصغيرة، لكي يتم تقديم الخدمة للجميع دون انتظار طويل". هذا يضمن عمل المطبخ بكفاءة، وليس فقط لطبق واحد.
3. النتائج: أسرع، أرخص، أفضل
اختبرت الورقة البحثية Compass في سيناريوهات من العالم الحقيقي مثل دردشة الفيديو المباشرة مع وكلاء الذكاء الاصطناعي، وتحويل الكلام إلى نص، وتوليد الأكواد. وهذا ما حدث:
- السرعة: وجد Compass خطة جيدة في ثوانٍ (أسرع بمعدل 2.4 إلى 5.1 مرة من السابق). هذا يعني أن المستخدمين لن يضطروا للانتظار حتى "يفكر" الذكاء الاصطناعي في كيفية البدء.
- التكلفة: قلل من تكلفة تشغيل هذه الخدمات بمعدل 3.8 إلى 4.5 مرة. إنه يشبه الحصول على نفس الوجبة بجزء بسيط من السعر عبر استخدام المكونات الصحيحة والمطبخ المناسب.
- الجودة: قدم الخدمة لعدد أكبر من الزبائن بنسبة 2.4 إلى 5.1 مرة بنجاح دون كسر القواعد (SLOs).
الملخص
فكر في Compass كمنظم حركة مرور فائق للذكاء في مدينة من روبوتات الذكاء الاصطناعي. بدلاً من ترك كل روبوت يقود حيثما يريد (مما يسبب ازدحاماً مروريًا وتأخيراً)، ينظر Compass إلى الخريطة بأكملها، ويتذكر أين كان من قبل، ويوجه حركة المرور بحيث يصل الجميع إلى وجهتهم بسرعة، وبتكلفة منخفضة، وبأمان. إنه يحول الفوضى المكلفة والمربكة إلى عملية سلسة وفعالة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.