🤖 machine learning

ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving

يُعد ParetoBandit نظام توجيه تكيفي مفتوح المصدر لخدمة النماذج اللغوية الكبيرة غير المستقرة، والذي يستخدم خوارزميات "بانديت" سياقية واعية بالتكلفة مع تنظيم وتيرة ثنائي أولي عبر الإنترنت ونسيان هندسي لفرض ميزانيات مقومة بالدولار ديناميكيًا، مع التكيف السريع مع تغيرات أسعار وجودة النماذج أو دمج نماذج جديدة أثناء وقت التشغيل بأقل زمن انتقال ممكن.

المؤلفون الأصليون: Annette Taberner-Miller

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Annette Taberner-Miller

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مطبخ مطعم مزدحم. لديك ثلاثة طهاة:

الشيف الرخيص: سريع ورخيص، لكنه يرتكب أحياناً أخطاء بسيطة.
الشيف المتوسط: أغلى قليلاً، ولكنه موثوق جداً.
الشيف الفاخر: هو الأغلى، عبقري، لكن تكلفته باهظة.

في عالم الذكاء الاصطناعي، هؤلاء هم "نماذج اللغات الكبيرة" (LLMs). الشركات تريد استخدامهم للإجابة على الأسئلة، لكن لديها ميزانية يومية صارمة. لا يمكنهم توظيف "الشيف الفاخر" لكل طلب، وإلا سيُفلسون. لكن لا يمكنهم أيضاً استخدام "الشيف الرخيص" لكل شيء، وإلا ستكون النتيجة (الإجابات) سيئة.

المشكلة هي أن المطبخ فوضوي. أحياناً يحصل "الشيف الفاخر" على تخفيض في السعر. وأحياناً يبدأ "الشيف الرخيص" فجأة في حرق التوست (تنخفض الجودة) دون إخبار أحد. وأحياناً ينضم شيف جديد إلى الفريق.

ParetoBandit هو "النادل الذكي" الجديد المصمم لحل هذه الفوضى.

المشكلة: خطأ "الضبط والنسيان"

الأنظمة القديمة كانت مثل النادل الذي يحفظ قائمة الطعام مرة واحدة في الشهر ثم لا ينظر إليها أبداً بعد ذلك.

إذا خفض "الشيف الفاخر" أسعاره، يستمر النادل القديم في فرض نفس السعر المرتفع.
إذا بدأ "الشيف الرخيص" في تقديم توست محروق، يستمر الندو القديم في إرسال الطلبات إليه لأنه يعتقد أنه لا يزال جيداً.
إذا انضم شيف جديد، لا يعرف النادل القديم كيف يتعامل معه.

الحل: ParetoBandit (النادل المتكيف)

ParetoBandit هو نادل يتعلم في الوقت الفعلي ولا يتجاوز الميزانية أبداً. إنه يستخدم ثلاث حيل ذكية:

1. "المحفظة الذكية" (موازن الميزانية)

تخيل أن محفظتك تحتوي على إنذار سحري.

الطريقة القديمة: تحاول تخمين المبلغ الذي يمكنك إنفاقه طوال اليوم. إذا أنفقت الكثير في الصباح، فقد تصبح مفلساً بحلول الظهر.
ParetoBandit: يتحقق من محفظتك بعد كل طلب.
- إذا أنفقت للتو مبلغاً كبيراً على "الشيف الفاخر"، فإنه يشد الحزام فوراً ويقول: "حسناً، بالنسبة للطلبات القليلة القادمة، لا يمكننا سوى تحمل تكلفة الشيف الرخيص".
- إذا انخفض سعر "الشيف الفاخر" فجأة، يلاحظ النادل فوراً: "مهلاً، لدينا سيولة إضافية الآن! لنكافئ أنفسنا بالشيف الفاخر لهذا الطلب".
- السحر: يضمن لك أنه لن تتجاوز أبداً ميزانيتك اليومية، بغض النظر عن تغير الأسعار.

2. "الذاكرة القصيرة" (النسيان الهندسي)

تخيل أنك تحاول تعلم رقصة جديدة.

الطريقة القديمة: تتذكر كل خطوة قمت بها، حتى تلك التي فعلتها قبل 10 سنوات. إذا تغيرت الموسيقى، تستمر في محاولة الرقص على الأغنية القديمة لأن ذاكرتك ممتلئة جداً.
ParetoBandit: لديه "ذاكرة قصيرة". يتذكر الطلبات القليلة المئات الأخيرة بوضوح شديد، ولكنه ينسى ببطء ما حدث قبل 1,000 طلب.
- لماذا؟ إذا بدأ "الشيف الرخيص" فجأة في حرق التوست (انخفضت الجودة)، فلن ينتظر النادل شهراً ليدرك ذلك. ولأنه "ينسى" البيانات القديمة الجيدة، فإنه يدرك بسرعة: "مهلاً، الشيف الرخيص سيء الآن"، ويتوقف عن إرسال الطلبات إليه. إنه يتكيف فوراً مع التغييرات.

3. "فترة التجربة" (الاستبدال السريع)

تخيل أن شيفاً جديداً قد دخل المطبخ.

الطريقة القديمة: إما تتجاهله أو توظفه فوراً دون اختبار.
ParetoBandit: يعطي الشيف الجديد تجربة قصيرة وصارمة. "لديك 20 طلباً. إذا كنت جيداً، فستبقى. إذا كنت سيئاً أو مكلفاً جداً، فستخرج".
- إنه يختبرهم بعناية دون استنزاف الميزانية. إذا كان الشيف الجديد سيئاً حقاً، فإن النظام يطرده تلقائياً. أما إذا كان رائعاً، فيبدأ في استخدامه بشكل أكبر.

ما مدى سرعته؟

هذا النظام سريع للغاية.

اتخاذ قرار (أي شيف يختار) يستغرق 22 ميكروثانية. هذا أسرع من رمشة العين.
العملية بأكملها (بما في ذلك قراءة الطلب) تستغرق أقل من 10 مللي ثانية.
لتضع ذلك في الاعتبار: نموذج الذكاء الاصطناعي نفسه يستغرق حوالي 1,000 مللي ثانية (ثانية واحدة) لطهي الوجبة. قرار النادل يستغرق أقل من 1% من الوقت الإجمالي. لن تلاحظ وجود النادل حتى.

النتائج

اختبرت الورقة البحثية هذا النادل في أربعة سيناريوهات مخيفة:

البقاء ضمن الميزانية: لم يتجاوز الحد المسموح به للإنفاق أبداً، حتى عندما تغيرت الأسعار بشكل جنوني.
انخفاض الأسعار: عندما أصبح الشيف الغالي أرخص، بدأ النادل فوراً في استخدامه أكثر، مما أدى للحصول على طعام أفضل بنفس المال.
الفشل الصامت: عندما ساءت جودة أحد الطهاة بصمت، لاحظ النادل الطعام السيئ، وتوقف عن الطلب منه، وانتقل إلى الآخرين - كل ذلك مع البقاء ضمن الميزانية.
الموظفون الجدد: نجح في اختبار وتوظيف شيف جديد دون تعطل النظام أو كسر الميزانية.

الخلاصة

ParetoBandit يشبه سيارة ذاتية القيادة لميزانية الذكاء الاصطناعي الخاصة بك. فهو لا يتبع الخريطة فحسب؛ بل يراقب الطريق، ويتكيف مع زحام المرور (تغير الأسعار)، ويتجنب الحفر (سوء الجودة)، ويضمن عدم نفاد الوقود (المال) أبداً، كل ذلك أثناء القيادة بسرعة تفوق سرعة رمشة عينك.

إليك ملخص تقني مفصل لورقة البحث بعنوان "PARETOBANDIT: BUDGET-PACED ADAPTIVE ROUTING FOR NON-STATIONARY LLM SERVING."

1. بيان المشكلة

يعتمد تقديم النماذج اللغوية الكبيرة (LLM) في بيئات الإنتاج بشكل متزايد على محافظ متعددة النماذج (multi-model portfolios) لموازنة الجودة والتكلفة، حيث يمكن أن تتباين أسعار النماذج بفارق يصل إلى ~530 ضعفًا. ومع ذلك، تواجه حلول التوجيه (routing) الحالية ثلاث فجوات تشغيلية حرجة في عمليات النشر الواقعية:

عدم الاستقرار (Non-Stationarity): يمكن أن تتراجع جودة النموذج بصمت (بسبب تحديثات واجهة برمجة التطبيقات API)، كما تتغير الأسعار بشكل متكرر (مثل تخفيضات أسعار OpenAI). معظم الموجهات تتعلم سياسة ثابتة مسبقاً (offline) وتفشل في التكيف مع هذه التحولات.
فرض الميزانية (Budget Enforcement): تفتقر الطرق الحالية التي تحسن الأداء بناءً على مجموعة مطالبات (prompts) ثابتة أو أفق زمني معروف، إلى آلية لفرض سقف تكلفة لكل طلب (دولار لكل طلب) عبر تدفق حركة مرور مفتوح وغير معروف.
المحافظ الديناميكية (Dynamic Portfolios): يصعب إضافة أو إزالة النماذج أثناء التشغيل (التبديل الساخن/hot-swapping) دون توقف عن العمل أو إعادة تدريب للأنظمة التي تعتمد على سياسات ثابتة تم تعلمها مسبقاً.

التحدي الجوهري هو تصميم موجه (router) يعمل في آن واحد على تعظيم جودة الاستجابة، والالتزام الصارم بميزانية محددة بالدولار، والتكيف ذاتياً مع تقلبات السعر والجودة وإضافة النماذ الجديدة.

2. المنهجية: ParetoBandit

ParetoBandit هو نظام توجيه تكيفي مفتوح المصدر مبني على خوارزميات "البنديت السياقية" (contextual bandits) الواعية بالتكلفة. وهو يدمج أربعة مكونات رئيسية لمعالجة التحديات المذكورة أعلاه:

أ. بنية النظام

جوهر البنديت السياقي (Contextual Bandit Core): يستخدم خوارمازمية LinUCB (الحد العلوي الخطي للثقة) لتعلم أسطح المكافأة. يراقب الموجه متجه سياق $x_t$ (مشتق من الـ embedding الخاص بالمطالبة عبر تقليل الأبعاد باستخدام PCA)، ويختار نموذجاً $a_t$ ، ويتلقى مكافأة $r_t$ (درجة الجودة) وتكلفة $c_t$ .
منظم الميزانية ذو الحلقة المغلقة (Closed-Loop Budget Pacer): يستبدل ضبط العقوبات المسبق (offline penalty tuning) بـ منظم ميزانية "برايمال-دوال" (primal–dual) عبر الإنترنت.
- يحافظ على متغير ثنائي $\lambda_t$ يعمل كمعامل لاجرانج (Lagrange multiplier).
- تزداد قيمة $\lambda_t$ إذا تجاوز الإنفاق الأخير الميزانية $B$ ، وتنخفض إذا كان الإنفاق منخفضاً.
- إنفاذ ثنائي الطبقات:
  1. السقف الصلب (Hard Ceiling): إذا كانت $\lambda_t > 0$ ، يتم استبعاد النماذج التي تتجاوز عتبة تكلفة ديناميكية من مجموعة المرشحين (قاطع الدائرة/circuit breaker).
  2. العقوبة الناعمة (Soft Penalty): يتم طرح حد عقوبة التكلفة $(\lambda_c + \lambda_t)\tilde{c}_a$ من درجة UCB، مما يوجه الاختيار نحو النماذج الأرخص ضمن المجموعة المتاحة.
النسيان الهندسي (Geometric Forgetting): للتعامل مع عدم الاستقرار، يطبق النظام عامل نسيان $\gamma \in (0, 1]$ على الإحصائيات الكافية ( $A_a, b_a$ $A_{a}, b_{a}$ ) لخوارزمية LinUCB.
- يقوم هذا العامل بخفض البيانات القديمة بشكل أسي، مما يمنح النظام "ذاكرة فعالة" محدودة.
- يسمح للموجه بنسيان تقديرات الجودة القديمة أو افتراضات الأسعار التي عفا عليها الزمن بسرعة.
- تضخم التقادم (Staleness Inflation): يقوم النظام بتضخيم مكافأة الاستكشاف صراحةً للأذرع (arms) التي لم يتم اختيارها مؤخراً، مما يضمن إعادة استكشاف النماذج التي قد تكون استعادت كفاءتها.
التمهيد من "قبل الإنترنت" إلى "أثناء الإنترنت" (Offline-to-Online Warmup): لتجنب ندم البداية الباردة (cold-start regret)، يحمل النظام الإحصائيات الكافية المحسوبة مسبقاً (المناسبة للبيانات التاريخية) كقيم أولية (priors). تتلاشى هذه القيم طبيعياً عبر النسيان الهندسي، مما يضمن اعتماد النظام في النهاية على حركة المرور الحية.
إدارة المحفظة أثناء التشغيل (Runtime Portfolio Management): يدعم وظائف add_arm() و delete_arm() أثناء التشغيل. تخضع النماذج الجديدة لمرحلة استكشاف قسري قصيرة (20 سحبة/pulls) لبناء تصوراتها اللاحقة (posterior) قبل أن يتولى اختيار UCB القياسي المهمة.

ب. التفاصيل الخوارزمية

الهدف: تعظيم الجودة التراكمية مع مراعاة الشرط $\limsup \frac{1}{T} \sum c_t \le B$ .
قاعدة الاختيار: يختار الموجه النموذج الذي يعظم:
$\text{Score} = \underbrace{\hat{\theta}_a^\top x_t}_{\text{الاستغلال (Exploit)}} + \underbrace{\alpha \sqrt{x_t^\top A_a^{-1} x_t}}_{\text{الاستكشاف (Explore)}} - \underbrace{(\lambda_c + \lambda_t)\tilde{c}_a}_{\text{عقوبة التكلفة}}$
ضبط المعلمات الفائقة (Hyperparameter Tuning): يستخدم إجراء "نقطة الركبة لباريتو" (Pareto knee-point) لمعايرة معدل النسيان ( $\gamma$ ) ومعامل الاستكشاف ( $\alpha$ ) معاً بناءً على "أفق تكيف" واحد يحدده المستخدم (مدى سرعة استجابة النظام للتحول).

3. المساهمات الرئيسية

أول نظام لتنظيم الميزانية عبر الحلقة المغلقة: على عكس الأعمال السابقة التي تفترض آفاقاً زمنية ثابتة أو تحسيناً مسبقاً، يفرض ParetoBandit سقف تكلفة لكل طلب عبر تدفق مستمر باستخدام تحديث "صعود مزدوج" (dual-ascent) سلس.
التعامل المنهجي مع عدم الاستقرار: هو أول موجه LLM يستخدم صراحةً التخفيض الهندسي ويقيم الأداء تحت ظروف التدهور الصامت للجودة وتحولات الأسعار، مما يظهر تكيفاً سريعاً دون تدخل يدوي.
التبديل الساخن للمحفظة أثناء التشغيل: يقدم آلية لإضافة نماذج جديدة أثناء التشغيل مع استكشاف محدود، مما يضمن تمييز الموجه للنماذج بناءً على البيانات الحية بدلاً من تبني النهايات الطرفية (endpoints) الجديدة بشكل أعمى.
الكفاءة: تستغرق عملية قرار التوجيه 22.5 ميكروثانية فقط على وحدة المعالجة المركزية (CPU)، مع زمن انتقال شامل (بما في ذلك الـ embedding) يبلغ 9.8 مللي ثانية، وهو أقل من 0.4% من وقت استدلال LLM المعتاد.

4. النتائج التجريبية

تم تقييم النظام على 1,824 مطالبة مرجعية عبر محفظة مكونة من 3 نماذج (تتراوح بين 530 ضعفاً في التكلفة) وتحت قيود ميزانية مختلفة.

الالتزام بالميزانية: في جميع السيناريوهات، لم تتجاوز متوسط تكلفة الطلب الواحد الميزانية المستهدفة بأكثر من 0.4%. وحتى تحت اختبارات الضغط، ظلت ضمن نطاق ~4% من السقف.
التكيف مع تقلب الأسعار: عندما انخفض سعر النموذج الأكثر تكلفة بنسبة 50% في منتصف المسار، اكتشف ParetoBandit التغيير وحوّل حركة المرور، مما حقق زيادة في الجودة قدرها +0.071 مع الحفاظ على الالتزام بالميزانية.
التدهور الصامت للجودة: عندما انخفضت جودة أحد النماذ صمتًا بنسبة ~18%، اكتشف الموجه هذا التراجع عبر إشارة المكافأة، وقلل تخصيصه، وحافظ على الالتزام بالميزانية. أما النماذج المرجعية (baselines) التي تفتقر للتحكم عبر الحلقة المغلقة فقد تجاوزت الإنفاق بما يصل إلى 6.9 ضعفاً.
البداية الباردة (Cold-Start Onboarding): أضاف النظام نموذجاً جديداً أثناء التشغيل، ووصل النموذج إلى اعتماد ملموس خلال ~142 خطوة دون خرق سقف التكلفة. كما نجح النظام في رفض النماذج منخفضة الجودة بعد مرحلة استكشاف محدودة.
المتانة: ثبتت نتائج النظام عبر ثلاثة مقيمين مختلفين (DeepSeek-R1، GPT-4.1-mini، Claude-3.7-Sonsonet)، مما يؤكد أن منطق التوجيه قوي تجاه تباين المقيمين.

5. الأهمية والأثر

الموثوقية التشغيلية: يحل ParetoBandit مشكلة "الآفاق المفتوحة" في تقديم نماذج LLM في الإنتاج، حيث تكون حجم حركة المرور وظروف النماذج غير معروفة وديناميكية. فهو يوفر شبكة أمان ضد تجاوز التكاليف مع تعظيم الجودة.
كفاءة التكلفة: من خلال خلط النماذج ديناميكياً بناءً على ضغط الميزانية والجودة في الوقت الفعلي، يحقق النظام "جبهة باريتو" (Pareto frontier) مستمرة، مما يسمح للمشغلين بتحديد ميزانية بالدولار وإيجاد المزيج الأمثل للجودة تلقائياً.
القابلية للتوسع: يجعل زمن الانتقال المنخفض (أقل من 10 مللي ثانية) والتنفيذ عبر وحدة المعالجة المركزية (CPU-only) من الممكن نشر النظام كطبقة وسيطة (middleware) في بيئات الإنتاج عالية الإنتاجية دون الحاجة إلى موارد GPU مخصصة للتوجيه.
جاهزية المستقبل: إن القدرة على التبديل الساخن للنماذ والتكيف مع التراجعات الصامتة تجعل منه مكوناً حيوياً للحفاظ على اتفاقيات مستوى الخدمة (SLAs) في عصر يتسم بالتطور السريع لواجهات برمجة تطبيقات LLM.

باخت مختصار، يمثل ParetoBandit تحولاً من التوجيه الثابت والمحسن مسبقاً إلى التحكم التكيفي ذو الحلقة المغلقة، مما يضمن بقاء تقديم نماذج LLM فعالاً من حيث التكلفة وعالي الجودة رغم عدم الاستقرار المتأصل في بيئة الإنتاج.