UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing

ملخص تقني: UCCI – معايرة عدم اليقين من أجل توجيه متسلسل مثالي التكلفة لنماذج اللغات الكبيرة (LLM)

بيان المشكلة
تقدم نماذج اللغات الكبيرة (LLMs) أداءً عاليًا في مهام التنبؤ المهيكلة، لكن تكاليف الاستدلال تزدق بشكل حاد مع زيادة حجم النموذج. يعد الاستدلال المتسلسل (Cascade inference)—الذي يقوم بتوجيه الاستعلامات السهلة إلى نموذج صغير وتصعيد الاستعلامات الصعبة إلى نموذج كبير—بتقليل التكاليف. ومع ذلك، تعتمد الموجهات (routers) المنشورة حاليًا غالبًا على درجات ثقة غير معايرة (مثل الإنتروبيا الخام للرموز أو الهوامش)، وهي درجات حساسة لصياغة المطالبة (prompt) وتحولات عبء العمل. ونتيجة لذلك، غالبًا ما يكون ضبط العتبة (threshold tuning) عملية يدوية لكل عبء عمل على حدة، مما يفشل في التعميم، ويخلق فجوة بين الوعد النظري للأنظمة المتسلسلة والأداء الفعلي في بيئة الإنتاج.

المنهجية
يقترح البحث إطار عمل UCCI (الاستدلال المتسلسل لمعايرة عدم اليقين)، وهو إطار لتوجيه المسارات يعامل تصميم التسلسل كمسألة قرار معايرة بدلاً من كونها مجرد عملية ضبط. تسير المنهجية عبر ثلاث خطوات:

1. استخراج عدم اليقين على مستوى الرمز (Token): بالنسبة للتسلسل الناتج، يحسب النظام درجة عدم يقين قياسية $u(x)$ بناءً على الهامش بين احتميتي الرمز التالي (الأول والثاني) ($p_{t,1} - p_{t,2}$) عبر جميع الرموز. يتم تجميع هذا الهامش لتمثيل عدم اليقين الإجمالي لمخرجات النموذج الصغير.
2. المعايرة الرتيبة (Isotonic Calibration): درجة عدم اليقين الخام $u(x)$ ليست احتمالاً. يقوم UCCI برسم خريطة لهذه الدرجة إلى احتمال خطأ لكل استعلام مُعاير $\hat{p}(x)$ باستخدام الانحدار الرتيب (isotonic regression) على مجموعة معايرة محجوزة. تحول هذه الخطوة الإشارة غير المعايرة إلى تقدير موثوق لاحتمالية أن يكون مخرج النموذج الصغير غير صحيح ($P(e(x)=1 | u(x))$).
3. تقليل التكلفة المقيد: يتم اختيار سياسة عتبة $\pi_\theta$ على مجموعة تحقق. يتم اختيار العتبة $\theta^*$ لتقليل تكلفة الاستدلال المتوقعة مع مراعاة قيد دقة مستهدف ($\tau$). تقوم السياسة بتوجيه الاستعلامات التي يكون فيها $\hat{p}(x) \leq \theta$ إلى النموذج الصغير، وتصعيد تلك التي يكون فيها $\hat{p}(x) > \theta$ إلى النموذج الكبير.

المساهمات النظرية
يقدم البحث نتيجتين رئيسيتين:

• مثالية سياسات العتبة: تحت ثلاثة افتراضات صريحة (تكلفة النموذج الكبير > تكلفة النموذج الصغير؛ دقة النموذج الكبير ثابتة بغض النظر عن الاستعلامات التي يتم تصعيدها؛ والوصት إلى احتمال الخطأ الحقيقي المعاير)، يثبت المؤلفون أن سياسة العتبة القائمة على احتمال الخطأ المعاير هي المثالية من حيث التكلفة.
• التعقيد العيني (Sample Complexity): يثبت البحث أن الانحدار الرتيب يحقق خطأ معايرة متوقع (ECE) قدره $O(n^{-1/3})$ مع $n$ من أمثلة المعايرة، مما يوفر حداً نظرياً لكفاءة البيانات في خطوة المعايرة.

الإعداد التجريبي والنتائج
تم تقييم إطار العمل على عبء عمل إنتاج لـ تعرف الكيانات المسماة (NER) يتضمن 75,000 استعلام مصنف يدويًا من نظام إدارة صور للمؤسسات.

• النماذج: نموذج صغير بـ 4 مليارات معلمة ($f_s$) ونموذج كبير بـ 12 مليار معلمة ($f_\ell$)، كلاهما مضبوط التعليمات (instruction-tuned) ويعمل على وحدات معالجة رسومية من نوع H100.
• قياس التكلفة: تم اشتقاق التكاليف من زمن الانتقال (latency) المقاس من البداية إلى النهاية على وحدات H100، مما أعطى نسبة تكلفة $c_\ell/c_s \approx 3.02$.
• المقارنة المرجعية (Baselines): قارنت الدراسة UCCI بكل من: الاستدلال بنموذج واحد، وعتبة الإنتروبيا غير المعايرة، والتوجيه القائم على التنبؤ التوافقي المنقسم (split-conformal routing)، وتوجيه FrugalGPT القائم على العتبة المتعلمة.

النتائج الرئيسية:

• تقليل التكلفة: عند استهداف دقة micro-F1 تبلغ 0.91، خفض UCCI تكاليف الاستدلال بنسبة 31% (فاصل ثقة 95%: [27%, 35%]) مقارنة باستخدام النموذج الكبير حصريًا.
• جودة المعايرة: قلل الانحدار الرتيب من خطأ المعايرة المتوقع (ECE) من 0.12 (غير معاير) إلى 0.03.
• الأداء مقابل المراجع: عند نفس نقطة التشغيل (F1 = 0.91)، حقق UCCI أدنى تكلفة (2.08 وحدة معيارية) مقارنة بعتبة الإنتروبيا (2.31)، والتنبؤ التوافقي (2.18)، وتوجيه نمط FrugalGPT (2.24).
• التحقق من الافتراضات: تم اختبار الافتراض القائل بأن دقة النموذج الكبير تظل ثابتة تجاه التوجيه تجريبيًا؛ حيث كانت الدقة على الاستعلامات المصعدة (0.928) مطابقة تقريبًا للدقة العالمية (0.932)، مما يدعم الإطار النظري.

الأهمية والادعاءات
يجادل البحث بأن القيمة الهندسية الأساسية في الأنظمة المتسلسلة تكمن في معايرة درجة التوجيه بدلاً من الضبط اليدوي للعتبة النهائية. ومن خلال تحويل إشارة هامش الرمز المشوشة إلى تقدير احتمالي للخطأ عبر ملاءمة رتيبة بسيطة، يحقق UCCI أداء توجيه قريب من المثالية دون الحاجة إلى بنيات معقدة لتعلم التأجيل (learning-to-defer) أو بيانات تفضيل.

يؤكد المؤلفون أن نتائجهم تستند إلى التوجيه من البداية إلى النهاية باستخدام مخرجات النماذج الفعلية وزمن انتقال الأجهزة المقاس، متجنبين انحياز الاختيار المتأصل في المحاكاة القائمة على الدقة العالمية أو أسعار API الاسمية. وبينما الإطار مستقل عن المهمة، يشير المؤلفون إلى أن توفير التكاليف المحدد (31%) ومقاييس المعايرة تعتمد على عبء العمل. كما يقرون بوجود قيود تتعلق بافتراض الثبات في المجالات التي تكون فيها الاستعلامات "الصعبة" للنموذج الصغير صعبة بشكل غير متناسب للنموذج الكبير، ويشيرون إلى أن المعايرة الثابتة قد تتطلب تكيفًا في عمليات النشر ذات التدفق المستمر (streaming deployments) التي تشهد تحولات في التوزيع.