UCCI: Calibrated Uncertainty for Cost-Optimal LLM Cascade Routing
يُعد UCCI إطار عمل توجيه يعتمد على المعايرة أولاً، حيث يقوم برسم خرائط عدم اليقين على مستوى الرمز (token) إلى احتمالات خطأ لكل استعلام عبر الانحدار المتساوي (isotonic regression)، ويقوم بتحسين عتبات التصعيد من خلال تقليل التكلفة المقيد، محققاً انخفاضاً بنسبة 31% في تكلفة الاستدلال مع الحفاظ على دقة عالية في عبء عمل التعرف على الكيانات المسماة (NER) في بيئة الإنتاج مقارنة بنماذج التوجيه المرجعية الحالية.