RouteNLP: Closed-Loop LLM Routing with Conformal Cascading and Distillation Co-Optimization
يُعد RouteNLP إطار عمل مغلق الحلقة يعمل على تحسين تكاليف خدمة النماذج اللغوية الكبيرة (LLM) من خلال الجمع بين موجه مدرك للصعوبة، والتدرج القائم على التنبؤ المطابق، وحلقة تحسين مشتركة للتقطير والتوجيه، وذلك لتوجيه الاستعلامات إلى النموذج الأكثر كفاءة ضمن محفظة متعددة المستويات مع الحفاظ على جودة عالية وزمن استجابة منخفض.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مركز اتصال ضخم وعالمي. لديك نوعان من الموظفين: الخبراء الفائقون (الذين يعرفون كل شيء ولكن تكلفتهم 500 دولار في الساعة) والمساعدون المبتدئون (الذين يجيدون المهام الأساسية ولكن تكلفتهم 5 دولارات فقط في الساعة).
في الوقت الحالي، ترتكب شركتك خطأً فادحاً: أنت ترسل كل مكالمة هاتفية — حتى لو كان شخص ما يسأل فقط "ما هي ساعات عملكم؟" — إلى الخبراء الفائقين. أنت تحرق ملايين الدولارات، وخبراؤك يشعرون بالملل والإرهاق.
RouteNLP هو بمثابة نظام "الموزع الذكي" المصمم لإصلاح هذه الفوضى. وإليك كيف يعمل باستخدام ثلاث حيل ذكية:
1. الموزع الذكي (الراوتر)
بدلاً من إلقاء كل مكالمة مباشرة إلى الخبير المكلف، يستمع النظام أولاً إلى بداية المكالمة. إنه يستخدم "عقلاً فرزياً" صغيراً وسريعاً للغاية للتخمين: "هل هذا سؤال بسيط أم أزمة قانونية معقدة؟"
- إذا كان بسيطاً، يرسله مباشرة إلى مساعد مبتدئ.
- إذا بدا الأمر صعباً، يرسله إلى مدير متوسط المستوى.
- فقط إذا كان كابوساً حقيقياً، يقوم باستدعاء الخبير الفائق.
2. "شبكة الأمان" (التدرج المطابق - Conformal Cascading)
أحياناً، يرتكب الموزع خطأً ويرسل سؤالاً صعباً إلى مساعد مبتدئ. ولمنع المساعد من تقديم إجابة خاطئة للعميل، يستخدم النظام "شبكة أمان".
يتم تدريب المساعد المبتدئ على قول: "لست متأكداً بنسبة 100% من هذا الأمر". وفي اللحظة التي يتم فيها اكتشاف عدم اليقين هذا، يقوم النظام فوراً بـ "تصعيد" المكالمة إلى المستوى التالي. الأمر يشبه طاهٍ مبتدئ يدرك أنه لا يعرف كيفية صنع الـ "سوفليه"، فيقوم فوراً بتسليم المقلاة إلى رئيس الطهاة قبل أن تفسد الطبخة.
3. "حلقة التدريب" (التحسين المشترك - Co-Optimization)
هذا هو الجزء الأكثر عبقرية. معظم الأنظمة تتقبل ببساطة أن بعض الأسئلة "صعبة جداً" على المبتدئين. لكن RouteNLP لا يفعل ذلك.
فهو يحتفظ بـ "سجل إخفاقات" لكل مرة اضطر فيها المساعد المبتدئ لتسليم مهمة إلى خبير. ينظر إلى تلك الإخفاقات، ويجمعها معاً (على سبيل المثال: "مهلاً، جميع المبتدئين يعانون من الأسئلة المتعلقة بالضرائب!")، ثم يستخدم الخبير لتعليم المبتدئين بدقة كيفية التعامل مع تلك الأسئلة الضريبية تحديداً.
الأمر يشبه مدرباً يشاهد لقطات المباراة، ويرى بالضبط أين يتعثر اللاعبون، ثم يقوم بإجراء تدريبات محددة لإصلاح تلك الحركات بدقة. بمرور الوقت، يصبح المبتدئون أكثر ذكاءً، مما يعني أنك ستحتاج لاستدعاء الخبراء المكلفين بشكل أقل فأقل.
النتائج (الخلاصة)
عندما اختبروا هذا في شركة حقيقية (كانت تتعامل مع حوالي 5,000 استفسار يومياً)، كانت النتائج هائلة:
- توفير المال: تمكنوا من خفض التكالحة بنسبة 58%. (تخيل تحويل فاتورة شهرية بقيمة 200,000 دولار إلى 84,000 دولار فقط).
- السرعة: أصبح النظام أسرع بكثير لأن معظم الناس لم يكونوا ينتظرون في "طابور الخبراء".
- الجودة: على الرغم من أنهم استخدموا "موظفين" أرخص في كثير من الأحيان، إلا أن العملاء لم يلاحظوا الفرق تقريباً. كانت الإجابات جيدة تماماً كما لو كانوا قد استخدموا الخبراء الفائقين في كل مرة.
باخت-صار: RouteNLP هو طريقة لجعل الذكاء الاصطناعي أكثر ذكاءً وأقل تكلفة عن طريق ضمان استخدام "العقل المكلف" فقط عندما تكون هناك حاجة فعلية إليه، مع تعليم "العقول الرخيصة" باستمرار كيف تقوم بالمزيد من المهام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.