Target-Workload Auditing for Quality-Constrained LLM Routing

تخيل عالماً حيث تنتشر المساعدات القائمة على الذكاء الاصطناዊ في كل مكان، مستعدة للإجابة على الأسئلة، أو كتابة القصص، أو حل المشكلات. ولجعل هذه الخدمات ميسورة التكلفة للجميع، غالباً ما تستخدم الشركات مزيجاً من نماذج ذكاء اصطناعي مختلفة. بعض هذه النماذج قوية للغاية ولكن تشغيلها مكلف، مثل سيارة فاخرة تستهلك الكثير من الوقود. وأخرى أصغر، وأسرع، وأرخص بك كثيراً، مثل سيارة اقتصادية عملية. ويتمثل التحدي الذي يواجه الشركات التي تدير هذه الخدمات في تحديد أي "سيارة" تستخدم لكل طلب محدد. فهي تريد توفير المال باستخدام النموذج الأرخص كلما أمكن ذلك، لكن لا يمكنها تحمل ترك النموذج الأرخص يعطي إجابة خاطئة في حين كان النموذج الأغلى سيكون صحيحاً. إن عملية التوازن هذه بين توفير المال والحفاظ على الجودة هي المشكلة المركزية التي يعالجها هذا البحث.

لقد وضع الباحثان، ونجي لي وجوفونغ لي من جامعة الصين للبترول، هدفاً لإيجاد طريقة موثوقة لاتخاذ هذا القرار. فقد ركزا على استراتيجية محددة تسمى "التوجيه" (routing)، حيث يعمل النظام كشرطي مرور، يوجه الأسئلة إما إلى النموذج الرخيص أو إلى النموذج المرجعي الأغلى. والهدف هو إنشاء طريقة تضمن بقاء الخدمة ضمن ميزانية صارمة للأخطاء مع تعظيم التوفير. لقد كانوا مهتمين بشكل خاص بحالة معقدة: ماذا يحدث عندما تتغير أنواع الأسئلة التي يطرحها الناس؟ فالنظام الذي تم تدريبه على مجموعة من الأسئلة قد يرتكب أخطاءً مختلفة على مجموعة جديدة. أراد الفريق معرفه ما إذا كان بإمكانهم استخدام عينة صغيرة مصنفة من الأسئلة الجديدة لتعديل قواعد "شرطي المرور" الخاص بهم وضمان بقاء التوفير آمناً وفعالاً.

ولاختبار أفكارهم، بنى الباحثون تجربة دقيقة باستخدام مجموعتين مختلفتين جداً من البيانات. أولاً، استخدموا مجموعة كبيرة ومعروفة من الأسئلة والأجوبة تتضمن مزيجاً من ذكاء اصطناعي قوي وآخر أقل قوة بقليل. ثم، كرروا العملية مع زوج جديد أكثر تقدماً من النماذج ليروا ما إذا كانت أساليبهم ستصمد في سياق حديث. وقد تضمن جوهر عملهم طريقة ذكية لقياس المخاطر. فبدلاً من مجرد النظر في عدد المرات التي أخطأ فيها النموذج الرخيص، نظروا في سيناريوهين محددين. الأول هو "الضرر" (harm)، والذي يحدث عندما يعطي النموذج الرخيص إجابة خاطئة بينما كان النموذج الأغلى سيكون صحيحاً. والثاني هو "الإنقاذ" (rescue)، والذي يحدث عندما يحصل النموذج الرخيص على إجابة صحيحة رغم أن النموذج الأغلى كان سيفشل. ومن خلال تتبع كلتا النتيجتين، استطاعوا حساب الأثر الصافي الحقيقي لاستخدام النموذج الأرخص.

طوّر الفريق عملية تعمل بمثابة شهادة سلامة. فقبل نشر قاعدة توجيه في العالم الحقيقي، يقومون باختبارها مقابل مجموعة صغيرة مصنفة من أسئلة الجمهور المستهدف. سمحت لهم عملية "التدقيق" هذه بتحديد عتبة—وهي نقطة محددة يقرر عندها النظام الانتقال من النموذج الرخيص إلى النموذج الأغلى. وقد قارنوا بين عدة طرق لاتخاذ هذا القرار؛ اعتمدت بعض الطرق على درجات معقدة تحاول التنبؤ بجودة الإجابة، بينما استخدمت طرق أخرى مجرد الصدفة العشوائية لاتخاذ القرار. كما اختبروا طريقة تنظر فقط إلى خطر الضرر، متجاهلة إمكانية "إنقاذ" النموذج الرخيص لسؤال صعب.

وكشفت النتتائج عن صورة دقيقة حول متى وكيف يتم توفير المال. ففي الحالات التي تكون فيها الأسئلة مشابهة جداً لما رآه النظام من قبل، وجد الباحثون أنه يمكنهم توفير مبلغ كبير من المال دون الحاجة إلى تدقيق الأسئلة الجديدة على الإطلاق؛ إذ إن القواعد التي تعلمت من البيانات القديمة عملت بشكل مثالي على حركة المرور الجديدة. ومع ذلك، عندما تغيرت الأسئلة بشكل كبير، مثل الانتقال من المعرفة العامة إلى الرياضيات المعقدة، فإن القواعد القديمة غالباً ما فشلت. وفي هذه الحالات، كان استخدام عينة صغيرة من الأسئلة الجديدة لإعادة معايرة النظام أمراً ضرورياً. وقد سمح هذا الاستثمار الصغير في فحص عدد قليل من الإجابات للنظام باستخدام النموذج الأرخص بشكل أكثر أماناً، مما استرد تكلفة الفحص وما زاد عن ذلك.

وكانت إحدى النتائج الأكثر لفتاً للنظر هي قيمة تأثير "الإنقاذ". فعندما سمح الباحثون لنظامهم بنسب الفضل للنموذج الرخيص في الحصول على إجابات صحيحة فات على النموذج الأغلى، استطاع النظام استخدام النموذج الأرخص بأمان على نطاق أوسع بكثير من الأسئلة. وفي اختبار محدد مع نماذج حديثة، وجدوا أن الطريقة التي تأخذ في الاعتبار عمليات "الإنقاذ" هذه وفرت ما يقرب من خمسين بالمائة من التكلفة الإجمالية، بينما الطريقة التي ركزت فقط على تجنب الأخطاء وفرت أقل من ستة بالمائة. وقد أظهر هذا أن الاعتراف بأن النموذج الرخص يؤدي وظيفة أفضل من النموذج الأغلى هو رافعة قوية لخفض التكاليف.

وقارنت الدراسة طريقتهم مع مناهج حديثة أخرى. ووجدوا أن استخدام بوابة عشوائية بسيطة للقرار بشأن أي نموذج يتم استخدامه، بمجرد معايرتها بشكل صحيح مع تدقيق صغير، يمكن أن يكون فعالاً بشكل مفاجئ، خاصة عندما تفشل أنظمة التقييم المعقدة في الانتقال جيداً إلى أنواع جديدة من الأسئلة. وهذا يشير إلى أن القاعدة البسيطة المنضبطة جيداً تكون أحياناً أفضل من نموذج تنبؤ معقد. وخلص الباحثون إلى أنه لا توجد طريقة واحدة "مثلى" لتوجيه حركة المرور لجميع الحالات. بدلاً من ذلك، يعتمد النهج الأفضل على المزيج المحدد من الأسئلة المطروحة وعلى استقرار البيانات. فإذا كانت البيانات مستقرة، فإن النظام الذي تمت معايرته مسبقاً هو الأفضل. وإذا تغيرت البيانات، فإن التدقيق الصغير والمستهدف يصبح ضرورياً لفتح آفاق التوفير.

في نهاية المطاف، يوفر هذا العمل إطاراً واضحاً وقابلاً للتدقيق للشركات لإدارة تكاليف الذكاء الاصطناعي الخاصة بها دون تخمين. وهو يثبت أنه من خلال القياس الدقيق لكل من المخاطر والنجاحات غير المتوقعة لاستخدام النماذج الأرخص، يمكن للخدمات العمل ضمن ميزانيات جودة صارمة. ويؤكد البحث أنه بينما يتغير مشهد أسئلة الذكاء الاصطناعي باستمرار، فإن النهج المنهجي للاختبار والمعايرة يمكن أن يضمن أن السعي وراء الكفاءة لا يأتي على حساب الموثوقية. وتوفر هذه النتائج مساراً عملياً للمستقبل لجيل القادم من خدمات الذكاء الاصطناٍ الميسورة وعالية الجودة.