SEAR: Schema-Based Evaluation and Routing for LLM Gateways
إن SEAR هو نظام قائم على المخططات لبوابات النماذج اللغوية الكبيرة (LLM) يوحد بين التقييم والتوجيه عبر تعريف مخطط علاقي قابل للتوسيع لإشارات الجودة الدقيقة والمقاييس التشغيلية، مستفيداً من الاستدلال المدفوع بالنماذج اللغوية الكبيرة لتوليد بيانات مهيكلة تتيح توجيهاً دقيقاً، وقابلاً للتفسير، وفعالاً من حيث التكلفة لطلبات مقدمي الخدمات المتعددين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تدير مطبخاً تقنياً ضخماً وعالي التطور. لديك عشرات الطهاة (نماذج LLM) من دول مختلفة (مزودين)، لكل منهم نقاط قوته، ونقاط ضعفه، وأسعاره الخاصة. بعضهم رخيص ولكنه بطيء؛ وبعضهم باهظ الثمن ولكنه بارع.
كل يوم، يطلب آلاف الزبائن (المستخدمين) أطباقاً معقدة. هدفك هو إرسال الطلب الصحيح إلى الطاهي المناسب للحصول على أفضل وجبة بأقل سعر.
المشكلة:
في الوقت الحالي، تعمل معظم المطابخ بشكل عشوائي. فهم يخمنون أي طاهٍ سيستخدمون، أو يكتفون باختيار الأرخص ويأملون في حظ جيد. وعندما يخرج الطبق محترقاً أو غير ناضج، لا يعرفون لماذا. هل كان الخطأ خطأ الطاهي؟ أم أن الزبون قدم طلباً مربكاً؟ أم أن الوصفة (الأمر/Prompt) كانت سيئة؟ هم فقط يرمون الطبق ويتخلصون منه، ويخسرون المال ولا يتعلمون شيئاً.
الحل: SEAR
تقدم الورقة البحثية SEAR (التقييم والتوجيه القائم على المخطط - Schema-Based Evaluation and Routing)، وهي تشبه تركيب مدير مراقبة جودة ومنسق لوجستي فائق الذكاء ومنظم للغاية في مطبخك.
إليك كيف يعمل SEAR، مقسماً إلى مفاهحات بسيطة:
1. "كتاب الوصفات الرئيسي" (المخطط - The Schema)
بدلاً من ترك مدير مراقبة الجودة يكتب ملاحظات غامضة مثل "كان هذا الطبق جيداً"، يجبر SEAR مدير المراقبة على ملء قائمة مراجعة رقمية صارمة (مخطط قاعدة البيانات).
- لا مزيد من التخمين: تحتوي قائمة المراجعة على خانات محددة لكل شيء: "هل طلب الزبون طعاماً حاراً؟" "هل استخدم الطاهي المكونات الصحيحة؟" "هل قُدم الطعام في الوقت المحدد؟" "كم بلغت تكلفته؟"
- جدول بيانات بـ "100 عمود": ينشئ SEAR جدول بيانات ضخماً يحتوي على حوالي 100 عمود لكل طلب. هو لا يكتفي بالقول "جيد/سيء"، بل يحلل التفاصيل: الملاءمة، الاكتمال، السلامة، التكلفة، السرعة.
- لماذا هذا مهم: لأن كل معلومة موجودة في خانة محددة، يمكنك فوراً إجراء بحث: "أظهر لي جميع الطلبات التي كان فيها الطاهي سريعاً ولكن الطعام كان بارداً." لا يمكنك فعل ذلك مع الملاحظات الفوضوية والمكتوبة بخط اليد.
2. "المفتش الذكي" (المُقيّم - The LLM Judge)
لملء قائمة المراجعة هذه، يستخدم SEAR ذكاءً اصطناعياً خاصاً (المُقيّم) يقرأ طلب الزبون والطبق النهائي الذي صنعه الطاهي.
- التفكير قبل الكتابة: عادةً ما يقوم الذكاء الاصطناعي بإخراج الإجابة مباشرة. لكن SEAR يجبر الذكاء الاصطناعي على "التفكير بصوت عالٍ" داخل قائمة المراجعة نفسها قبل ملء الخانات. إنه يشبه مطالبة المفتش بكتابة ملاحظة سريعة حول سبب اعتقاده بأن الطعام بارد قبل أن يضع علامة في خانة "بارد". هذا يمنع وقوع الأخطاء.
- الملء خطوة بخطوة: بدلاً من محاولة ملء ورقة الـ 100 عمود دفعة واحدة (مما يربك الذكاء الاصطناعي)، يقوم SEAR بتقسيم العملية إلى أربع خطوات صغيرة:
- تحليل الطلب: ماذا أراد الزبون حقاً؟
- تحليل الطبق: ماذا صنع الطاهي حقاً؟
- تحديد المسؤولية: إذا كان الطبق سيئاً، هل كان السبب طلباً مربكاً من الزبون أم خطأ من الطاهي؟
- إعطاء درجة: ما مدى سوء الأمر؟ (إزعاج بسيط مقابل كارثة كبرى).
3. "شرطي المرور" (التوجيه - Routing)
بمجرد إدخال البيانات في جدول البيانات، يصبح SEAR شرطي مرور ذكياً.
- "عجلة البيانات المستمرة" (The Data Flywheel): في كل مرة يُقدم فيها طبق، يتم تسجيل البيانات. ومع مرور الوقت، يتعلم النظام الأنماط.
- مثال: "أوه، أرى أنه بالنسبة لطلبات 'السلطة البسيطة'، فإن الطاهي (أ) أرخص بنسبة 90% من الطاهي (ب) ويصنع نفس السلطة تماماً. لنرسل جميع طلبات السلطة المستقبلية إلى الطاهي (أ)."
- مثال: "لكن بالنسبة لطلبات 'الستيك المعقد'، فإن الطاهي (أ) يحرقها. لنرسل تلك الطلبات إلى الطاهي (ب)، رغم أنه يكلف أكثر."
- القرارات في الوقت الفعلي: عندما يأتي طلب جديد، ينظر SEAR إلى بيانات قائمة المراجعة من الماضي. ويقرر فوراً: "يبدو أن هذه مهمة بسيطة. أرسلها إلى الطاهي الرخيص!" أو "هذه مهمة معقدة. أرسلها إلى الخبير الباهظ الثمن!"
4. "الخدعة السحرية" (لماذا هو أفضل مما سبق)
قبل SEAR، كانت الشركات تستخدم "مصنفات سطحية" (Shallow Classifiers)—مثل جهاز كشف معادن بسيط يصدر صوتاً فقط إذا وجد شيئاً خاطئاً. لم يكن بإمكانه إخبارك بما هو الخطأ.
أما SEAR فهو يشبه المحقق. هو لا يكتفي بإصدار صوت التنبيه فحسب؛ بل يخبرك:
- "الزبون طلب ستيك، لكن الطاهي قدم سلطة."
- "الطاهي كان بطيئاً لأن المطبخ كان مزدحماً جداً."
- "هذا الطاهي تحديداً بارع في المسائل الرياضية ولكنه سيء جداً في الكتابة الإبداعية."
النتيجة
في الاختبارات الواقعية التي وصفتها الورقة البحثية، ساعد SEAR إحدى الشركات على تحويل طلباتها "البسيطة" إلى طاهٍ أرخص بكثير.
- النتيجة: وفروا 90% من تكاليف المدخلات و 92% من تكاليف المخرجات دون أن يلاحظ الزبائن أي انخفاض في الجودة.
باختصار:
يحول SEAR عالم روبوتات الدردشة (Chatbots) الفوضوي وغير الواضح إلى مصنع شفاف يعتمد على البيانات. فهو يتوقف عن جعلك تخمن أي نموذج ذكاء اصطناعي ستستخدم، ويبدأ في ترك البيانات تخبرك بالضبط أي نموذج هو الأفضل قيمة للمهمة، مما يوفر لك مبالغ هائلة من المال مع الحفاظ على جودة عالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.