ملخص تقني: تقدير الثقة في حالة الصفر (Zero-Shot) للنماذج اللغوية الصغيرة

بيان المشكلة

يعتمد النشر الموثوق للنماذج اللغوية الصغيرة (SLMs، ذات 7-8 مليارات معلمة) لعمليات التوجيه من المحلي إلى السحابي على التقدير الدقيق للثقة. الهدف هو توجيه الاستعلامات السهلة إلى نموذج محلي رخيص وتصعيد الاستعلامات الصعبة إلى نموذج سحابي مكلف. النهج السائد يتضمن تدريب مصنف خاضع للإشراف (مثل RouteLLM) على بيانات مصنفة للتنبؤ بنجاح النموذج بناءً على تضمينات الاستعلام (query embeddings). ومع ذلك، يعاني هذا النهج من الهشاشة: فالمقدرات الخاضعة للإشراف تتعلم خصائص توزيع الاستعلامات المحدد (مناطق التضمين المقابلة للأسئلة "السهلة") بدلاً من القدرة الداخلية للنموذج. نتيجة لذلك، تفشل هذه المقدرات في الانتقال عند تغير توزيع الاستعلامات، أو إدخال مجالات جديدة، أو في سيناريوهات البداية الباردة (cold-start) حيث لا توجد بيانات مصنفة.

المنهجية

تقيم الورقة إشارات الثقة في حالة الصفر مقابل النماذج المرجعية الخاضعة للإشراف عبر ثلاث عائلات من نماذج 7-8B (Qwen-2.5-7B، Llama-3.1-8B-Instruct، Mistral-7B-Instruct) ومجموعتي بيانات (MMLU-Pro و TriviaQA).

الإشارات التي تم تقييمها

1. إشارات حالة الصفر (بدون بيانات تدريب):

   • الاحتمالية اللوغاريتمية (log-probability): متوسط الاحتمالية اللوغاريتمية لكل رمز (token) في الإجابة المولدة، والتي يتم رسمها على المدى [0, 1]. يقيس هذا مدى "المفاجأة" على مستوى الرمز لدى النموذج.
   • التقييم الذاتي العام (GSA): فحص أحادي الرمز يسأل "هل أنت واثق؟" حيث تكون الدرجة هي الاحتمالية المعيرة لرمز "نعم" (YES).
   • التقييم الذاتي المشروط بالاسترجاع (GSA v3): إشارة مبتكرة تسبق عملية التوليد تقوم بحقن المعرفة المسترجعة فقط عندما تتجاوز درجات التشابه عتبة معينة ($\tau=0.70$). إذا لم يتم العثور على نتائج قوية، يظل النص (prompt) مطابقاً تماماً للنص الأصلي لمنع النموذج من الانحياز نحو "لا" بسبب غياب السياق.
   • الاتساق الذاتي (Self-Consistency): تشابه "جاكارد" (Jaccard similarity) بين توليدين مستقلين.
   • تشابه المعرفة (Knowledge Similarity): تشابه "جيب التمام" (Cosine similarity) بين الاستعلام ومدخلات قاعدة المعرفة المسترجعة.

2. النماذج المرجعية الخاضعة للإشراف:

   • RouteLLM-nm: انحدار لوجستي مدرب على تضمينات الاستعلام للتنبؤ بكفاية النموذج المحلي.
   • RouteLLM-pks: انحدار لوجستي مدرب على تضمينات الاستعلام مدمجة مع تشابه المعرفة.
   • تم إجراء التدريب على 1,000 مثال مصنف لكل نموذج.

الإعداد التجريبي

• مجموعات البيانات: MMLU-Pro (اختيار من متعدد بـ 10 خيارات، ~950 استعلاماً لكل نموذج) و TriviaQA (أسئلة مفتوحة، 500 استعلام لكل نموذج).
• التقييم: المساحة تحت منحنى خصائص تشغيل المستقبِل (AUROC) مع فترات ثقة تعتمد على طريقة "بوتستراب" (bootstrap) لـ 1,000 عينة.
• المُقيّم (Judge): تم استخدام Claude Opus 4.5 لتصنيف البيانات، مع تتبع معدلات الفشل الاحتياطي.

النتائج الرئيسية

1. الأداء ضمن التوزيع (In-Distribution)

في MMLU-Pro، برزت الاحتمالية اللوغاريتمية كأفضل إشارة منفردة في حالة الصفر، حيث حققت قيم AUROC بلغت 0.714 (Qwen)، و0.650 (Llama)، و0.678 (Mistral). وقد طابقت أو تجاوزت النماذج المرجعية الخاضعة للإشراف (RouteLLM-nm/pks)، والتي تراوحت بين 0.644 و0.676. ومن الملاحظ أن النموذج المرجعي الخاضع للإشراف المدرب على 1,000 مثال لم يتفوق باستمرار على إشارة الاحتمالية اللوغاريتمية في حالة الصفر.

2. الانتقال خارج التوزيع (عبر مجموعات البيانات)

النتيجة الأكثر أهمية هي التباين في القدرة على الانتقال:

• انهيار النماذج المرجعية الخاضعة للإشراف: عندما تم اختبار النماذج المدربة على MMLU-Pro على TriviaQA، انخفض أداء RouteLLM إلى مستويات الصدفة (AUROC 0.512–0.564).
• تحسن إشارات حالة الصفر: ارتفع أداء الاحتمالية اللوغاريتمية في TriviaQA، ليصل إلى AUROC قدره 0.828 (Qwen)، و0.800 (Llama)، و0.717 (Mistral).
• التفسير: تتعلم الإشارات الخاضعة للإشراف خصائص جانب الاستعلام (مناطق التضمين) الخاصة بتوزيع التدريب. أما إشارات حالة الصفر، فهي تقيس خصائص جانب التوليد (المفاجأة على مستوى الرمز)، وهي خصائص جوهرية في النموذج ومستقلة عن توزيع المدخلات.

led 3. منحنيات التعلم وزمن الاستجابة (Latency)

• منحنى التعلم: يتسم التوجيه الخاضع للإشراف بعدم الاستقرار عند أحجام العينات الصغيرة (N=25)، ويتقارب عند N=250–500، ولكن حتى عند N=1,000، فإنه لا يتفوق على المرجع الأساسي في حالة الصفر.
• زمن الاستجابة: تتطلب الاحتمالية الللوغاريتمية توليداً كاملاً (1.5–4.8 ثانية). بينما يعمل GSA v3 كمرشح يسبق عملية التوليد بزمن استجابة أقل بكثير (0.5–0.8 ثانية)، مما يوفر تسريعاً بمقدار 3–10 أضعاف مقارنة بالاحتمالية اللوغاريتمية، مع تحسين الأداء بنسبة تصل إلى +0.069 AUROC مقارنة بالتقييم الذاتي المجرد.

4. دمج الإشارات

أدى الدمج الساذج (المتوسط البسيط) لعدة إشارات عموماً إلى تدهور الأداء، حيث سحبت الإشارات القوية (الاحتمالية اللوغاريتمية) نحو الأسفل باتجاه الإشارات الأضعف (مثل تشابه المعرفة، الذي كان معكوساً باستمرار).

الأهمية والادعاءات

تدعي الورقة أن متوسط الاحتمالية اللوغاريتمية للرموز هو بديل قوي ومنخفض التكلفة للتوجيه الخاضع للإشراف في مهام الأسئلة والأجوبة الواقعية. تكمن أهميتها الأساسية في إثبات أن:

1. إشارات جانب التوليد تنتقل؛ بينما إشارات جانب الاستعلام لا تنتقل: التمييز الميكانيكي بين قياس عملية توليد النموذج مقابل توزيع الاستعلام يفسر سبب فشل التوجيه الخاضع للإشراف عند تغير التوزيع.
2. الإشراف غالباً ما يكون غير ضروري: بالنسبة لنماذج 7-8B في المهام الواقعية، فإن تدريب مصنف على 1,000 مثال مصنف لا يقدم أي ميزة على فحص بسيط للاحتمالية اللوغاريتمية في حالة الصفر، ويفشل تماماً عند تغير المجال.
3. التقييم الذاتي المشروط بالاسترجاع: توفر هذه الإشارة المبتكرة التي تسبق التوليد بديلاً منخفض زمن الاستجابة يقوم بتأصيل الأحكام من حيث الثقة بشكل انتقائي دون إدخال تأثيرات التحيز السلبي.

القيود

يشير المؤلفون صراحة إلى أن النطاق محدود بـ:

• مجموعتي بيانات للأسئلة والأجوبة الواقعية (MMLU-Pro, TriviaQA)؛ ولم يتم اختبار مهام الاستدلال، أو الإبداع، أو الحوارات متعددة الأدوار.
• ثلاثة نماذج من نفس الحجم تقريباً (7-8B)؛ ولم يتم اختبار فرضية أن الاحتمالية اللوغاريتمية تتحسن مع زيادة الحجم.
• قواعد معرفية ثابتة؛ ولم يتم محاكاة بيئات الإنتاج ذات قواعد المعرفة المتنامية.
• ضجيج في التصنيف (~13% اختلاف بين المحكمين)، رغم أن المقارنات التفاضلية تظل قوية.

تخلص الورقة إلى أنه بالنسبة للممارسين الذين ينشرون عمليات التوجيه من المحلي إلى السحابي في مهام الأسئلة والأجوبة الواقعية، يجب أن تكون الاحتمالية اللوغاريتمية هي نقطة البداية الافتراضية، مع استخدام GSA v3 كمرشح أولي منخفض زمن الاستجابة، وتخصيص التدريب الخاضع للإشراف فقط للسيناريوهات ذات التوزيعات المستقرة والمعروفة حيث يكون التوجيه قبل التوليد مطلوباً بصرامة.