💬 NLP

Confidence-Driven Multi-Scale Model Selection for Cost-Efficient Inference

تقترح الورقة استراتيجية اختيار نماذج متعددة المقاييس مدفوعة بالثقة، تقوم بتوجيه المهام ديناميكياً إلى نماذج أصغر أو أكبر بناءً على الدقة المقدرة، مما يحقق أداءً مقارناً لأكبر النماذج مع تقليل التكاليف الحسابية واستهلاك رموز الـ API بشكل كبير.

المؤلفون الأصليون: Bo-Wei Chen, Chung-Chi Chen, An-Zi Yen

نُشر 2026-02-26

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bo-Wei Chen, Chung-Chi Chen, An-Zi Yen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مطعماً صاخباً. لديك فريق من الطهاة يتراوح من طباخ خط إنتاج سريع ونشيط (نموذج ذكاء اصطناعي صغير وسريع) إلى رئيس طهاة (Master Chef) عالمي مشهور (نموذج ذكاء اصطناعي ضخم وقوي).

رئيس الطهاة يصنع أطباقاً أكثر لذة وتعقيداً، لكن توظيفه مكلف، ويستغ-رق وقتاً طويلاً في الطهي، ولا يمكن للمطعم سوى تحمل تكلفة استخدامه لعدد قليل من الطلبات يومياً. أما طباخ خط الإنتاج فهو رخيص وسريع، لكنه قد يواجه صعوبة في إعداد طبق "سوفليه" معقد.

المشكلة:
إذا طلبت من رئيس الطهاة طهي كل الطلبات، فستفلس. وإذا اكتفيت باستخدام طباخ خط الإنتاج فقط، فستحصل الزبائن على طعام سيء. أنت بحاجة إلى طريقة لتقرر: "هل أترك طباخ خط الإنتاج يتولى هذا الطلب، أم أحتاج لاستدعاء رئيس الطهاة؟"

حل الورقة البحثية: "اختيار النموذج القائم على الثقة"
تقترح هذه الورقة وجود "مساعد رئيس النادل" (Maitre d') ذكي (مدقق للثقة) يقف عند باب المطبخ. قبل أن يذهب أي طلب إلى أحد الطهاة، يطرح المساعد سؤالين بسيطين على طباخ خط الإنتاج:

"هل تعرف الإجابة؟" (P(IK) - احتمالية "أنا أعرف"):
- التشبيه: ينظر طباخ خط الإنتاج إلى الطلب. إذا كان مجرد شطيرة جبن مشوية بسيطة، يهز رأسه بثقة. أما إذا كان طبقاً معقداً من فن الطهي الجزيئي، فإنه يبدو مرتبكاً ويقول: "لست متأكداً".
- الجانب التقني: يتحقق الذكاء الاصطناعي من "شعوره الداخلي" (باستخدام بيانات خفية من دماغه) ليرى ما إذا كان يفهم السؤال حقاً.
"هل أنت متأكد من أن إجابتك صحيحة؟" (P(T) - احتمالية الحقيقة):
- التشبيه: يكتب طباخ خط الإنتاج إجابة ما، ثم يتحقق المساعد من احتمالية كون هذه الإجابة صحيحة. إذا قال الطباخ: "عاصمة فرنسا هي باريس"، يرى المساعد درجة ثقة بنسبة 99%. أما إذا كان الطباخ يخمن قائلاً: "عاصمة فرنسا هي المريخ"، فإن درجة الثقة تكون منخفضة.
- الجانة التقني: يحسب الذكاء الاصطنا العلمي الاحتمالية الرياضية لأن تكون كلماته الأولى هي الإجابة الصحيحة.

كيف تعمل هذه الاستراتيجية:

الطلب السهل: يكون طباخ خط الإنتاج واثقاً (درجات عالية). فيقول المساعد: "تفضل، ابدأ العمل يا طباخ خط الإنتاج!". يتم تقديم الطلب فوراً وبتكلفة منخفضة.
الطلب الصعب: يكون طباخ خط الإنتاج غير متأكد (درجات منخفضة). فيقول المساعد: "توقف! لا تقدم هذا الطلب بعد. مرره إلى رئيس الطهاة".
النتيجة: أنت تدفع لرئيس الطهاة المكلف فقط مقابل المشكلات الصعبة. أما المشكلات السهلة، فيتولاها طباخ خط الإنتاج الرخيص والسريع.

ما وجده الباحثون:
اختبروا نظام "المساعد" هذا على اختبار ضخم للمعرفة العامة (يسمى MMLU) وحتى على نموذج ذكاء اصطنا_عي تجاري حقيقي (GPT-4o).

الدقة: كان الطعام لذيذاً تماماً كما لو أن رئيس الطهاة قد طبخ كل شيء. كانت الدقة متطابقة تقريباً مع استخدام أكبر النماذج وأكثرها تكلفة بمفرده.
التكلفة: نظرًا لأن طباخ خط الإنتاج تولى معظم العمل، فقد وفروا ما بين 20% إلى 40% من تكال_يف الحوسبة للنماذج مفتوحة المصدر.
التوفير في العالم الحقيقي: عندما طبقوا ذلك على واجهة برمجة التطبيقات (API) الخاصة بـ GPT-4o المكلفة، وفروا حوالي 60% من الفاتورة (استهلاك الرموز/tokens) لأنهم أرسلوا الأسئلة الأكثر صعوبة فقط إلى النموذج الكبير.

لماذا هذا الأمر مهم:
فكر في هذا الأمر كأنه إدارة حركة المرور. بدلاً من إرسال كل السيارات إلى الطريق السريع الضخم والمكلف (الذكاء الاصطنا_عي الكبير)، لديك نظام إشارات مرور ذكي. يسمح للسيارات الصغيرة بسلوك الطرق المحلية (الذكاء الاصطناعي الصغير) إذا كان الطريق خالياً. وفقط عندما يكون الطريق مزدحماً أو تكون السيارة شاحنة ثقيلة (سؤال معقد)، يقوم النظام بتوجيه حركة المرور إلى الطريق السريع.

الخلاصة:
تقدم هذه الورقة البحثية "مرشحاً ذكياً" يتيح لنا استخدام نماذج الذكاء الاصطناعي الكبيرة والقوية دون إفلاسنا. إنها تجعل الذكاء الاصطناعي أسرع، وأرخص، وأكثر سهولة في الوصول للجميع، من هاتفك الذكي إلى تطبيقات الشركات الكبرى، دون التضحية بجودة الإجابة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "اختيار النماذج متعدد المقاييس القائم على الثقة من أجل استدلال فعال من حيث التكلفة."

1. بيان المشكلة

أحدثت النماذج اللغوية الكبيرة (LLMs) ثورة في معالجة اللغات الطبيعية، لكن نشرها يواجه مقايضة حرجة بين الأداء والتكلفة الحسابية.

التحدي: توفر النماذج الأكبر (مثل النماذج التي تتجاوز 70 مليار معلمة أو واجهات برمجة التطبيقات التجارية مثل GPT-4o) دقة فائقة، ولكنها تتسبب في زمن انتقال عالٍ، وتكاليف رموز (tokens) مرتفعة، واستهلاك كبير للطاقة. وفي المقابل، تكون النماذج الأصغر أسرع وأرخص، لكنها غالبًا ما تفتقر إلى القدرة على حل المهام المعقدة بدقة.
الفجوة: تعتمد النهج الحالية غالبًا على توجيه الاستعلامات بشكل ثابت أو الاعتماد على قواعد استدلال بسيطة. هناك نقص في الاستراتيجيات الديناميكية التي يمكنها تقييم ثقة النموذج الصغير بدقة في الوقت الفعلي لتقرير ما إذا كان يجب تصعيد الاستعلام إلى نموذج أكبر، وبالتالي تحسين التوازن بين التكلفة والدقة.

2. المنهجية

يقترح المؤلفون إطار عمل لاختيار النماذج متعدد المقاييس القائم على الثقة. الفكرة الجوهرية هي البدء بأصغر نموذج متاح، وتصعيد الأمر فقط إلى النماذج الأكبر إذا افتقر النموذج الأصغر إلى الثقة في قدرته على الإجابة بشكل صحيح.

أ. مقاييس الثقة

يستخدم إطار العمل مقياسين متميزين للثقة مستوحى من أعمال سابقة (Kadavath et al., 2022):

$P(T)$ (احتمالية الحقيقة):
- التعريف: يقيس ثقة النموذج في أن خيار إجابة معين صحيح.
- الحساب: بالنسبة لمهام الاختيار من متعدد، هو احتمال الرمز (token) المقابل للإجابة المتوقدة (مثل "A"، "B"، "C"، "D"). وبالنسبة للمهام التوليدية، يقيس احتمال الرمز الأول في تنسيق محدد مسبقًا (مثل "الإجابة:").
- المتطلبات: يمكن استخراجه مباشرة من مخرجات الـ (logits) الخاصة بالنموذج دون الحاجة لتدريب إضافي.
$P(IK)$ (احتمالية "أنا أعرف"):
- التعريف: يقدر احتمالية أن يكون النموذج قادرًا على الإجابة على الاستعلام بشكل صحيح (أي قدرته المعرفية الداخلية).
- الحساب: مصنف "Perceptron" متعدد الطبقات (MLP) يتم تدريبه على الحالات الخفية (hidden states) - وتحديدًا الطبقة 24 من محول (transformer) - للنموذج اللغوي الكبير. يتم تدريب المصنف للإشراف على التنبؤ بما إذا كانت إجابة النموذج صحيحة أم لا.
- المتطلبات: يتطلب بيانات تدريب والوصول إلى الحالات الخفية الداخلية (وصول الصندوق الأبيض - white-box access).

ب. عملية الاختيار

التهيئة: يتم إرسال الاستعلام أولاً إلى أصغر نموذج ( $M_1$ ).
التقييم: يقوم النظام بحساب $P(IK)$ و $P(T)$ للنموذج $M_1$ .
منطق القرار:
- إذا تجاوز كلا المقياسين $P(IK)$ و $P(T)$ عتبات محددة مسبقًا (على سبيل المثال، $P(T) \geq 0.9$ )، تُقبل الإجابة وتنتهي العملية.
- إذا انخفض أي من المقياسين عن العتبة، يتم تصعيد الاستعلام إلى النموذج التالي الأكبر ( $M_2$ ).
الإنهاء: تستمر هذه العملية المتتالية حتى يقبل النموذج الإجابة أو نصل إلى أكبر نموذج ( $M_k$ )، والذي يقدم الإجابة النهائية بغض النظر عن مستوى الثقة.

3. المساهمات الرئيسية

استراتيجية قائمة على الثقة: آلية توجيه ديناميكية مبتكرة تقلل التكاليف الحسابية بنسبة 20-40% في النماذج مفتوحة المصدر وحوالي 60% في واجهات برمجة التطبيقات التجارية، مع الحفاظ على دقة مماثلة لأكبر نموذج.
نهج المقياس المزدوج: يوفر دمج $P(T)$ (المتاح بسهولة) و $P(IK)$ (المصنف المدرب) إشارة قوية لعدم اليقين، مما يتفوق على الطرق التي تعتمد على مقياس واحد.
القدرة على التعميم: أظهرت الطريقة فعالية عبر عائلات نماذج مختلفة (LLaMA 3, Qwen 3) ومجموعات بيانات متنوعة، بما في ذلك سيناريوهات خارج التوزيع (OOD) (مثل GPQA)، مما يثبت أن الطريقة ليست مفرطة في التخصيص لتوزيع التدريب.
تحليل كفاءة التكلفة: تقييم شامل لكل من التكلفة الحسابية (GFLOPs) والتكلفة المالية (استخدام رموز API)، مما يظهر وفورات كبيرة في عمليات النشر التجارية.

4. النتائج التجريبية

أ. النماذج مفتوحة المصدر (اختبار MMLU)

الإعداد: تم الاختبار على سلاسل LLaMA (3B, 8B, 70B) و Qwen 3 (4B, 8B, 32B).
الأداء:
- حققت عملية التصعيد 8B $\to$ 70B دقة بنسبة 83.22%، وهي مطابقة تقريبًا لنموذج 70B المستقل (83.57%)، مع خفض في التكلفة الحسابية بنسبة 36.46%.
- أظهرت اختبارات الدلالة الإحصائية (اختبار McNemar) عدم وجود فرق جوهري ( $p=0.4048$ ) بين التسلسل الهرمي ونموذج 70B الكامل.
- Qwen 3: حقق تسلسل 8B $\to$ 32B دقة بنسبة 80.00% (مقابل 79.51% لنموذج 32B وحده) مع خفض في التكلفة بنسبة 33.18%.

ب. واجهة برمجة التطبيقات التجارية (GPT-4o)

الإعداد: استُخدم GPT-4o كهدف نهائي للتصعيد، مع استخدام نماذج أصغر (3B, 8B, 70B) كمرشحات.
النتائج:
- استراتيجية 70B $\to$ GPT-4o قللت من استخدام الرموز (tokens) بنسبة ~60% (من 36,225 إلى 14,505 رمزًا) مع تحسين طفيف في الدقة (86.85% مقابل 86.43%).
- حتى التسلسلات الأبسط (مثل 3B $\to$ GPT-4o) حققت خفضًا في التكلفة بنسبة ~15% مع انخفاض ضئيل في الأداء.

ج. المهام خارج التوزيع (OOD) والمهام التوليدية

GPQA (الأسئلة والأجوبة بمستوى الدراسات العليا): ظلت الطريقة فعالة، وإن كانت الوفورات في التكلفة أقل (~4-5%) لأن النماذج الأصغر (3B/8B) واجهت صعوبة في التعامل مع الصعوبة الشديدة، مما جعل المصنف يوجه معظم الاستعلامات بحذر إلى نموذج 70B. ومع ذلك، نجح المصنف في تحديد الاستعلامات القليلة التي استطاع نموذج 8B حلها.
PopQA (الأسئلة والأجوبة المفتوحة): تم تكييف الطريقة للمهام التوليدية باستخدام نهج استدلال "ثقة الرمز الأول". حقق تسلسل 8B $\to$ 70B خفضًا في التكاليف بنسبة 7.11% مع انخفاض في الأداء بنسبة 1.91% فقط.

5. الأهمية والآثار المترتبة

تحسين الموارد: تتيح هذه الطريقة نشر نماذج لغوية كبيرة عالية الأداء على الأجهزة الطرفية ذات الموارد المحدودة أو في التطبيقات التجارية الحساسة للتكلفة من خلال تقليل الاعتماد على النماذج الضخمة للاستعلامات البسيطة.
العملية: الإطار قابل للتكيف مع كل من سيناريوهات الصندوق الأبيض (الوصول إلى الحالات الخفية من أجل $P(IK)$ ) وسيناريوهات الصندوق الأسود (الاعتماد فقط على $P(T)$ عبر واجهة برمجة التطبيقات).
الاتجاه المستقبلي: تشير الورقة إلى أنه بينما تعمل الطرق الحالية بشكل جيد لفهم اللغة الطبيعية (NLU)، هناك حاجة لعمل مستقبلي لتنقيح تقدير الثقة للمهام التوليدية المعقدة ومعالجة مشكلات زمن الانتقال الناتجة عن التصعيد متعدد المراحل.

في الختام، تثبت الورقة أن التوجيه الديناميكي القائم على الثقة هو استراتيجية فعالة للغاية لموازنة المقايضة بين "الكفاءة مقابل الدقة" في الأنظمة البيئية الحديثة للنماذج اللغوية الكبيرة، مما يوفر مسارًا عمليًا لنشر الذكاء الاصطناعي القابل للتوسع والفعال من حيث التكلفة.