💬 NLP

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

تقترح هذه الورقة إطاراً بايزياً منهجياً يستبدل مقياس Pass@k غير المستقر بتقديرات اللاحقة وفترات الثقة لتوفير تصنيفات أكثر موثوقية وكفاءة في الحوسبة ووعياً بحالة عدم اليقين لنماذج اللغات الكبيرة عبر سيناريوهات التقييم الثنائية والمتدرجة على حد سواء.

المؤلفون الأصليون: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك كشاف مواهب يحاول العثين على أفضل طالب رياضيات في غرفة مليئة بـ 20 عبقرياً. ستعطيهم مسألة صعبة.

الطريقة القديمة (Pass@k): "يانصيب التخمين المحظوظ"
حالياً، يقيم معظم الناس نماذج الذكاء الاصطناعي باستخدام طريقة تسمى Pass@k. تخيل أنك سألت طالباً حل مسألة رياضية؛ قد يحلها بشكل صحيح من المحاولة الأولى، أو قد يخطئ خمس مرات ثم يصيب في السادسة.

Pass@k تقول: "إذا نجح الطالب في حلها مرة واحدة على الأقل من بين محاولاته الـ $k$ الأولى، فإنه يعتبر ناجحاً".
المشكلة: هذا يشبه الحكم على لاعب كرة سلة بناءً على ما إذا كان قد سجل رمية واحدة محظوظة من أصل عشر محاولات. إذا سمحت له فقط بتسديد 5 رميات، فستكون النتائج فوضوية. قد يسجل رمية محظوظة يوماً ما فيبدو كلاعب محترف، وفي يوم آخر قد يخطئ في كل الرميات فيبدو سيئاً للغاية، رغم أن مهارته الفعلية لم تتغير. إنها طريقة مشوشة، غير مستقرة، ومضللة غالباً، خاصة عندما لا تملك الميزانية للسمايد بـ 100 محاولة.

الطريقة الجديدة (Bayes@N): "مدرب الثقة"
يقترح هذا البحث إطار عمل جديداً يسمى Bayes@N. بدلاً من مجرد عدّ "النجاح" أو "الفشل"، فإنه يعمل مثل مدرب حكيم يحتفظ بمذكرات يومية لأداء الطالب.

إليك كيف يعمل ذلك، باستخدام استعارات بسيطة:

1. بطاقة الدرجات "الفئوية" (ليست مجرد صح أو خطأ)

في الأيام الخوالي، كان الاختبار مجرد 1 (صح) أو 0 (خطأ).

الطريقة الجديدة: تخيل معايير تقييم تقول:
- 0: الطالب رفض الإجابة.
- 1: حاول لكنه أخطأ في الرياضيات.
- 2: أصاب في الرياضيات لكنه كتب الإجابة بتنسيق خاطئ (مثل نسيان وضع الإجابة داخل إطار).
- 3: أصاب في الرياضيات وكتبها بتنسيق مثالي.
- 4: أصاب في الرياضيات، ونسقها، وشرح خطواته بوضوح.
  النظام الجديد يعامل هذه النتائج كـ "نكهات" مختلفة من الأداء، وليس مجرد نجاح أو فشل ثنائي. إنه يمنحك صورة أغنى بكว่า عن كيفية تفكير النموذج.

2. "فترة الثقة" (شبكة الأمان)

هذا هو الجزء الأهم.

الطريقة القديمة: إذا سجل النموذج (أ) 60% وسجل النموذج (ب) 61%، فإن النظام القديم يقول: "النموذج (ب) هو الفائز!". ولكن هل كان هذا الفرق بنسبة 1% حقيقياً، أم مجرد حظ؟ النظام القديم لا يعرف.
الطريقة الجديدة: يقوم الإطار البيزي برسم "دائرة ضبابية" (تسمى فترة الثقة - Credible Interval) حول الدرجة.
- إذا كانت دائرة النموذج (أ) هي [55% إلى 65%] ودائرة النموذج (ب) هي [56% إلى 66%]، فإن الدائرتين تتداخلان. هنا يقول المدرب: "توقف! لا يمكننا معرفة من الأفضل بعد. إنها تعادل."
- إذا لم تتلامس الدائرتان، حينها فقط نعلن عن فائز بكل ثقة.
  هذا يمنع "تقلبات لوحة الصدارة" حيث تتغير رتب النماذج صعوداً وهبوطاً في كل مرة تجري فيها الاختبار مرة أخرى.

3. "المعرفة المسبقة" (التعلم من الماضي)

تخيل أنك تقوم بتقييم نسخة جديدة من طالب خضع لاختبار في العام الماضي.

الطريقة القديمة: تتجاهل نتائج العام الماضي وتبدأ من الصفر.
الطوية الجديدة: تستخدم أداء العام الماضي كـ "بداية انطلاق" (Prior). إذا كان الطالب رائعاً العام الماضي، فإنك تبدأ بافتراض ضمني بأنه جيد هذا العام، وتحتاج فقط إلى عدد قليل من النتائج الجديدة لتأكيد ذلك. هذا يوفر الكثير من الوقت والمال.

4. لماذا هذا مهم (المعيار الذهبي)

أجرى المؤلفون عمليات محاكاة حيث عرفوا المستوى الحقيقي لمهارة النماذج (مثل معرفة الوزن الدقيق لعملة معدنية). وقد وجدوا أن:

Pass@k (الطريقة القديمة) كانت مثل محاولة تخمين وزن عملة معدنية عبر قلبها 5 مرات. لقد استغرق الأمر عدداً هائلاً من المحاولات للحصول على إجابة مستقرة.
Bayes@N (الطريقة الجديدة) كانت مثل استخدام ميزان. لقد وجدت الترتيب الحقيقي بشكل أسرع وبعدد أقل بكثير من المحاولات.

الخلاصة الكبرى

يجادل البحث بضرورة التوقف عن معاملة تقييم الذكاء الاصطناعي كأنها تذكرة يانصيب (هل حالفه الحظ هذه المرة؟) والبدال بمعاملتها كـ تحقيق إحصائي.

من خلال استخدام هذا الإطار البيزي (Bayesian framework) الجديد، يمكننا:

توفير المال: نحتاج إلى عدد أقل من عمليات التشغيل الحاسوبية (التجارب) لمعرفة من هو الأفضل حقاً.
التحلي بالأمانة: يمكننا الاعتراف بأن النموذجين متقاربان جداً بحيث لا يمكن الفصل بينهما، بدلاً من فرض فائز وهمي.
الدقة في التفاصيل: يمكننا مكافأة النماذج لكونها "صحيحة تقريباً" أو "ذات تنسيق جيد"، وليس فقط لأنها حصلت على إجابة مثالية بالصدفة.

باخت-القول: لا تكتفِ بعدّ الانتصارات؛ بل قِس مدى الثقة. هذا يجعل تقييم الذكاء الاصطناعي أكثر عدلاً، وأقل تكلفة، وأكثر موثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "لا تستخدم Pass@k: إطار عمل بايزي لتقييم النماذج اللغوية الكبيرة".

1. بيان المشكلة

يعتمد تقييم النماذج اللغوية الكبيرة (LLM) الحالي، لا سيما في مهام الاستدلال (مثل الرياضيات والبرمجة)، بشكل كبير على مقياس Pass@k ومتوسط الدقة البسيط (avg@N). وقد حدد المؤلفون عدة عيوب جوهرية في هذه الأساليب:

عدم الاستقرار: تتأثر التصنيفات بشدة بعدد التجارب ( $N$ ) وبذور فك التشفيد (decoding seeds)، مما يؤدي إلى لوحات صدارة غير مستقرة، خاصة في المعايك المرجعية الصغيرة (مثل AIME التي تحتوي على حوالي 30 مسألة).
الافتقار إلى تقدير عدم اليقين: يوفر Pass@k تقديراً نقطياً دون فترات ثقة مبنية على أسس سليمة. لذا، يصعب تحديد ما إذا كانت فجوة الأداء ناتجة عن فرق ذي دلالة إحصائية أم مجرد ضجيج.
القصور الثنائي: تختزل المقاييس القياسية التقييم في نتيجة ثنائية (صحيح/خاطئ)، مما يؤدي إلى إهدار معلومات قيمة حول الصحة الجزئية، أو أخطاء التنسيق، أو جودة الاستدلال.
عدم الكفاءة الحسابية: يتطلب تحقيق تصنيفات مستقرة عدداً كبيراً من التجارب ( $N$ ) بشكل غير عملي، مما يجعل عملية التقييم مكلفة.

2. المنهجية: الإطار البايزي

تقترح الورقة إطار عمل بايزي منضبط للتقييم يعامل أداء النماذج اللغوية الكبيرة كمسألة استدلال إحصائي.

المفاهيم الأساسية

النمذجة الفئوية (Categorical Modeling): بدلاً من النتائج الثنائية، يعامل الإطار الاستجابات كمتغيرات فئوية ذات $C+1$ من الفئات (على سبيل المثال: صحيح، صحيح جزئياً، خطأ في التنسيق، رفض الإجابة).
استدلال ديليشيه-متعدد الحدود (Dirichlet-Multinomial Inference):
- القبل (Prior): يتم وضع توزيع "ديليشيه" قبلي على متجه الاحتمالية $\pi_\alpha$ لكل سؤال $\alpha$ . التوزيع القبلي الموحد (في حال عدم وجود معرفة مسبقة) هو الافتراضي، ولكن يمكن دمج توزيعات قبلية معلوماتية.
- البعدي (Posterior): بالنظر إلى نتائج التجارب المرصودة، يتم اشتقاق التوزيع البعدي تحليلياً.
- المقدرات (Estimators): يوفر الإطار تعبيرات مغلقة (closed-form expressions) للمتوسط البعدي ( $\mu$ ) والتباين ( $\sigma^2$ ) لأي مقياس أداء مرجح.
الخوارزمية (Bayes@N):
- المدخلات: مصفوفة النتائج $R$ ( $M$ من الأسئلة $\times$ $N$ من التجارب) ومتجه الأوزان $w$ .
- المخرات: تقدير نقطي ( $\mu$ ) وانحراف معياري ( $\sigma$ ) يمثل عدم اليقين.
- التعقيد: خطي بالنسبة لعدد التجارب والفئات ( $O(M(N+C))$ )، ولا يتطلب أي أخذ عينات بطريقة مونت كارلو للتقديرات الأساسية.

الآليات الرئيسية

فترات الثقة (Credible Intervals - CI): يحسب الإطار فترات ثقة دقيقة لدرجات الأداء. لا يتم إعلان "الفائز" إلا إذا لم تتداخل فترات الثقة الخاصة بالنموذذين، مما يوفر قاعدة قرار شفافة.
التصنيف مع عدم اليقين: يتم تصنيف النماذج بناءً على متوسطاتها البعدية، ولكن يتم منح التعادل للنماذد التي تتداخل فترات ثقتها. هذا يمنع التفسير المفرط للفجوات الصغيرة والضوضائية.
تحليل التقارب: تحدد الورقة convergence@n كأقل عدد من التجارب المطلوبة ليتطابق التصنيف مع "المعيار الذهبي" (المستمد من $N_{max}$ كبيرة).
دمج المعلومات القبلية: يسمح الإطار بإعادة استخدام البيانات من مهام ذات صلة أو إصدارات سابقة من النماذج كمعلومات قبلية ( $R_0$ )، مما قد يسرع من عملية التقارب للتقييمات الجديدة.

3. المساهمات الرئيسية

إطار عمل موحد: يستبدل Pass@k و avg@N بمقدر بايزي واحد يتعامل بسلاسة مع كل من التقييمات الثنائية والمدرجة (القائمة على المعايير/Rubrics).
عدم يقين تحليلي: يوفر فترات ثقة دقيقة ومغلقة دون الاعتماد على نظرية النهاية المركزية (CLT)، والتي غالباً ما تكون غير صالحة لأحجام العينات الصغيرة الشائعة في معايير النماذج اللغوية الكبيرة.
بروتوكول كفء حسابياً: يثبت أن التصنيفات الموثوقة يمكن تحقيقها بعدد أقل بكثير من التجارب مقارنة بطرق Pass@k، مما يقلل التكاليف الحسابية.
مكتبة Scorio: إطلاق حزمة بايثون مفتوحة المصدر (scorio) تنفذ إطار العمل، بما في ذلك دعم المعايير (rubrics) والبيانات القبلية المخصصة.

4. النتائج التجريبية

تحقق المؤلفون من صحة الإطار باستخدام عمليات محاكاة ذات حقائق أرضية معروفة ومعايير واقعية للاستدلال الرياضي (AIME'24/25، HMMT'25، BrUMO'25).

تقارب أسرع:
- يحقق Bayes@N التقارب نحو التصنيف الحقيقي (مقاساً بمعامل كيندال $\tau$ ) بشكل أسرع بكثير من متغيرات Pass@k.
- في HMMT'25 و BrUMO'25، حقق Bayes@N متوسط تقارب عند حوالي 44 و 27 تجربة على التوالي، بينما تطلب Pass@k حوالي 70 و 48 تجربة.
- في AIME'25، فشلت طرق Pass@k في التقارب ضمن 80 تجربة، بينما قدم Bayes@N تصنيفات مستقرة مع تحديد كمي لعدم اليقين.
استقرار التصنيف:
- في عمليات المحاكاة مع 11 نموذجاً، وصل Bayes@N إلى ارتباط عالٍ مع المعيار الذهبي ( $\tau > 0.9$ ) عند $N=10$ ، بينما تأخرت متغيرات Pass@k بشكل ملحوظ.
- مع زيادة عدد النماذج (حتى 20)، أصبحت تصنيفات Pass@k غير مستقرة بشكل متزايد وغالباً ما فشلت في التقارب، بينما حافظ Bayes@N على متانته.
التعامل مع التعادل والضجيج:
- حدد الإطار بشكل صحيح الحالات التي كانت فيها فجوات الأداء غير متمايزة إحصائياً (تداخل فترات الثقة)، مما منع الادعاءات الزائفة بالتفوق.
- في سيناريوهات "الحالة الأسوأ" باستخدام Bootstrap، وفر Bayes@N آلية لتحديد كمية عدم اليقين حتى عندما لم تستقر التصنيفات تماماً.
التقييم الواعي بالمعايير (Rubric-Aware):
- طبق الإطار بنجاح 12 مخططاً فئوياً مختلفاً (مثل معاقبة الإجابات "الخاطئة بثقة" ومكافأة التنسيق الصحيح).
- أظهرت النتائج أن تصنيفات النماذج حساسة للمعايير المختارة، مما يسلط الضوء على الحاجة إلى تقييم صريح وموزون بدلاً من مجرد الصحة من عدمها.

5. الأهمية والآثار المترتبة

تحول في النموذج الفكري: تجادل الورقة بضرورة الانتقال بعيداً عن "Pass@k" كمعيار قياسي نحو بروتوكول يعتمد على التوزيع البعدي وواعٍ بعدم اليقين.
كفاءة الموارد: من خلال تمكين المقارنات الموثوقة بعدد أقل من التجارب، يقلل الإطار من التكلفة الحسابية لتقييم النماذج اللغوية الكبيرة، مما يجعله أكثر سهولة واستدامة.
الدقة العلمية: يقدم الإطار قاعدة قرار شفافة لإعلان تفوق النماذج (عدم تداخل فترات الثقة)، مما يقلل من تقلبات لوحات الصدارة و"الضجيج" الناتج عن التقلبات الطفيفة في الأداء.
المرونة: إن القدرة على دمج المعلومات القبلية والتعامل مع المعايير الفئوية المعقدة تجعل إطار العمل قابلاً للتطبيق في مجموعة واسعة من سيناريوهات التقييم بما يتجاوز مجرد الصحة، بما في ذلك السلامة، والمواءمة، وجودة الاستدلال.

في الختام، يوضح المؤلفون أن Bayes@N يقدم بديلاً أكثر صرامة من الناحية الإحصائية وكفاءة من الناحية الحسابية لمقاييس تقييم النماذج اللغوية الكبيرة الحالية، مما يحسن بشكل جذري كيفية قياس ومقارنة قدرات النماذج في المجتمع العلمي.