📊 statistics

An Interpretable and Scalable Framework for Evaluating Large Language Models

تقترح هذه الورقة إطار عمل قابلاً للتوسع وقابلاً للتفسير يعتمد على مبدأ "التعظيم الأدنى" (majorization-minimization) للتغلب على القيود الحسابية وقيود الاستقرار لطرق نظرية الاستجابة للمفردة التقليدية، مما يتيح تقييماً فعالاً ودقيقاً للنماذج اللغوية الكبيرة عبر معايير قياس متنوعة.

المؤلفون الأصليون: Xinhao Qu, Qiang Heng, Hao Zeng, Xiaoqian Liu

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinhao Qu, Qiang Heng, Hao Zeng, Xiaoqian Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تقييم فصل دراسي يضم 2,000 طالب (نماذج لغوية كبيرة) في اختبار ضخم يحتوي على آلاف الأسئلة (عناصر الاختبار المرجعي).

الطريقة القديمة: فخ "متوسط الدرجات"
في الوقت الحالي، يقوم معظم الناس بتقييم هذه النماذج الذكية ببساطة عن طريق عدّ الأسئلة التي أجابت عليها بشكل صحيح وقسمتها على الإجمالي. الأمر يشبه القول: "الطالب (أ) حصل على 85% صح، والطالب (ب) حصل على 84% صح، إذن الطالب (أ) أفضل".

لكن مؤلفي هذه الورقة البحثية يشيرون إلى مشكلتين كبيرتين في هذه الحسبة البسيطة:

الذكاء الاصطناعي متقلب قليلاً: إذا سألت نفس النموذج الذكي نفس السؤال مرتين، فقد يجيب بشكل صحيح في المرة الأولى وبشكل خاطئ في الثانية، فقط بسبب طريقة توليده للنصوص. الأمر يشبه طالباً عبقرياً لكنه قد يمر أحياناً بيوم سيء أو يسيء فهم كلمة ما. الطريقة القديمة تعامل هذه العثرات كأنها حقائق واقعية.
ليست كل الأسئلة متساوية: في الاختبار القياسي، هناك أسئلة سهلة للغاية ("هدايا مجانية")، وأخرى صعبة للغاية. الطريقة القديمة تعامل سؤالاً مثل "1+1" بنفس قيمة سؤال عن "ميكانيكا الكم". هي تفترض أن كل سؤال يستحق نقطة واحدة بالضبط، مما يخفي الصعوبة الحقيقية للاختبار والمهارة الحقيقية للطالب.

الفكرة الجديدة: "تقرير أخصائي علم النفس"
يقترح المؤلفون استخدام طريقة مستعارة من علم النفس البشري تسمى نظرية الاستجابة للمفردة (IRT). فكر في هذا ليس كمجرد درجة بسيطة، بل كتقرير تشخيصي مفصل.

بدلاً من مجرد رقم، تحاول هذه الطريقة اكتشاف ثلاثة أشياء خفية:

قدرة الطالب: ما مدى ذكاء هذا النموذج الذكي حقاً؟
صعوبة السؤال: ما مدى صعوبة هذا السؤال تحديداً؟
تمييز السؤال: ما مدى قدرة هذا السؤال على التمييز بين نموذج ذكي وآخر غبي؟ (بعض الأسئلة سهلة جداً لدرجة أن حتى النماذج الغبية تجيب عليها صح، لذا فهي ليست مفيدة جداً في التصنيف).

المشكلة مع أدوات "الأخصائي النفسي" القديمة
المشكلة هي أن الرياضيات التقليدية المستخدمة لحساب هذه السمات الخفية بطيئة للغاية وغير مستقرة. الأمر يشبه محاولة حل أحجية صور مقطوعة (Jigsaw puzzle) ضخمة حيث تتغير أشكال القطع باستمرار. إذا حاولت استخدامها على 2,000 طالب و10,000 سؤال، فقد يتوقف الكمبيوتر عن العمل أو يستغرق الأمر أسابيع لإنهاء المهمة. كما أنها ترتبك بسهولة إذا كانت البيانات غير منظمة (مثل فشل النموذج في الإجابة بسبب انتهاء وقت الاتصال).

الحل: "خط التجميع الذكي" (cBMM)
بنى المؤلفون إطار عمل جديداً فائق السرعة يسمى cBMM (التعظيم-التقليل الكتلي المقيد).

إليك تشبيه إبداعي لكيفية عمله:
تخيل أنك تحاول تجميع قطعة أثاث ضخمة ومعقدة من كومة من الأجزاء.

الطريقة القديمة: تحاول الإمساك بكل الأجزاء في يديك في وقت واحد، محاولاً معرفة مكان كل برغي في آن واحد. ستتعب، وتسقط القطع، ويستغرق الأمر وقتاً طويلاً جداً.
الطريقة الجديدة (cBMM): تقوم بتفكيك المهمة إلى خطوات صغيرة يمكن إدارتها. أولاً تجمع الأرجل فقط، ثم سطح الطاولة، ثم الأدراج. تقوم بذلك في حلقة تكرارية، وتتحسن مع كل دورة. ولأن كل خطوة بسيطة وتتبع قاعدة صارمة، فإنك لا تتعثر أبداً، وتنهي المهمة في جزء بسيط من الوقت.

ماذا وجدوا؟
اختبر المؤلفون "خط التجميع" الجديد هذا على بيانات من العالم الحقيقي، بما في ذلك معيار MATH-500 الشهير ولوحة صدارة Hugging Face Open LLM (التي تتبع آلاف النماذج).

سرعة البرق: كانت طريقتهم أسرع بـ 40 إلى 80 مرة من أفضل الطرق الأخرى. وفي بعض الحالات، بينما كانت الطرق الأخرى تتوقف عن العمل أو تستسلم، استمرت طريقتهم في العمل بسلاسة.
دقة أكبر: نظراً لاستقرارها العالي، لم ترتبك الطريقة بسبب البيانات غير المنظمة. لقد استعادت "القدرات الحقيقية" للنماذج بشكل أفضل من الطرق القديمة.
كشف الحقائق الخفية:
- قوانين القياس (Scaling Laws): أكدوا أن النماذج الأكبر تؤدي بشكل أفضل عموماً، وهو ما أكده العلماء بالفعل.
- جودة الأسئلة: وجدوا أن بعض الأسئلة في المعايير الشهيرة هي في الواقع "نفايات" — فهي لا تساعد في التمييز بين النماذج الجيدة والسيئة. يمكن لطريقتهم رصد هذه الأسئلة غير المفيدة تلقائياً.
- تحولات التصنيف: عندما استخدموا طريقتهم الجديدة، تغير تصنيف نماذج الذكاء الاصطناعي المتصدرة قليلاً مقارنة بطريقة "متوسط الدرجات" القديمة. بعض النماذج التي بدت متوسطة المستوى ظهرت فجأة أكثر ذكاءً بمجرد مراعاة صعوبة الأسئلة التي أجابت عليها.

باخت compact (في إيجاز)
تقدم هذه الورقة البحثية طريقة جديدة، أسرع، وأذكى لتقييم الذكاء الاصطناعي. بدلاً من مجرد عد الإجابات الصحيحة، تعمل كمعلم ماهر يدرك أن بعض الأسئلة أصعب من غيرها، وأن الطلاب (النماذج) لديهم أيام جيدة وأيام سيئة. وهي تفعل ذلك دون تعطيل الكمبيوتر، مما يسمح بتقييم آلاف النماذج في اختبارات ضخمة خلال دقائق بدلاً من أسابيع.

ملخص تقني: إطار عمل قابل للتفسير والقابلية للتوسع لتقييم النماذج اللغوية الكبيرة

بيان المشكلة

يعتمد تقييم النماذج اللغوية الكبيرة (LLMs) حاليًا بشكل كبير على طرق القياس المعيارية التي تحسب متوسط الدقة عبر عناصر الاختبار. ويرى المؤلفون أن هذا النهج معيب جوهريًا بسبب تحديين تم التغافل عنهما:

عشوائية مخرجات النماذج اللغوية الكبيرة: يمكن أن تختلف مخرجات النماذج اللغوية الكبيرة بشكل كبير تحت تأثير تغييرات طفيفة (مثل ترتيب المطالبات، أو الأخطاء المطبعية، أو المترادفات) أو حتى مع مطالبات متطابقة في ظل فك الترميز الجشع (greedy decoding)، مما يؤدي إلى تقييمات هشة.
تباين عناصر القياس المعياري: تفترض الطرق المعيارية ضمنيًا أن جميع العناصر لها نفس الوزن. ومع ذلك، تتباين العناصر في قدرتها التمييزية (القدرة على التفريق بين قدرات النماذج) ونزاهتها (بعضها قد يكون متأثرًا بتلوث بيانات التدريب أو التكرار).

يوفر نظرية الاستجابة للمفردة (IRT) إطارًا مبدئيًا لنمذجة قدرات النماذج الكامنة وخصائص العناصر (التمييز والصعوبة)، إلا أن تطبيقات IRT التقليدية (مثل خوارزميات توقع التوقع - Expectation-Maximization) تعاني من عدم الكفاءة الحسابية وعدم الاستقرار العددي. هذه القيود تحصر IRT في التطبيقات صغيرة النطاق، مما يجعلها غير مناسبة لمنظومة النماذج اللغوية الكبيرة المتنامية بسرعة ومجموعات البيانات الضخمة.

المنهجية

لمعالجة هذه القيود، يقترح البحث إطار عمل يعتمد على التعظيم-التقليل (Majorization-Minimization)، يُسمى التعظيم-التقليل الكتلي المقيد (cBMM).

1. الصياغة الاحتمالية

تتم نمذجة عملية التقييم كإطار احتمالي كامن باستخدام نموذج IRT ذي معلمتين (2PL-IRT).

الملاحظات: مصفوفة استجابة ثنائية $Y \in \{-1, 1\}^{N \times J}$ حيث تشير $y_{ij}$ إلى ما إذا كان النموذج اللغوي رقم $i$ قد أجاب بشكل صحيح على العنصر رقم $j$ .
الدرجة الكامنة: يتم التحكم في احتمالية الاستجابة الصحيحة عبر دالة ربط لوجستية: $\Phi(x_{ij}) = \frac{1}{1 + \exp(-x_{ij}/\sigma)}$ ، حيث $\sigma$ هو معامل قياس (مشابه لدرجة الحرارة).
إعادة الصياغة: يتم تفكيك مصفوفة درجات ما قبل التنشيط $X$ $X$ كالتالي: $X = \theta a^\top + \mathbf{1}b^\top$ $X = θ a^{⊤} + 1 b^{⊤}$ ، حيث:
- $\theta$ : متجه قدرة النموذج.
- $a$ : متجه تمييز العنصر (مقيد بأن يكون غير سالب، $a \ge 0$ ).
- $b$ : متجه سهولة العنصر.

2. التحسين عبر التعظيم-التقليل (Majorization-Minimization)

الهدف هو تقليل خسارة التقاطع الثنائي (binary cross-entropy loss) $\ell(X)$ . يعد التقليل المباشر أمرًا صعبًا، لذا يستخدم المؤلفون مبدأ MM لتحويله إلى سلسلة من المسائل البديلة الأبسط:

التعظيم (Majorization): يتم إنشاء دالة بديلة تربيعية $g(X|\tilde{X})$ تعمل كحد علوي للخسارة الأصلية وتلامسها عند التقدير الحالي $\tilde{X}$ .
التقليل (Minimization): تتحول المسألة إلى مسألة فرعية لـ تحليل المصفوفات المقيد (constrained matrix factorization):
$\min_{U, V} \| UV^\top - \tilde{Y} \|_{F(\Omega)}^2 \quad \text{subject to } a \ge 0$
حيث $U = (\theta, \mathbf{1})$ و $V = (a, b)$ .
الخوارزمية (cBMM): تقوم الخوارزمية بالتناوب بين تحديث $a$ (يُحل عبر المربعات الصغرى غير السالبة)، و $b$ (تحديث بصيغة مغلقة)، و $\theta$ (تحديث بصيغة مغلقة). يضمن هذا التحسين الكتلي (block-wise optimization) تناقصًا رتيبًا لدالة الهدف.

3. الضمانات النظرية

قابلية التحديد (Identifiability): يثبت المؤلفون أن النموذج قابل للتحديد حتى فئة التكافؤ (مع الحفاظ على الترتيب الرتبي للقدرات والتمييز) تحت الشروط التي لا يكون فيها $\theta$ متجهًا ثابتًا و $a \ge 0$ مع وجود عنصر واحد على الأقل غير صفري.
التقارب (Convergence): تحت افتراضات المحدودية وعدم الانحلال، ثبت أن المتتالية الناتجة عن cBMM تتقارب نحو نقطة استقرار تحقق شروط KKT. وإذا كانت دالة الهدف تحقق خاصية Kurdyka–Łojasiewicz (KL) بأس $1/2$ ، فإن التقارب يكون خطيًا.

المساهمات الرئيسية

إطار عمل مبتكر يعتمد على MM: إطار حسابي قابل للتوسع لتقييم النماذج اللغوية الكبيرة، يعيد صياغة المسألة كتحليل مصفوفات مقيد، مما يوفر تفسيرات موثوقة لقدرات النماذج وخصائص العناصر.
ضمانات نظرية: إثباتات رسمية لقابلية تحديد المعلمات (حتى فئة التكافؤ) وتقارب الخوارزمية.
الكفاءة الحسابية: يحقق الأسلوب تسريعًا بمقدار عدة مراتب عشرية مقارنة بالطرق المنافسة مع الحفاظ على دقة التقدير أو تحسينها.
رؤى تجريبية: تطبيق على اختبارات حقيقية يكشف عن تباين دقيق في صعوبة العناصر وتمييزها، وهو ما تفشل الدقة المتوسطة في رصده.

النتائج التجريبية

تم تقييم الإطار على بيانات اصطناعية وسبعة مجموعات من الاختبارات الواقعية (MATH-500, IFEval, MuSR, GPQA, MATH, BBH, MMLU-Pro).

القابلية للتوسع والكفاءة

السرعة: أظهر cBMM تسريعًا يتراوح بين 41 إلى 86 ضعفًا مقارنة بأسرع النماذج المرجعية (L-BFGS-B, Manopt) عبر اختبارات واسعة النطاق. وفي بعض الإعدادات الاصطناعية، وصلت نسب التسريع إلى 200 ضعف.
الاستقرار: غالبًا ما فشلت طرق IRT التقليدية (مثل mirt في لغة R) في التقارب (تظهر كـ 'NA') في مجموعات البيانات الكبيرة أو سيئة الحالة (مثل GPQA, MMLU-Pro) بسبب عدم الاستقرار العددي. ظل cBMM مستقرًا عبر جميع الإعدادات المختبرة، بما في ذلك درجات الحرارة المتغيرة، وأنماط البيانات المفقودة (MCAR, MAR, MNAR)، وتكرار العناصر.

القابلية للتفسير والصلاحية

قدرات النماذج: تماشى استعادة درجات القدرة ( $\hat{\theta}$ ) مع قوانين القياس البارامترية الراسخة، مما أظهر اتجاهات تصاعدية واضحة بمرور الوقت وقدرات أعلى للفئات الأكبر من النماذج.
صعوبة العناصر: أظهرت معاملات الصعوبة المستعادة ( $\hat{b}$ ) اتساقًا قويًا مع مستويات الصعوبة المصنفة بشريًا في اختبار MATH-500، رغم أن بعض الانحرافات أشارت إلى وجود عدم توافق كامن بين الصعوبة المدركة من قِبل النموذج والصعوبة التي يقدرها البشر.
تمييز العناصر: وجدت الدراسة علاقة عكسية بين تباين تقديرات تمييز العناصر واتساق الترتيب بين نتائج cBMM ومتوسط الدقة. وهذا يؤكد أن ترتيبات الدقة المتوسطة يمكن أن تكون مضللة عندما يتباين تمييز العناصر بشكل كبير.
تحولات الترتيب: كشف التحليل الدقيق أن التقييمات القائمة على الدقة القياسية قد تقلل من قدرات نماذج معينة (مثل بعض إصدارات Qwen) مقارنة بالقدرات المستعادة عبر cBMM.

الأهمية والادعاءات

يدعي البحث تقديم تقدم جوهري عن مناهج IRT التقليدية من خلال توفير بديل دقيق، وقابل للتوسع، وقابل للتفسير لتقييم النماذج اللغية الكبيرة.

ترتيب أكثر عدلاً: من خلال مراعاة العشوائية وتباين العناصر، توفر المعلمات المستعادة ترتيبات أكثر موثوقية للقدرات مقارنة بالدقة المتوسطة البسيطة.
تصميم الاختبارات المعيارية: توفر الطريقة إشارات قائمة على البيانات لتحديد عناصر الاختبار الزائدة أو غير المعلوماتية (عبر تقديرات التمييز المتفرقة)، مما يوجه بناء اختبارات أكثر كفاءة.
الأتمتة: توفر معاملات صعوبة العناصر المستعادة تقييمات مؤتمتة تكمل التصنيفات البشرية، مما يسمح بتحليل قابل للتوسع للاختبارات المعيارية.

يشير المؤلفون إلى وجود قيود، وتحديدًا التعامل مع قدرة النموذج كسمة أحادية البعد (مما يشير إلى عمل مستقبلي على IRT متعدد الأبعاد) والحاجة إلى حدود الخطأ الإحصائي لقياس عدم اليقين. ومع ذلك، يتم تقديم الإطار الحالي كحل قوي للتحديات الراهنة في توسيع نطاق تقييم النماذج اللغوية الكبيرة.