💬 NLP

Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks

تقدم هذه الورقة نموذج الاستجابة الاسمية للنماذج اللغوية الكبيرة (LLM-NRM)، وهو إطار عمل سيكومتري يستفيد من التوزيع الكامل لخيارات الإجابة —بما في ذلك الخيارات غير الصحيحة— لتقدير قدرات النماذج اللغوية الكبيرة وخصائص العناصر بدقة أكبر، مما يثبت أن تفضيلات المشتتات توفر قيمة قياس كبيرة وتتيح اختباراً معيارياً عالي الكفاءة مقارنة بالتسجيل الثنائي التقليدي.

المؤلفون الأصليون: Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis

نُشر 2026-08-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يصحح اختباراً من نوع الاختيار من متعدد. بالطريقة التقليدية المتبعة، لا يهتم الأمر سوى بالعلامة النهائية: علامة صح للإجابة الصحيحة، وعلامة خطأ للإجابة الخاطئة. إذا أخطأ الطالب في سؤال ما، فأنت لا ترى سوى علامة "X" حمراء. أنت لا تعرف لماذا أخطأ. هل خمن عشوائياً؟ هل عرف القليل من المعلومة لكنه ارتبك بسبب كلمة مخادعة؟ أم أنه فقط يكره لون الحرف "ب" فاختاره؟ لفترة طويلة، فعل العلماء الذين يدرسون الذكاء الاصطناً (AI) الشيء نفسه تماماً. إنهم يسألون نماذج الذكاء الاصطناعي أسئلة اختيار من متعدد ويكتفون فقط بعدّ الإجابات الصحيحة. هذا يشبه الحكم على طاهٍ من خلال كون الطبق صالحاً للأكل فقط، مع تجاهل ما إذا كان قد استخدم الكثير من الملح، أو نسي الفلفل، أو قدم بالخطأ حساءً باستخدام شوكة.

ينتقل هذا البحث إلى عالم القياس النفسي (psychometrics) — وهو علم قياس القدرات البشرية (والآن الآلية). وهو يبني على فكرة ذكية تسمى "نظرية الاستجابة للمفردة" (Item Response Theory)، وهي ببساالطة طريقة منمقة للقول بأن سؤال الاختبار ليس مجرد سؤال "صعب" أو "سهل"؛ بل إن للسؤال شخصية. فبعض الأسئلة تخدع الأذكياء، بينما تخدع أخرى المبتدئين. السؤال الكبير الذي يطرحه هذا البحث هو: إذا توقفنا عن معاملة كل إجابة خاطئة كفشل بسيط، فهل يمكننا تعلم شيء جديد؟ يقترح المؤلفون أن الإجابة الخاطئة المحددة التي يختارها الذكاء الاصطناعي هي في الواقع كنز من المعلومات، يكشف كيف يفكر الذكاء الاصطناعي، وما الذي يخلط بينه، ومدى ثقته، حتى عندما يخطئ.

الفكرة الكبرى للبحث: لماذا الإجابات الخاطئة هي في الواقع صائبة

قدم الباحثون، بقيادة شياو في وكبار زملائه، أداة جديدة تسمى LLM-NRM (نموذج الاستجابة الاسمية للنماذج اللغوية الكبيرة). فكر في هذا كترقية لنظام التصحيح من ورقة "ناجح/راسب" بسيطة إلى "تقرير جنائي" مفصل.

في الطريقة القديمة، إذا سُئل الذكاء الاصطناعي: "أي جسم في النظام الشمسي يدور حوله حزام من الكويكبات؟" واختار "زحل" بدلاً من الإجابة الصحيحة "الشمس"، فإن النظام يسجل مجرد خطأ. لكن النموذج الجديد ينظر بعمق أكبر. فهو يدرك أن اختيار "زحل" يختلف عن اختيار "بلوتو" أو "القمر". ربما يعرف الذكاء الاصطناعي أن زحل له حلقات وخلط بينها وبين أحزمة الكويكبات. ربما فقط يحب وقع كلمة "زحل". ومن خلال تحليل أي إجابة خاطئة اختارها الذكاء الاصطناعي، يمكن للنموذج رسم خريطة لـ "عقل" الذكاء الاصطناعي بدقة أكبر بكثير مما يمكن لعد الإجابات الصحيحة أن يفعله.

اختبر الفريق ذلك على نطاق واسع: 189 نموذج ذكاء اصطناعي مختلف و 31,554 سؤالاً من 14 معياراً مختلفاً. ووجدوا أن طريقتهم الجديدة كانت تحسناً هائلاً. فعندما حاولوا التنبؤ بكيفية إجابة الذكاء الاصطناعي على سؤال لم يره من قبل، كان نموذجهم أكثر دقة بكثير من الطرق الثنائية (صح/خطأ) القديمة.

السر الخفي: ما الذي يجعل LLM-NRM مميزاً؟

يجادل البحث بأن نماذج الذكاء الاصطناعي ليست مجرد "ذكية" أو "غبية"؛ بل لها سمات غريبة يتجاهلها الاختبار القديم. يأخذ النموذج الجديد في الاعتبار ثلاثة سلوكيات غريبة تحدث عندما يؤدي الذكاء الاصطناعي اختباراً:

الثقة مقابل المعرفة (حدة المعايرة - Calibration Sharpness): أحياناً يكون الذكاء الاصطناعي متأكداً جداً من أنه على حق، حتى عندما يكون مخطئاً. وفي أحيان أخرى، يكون غير متأكد حتى عندما يكون مصيباً. لم تستطع الاختبارات القديمة تمييز الفرق. يمتلك النموذج الجديد "مقياس حدة" يقيس مدى ثقة الذكاء الاصطناعي في توزيع رهاناته عبر الإجابات.
تحيز حرف "ب" (التفضيل الموضعي - Positional Preference): لدى البشر والذكاء الاصطناعي أحياناً عادة غريبة في تفضيل الإجابة الأولى أو الأخيرة لمجرد موقعها في الصفحة، وليس لما تحتويه. يرصد النموذج الجديد هذا التحيز ويقوم بطرحه، حتى لا يبدو الذكاء الاصطناعي أكثر ذكاءً مما هو عليه في الواقع.
خيار "التخمين" الاحتياطي (The "Guessing" Fallback): عندما يكون السؤال صعباً للغاية، قد يستسلم الذكاء الاصطناعي ويختار إجابة بناءً على قاعدة عشوائية (مثل "اختر دائماً الكلمة الأطول"). يرصد النموذج الجديد متى يقوم الذكاء الاصطناعي بهذا "السلوك الاحتياطي" ويفصله عن معرفته الفعلية.

الكشف الكبير: الإجابات الخاطئة هي ذهب

النتيجة الأكثر إثارة هي أن الإجابات الخاطئة تحمل معلومات أكثر مما تعتقد. حسب المؤلفون أن النظر في أي إجابة خاطئة تم اختيارها يضيف حوالي 101% من المعلومات المفيدة لكل سؤال مقارنة بمجرد معرفة ما إذا كانت الإجابة صحيحة أم خاطئة.

ولإثبات ذلك، أجروا تجربة رائعة. حاولوا تخمين مستوى المهارة العام لنموذج ذكاء اصطناعي باستخدام فقط الأسئلة التي أخطأ فيها النموذج. ومن المثير للدهشة، أنه بمجرد النظر إلى نمط الأخطاء، استطاعوا تقدير قدرة الذكاء الاصطناعي بمعامل ارتباط قدره 0.943 (وهي درجة عالية جداً، حيث 1.0 هي الدرجة الكاملة). وهذا يعني أنك لست بحاجة حتى لرؤية الإجابات الصحيحة لفهم مدى ذكاء الذكاء الاصطناعي؛ فالأخطاء تروي القصة كاملة.

جعل الاختبارات أكثر ذكاءً وسرعة

بما أن هذا النموذج الجديد يستخلص الكثير من المعلومات من كل سؤال، فإنه يمكنه جعل الاختبار أكثر كفاءة:

عدد أقل من الأسئلة: عادةً، لتصنيف نماذج الذكاء الاصطناعي بدقة، تحتاج إلى مئات الأسئلة. وجد المؤلفون أنه باستخدام طريقتهم الجديدة، يمكنك اختيار 41 سؤالاً فقط من الأسئلة الأكثر إفادة ومع ذلك ستحصل على تصنيف يطابق الاختبار الكامل بشكل شبه مثالي. هذا يمثل تقليلاً بمقدار 770 مرة في عدد الأسئلة المطلوبة!
عدد أقل من النماذج: عادةً، تحتاج إلى آلاف نماذج الذكاء الاصطناعي لـ "معايرة" اختبار (تحديد مدى صعوبة الأسئلة). يمكن لهذه الطريقة الجديدة معايرة اختبار باستخدام 5 نماذج ذكاء اصطنا_ي فقط وتحقيق نتائج جيدة، بينما تصبح الطرق القديمة غير منظمة وغير موثوقة مع هذا العدد القليل.

ماذا يعني هذا للمستقبل

يخلص البحث إلى أننا كنا نتخلص من كم هائل من البيانات من خلال معاملة كل إجابة خاطئة على أنها متساوية. فمن خلال الإنصات إلى كيفية وقوع الذكاء الاصطناعي في الخطأ، نحصل على صورة أوضح، وأكثر عدلاً، وأسرع لما يمكنه القيام به حقاً. إنه بمثابة إدراك أن إجابة الطالب الخاطئة ليست مجرد فشل، بل هي خريطة توضح بالضبط أين تنتهي معرفته وأين يبدأ ارتباكه. ويقترح المؤلفون أن هذا النهج يمكن أن يساعدنا في بناء اختبارات أفضل وفهم سلوك الذكاء الاصطناعي بعمق أكبر من مجرد درجة بسيطة في تقرير دراسي.

ملخص تقني: كل إجابة خاطئة لها قيمتها: القياسات النفسية على مستوى الخيارات لمعايير الاختبارات متعددة الخيارات للنماذج اللغوية الكبيرة

بيان المشكلة

تعتمد عملية تقييم النماذج اللغوية الكبيرة (LLMs) الحالية بشكل كبير على درجات الدقة الثنائية المستمدة من الأسئلة متعددة الخيارات (MCQs). يعامل هذا النهج جميع الاستجابات الخاطئة كأنها متكافئة، مما يؤدي إلى التخلص من المعلومات المنهجية التي تحتوي عليها أي خيار بديل تم اختياره. وبناءً على ذلك، تقتصر درجات الدقة على اعتمادها على تكوينات محددة للأسئلة وتفشل في التقاط ثقة النموذج، أو أنماط الخطأ المنهجية، أو عدم اليقين في القياس. ومع اقتراب النماذج من مرحلة التشبع في المعايير، تفقد الدرجات الثنائية قدرتها على التمييز. علاوة على ذلك، فإن تطبيقات القياس النفسي الحالية (مثل نظرية الاستجابة للمفردة - IRT) المطبقة على النماذج اللغوية الكبيرة عادة ما تختزل الاستجابات إلى صحة أو خطأ ثنائي، مما يفشل في الاستففادة من التوزيع الكامل لتفضيلات الخيارات التي تنتجها هذه النماذج بشكل طبيعي.

المنهجية: نموذج الاستجابة الاسمية للنماذج اللغوية الكبيرة (LLM-NRM)

يقترح المؤلفون نموذج الاستجابة الاسمية للنماذج اللغوية الكبيرة (LLM-NRM)، وهو إطار عمل للقياس النفسي يراعي الخيارات، يقوم بتكييف نموذج "بوك" للاستجابة الاسمية (NRM) لتقييم النماذج اللغية الكبيرة. بخلاف النماذج الثنائية، يقوم LLM-NRM بنمذجة توزيع الاحتمالات الكامل لجميع خيارات الإجابة لتقدير القدرة الكامنة للنموذج ( $\theta$ ) وخصائص العناصر بشكل مشترك.

الصيغة الجوهرية

يعامل النموذج استجابة النموذج اللغوي الكبير لسؤال متعدد الخيارات كـ توزيع $p_{ji}$ عبر $K_i$ من الخيارات، بدلاً من مجرد تسمية ثنائية واحدة. وهو يوسع دالة المنفعة التقليدية لـ NRM وهي $u_{jik} = a_{ik}\theta_j + c_{ik}$ من خلال دمج ثلاثة عوامل سلوكية خاصة بالنماذج اللغوية الكبيرة:

حدة معايرة الاستجابة ( $s_j$ ): معامل لكل نموذج يعمل كدرجة حرارة عكسية. يتحكم في تركيز توزيع الاحتمالات دون تغيير الترتيب النسبي للخيارات، مما يلتقط ما إذا كان النموذج يعبر عن تفضيلاته بثقة عالية أو بـ "تسطح" في توزيعه، بشكل مستقل عن معرفة العنصر.
التحيز الموضعي ( $\delta_j$ ): متجه يمثل التفضيلات غير المرتبطة بالمحتوى لمواضع إجابات محددة (مثل أ، ب، ج، د). وهذا يفصل بين الاستدلالات الموضعية المنهجية وبين الجاذبية الفعلية لمحتوى الخيار.
آلية التراجع عند التخمين المرتبط بالصعوبة: آلية تقوم بالاستكمال بين التفضيلات القائمة على القدرة واستراتيجية التراجع عندما يكون العنصر صعباً جداً بالنسبة للنموذج.
- تحدد بوابة $G_{ji} = \sigma[w_0 - \kappa(\theta_j - \tilde{b}_i)]$ وزن التراجع، حيث $\tilde{b}_i$ هو مؤشر تقريبي لصعوبة العنصر مشتق من معاملات NRM.
- يحدد متجه لوجيت (logit) التراجع $\rho_j$ توزيع التخمينات المحدد (مثل الأولويات التصنيفية) عندما تكون البوابة نشطة.

التوزيع النهائي للاستجابة هو استكمال "سوفتمكس" (softmax interpolation):
$p_{jik}^{LLM-NRM} = \frac{\exp[(1-G_{ji})u_{jik} + G_{ji}\rho_{jk}]}{\sum_{k'} \exp[(1-G_{ji})u_{jik'} + G_{ji}\rho_{jk'}]}$

التقدير

يتم تقدير المعلمات عبر طريقة التقدير الأقصى البعدي (MAP) باستخدام تحسين Adam على دالة فقدان "الإنتروبيا المتقاطعة الناعمة" (soft cross-entropy loss)، مع تنظيم بواسطة توزيع طبيعي قياسي للقدرة ( $\theta_j \sim \mathcal{N}(0,1)$ ). تم ضبط النموذج على مجموعة بيانات تضم 189 نموذجاً لغوياً كبيراً و31,554 عنصراً متعدد الخيارات عبر 14 معياراً.

المساهمات الرئيسية

أول تطبيق لـ NRM على النماذج اللغوية الكبيرة: يقدم هذا العمل نموذج الاستجابة الاسمية إلى مجال النماذج اللغوية الكبيرة، مما يكشف عن تفضيلات الاستجابة الكامنة عبر الخيارات ويوفر رؤية أغنى لسلوك النموذج تتجاوز مجرد الصحة أو الخطأ.
صيغة مكيفة للنماذج اللغوية الكبيرة: يقترح المؤلفون صيغة مبتكرة تنمذج صراحةً حدة المعايرة، والتحيز الموضعي، وسلوكيات التراجع المرتبطة بالصعوبة، متجاوزةً نمذجة الاستجابة للعناصر التقليدية لالتقاط عمليات اتخاذ القرار الخاصة بالنماذج اللغوية الكبيرة.
إثبات فائدة الخيارات البديلة: يثبت البحث أن الاستجابات الخاطئة ليست ضوضاء عشوائية بل هي معلومات قياس متميزة ومفيدة.

النتائج التجريبية

الأداء التنبؤي

تم التقييم على بيانات محجوبة عبر التحقق المتقاطع خماسي الطيات (5-fold cross-validation)، حيث تفوق LLM-NRM على نماذج IRT الثنائية (1PL–4PL)، ونموذج NRM القياسي، والنهج السابقة المتطورة (مثل Deep-IRT و PSN-IRT).

الصحة الثنائية: حقق LLM-NRM أعلى دقة (0.8395) مقارنة بأفضل خط أساس ثنائي (0.8232).
التنبؤ على مستوى الخيار: تظهر المكاسب بشكل أكثر وضوحاً في التنبؤ بتوزيع الخيارات الكامل، حيث حقق LLM-NRM دقة قدرها 0.7070 وفقدان لوج (log-loss) قدره 0.8181، متفوقاً بشكل كبير على الخطوط الثنائية (دقة 0.6427، وفقدان لوج 0.9879) وعلى نموذج NRM القياسي.

الصلاحية الخارجية

تظهر تقديرات القدرة ( $\theta$ ) المستمدة من LLM-NRM أقوى ارتباط سبيرمان (0.920) مع لوحة صدارة Arena.ai Text Elo (المبنية على تفضيلات البشر)، متفوقة على الدقة الخام (0.866) وتقديرات القدرة الكامنة الأخرى (الحد الأقصى 0.885). يشير هذا إلى أن أنماط الخيارات تلتقط الاختلافات بين النماذج بما يتماشى مع الحكم البشري بشكل أفضل من الصحة الإجمالية.

المحتوى المعلوماتي للإجابات الخاطئة

معلومات فيشر (Fisher Information): يساهم هوية الخيار البديل المختار بـ +101% إضافية من معلومات فيشر لكل عنصر في المتوسط مقارنة بالصحة الثنائية وحدها.
التعافي من الأخطاء: حتى عند ملاحظة الاستجابات الخاطئة فقط (تجاهل إشارات الصحة)، يمكن للنموذج استعادة تقديرات القدرة بمعامل ارتباط سبيرمان قدره 0.9428 مقابل المرجع ذي المعلومات الكاملة. وهذا يؤكد أن هياكل الخطأ هي معلوماتية ومنهجية للغاية.

كفاءة المعايير

ضغط العناصر: باستخدام LLM-NRM لاختيار الـ 41 عنصراً الأكثر إخبارية، يمكن تحقيق اختزال بمقدار 770 ضعفاً في حجم المعيار مع الحفاظ على ترتيب البنك الكامل بمعامل كيندال قدره 0.85.
كفاءة المعايرة: يمكن لـ LLM-NRM معايرة معلمات العناصر باستخدام 5 نماذج لغوية كبيرة فقط، ويقترب من أداء الأسطول الكامل باستخدام حوالي 40 عنصراً، متفوقاً بشكل كبير على نماذج IRT الثنائية التي تتطلب أساطيل أكبر للاستقرار بسبب المعلومات المحدودة في الاستجابات الثنائية.

الأهمية والادعاءات

يخلص البحث إلى أن الإجابات الخاطئة في معايير النماذج اللغوية الكبيرة تحمل معلومات قياس متميزة ومفيدة بدلاً من كونها أخطاء متكافئة. من خلال نمذجة التوزيع الكامل للاستجابات، يقوم LLM-NRM بـ:

تحسين دقة التقييم: يوفر تقديرات قدرة أكثر موثوقية تتماشى مع التفضيلات البشرية.
الكشف عن الفروق السلوكية الدقيقة: يفصل بين المعرفة الحقيقية وبين آثار المعايرة، والتحيزات الموضعية، واستراتيجيات التراجع.
تمكين الكفاءة: يقلل بشكل جذري من تكلفة وضع المعايير من خلال تمكين التصنيف عالي الدقة باستخدام عدد أقل من العناصر ونماذج معايرة أقل.

يؤكد المؤلفون أن هذا النهج يحول نموذج التقييم من مقياس ثنائي "صح/خطأ" إلى تحليل قياس نفسي دقيق حيث "كل إجابة خاطئة لها قيمتها". ويُقترح في العمل المستقبلي استكشاف ملاحظات الاحتمالية الجزئية، والقدرات متعددة الأبعاد، والتوسع إلى ما وراء الأسئلة ذات الخيارات الثابتة، لكن العمل الحالي يركز على التحقق من فائدة بيانات مستوى الخيارات في أطر الأسئلة متعددة الخيارات الحالية.