Automated item evaluation: Predicting item acceptance and rejection using LLM-generated critiques

تخيل أنك معلم يتعين عليك تصحيح آلاف الواجبات المنزلية كل أسبوع. بعضها رائع، وبعضها مربك، وبعضها مجرد خطأ تماماً. عادةً، يتعين عليك قراءة كل واحد منها لتقرر أيها تحتفظ به وأيها ترمي بعيداً. هذا الأمر بطيء، ومكلف، ومرهق. الآن، تخيل مساعداً آلياً ذكياً للغاية يمكنه قراءة تلك الواجبات وإخبارك: "مهلاً، هذا يبدو خطيراً، ربما لا يجب استخدامه"، قبل أن تستهلك وقتك في تصحيحه. هذا هو عالم التقييم الآلي للفقرات (AIE). إنه فرع من تكنولوجيا التعليم يحاول استخدام الحواسيب للحكم على جودة أسئلة الاختبارات (التي تسمى "الفقرات") دون الحاجة إلى خبير بشري يقرأ كل واحدة منها أو يختبرها على طلاب حقيقيين أولاً. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا تعليم الكمبيوتر تمييز سؤال اختبار "سيء" بمجرد قراءة النص، مما يوفر علينا عناء اكتشاف أنه كان معيباً في وقت لاحق؟

هذه الورقة البحثية تدور حول بناء ذلك المساعد الآلي الذكي للغاية. أراد الباحثان، هوتاكا مايدا- إييكاي لو، إنشاء نظام يمكنه النظر إلى سؤال اختبار والتنبؤ بما إذا كان سيتم "قبوله" (جاهز للاستخدام) أو "رفضه" (رميه في المهملات) بناءً على قاعدة بيانات ضخمة تضم 52,759 سؤالاً حقيقياً من برنامج اختبار معياري كبير. لم يكتفوا بتغذية الكمبيوتر بالأسئلة الخام فحسب؛ بل جربوا خدعة ذكية. فقد طلبوا من نموذج لغوي كبير (نوع من أنواع الذكاء الاصطناعي الذي يمكنه الكتابة والتفكير) أن يكتب أولاً "نقداً" أو مراجعة قصيرة للسؤال، ثم قاموا بتغذية نموذج التنبؤ الخاص بهم بكل من السؤال الأصلي وتلك المراجعة التي كتبها الذكاء الاصطناعي. فكر في الأمر كأنك توظف طالباً لكتابة ملخص سريع لكتاب قبل أن تقرر ما إذا كنت تريد قراءة الكتاب بأكمله بنفسك.

كانت النتائج مثيرة للاهتمام حقاً، ولكن مع تحفظات مهمة. كان "نموذج الدمج" (الذي نظر في السؤال والمراجعة النقدية للذكاء الاصطناعي معاً) هو الأفضل أداءً. لقد أصاب الإجابة الصحيحة حوالي 75% من الوقت بشكل عام. ومع ذلك، فقد كان بطلاً خارقاً في أسئلة الرياضيات (حيث حقق دقة 73% من الوقت) لكنه تعثر قليلاً في أسئلة اللغة الإنجليزية (بنسبة دقة 51% فقط). وجد الباحثون أنه إذا جعلوا الروبوت أكثر "ارتياباً" – أي بإخباره أن يضع علامة على أي شيء قد يكون سيئاً بدلاً من انتظار التأكد من أنه سيء بالفعل – فإنه يمكنه رصد 90% من الأسئلة السيئة، رغم أنه سيصنف بعض الأسئلة الجيدة خطأً على أنها سيئة.

إليك الجزء الأهم: كان الروبوت بارعاً في رصد الأسئلة الصعبة جداً، أو التي تحتوي على صياغة مربكة، أو التي لا تتوافق مع المنهج الدراسي. لكنه كان سيئاً جداً في رصد الأسئلة التي تنطوي على تحيز، أو عدم إنصاف، أو حساسية تجاه مجموعات معينة من الناس. تشير الورقة البحثية إلى أنه بينما تصبح الحواسيب جيدة جداً في فحص "ميكانيكا" سؤال الاختبار، فإنها لا تزال بحاجة إلى المعلمين البشر لفحص "قلب" وعدالة الأسئلة. لذا، فإن المستقبل لا يتعلق باستبدال البشر، بل بمنحهم أداة قوية لتصفية النفايات الواضحة حتى يتمكنوا من التركيز على الأمور المعقدة والهامة.

قصة كاشف "السؤال السيئ"

المشكلة: جبل من الواجبات المنزلية
إن إنشاء اختبار معياري يشبه بناء قلعة ضخمة من قطع الليغو. أنت بحاجة إلى آلاف القطع الفردية (الأسئلة) لجعلها قائمة. لكن ليست كل قطعة جيدة؛ فبعضها مشروخ، وبعضها باللون الخاطئ، وبعضها ببساطة لا يتناسب مع البقية. تقليدياً، يتعين على الخبراء التقاط كل قطعة، وفحصها، وأحياناً حتى اختبارها على مجموعة من الأطفال لمعرفة ما إذا كانت تعمل. هذا يستغرق وقتاً طويلاً ويكلف ثروة. ومع صعود الذكاء الاصطناعي الذي يمكنه توليد الأسئلة تلقائياً، أصبح جبل القطع يزدويد يوماً بعد يوم. نحن بحاجة إلى طريقة لفرز القطع الجيدة من السيئة بسرعة دون فحص كل واحدة منها يدوياً.

التجربة: نهج العقلين
قرر الباحثون تدريب عقل كمبيوتري (تحديداً نموذج يسمى DeBERTaV3-large) للقيام بعملية الفرز هذه. كان لديهم مجموعة بيانات ضخمة تضم 52,759 سؤالاً. حوالي 34% منها كانت "مرفوضة" (أُزيلت نهائياً لأنها كانت سيئة)، والباقي كان "مقبولاً".

جربوا ثلاث طرق مختلفة لتعليم الكمبيوتر:

1. القارئ الخام: قاموا بتغذية الكمبيوتر بنص السؤال فقط.
2. الناقد: طلبوا من ذكاء اصطناعي آخر (Qwen3) كتابة مراجعة من جملتين عن السؤال أولاً، ثم قاموا بتغذية تلك المراجعة للكمبيوتر.
3. نموذج الدمج: قاموا بدمج الاثنين معاً! حيث قاموا بتغذية الكمبيوتر بالسؤال الأصلي ومراجعة الذكاء الاصطناعي معاً.

النتائج: مساعد ذكي، ولكن معيبة
كان "نموذج الدمج" هو الفائز بوضوح. فقد حقق دقة قدرها 0.75 (بمعنى أنه كان محقاً بنسبة 75% من الوقت) ودرجة F1 بلغت 0.64.

• الرياضيات مقابل الإنجليزية: كان النموذج عبقرياً في الرياضيات، حيث حقق درجة F1 قدرها 0.73 لأسئلة الرياضيات. لكن بالنسبة للغة الإنجليزية (ELA)، تعثر بدرجة F1 بلغت 0.51 فقط. يقترح المؤلفون أن هذا قد يكون بسبب اعتماد أسئلة الإنجليزية على نصوص قرائية طويلة، والتي اضطر الباحثون لاستبعادها من البيانات لأنها كانت طويلة جداً.
• إعداد "الارتياب": لاحظ الباحثون أنه إذا قاموا بخفض "عتبة الإنذار" من 0.5 إلى 0.25، يصبح النموذج أفضل في رصد الأسئلة السيئة. فقد تمكن من رصد 90% من العناصر المرفوضة (حساسية قدرها 0.90 للرياضيات و0.88 للغة الإنجليزية). ما هي الضريبة؟ بدأ في تصنيف الكثير من الأسئلة الجيدة على أنها سيئة (انخفضت النوعية/الخصوصية). يقترح المؤلفون أن إعداد "الارتياب" هذا قد يكون مثالياً لتوليد الفقرات آلياً، حيث يكون صنع السؤال رخيصاً ولكن مراجعته مكلفة. إذا رصدت 90% من الأشياء السيئة مبكراً، فستوفر الكثير من الوقت.

ما فات النموذج: اللمسة البشرية
على الرغم من نجاحه، كان لدى النموذج نقطة ضعف. فقد كان جيداً جداً في رصد الأسئلة الصعبة للغاية أو التي تحتوي على مشا س "سيكومترية" (مشكلات إحصائية). ومع ذلك، فقد عانى بشكل كبير في اكتشاف الأسئلة المتعلقة بـ التحيز، أو الحساسية، أو العدالة، أو سهولة الوصول. بالنسبة لأسئلة اللغة الإنجليزية، لم يرصد النموذج سوى 27% من هذه المشكلات. يوضح المؤلفون أن هذه مشكلات بشرية عميقة. يمكن للكمبيوتر أن يرى ما إذا كانت الكلمة صعبة، لكنه قد لا يدرك أن قصة معينة قد تكون مسيئة لثقافة أو مجموعة معينة. هذا يشير إلى أنه بينما يمكن للذكاء الاصطناعي القيام بالعمل الشاق في عملية التصفية، إلا أن الخبراء البشريين لا يزالون ضروريين تماماً للتحقق من العدالة.

الخلاصة
تشير هذه الورقة البحثية إلى أنه يمكننا بناء أداة شاملة تقريباً لتقييم أسئلة الاختبارات تلقائياً. من خلال الجمع بين النص الخام للسؤال وبين نقد مولد بواسطة الذكاء الاصطناعي، يمكننا الحصول على تنبؤ أفضل بكما إذا كان السؤال سينجح أم سيفشل. إنه ليس عصا سحرية تحل كل شيء – خاصة عندما يتعلق الأمر بالعدالة والتحيز – ولكنه أداة قوية جديدة يمكنها توفير كم هائل من الوقت والمال للمعلمين وشركات الاختبارات. إن مستقبل الاختبارات قد يتضمن قيام روبوت بالفرز الأولي، تاركاً للخبراء البشريين التركيز على الأسئلة التي تحتاج حقاً إلى قلب بشري للحكم عليها.