💻 computer science

Estimating Exam Item Difficulty with LLMs: A Benchmark on Brazil's ENEM Corpus

تقوم هذه الورقة البحثية بتقييم عشرة نماذج لغوية كبيرة مقابل امتحان "ENEM" البرازيلي لتكشف أنها، رغم قدرتها على تصنيف صعوبة الأسئلة بشكل متوسط، إلا أنها تقلل باستمرار من تقدير شدة العناصر، وتواجه صعوبة في المحتوى متعدد الوسائط، وتفتقر إلى المرونة السياقية اللازمة للتقييم الشخصي، مما يشير إلى أنها الأنسب كأدوات فحص مُعايرة بدلاً من كونها مولدات سلطوية.

المؤلفون الأصليون: Thiago Brant, Julien Kühn, Jun Pang

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Thiago Brant, Julien Kühn, Jun Pang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم يحاول بناء اختبار رياضيات جديد. لديك مساعد آلي فائق الذكاء (ذكاء اصطناعي) يمكنه كتابة الأسئلة لك. ولكن قبل أن تعطي الاختبار للطلاب، تحتاج إلى معرفة: هل هذا السؤال سهل للغاية؟ أم صعب للغاية؟

تقليديًا، يجيب المعلمون على هذا الأمر عن طريق إعطاء الاختبار لآلاف الطلاب أولاً، ثم تصحيح النتائج، وإجراء عمليات حسابية معقدة لتحديد درجة الصعوبة. وهذا يستغرق وقتًا طويلاً ويكلف الكثير من المال.

يسأل هذا البحث سؤالًا بسيطًا: هل يمكننا فقط أن نسأل الذكاء الاصطناعي، "ما مدى صعوبة هذا السؤال؟" ونثق في إجابته؟

اختبر الباحثون هذه الفكرة باستخدام امتحان وطني ضخم لطلاب المدارس الثانوية في البرازيل (ENEM)، والذي يحتوي على أكثر من 1,000 سؤال حقيقي. طلبوا من عشرة نماذج مختلفة من الذكاء الاصطناعي تخمين صعوبة هذه الأسئلة وقارنوا تخميناتهم بالدرجات "الرسمية" للصعوبة التي حددها خبراء بشريون.

إليك ما وجدوه، مشروحًا ببعض التشبيهات من الحياة اليومية:

1. مشكلة "جيد في الترتيب، سيء في الأرقام"

نماذج الذكاء الاصطناعي تشبه طالبًا بارعًا في ترتيب الكتب حسب حجمها ولكنه سيء جدًا في قياسها باستخدام المسطرة.

الخبر الجيد: إذا طلبت من الذكاء الاصطناعي ترتيب 10 أسئلة من "الأسهل" إلى "الأصعب"، فإنه يقوم بعمل جيد. يمكنه إخبارك أن السؤال (أ) أصعب من السؤال (ب).
الخبر السيئ: إذا سألت الذكاء الاصطناعي، "على مقي scale من 1 إلى 10، ما مدى صعوبة هذا؟"، فإنه يخطئ باستمرار. إنه دائمًا ما يعتقد أن الأسئلة أسهل مما هي عليه في الواقع. الأمر يشبه شخصًا يعتقد أن الماراثون مجرد "هرولة خفيفة" لأنه لم يركض واحدًا من قبل.

2. تأثير "العصابة" (الصور مقابل النصوص)

تحتوي العديد من أسئلة الامتحانات على صور أو رسوم بيانية أو مخططات. وبما أن بعض نماذج الذكاء الاصطناعي لا تستطيع "رؤية" الصور، فقد اضطر الباحثون إلى وصف الصور بالكلمات (مثل شخص كفيف يصف لوحة لصديقه).

النتيجة: عندما اضطر الذكاء الاصطناعي لتخمين الصعوبة بناءً على الوصف النصي للصورة فقط، فقد ارتبك. كان أسوأ بكثير في تقييم هذه الأسئلة مقارنة بالأسئلة التي تتكون من نصوص فقط.
التشبيه: تخيل أنك تحاول تخمين مدى صعوبة لغز من خلال قراءة وصف لقطع اللغز، بدلاً من النظر إلى اللغز نفسه. قد تفوتك إشارة حاسمة، مما يجعل اللغز يبدو أسهل أو أصعب مما هو عليه حقًا.

3. فخ "المقاس الواحد للجميع" (خلفيات الطلاب)

أراد الباحثون معرفة ما إذا كان بإمكان الذكاء الاصطناعي تعديل إجابته بناءً على من يؤدي الاختبار. سألوا الذكاء الاصطناعي: "ما مدى صعوبة هذا لطالب من فنلندا؟" مقابل "ما مدى صعوبة هذا لطالب من البرازيل؟".

النتيجة: بالكاد غير الذكاء الاصطناعي رأيه. لقد كان "فاقدًا للإحساس" بهذه التغييرات بشكل كبير.
التشبيه: تخيل طباخًا يطهو حساءً. إذا سألته، "هل هذا الحساء مالح جدًا بالنسبة لرضيع؟" أو "هل هو مالح جدًا بالنسبة لرياضي؟"، فإنه يكتفي بهز كتفيه ويقول: "إنه نفس الحساء". لم يفهم الذكاء الاصطناعي حقًا أن الطلاب المختلفين لديهم خلفيات ومستويات معرفية مختلفة، ولم يستطع ضبط "مقياس الصعوبة" الخاص به ليتناسب مع الشخص.

4. لعبة "الأمر/الطلب" (طريقة سؤالك تفرق)

جرب الباحثون طرقًا مختلفة للسؤال. في بعض الأحيان قالوا فقط "قيم هذا". وفي أحيان أخرى، قالوا "تصرف كمعلم رياضيات، وفكر خطوة بخطوة، ثم قيم هذا".

النتيجة: الطريقة التي تسأل بها غيرت الإجابة بشكل كبير. ساعدت بعض الأوامر التي تتطلب "التفكير" الذكاء الاصطناعي في ضبط الترتيب الصحيح، لكنها لم تعالج مشكلة اعتقاده بأن كل شيء سهل للغاية.
التشبيه: الأمر يشبه سؤال صديق عن توصية لفيلم. إذا سألته "ما هو الفيلم الجيد؟"، فقد يقترح فيلمًا كوميديًا. أما إذا سألته "ما هو الفيلم الجيد لليلة ممطرة؟"، فقد يقترح فيلم إثارة. إجابة الذكاء الاصطناعي تعتمد بشدة على كيفية صياغة سؤالك.

الاستنتاج الكبير: أداة "الفحص الأولي"

خلصت الورقة البحثية إلى أنه لا ينبغي لنا معاملة نماذج الذكاء الاصطنا هذه كـ "عرافين" (آلهة عليمة تعطي الإجابة المثالية). بدلاً من ذلك، يجب أن نعاملها كـ "أدوات فحص" (فلتر أولي).

التوصية: استخدم الذكاء الاصطناً لمسح مجموعة من الأسئلة الجديدة بسرعة وقول: "مهلاً، هذا السؤال يبدو أنه قد يكون سهلاً للغاية، وهذا يبدو أنه قد يكون صعبًا للغاية".
الشرط: لا يمكنك الوثوق بالرقم الدقيق الذي يعطيه الذكاء الاصطناعي. يجب عليك إصلاح "انحيازه" (تعليمه أنه يقلل من تقدير الصعوبة) ويجب أن يقوم بشر بمراجعة الأسئلة، خاصة تلك التي تحتوي على صور.

باختاً: الذكاء الاصطناعي هو مساعد مفيد يمكنه مساعدتك في فرز الأسئلة "السهلة" من "الصعبة"، ولكنه ليس مستعدًا ليكون الحكم النهائي على مدى صعوبة السؤال بالضبط، كما أنه ليس مستعدًا لفهم الاحتياجات المحددة لأنواع مختلفة من الطلاب. نحن بحاجة إلى معايرته وإبقاء العنصر البشري في الحلقة.

ملخص تقني: تقدير درجة صعوبة بنود الاختبار باستخدام النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

مع تزايد استخدام النماذج اللغوية الكبيرة (LLMs) لإنشاء المحتوى التعليمي، توجد فجوة أمنية حرجة: وهي عدم القدرة على تقدير درجة صعوبة الأسئلة التي تنتجها بشكل موثوق قبل نشرها. يعتمد التقدير التقليدي للصعوبة على نظرية الاستجابة للمفردة (IRT)، والتي تتطلب اختبارات تجريبية مكلفة وواسعة النطاق مع عينات طلابية ممثلة. وبينما توفر النماذج اللغوية الكبيرة إمكانية تقريب درجة صعوبة البند مباشرة من النص، إلا أن عدة تحديات تعيق موثوقيتها:

الاعتماد على المجال: تتصرف النماذج بشكل غير متسق عبر المواد المختلفة (مثل الرياضيات مقابل العلوم الإنسية).
تعدد الوسائط: غالبًا ما تعتمد بنود الاختبار في العالم الحقيقي على الرسوم التوضيحية والجداول؛ وتحويل هذه العناصر إلى نص قد يؤدي إلى فقدان الإشارات المكانية الضرورية للاستنتاج.
المعايرة مقابل الترتيب: قد تحقق النماذج خطأً مطلقاً منخفضاً عن طريق التنبؤ بمتوسط الصعوبة (الارتداد نحو المتوسط) بينما تفشل في الحفاظ على الترتيب النسبي (أمانة الترتيب) للبنود.
حساسية السياق (اللدونة): من غير الواضح ما إذا كانت النماذج يمكنها تعديل تقديرات الصعوبة بشكل معنوي بناءً على التركيبة السكانية للمتعلمين (مثل الدولة أو الخلفية التعليمية) أو ما إذا كانت هذه الإشارات تؤدي إلى تحولات مشوشة ومنحازة.

تعالج هذه الدراسة هذه الفجوات من خلال قياس أداء النماذج اللغوية الكبيرة مقابل بيانات تمت معايرتها وفق نظرية الاستجابة للمفردة (IRT) لتحديد ما إذا كان يمكن استخدامها كأدوات فحص مسبق موثوقة لتصميم التقييمات.

المنهجية

مجموعة البيانات

تستخدم الدراسة مجموعة من 1,031 سؤالاً من نوع الاختيار من متعدد من امتحان "إينيم" (ENEM) في البرازيل، تغطي الأعوام 2017-2022. تغطي مجموعة البيانات أربعة موضوعات: الرياضيات (MT)، العلوم الطبيعية (CN)، العلوم الإنسية (CH)، واللغات والرموز (LC).

الحقيقة الأرضية: معايير صعوبة (IRT) رسمية ( $b_i$ ) مستمدة من أداء الطلاب على نطاق واسع، ومُسقطة على مقياس من 1 إلى 10.
الوسائط: 38.1% من البنود تحتوي على عناصر بصرية (رسوم توضيحية، رسوم بيانية، جداول). تم نسخ هذه العناصر إلى نص باستخدام نماذج لغوية كبيرة قادرة على الرؤية (GPT-4o, Gemini-2.0-Flash) لمحاكاة مسارات العمل القائمة على النص فقط، مع الحفاظ على أخطاء النسخ الطفيفة لتعكس ظروف النشر الواقعية.

البروتوكول التجريبي

النماذج: تم تقييم عشرة نماذج لغوية كبيرة متباينة، بما في ذلك أربعة واجهات برمجة تطبيقات مملوكة (GPT-4o, o3, Claude-4-Sonnet, Gemini-2.0/2.5-Flash) وستة نماذج ذات أوزان مفتوحة (Phi-4, Mistral Large, DeepSeek-R1, Qwen-3, Llama-3.2).
استراتيجيات التلقين (Prompting): تم اختبار ثماني عائلات من التلقين، تراوحت من التعليمات الدنيا إلى هياكل الاستدلال المنظمة:
- التلقين صفر الخطوات (Zero-shot) والمعزز (Enhanced Zero-shot).
- التلقين ببعض الأمثلة (Few-shot) وتلقين الشخصية مع الأمثلة (Persona+Few-shot).
- سلسلة الأفكال (CoT)، التلقين القائم على النقاط (تفكيك المعايير)، وشجرة الأفكار (ToT).
- التلقين الاصطناعي/التجريبي (مخرجات JSON مهيكلة).
فحص التحيز: قام اختبار "اللدونة" بحقن رمز دولة واحدة (على سبيل المثال، "الطلاب في [الدولة]") في التلقينات لأربعة نماذج ممثلة عبر سبع دول (البرازيل، الصين، فنلندا، إلخ) لقياس التحولات في تقديرات الصعوبة.

المقاييس

تم تقييم الأداء باستخدام:

المعايرة المطلقة: جذر متوسط مربع الخطأ (RMSE) ومتوسط الخطأ المطلق (MAE) مقابل أهداف الـ IRT.
أمانة الترتيب: معامل ارتباط سبيرمان ( $\rho$ ).
الاستقرار: حساسية التلقين ( $\sigma_{prompt}$ ) والمحاذاة التوزيعية (تباعد KL).
التحيز: البواقي الموقعة (Signed residuals) ومؤشر اللدونة (PI) لقياس الاستجابة للإشارات الديموغرافية.
المعايرة: تم تطبيق الإزاحة الإضافية اللاحقة والتحويل الأفيني لتصحيح انحيازات الموقع العالمية.

النتائج الرئيسية

1. المقايضة بين الدقة والترتيب

توجد مقايضة كبيرة بين المعايرة المطلقة وأمانة الترتيب.

الـ RMSE المنخفض مضلل: حققت نماذج مثل Llama-3 خطأ RMSE منخفضاً (1.40) من خلال الارتداد نحو متوسط الصعوبة، مما أدى إلى ارتباط ترتيب شبه معدوم ( $\rho \approx 0.10$ ).
أفضل المؤدين: قدم نموذج Phi-4 (مفتوح الأوزان) و Gemini-2.5-Flash الأداء الأكثر توازناً، حيث حققا RMSE تنافسياً مع أمانة ترتيب قوية ( $\rho \approx 0.31–0.37$ ).
حساسية التلقين: غال true تغيير عائلات التلقين أثر على الأداء أكثر من تغيير النماذج نفسها. بالنسبة للنماذج مفتوحة الأوزان، أدت هياكل الاستدلال (الشخصية، القائمة على النقاط) إلى تحسين أمانة الترتيب بشكل كبير. أظهرت النماذج المملوكة حساسية أقل تجاه تغييرات التلقين.

2. الأداء حسب الموضوع

الرياضيات: أظهرت أعلى نسبة خطأ وأقوى حساسية للتلقين. كانت التلقينات "القائمة على النقاط" (تفكيك الخطوات) هي الأكثر فعالية، مما يشير إلى أن الاستدلال بأسلوب المعايير يساعد في بنود العلوم والتكنولوجيا متعددة الخطوات.
اللغات: تفوقت النماذج المملوكة (Claude-4-Sonnet) هنا.
العلوم الإنسية: قدم DeepSeek-R1 أفضل أداء، ربما بسبب التدريب المسبق المرتكز على الاستدلال للسياقات الاجتماعية والتاريخية.
العلوم الطبيعية: أظهرت تبايناً واسعاً في الخطأ؛ وحقق Gemini-2.5-Flash أعلى ارتباط ترتيب.

3. عقوبة تعدد الوسائط

أدى نسخ العناصر البصرية إلى نص إلى عقوبة ثابتة في الأداء.

زادت العناصر البصرية من RMSE بمعدل 1.26 نقطة مقارنة بالعناصر غير البصرية.
فشلت النماذج بشكل منهجي في التقاط اتجاه الصعوبة البشري للعناصر البصرية: فبينما يجد البشر العناصر البصرية أسهل في العلوم الطبيعية، غالباً ما تبالغ النماذج في تقدير صعوبتها أو تظل محايدة.
كانت التلقينات الموجزة والموجهة بالمعايير (القائمة على النقاط، Zero-shot المعزز) أقل حساسية لتحولات الوسائط من قوالب الاستدلال المعقدة.

4. التحيز المنهجي والمعايرة

التقليل العالمي للصعوبة: قللت جميع النماذج بشكل منهجي من صعوبة البنود (تنبأت بأن البنود أسهل مما هي عليه في IRT). كان متوسط البواقي موجباً لكل نظام، حيث أظهر o3 أكبر إزاحة ( $\approx +3$ نقاط).
فعالية المعايرة: أدت الإزاحة الإضافية البسيطة (المعايرة اللاحقة) إلى تقليل RMSE وMAE بشكل كبير لجميع النماذج دون تغيير ارتباطات الترتيب ( $\rho$ ). يشير هذا إلى أن جزءاً كبيراً من الخطأ هو انحياز في الموقع يمكن تصحيحه عبر التعديل الخطي.

5. اللدونة وحساسية السياق

عند التلقين بإشارات خاصة بالدول:

لدونة محدودة: أظهرت النماذج تحولات صغيرة ولكن منهجية في تقديرات الصعوبة. ومع ذلك، كانت هذه التحولات مشوشة وغير متسقة مع فجوات الأداء في العالم الحقيقي (مثل تصنيفات PISA).
تباين النماذج: أظهر Llama-3 فقط ارتباطاً أحادي الاتجاه كبيراً مع رتب القراءة في PISA. أظهرت النماذج الأخرى (GPT-4o, o3) اتجاهات ضعيفة أو سلبية.
المخاطر: يشير عدم وجود تكيف متسق وذو معنى إلى أن النماذج اللغوية الكبيرة الحالية ليست جاهزة بعد للتخصيص المتكيف مع السياق، وأنها تخاطر بتشفير مفهوم "مقاس واحد للجميع" حول الصعوبة أو تضخيم التحيزات.

الأهمية والادعاءات

تخلص الورقة إلى أنه على الرغم من أن النماذج اللغوية الكبيرة ليست بعد "أوراكل" (مرجعاً مطلقاً) لدرجة صعوبة البنود، إلا أنها تمتلك إشارة قابلة للتنفيذ للفرز والتدقيق. ويدعو المؤلفون إلى نهج "التقييم قبل التوليد":

النماذج اللغوية كأدوات فرز: يمكن للنماذج اللغوية الكبيرة أن تعمل كمرشحات منخفضة التكلفة قبل النشر لتحديد البنود المرشحة حسب الصعوبة المتوقعة، بشرط:
- تطبيق معايرة بسيطة لاحقة لتصحيح انحيازات الموقع العالمية.
- التركيز في التقييم على كل من المحاذاة المطلقة (عبر المعايرة) وأمانة الترتيب.
- التعامل مع المحتوى البصري بحذر، حيث يؤدي النسخ النصي فقط إلى تدهور الأداء.
الإنسان في الحلقة (Human-in-the-Loop): يجب أن تخضع البنود التي تجتاز بوابة فرز النموذج اللغوي لتدقيق بشري واختبارات تجريبية محدودة (تحقق IRT) قبل النشر التشغيلي.
ضوابب العدالة: تُظهر الدراسة أن النماذج الحالية تفتقر إلى "اللدونة" للتكيف بشكل موثوق مع التركيبة السكانية للمتعلمين. لذلك، يجب تجنب رموز الديموغرافيا في تلقينات الإنتاج، ويجب دمج تشخيصات العدالة في عملية تصميم التقييم لمنع تعزيز عدم المساواة.

يؤسس هذا العمل لتقدير الصعوبة كقدرة مطلوبة يجب معايرتها وتدقيقها قبل استخدام النماذج اللغوية الكبيرة بشكل مسؤول في توليد أو اختيار محتوى التقييم عالي المخاطر.