💬 NLP

Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory

تقدم هذه الورقة إطار عمل يعتمد على نظرية الاستجابة للمفردة (IRT) لتقييم التصحيح التلقائي للإجابات القصيرة القائم على النماذج اللغوية الكبيرة، مما يكشف أن النماذج ذات الدرجات الإجمالية المتشابهة تظهر ملامح متمايزة من المتانة مع زيادة صعوبة الاستجابة، وتحدد خصائص لغوية ودلالية محددة ترتبط بأخطاء التصحيح.

المؤلفون الأصليون: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم تقوم بتصحيح كومة من المقالات القصيرة. بعض الإجابات واضحة: "السماء زرقاء" هي إجابة صحيحة تماماً. وأخرى مخادعة: يكتب الطالب جملة نصفها صحيح ونصفها خاطئ، ويستخدم كلمات مربكة.

لفترة طويلة، عندما كان الباحثون يختبرون الذكاء الاصطناعي (النماذج اللغوية الكبيرة أو LLMs) لمعرفة ما إذا كان بإمكانها تصحيح هذه المقالات تلقائياً، كانوا ينظرون فقط إلى الدرجة النهائية. كانوا يسألون: "هل حصل الذكاء الاصطناعي على 80% صحيحة بشكل عام؟". هذا يشبه القول بأن لاعب كرة السلة "جيد" لمجرد أنه سجل 80% من رمياته، دون ملاحظة أنه سجل جميع الرميات السهلة لكنه أضاع كل الرميات الثلاثية الصعبة.

تجادل هذه الورقة البحثية بأن نهج "متوسط الدرجات" هذا يخفي الكثير من التفاصيل المهمة. بدلاً من ذلك، استخدم المؤلفون أداة من علم النفس تسمى نظرية الاستجابة للمفردة (IRT). فكر في (IRT) كأنها مجهر خاص يسمح لك برؤية شيئين في وقت واحد:

مدى مهارة المصحح (الذكاء الاصطناعي).
مدى صعوبة السؤال المحدد (إجابة الطالب).

إليك تفصيل لما وجدوه، باستخدام تشبيهات بسيطة:

1. اختبار "منحنى الصعوبة"

اختبر الباحثون 17 نموذجاً مختلفاً من الذكاء الاصطناعي على مجموعتين من الأسئلة العلمية. لم يكتفوا بعدّ إجمالي الإجابات الصحيحة فحسب؛ بل قاموا بفرز إجابات الطلاب من "السهلة" إلى "الصعبة" بناءً على مدى تعقيدها.

النتيجة: حتى لو حصل نموذجان من الذكاء الاصطناعي على نفس الدرجة الإجمالية، إلا أنهما يتصرفان بشكل مختلف تماماً عندما تصبح الأمور صعبة.

تشبيه: تخيل عداءين. العداء (أ) والعداء (ب) أنهيا سباق 5 أميال في نفس الوقت الإجمالي. لكن العداء (أ) يركض بسرعة على الأرض المستوية ولكنه يتباطأ بشدة عند صعود التلال. بينما العداء (ب) يركض بوتيرة ثابتة طوال الوقت.
النتيجة: بعض نماذج الذكاء الاصطناعي تشبه العداء (أ). فهي بارعة في تصحيح الإجابات السهلة ولكنها تنهار تماماً عندما تكون إجابة الطالب مربكة أو غامضة. أما نماذج الذكاء الاصطنا الأخرى فهي تشبه العداء (ب)؛ قد لا تكون الأسرع على الإطلاق في المهام السهلة، لكنها تظل ثابتة وموثوقة حتى عندما تصبح الإجابات صعبة.

2. فخ "الوسط الآمن"

عندما واجهت نماذج الذكاء الاصطناعي إجابات صعبة جداً، لم تبدأ بمجرد التخمين العشوائي. بل طورت عادة سيئة محددة.

النتيسة: عندما كانت الإجابة يصعب فهمها، كان الذكاء الاصطناعي يميل إلى اللجو-ء إلى تسمية "وسطى" تسمى صحيح_جزئياً_غير_مكتمل (partially_correct_incomplete).

تشبيه: تخيل قاضياً في قاعة المحكمة. عندما تكون الأدلة مربكة وحجة المحامي فوضوية، بدلاً من قول "مذنب" أو "غير مذنب"، يستمر القاضي في قول: "حسناً، الأمر يبدو كلاهما نوعاً ما، لنقل إنه 'ربما مذنب'".
النتيجة: يتوقف الذكاء الاصطناعي عن إحداث تمييز حاد. فهو يحصر جميع الإجابات المربكة في هذه الفئة الوسطى "الآمنة". يصبح متفائلاً أكثر من اللازم، معتقداً أن الإجابة الفوضوية هي "صحيحة جزئياً" في حين أنها قد تكون خاطئة أو غير ذات صلة.

3. لماذا تكون بعض الإجابات صعبة؟

نظر المؤلفون أيضاً في ما الذي يجعل الإجابة صعبة بالنسبة للذكاء الاصطناعي في التصحيح. فقد حللوا الكلمات ومعاني استجابات الطلاب.

النتيجة: الإجابات الصعبة عادة ما تمتلك ثلاث سمات محددة:

لا تتطابق مع الإجابة "النموذجية": المعنى بعيد جداً عن الإجابة المرجعية الصحيحة.
تحتوي على تناقضات: يقول الطالب أشياءً تتعارض مع بعضها البعض أو مع الحقائق.
هي "معزولة": في عالم اللغة، هذه الإجابات تشبه الجزر. فهي لا تشبه الإجابات الشائعة الأخرى؛ إنها فريدة أو غريبة بطريقة تربك الذكاء الاصطناعي.

الخلاصة الكبرى

تخلص الورقة البحثية إلى أننا لا ينبغي أن نسأل فقط، "أي ذكاء اصطناعي هو المصحح الأفضل؟" بل يجب أن نسأل، "أي ذكاء اصطناعي يظل هادئاً ودقيقاً عندما تصبح الإجابات فوضوية؟"

من خلال استخدام هذا "المجهر" الجديد (IRT)، يمكننا أن نرى أن بعض نماذج الذكاء الاصطناعي هشة — فهي تنهار تحت الضغط — بينما أخرى قوية ومتينة. يساعدنا هذا في فهم أن التصحيح ليس مجرد الحصول على الرقم الصحيح؛ بل يتعلق بفهم أين و لما قد يفشل الذكاء الاصطناعي، خاصة عند التعامل مع الإجابات المعقدة والواقعية التي يكتبها الطلاب بالفعل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تقدير قدرة التصحيح للنماذج اللغوية الكبيرة وصعوبة الاستجابة في التصحيح التلقائي للإجابات القصيرة عبر نظرية الاستجابة للمفردة (IRT)."

1. بيان المشكلة

يتم عادةً تقييم التصحيح التلقائي للإجابات القصيرة (ASAG) باستخدام النماذج اللغوية الكبيرة (LLMs) عبر مقاييس تجميعية مثل macro-F1، والدقة (accuracy)، ومعامل كوهين كابا (Cohen's kappa). ويجادل المؤلفون بأن هذه المقاييس تقدم رؤية سطحية لأداء النظام، حيث تفشل في الكشف عن:

كيف يتباين أداء التصحيح عبر استجابات الطلاب ذات درجات الصعوبة المختلفة في التصحيح.
ما إذا كانت النماذج التي تمتلك درجات إجمالية متشابهة تختلف في متانتها (robustness) عند التعامل مع الاستجابات الصعبة، أو الغامضة، أو المعقدة دلاليًا.
أنماط الفشل (failure modes) المحددة (مثل أنماط الارتباك) التي تحدث مع زيادة الصعوبة.

تخفي طرق التقييم الحالية حقيقة أن نموذجين قد يتشابهان في أدائهما المتوسط، لكنهما قد يختلفان بشكل جذري في معدلات التدهور مع زيادة صعوبة الاستجابة.

2. المنهجية

يقترح المؤلفون إطار عمل للتقييم يعتمد على نظرية الاستجابة للمفردة (IRT)، وهو نموذج قياس نفسي يُستخدم تقليديًا في الاختبارات التعليمية للفصل بين القدرة الكامنة وصعوبة المفردة.

أ. الإعداد التجريبي

مجموعات البيانات: SciEntsBank وBeetle (مجموعتا بيانات مستخدمتان على نطاق واسد في مجال ASAG مع مساحة تسمية مكونة من 5 فئات: صحيح، متناقض، صحيح جزئيًا/غير مكتمل، غير ذي صلة، خارج النطاق).
النماذج: 17 نموذجًا لغويًا كبيرًا مفتوح الأوزان (تتراوح أحجامها بين 0.8 مليار إلى 14 مليار معلمة) من عائلات متنوعة (Google، Qwen، Meta، Mistral، إلخ).
المهمة: يعمل كل نموذج لغوي كبير كـ "مصحح" يقوم بتعيين تسمية لاستجابة الطالب. ويُعرَّف "الصواب" بالاتفاق مع التسمية المرجعية (gold standard).

ب. صياغة IRT

يصيغ المؤلفون احتمالية قيام المصحح $i$ بتصحيح الاستجابة $j$ بشكل صحيح باستخدام نموذج 1PL Testlet Response Theory:
$P(y_{ij} = 1) = \sigma(\theta_i - b_j + u_{i, t(j)})$
حيث أن:

$\theta_i$ : قدرة المصحح الكامنة للنموذج $i$ .
$b_j$ : صعوبة التصحيح الكامنة لاستجابة الطالب $j$ .
$u_{i, t(j)}$ : تأثير الـ Testlet (انحراف خاص بالمصحح) المرتبط بالسؤال المحدد $t(j)$ لمراعاة الاعتمادات بين الأسئلة.
$\sigma(\cdot)$ : دالة اللوجستيك (logistic sigmoid).

يتم تقدير المعلمات عن طريق تقليل دالة السلب اللوغاريتمي المنظمة (regularized negative log-likelihood).

ج. التحقق والتحليل

استعادة المعلمات (Parameter Recovery): تُستخدم بيانات اصطناعية ناتجة عن النموذج الملائم للتحقق مما إذا كان إجراء التقدير يمكنه استعادة المعلمات الكامنة الأصلية (يشير الارتباط العالي إلى الاستقرار).
استقرار نصف المجموعة (Split-Half Stability): يتم إعادة تقدير النموذج على مجموعات فرعية منفصلة من البيانات لضمان إمكانية إعادة إنتاج مقاييس الصعوبة والقدرة المستنتجة.
التحليل المشروط بالصعوبة: يتم تصنيف الاستجابات حسب الصعوبة المقدرة ( $b_j$ $b_{j}$ ). ويحلل المؤلفون:
- اتجاهات الدقة عبر فئات الصعوبة.
- مصفوفات الارتباك (confusion matrices) لتحديد كيفية تحول أنماط الخطأ.
ارتباط الميزات: يتم ربط الميزات الدلالية واللغوية (مثل استلزام NLI، والمسافة بين التضمينات، والتداخل اللفظي) بالصعوبة المقدرة لتوصيف سبب كون بعض الاستجابات صعبة التصحيح.

3. المساهمات الرئيسية

إطار عمل قائم على IRT: تقديم منظور IRT لـ ASAG يفصل قدرة المصحح عن صعوبة الاستجابة، مما يسمح بتحليل دقيق يتجاوز الدرجات الإجمالية.
توصيف المتانة: إثبات أن النماذج اللغوية الكبيرة التي تمتلك درجات إجمالية متشابهة تظهر اختلافات جوهرية في مدى حدة انخفاض دقتها مع زيادة صعوبة الاستجابة.
اكتشاف أنماط الخطأ: تحديد نمط فشل محدد حيث لا تكون الأخطاء في الاستجابات الصعبة عشوائية، بل تتركز بشكل غير متناسب في تسمية صحيح جزئيًا/غير مكتمل، مما يشير إلى "انهيار التسمية المتوسطة" (intermediate-label collapse) تحت تأثير الغموض.
المتلازمات الدلالية للصعوبة: تقديم أدلة تجريبية تربط الصعوبة العالية في التصحيح بـ:
- ضعف التوافق الدلالي مع الإجابات المرجعية.
- إشارات التناقض القوية.
- العزلة في فضاء التضمين (embedding space).

4. النتائج الرئيسية

أ. الاستقرار والاستعادة

استعادة المعلمات: أظهر نموذج IRT استعادة شبه مثالية لقدرة المصحح ( $r \approx 0.999$ ) واستعادة قوية لصعوبة الاستجابة ( $r \approx 0.896$ )، مما يؤكد موثوقية التقديرات الكامنة.
استقرار نصف المجموعة: كانت تقديرات قدرة المصحح مستقرة للغاية عبر تقسيمات البيانات. وأظهرت تقديرات صعوبة الاستجابة استقرارًا متوسطًا إلى قوي، مما يشير إلى أن هيكل الصعوبة قابل لإعادة الإنتاج.

ب. تدهور الأداء

التباين في المتانة: مع زيادة الصعوبة (من الفئة B1 إلى B5)، انخفضت الدقة بشكل رتيب لجميع النماذج، لكن معدل الانخفاض تباين بشكل كبير.
- مثال: في مجموعة بيانات SciEntsBank، احتفظ نموذج Gemma-3-12B بدقة 16.6% في الفئة الأصعب، بينما انخفض نموذج Llama-3.1-8B إلى 2.1%.
- ميل تدهور الأداء هو سمة مستقرة للنموذج، وهي متسقة عبر كلا مجموعتي البيانات.

ج. أنماط الارتباك

الانهيار المتوسط: في الاستجابات عالية الصعوبة، يتم تصنيف الإجابات الصحيحة والمتناقضة وغير ذات الصلة بشكل متزايد كـ صحيح جزئيًا/غير مكتمل.
التفاؤل المفرط: غالبًا ما يتم تصنيف الاستجابات "الصحيحة جزئيًا/غير المكتملة" الصعبة على أنها صحيحة، مما يشير إلى أن النماذج تجد صعوبة في التمييز بين الإجابات الجزئية الغامضة والإجابات الصحيحة تمامًا.

د. متلازمات الصعوبة

المتلازمات السلبية (أسهل في التصحيح): الاستلزام العالي في NLI، والتشابه الدلالي العالي، والتداخل اللفظي العالي مع الإجابة المرجعية.
المتلازمات الإيجابية (أصعب في التصحيح): درجات التناقض العالية في NLI، والمسافات الكبيرة في فضاء التضمين (مسافة k-NN)، و"أجزاء المرجع المفقودة" الكثيرة.
الاستنتاج: الاستجابات الصعبة ليست مجرد قيم متطرفة عشوائية؛ بل هي استجابات غامضة دلاليًا، أو غير مكتملة، أو متناقضة بالنسبة للمرجع.

5. الأهمية والآثار المترتبة

ما وراء المقاييس التجميعية: تجادل الدراسة بأن تقييم النماذج اللغوية الكبيرة بناءً على متوسط الدرجات فقط أمر غير كافٍ. فالنموذج الذي يتدهور تدريجيًا في العناصر الصعبة هو نموذج متفوق نوعيًا على النموذج الذي ينهار، حتى لو كانت درجات F1 الإجمالية لهما متشابهة.
التصحيح بوجود العنصر البشري (Human-in-the-Loop): القدرة على تقدير صعوبة الاستجابة تسمح بإنشاء مسارات تصحيح انتقائية. يمكن تصحيح الاستجابات السهلة تلقائيًا، بينما يتم توجيه الاستجابات عالية الصعوبة (التي يتم تحديدها عبر ضعف التوافق الدلالي أو العزلة في التضمين) إلى مراجعين بشريين، مما يحسن الكفاءة والموثوقية.
تصميم المعايير (Rubric) والأوامر (Prompting): يوحي الميل نحو "الانهيار في التسمية المتوسطة" بأن استراتيجيات الأوامر الحالية تفتقر إلى حدود قرار واضحة. يقترح المؤلفون استخدام التقييم المتدرج (scaffolded evaluation) (قرارات فرعية متسلسلة حول الصلة، والصحة، والتناقض، والاكتمال) للتخفيف من هذا الانهيار.
العدالة التعليمية: إن فهم سبب صعوبة الاستجابة (مثل العزلة الدلالية مقابل التناقض) يوفر تغذية راجعة قابلة للتفسير للمعلمين، مما يتجاوز مجرد درجات "صواب/خطأ" بسيطة.

6. الحدود (Limitations)

نطاق النماذج: يقتවصر على 17 نموذجًا محددًا من النماذج مفتوحة الأوزان؛ وقد تختلف النتائج مع النماذج المملوكة لشركات أو النماذج الأكبر حجمًا.
تعميم مجموعات البيانات: تعتمد النتائج على مجموعتي بيانات في المجال العلمي؛ ولم يتم إثبات إمكانية تعميم النتائج على مجالات أخرى أو مخططات تسمية مختلفة.
الطبيعة الارتباطية: يحدد تحليل الميزات الارتباطات مع الصعوبة ولكنه لا يثبت الآليات السببية.