Response-free item difficulty modelling for multiple-choice items with fine-tuned transformers: Component-wise representation and multi-task learning

ملخص تقني: نمذجة صعوبة العناصر الخالية من الاستجابة للأسئلة متعددة الخيارات باستخدام نماذج المحولات (Transformers) المضبوطة بدقة

بيان المشكلة
يعد التقدير الدقيق لصعوبة العناصر أمراً بالغ الأهمية في التقييم التربوي عالي المخاطر، ومع ذلك، فإن المعايرة التقليدية القائمة على الاستجابة غالباً ما تكون غير متاحة للعناصر المكتوبة حديثاً، أو الاختبارات التجريبية الآمنة، أو المجموعات السكانية الصغيرة. وبينما تقدم أحكام الخبراء حلاً جزئياً، إلا أنها تفتقر إلى الموثوقية الكافية. وهذا يستلزم نمذجة صعوبة العناصر الخالية من الاستجابة (IDM)، حيث يتم استنتاج الصعوبة مباشرة من صياغة العنصر قبل عملية الإدارة.

تواجه النهج الحالية قيوداً كبيرة:

1. أنابيب هندسة الميزات: تقوم هذه النهج باستخراج ميزات نصية يدوياً (مثل قابلية القراءة، والعمق النحوي) وتغذيتها في نماذج إحصائية. تتطلب هذه العملية معالجة مسبقة مكثفة (مثل التجزئة الصرفية وإزالة كلمات التوقف) مما يؤدي إلى التخلص من المعلومات الصرفية والنحوية والاعتماد على تصميم ميزات مدفوع بالنظرية.
2. نظرية الاستجابة للمفردة (IRT) التفسيرية مع المشفرات المجمدة: تدمج طرق مثل نموذج اختبار اللوجيت الخطي (LLTM) ميزات العناصر في دالة الإمكانية. وتستخدم التعديلات الحديثة مشفرات BERT المجمدة لاستبدال الميزات المصممة يدوياً، لكن التمثيلات تظل مرتبطة بأهداف التدريب المسبق العامة بدلاً من مهمة نمذجة صعوبة العناصر (IDM) المحددة.
3. تحدي فهم القراءة: بالنسبة لأسئلة الاختيار من متعدد (MCQs) المتعلقة بفهم القراءة، تنشأ الصعوبة من المتطلبات الاستنتاجية عبر النص، والسؤال، والخيارات بشكل مشترك. غالباً ما تفشل استخراج الميزات البسيطة أو المشفرات المجمدة في التقاط هذه التفاعلات المعقدة وعبر المكونات، خاصة في نظم العينات الصغيرة النموذجية في القياس النفسي التطبيقي حيث تكون بيانات الصعوبة المصنفة شحيحة.

المنهجية
يقترح المؤلفون ويقيمون ثلاثة بنيات قائمة على المحولات (Transformers) تقوم بضبط نماذج المشفرات فقط (تحديداً ModernBERT) بدقة نهاية إلى نهاية (end-to-end) على صياغة العناصر، مما يلغي هندسة الميزات اليدوية. تستخدم الدراسة تصميماً متداخلاً لحجم التدريب على مجموعة بيانات RACE++ (29,618 عنصراً)، حيث يتم استخدام تسميات زائفة (pseudo-labeled) للصعوبة باستخدام نموذج لغوي كبير (Gemini 2.5 Flash) تمت معايرته مقابل تقديرات "راش" البشرية لمجموعة فرعية من PALRACE.

الطرق الثلاث المقارنة هي:

1. الترميز المشترك (Joint-Encoding - الأساس):

   • البنية: يتم دمج النص، والسؤال، والخيارات في تسلسل إدخال واحد مفصول بـ [SEP].
   • الآلية: يعالج مشفر Transformer قياسياً هذا التسلسل المسطح. يتم تمرير التمثيل المجمع من رمز [CLS] عبر رأس انحدار خطي للتنبؤ بالصعوبة ($\hat{b}_i$).
   • الهدف: تقليل متوسط مربع الخطأ (MSE) بين الصعوبة المتوقعة والصعوبة الموسومة زيفاً.

2. الترميز لكل مكون (Component-Wise Encoding):

   • البنية: يتم ترميز النص، والسؤال، ومجموعة الخيارات بشكل منفصل عبر مشفر مشترك.
   • الآلية: ينتج كل مكون تمثيلاً من نوع [CLS]. يتم دمج هذه المتجهات الثلاثة وتغذيتها لرأس الانحدار.
   • الدافع: يفرض هذا التفكك الوظيفي لعناصر الاختيار من متعدد بشكل صريح، مما يسمح للنموذج نظرياً بالحفاظ على الميزات العلاقاتية للمشتتات التي قد تضيع في التسلسل المسطح.

3. التعلم متعدد المهام (MTL):

   • البنية: يحتفظ بالترميز المشترك كمدخل، ولكنه يضيف فرعاً إضافياً لـ الإجابة على أسئلة الاختيار من متعدد (MCQA).
   • الآلية: يغذي المشفر المشترك رأسين:
     • رأس انحدار للصعوبة ($\hat{b}_i$).
     • رأس تصنيف ($f_\xi$) يتنبأ باحتمالية كون كل خيار هو الصحيح.
     • التدريب: تتناوب المهام لكل دفعة (batch). يتم إضافة متجه شرطي للمهمة قابل للتعلم ($z_t$) إلى تضمين [CLS] للإشارة إلى المهمة النشطة. يتم وزن خسارة MCQA بمقدار ($\lambda=0.05$) لمنع الانتقال السلبي.
   • الدافع: تعمل المهمة الإضافية كمنظم (regularizer)، مما يجبر المشفر على تعلم تمثيلات قادرة على التمييز بين الخيارات. وهذا يربط الميزات المتعلمة بالعملية المعرفية لأداء الاختبار، مما يوفر إشارة إشرافية عندما تكون تسمية الصعوبة الأساسية شحيحة.

النتائج الرئيسية
تم تقييم النماذج عبر ثلاثة أحجام لمجموعات التدريب ($n \approx 800$، $n \approx 4,300$، و $n \approx 23,000$) باستخدام RMSE، و $R^2$، ومعامل سبيرمان $\rho$.

• جدوى الضبط الدقيق من النهاية إلى النهاية: تفوقت جميع الطرق القائمة على المحولات بشكل كبير على المنظم "الاصطناعي" (الذي يتنبأ بمتوسط صعوبة مجموعة التدريب). عند $n \approx 800$، قللت النماذج من RMSE بنسبة 14-16% مقارنة بالنموذج الأساسي، مما يثبت أن الضبط الدقيق للمحولات هو بديل قابل للتطبيق لخطوط أنابيب هندسة الميزات.
• الترميز لكل مكون: لم يظهر هذا المتغير أي فائدة ملموسة مقارنة بالترميز المشترك. في الواقع، كان أداؤه أسوأ قليلاً في RMSE و $R^2$ عند أحجام العينات الصغيرة. يفسر المؤلفون ذلك بأن آلية الانتباه الذاتي في الترميز المشترك تستخلص بالفعل إشارات عبر المكونات بفعالية، مما يجعل التفكيك الهيكلي الصريح فائضاً عن الحاجة.
• التعلم متعدد المهام (MTL):
  • عند أصغر حجم عينة ($n \approx 800$)، حقق MTL تحسينات مزدوجة كبيرة مقارنة بالترميز المشترك في جميع المقاييس (RMSE، $R^2$، و Spearman $\rho$).
  • مع زيادة حجم مجموعة التدريب ($n \approx 4,300$ و $23,000$)، تضاءلت ميزة MTL لتصبح غير قابلة للتمييز إحصائياً عن الترميز المشترك.
  • يؤكد هذا الفرضية القائلة بأن هدف MCQA الإضافي يوفر إشارة تنظيمية حاسمة تحديداً عندما تكون إشارة الصعوبة الأساسية شحيحة.

الأهمية والادعاءات
يزعم البحث أن الضبط الدقيق للمحولات، لا سيما عندما يتم تنظيمه بواسطة مهمة إضافية مناسبة، يستعيد جزءاً كبيراً من إشارة الصعوبة المستمدة من الصياغة عند أحجام مجموعات التدريب النموذجية في سياقات القياس التطبيقي.

النقاط الرئيسية تشمل:

• الكفاءة: يدمج الضبط الدقيق من النهاية إلى النهاية مراحل المعالجة المسبقة والنمذجة لهندسة الميزات التقليدية في عملية واحدة مدفوعة بالبيانات.
• التنظيم في العينات الصغيرة: في الأنظمة الشحيحة البيانات، يعمل إضافة مهمة إضافية تحاكي عملية أداء الاختبار (MCQA) كتحيز استقرائي فعال، مما يمنع النموذج من تعلم طرق مختصرة سطحية ويحسن التعميم.
• التطبيق العملي: يمكن أن تعمل هذه التنبؤات الخالية من الاستجابة كتقديرات أولية أو سابقة (priors) في سير عمل المعايرة، مما قد يقلل من حجم العينة المطلوبة لعمليات الصقل اللاحقة القائمة على الاستجابة.

يظل المؤلفون متواضعين بشأن السقف المطلق للتنبؤ القائم على النص، مع الإقرار بأن عوامل مثل استراتيجيات أداء الاختبار والتخطيط البصري لا يتم التقاطها في الصياغة، وأن الأهداف الموسومة زيفاً تحتوي على ضجيج من كل من LLM وتقدير "راش" الأساسي. ومع ذلك، توفر الإطار واجهة قابلة للتخصيص للتوسعات المستقبلية ذات الدوافع القياسية النفسية.