Target-Adaptive Probability Calibration for Reliable Student Risk Prediction under Cross-Module Dataset Shift

في المشهد الواسع للتعليم عبر الإنترنت، تولد المنصات تدفقاً مستمراً من البصمات الرقمية: النقرات على المواد الدراسية، وتسليم التكليفات، وأنماط نشاط تسجيل الدخول. ويأمل التربويون والإداريون في استخدام هذه البيانات لتحديد الطلاب الذين يعانون من صعوبات قبل فوات الأوان، وتقديم المساعدة لأولئك الذين قد ينسحبون لولا ذلك. ومع ذلك، فإن تحويل هذه الآثار الرقمية إلى نظام إنذار موثوق أمر محفوف بالصعوبات. فالنموذج الذي يعمل بشكل مثالي في مساق واحد غالباً ما يفشل عند تطبيقه على مساق آخر، ببساطة لأن الطلاب، أو أسلوب التدريس، أو طريقة توزيع الدرجات تختلف. علاوة على ذلك، قد يكون برنامج الكمبيوتر بارعاً جداً في ترتيب الطلاب من "الأكثر عرضة للخطر" إلى "الأقل عرضة للخطر"، ولكن إذا كان الرقم المحدد الذي يخصصه لدرجة خطورة الطالب خاطئاً، فإنه يصبح أمراً خطيراً. فإذا أخبر النظام معلماً أن لدى طالب احتمال تسعين بالمائة للفشل بينما الاحتمال الحقيقي هو ثلاثون بالمائة فقط، فقد يهدر المعلم وقتاً ثميناً على طالب لا يحتاج إليه، أو والأسوأ من ذلك، قد يتجاهل طالباً يحتاج فعلاً للمساعدة. التحدي الجوهري ليس مجرد التنبؤ بمن سيعاني، بل ضمان أن أرقام الاحتمالات التي تخرج من الكمبيوتر صادقة وجديرة بالثقة، حتى عند نقل النظام إلى بيئة فصل دراسي جديدة.

لقد عالج الباحثون في جامعة شاندونغ ينغ تساي هذه المشكلة من خلال بناء إطار عمل مصمم لجعل تنبؤات المخاطر هذه موثوقة عبر مختلف الوحدات الجامعية، أو المساقات. وقد استخدموا مجموعة بيانات ضخمة ومجهولة المصدر من الجامعة المفتوحة (Open University)، والتي احتوت على سجلات لما يقرب من ثلاثين ألف طالب عبر سبع وحدات مختلفة. وضع الفريق اختباراً صارماً حيث قاموا بتدريب نماذجهم على بيانات من ست وحدات، ثم حاولوا تطبيق تلك النماذج على الوحدة السابعة، التي لم يسبق لهم رؤيتها من قبل. هذا النهج، المعروف باسم اختبار "ترك وحدة واحدة خارج الحساب"، يحاكي سيناريو واقعياً حيث ترغب مدرسة في استخدام نظام تم بناؤه لمجموعة من الفصول الدراسية لمساعدة الطلاب في مجموعة مختلفة تماماً من الفصول. وقد تحققوا من تنبؤاتهم في أربع نقاط زمنية مختلفة: بعد أسبوعين، وأربعة أسابيع، وستة أسابيع، وثمانية أسابيع من بدء المساق. سمح لهم ذلك برؤية كيف تتغير دقة التنبؤات مع توفر المزيد من المعلومات حول الطلاب.

وكشفت الدراسة أنه بينما كانت النماذج جيدة جداً في ترتيب الطلاب — أي تحديد من هم أكثر عرضة للفشل من غيرهم — إلا أن أرقام الاحتمالات الخام التي أنتجتها كانت غالباً مضللة عند نقلها إلى مساق جديد. فعندما طبق الباحثون نموذجاً تم تدريبه على وحدة واحدة مباشرة على وحدة أخرى دون أي تعديلات، لم تتطابق الاحتمالات المتوقعة مع النتائج الفعلية. على سبيل المثال، قد يتوقع النظام مستوى معيناً من الخطورة يكون مرتفعاً أو منخفضاً باستمرار مقارما حدث بالفعل. وهذا فشل حرج لنظام الإنذار المبكر، لأن الإداريين بحاجة إلى معرفة أن تسمية "عالي الخطورة" تعني حقاً فرصة عالية للفشل، وليس مجرد مقارنة نسبية. ولإصلاح ذلك، طور الباحثون طريقة تسمى "المعايرة التكيفية للهدف". تتضمن هذه العملية أخذ كمية صغيرة من البيانات التاريخية من المساق الجديد — وتحديداً نتائج العروض السابقة لذلك المساق نفسه — واستخدامها لضبط أرقام النموذج بلطف. وقد اختبروا استخدام بيانات تاريخية تمثل عشرة أو عشرين أو ثلاثين بالمائة من عدد الطلاب لمعرفة مقدار التعديل المطلوب.

وأظهرت النتائج أنه حتى كمية متواضعة من البيانات التاريخية من المساق الجديد يمكن أن تحسن دقة التنبؤات بشكل كبير. فعندما استخدم الباحثون بيانات تاريخية من ثلاثين بالمائة من مجموعة الطلاب لإعادة معايرة النموذج، تحسنت دقة تقديرات الاحتمالية بشكل ملحوظ. وانخفض مقياس الخطأ، المعروف باسم "درجة براير" (Brier score)، من قيمة 0.243 إلى 0.205، كما انخفض مقياس آخر لمدى مطابقة الاحتمالات للواقع، يسمى "خطأ المعايرة المتوقع"، من 0.158 إلى 0.076. والأهم من ذلك، أن هذا التعديل لم يغير الترتيب الذي تم به تصنيف الطلاب؛ إذ ظل الطلاب الأكثر عرضة للخطر في أعلى القائمة. بدلاً من ذلك، قام التعديل ببساطة بجعل الأرقام المرتبطة بهؤلاء الطلاب أكثر دقة. وهذا يعني أن المعلم الذي ينظر إلى طالب لديه درجة "خطر عالٍ" يمكنه الوثوق في أن الرقم يعكس حقاً احتمالية فشل ذلك الطالب، وليس مجرد تخمين مشوه بناءً على مساق مختلف.

كما استكشف الباحثون ما إذا كانت الأساليب الأكثر تعقيداً، مثل محاولة إعادة وزن البيانات رياضياً لمراعاة الاختلافات بين المساقات، ستؤدي إلى نتائج أفضل. ووجدوا أن هذه الأساليب الأكثر تعقيداً لم تقدم أي ميزة كبيرة على الطريقة الأبسط المتمثلة في استخدام البيانات التاريخية لضبط الاحتمالات. كانت الاستراتيجية الأكثر فعالية هي ببساطة أخذ مخرجات النموذج وتعديلها باستخدام النتائج المعروفة من ماضي المساق الجديد. وهذه النتيجة مهمة لأنها تشير إلى أن المدارس ليست بحاجة إلى بناء نماذج جديدة ومعقدة لكل مساق تقدمه، بل يمكنها استخدام نموذج عام ثم ضبطه بدقة باستخدام قدر ضئيل من البيانات المحلية لجعله موثوقاً.

وبعيداً عن الأرقام، نظرت الدراسة في كيفية ترجمة هذه الاحتمالات المعايرة إلى إجراءات واقعية. ففي البيئة المدرسية، يمتلك المعلمون وطاقم الدعم وقتاً محدوداً ولا يمكنهم مراجعة سوى عدد معين من الطلاب. وقد قام الباحثون بمحاكاة هذا القيد من خلال التساؤل: إذا كان بإمكان المعلم مراجعة أعلى عشرة بالمائة من الطلاب الأكثر عرضة للخطر فقط، فكم عدد حالات الانسحاب المستقبلية الفعلية التي سيتمكن من رصدها؟ ووجدوا أن الاحتمالات المعايرة سمحت بفهم أوضح لهذا المقايضة. فبدون المعايرة، قد يضع المعلم حداً يبدو معقولاً ولكنه ينتهي به الأمر بمراجعة الكثير من الطلاب أو تفويت العديد من الأفراد المعرضين للخطر. ومع الاحتمالات المعايرة، يمكن للمعلم وضع حد محدد ومعرفة بالضبط عدد الطلاب الذين سيتم وضع علامة عليهم وعدد الطلاب المعرضين للخطر الذين سيتم رصدهم. على سبيل المثال، عند حد معين من خطر، قلل النظام المعاير عبء العمل بنسبة تقرب من النصف مع الاستمرار في رصد جزء كبير من الطلاب الذين كانوا سيفشلون، مما يجعل النظام أكثر عملية للمؤسسات التعليمية المزدحمة.

كما بحثت الدراسة في مدى عدالة هذه التنبؤات عبر مجموعات مختلفة من الطلاب، مثل أولئك الذين لديهم خلفيات أو قدرات مختلفة. ووجدوا أنه بينما كان النظام العام يعمل بشكل جيد، إلا أنه لا تزال هناك تباينات في مدى دقة التنبؤ بالنتائج لمجموعات فرعية محددة. وهذا يسلط الضوء على أنه حتى النظام المعاير جيداً يتطلب مراقبة مستمرة لضمان عدم إلحاق الضرر ببعض فئات المتعلمين دون قصد. وقد استخدم الباحثون أدوات لشرح العوامل التي دفعت التنبؤات، ووجدوا أن أهم الإشارات كانت تتعلق بالتكليفات المفقودة وعدم النشاط الأخير. وتساعد هذه الشفافية التربويين على فهم أن النظام يضع علامات على الطلاب بناءً على سلوكيات ملموسة، مثل عدم تسليم الأعمال أو التوقف عن المشاركة، بدلاً من عوامل خفية أو متحيزة.

في نهاية المطاف، يوفر هذا البحث خارطة طريق لجعل الذكاء الاصطناعي في التعليم أكثر موثوقية وفائدة. فهو يوضح أن العقبة الكبرى في نقل نظام تنبؤي من مساق إلى آخر ليست بالضرورة القدرة على ترتيب الطلاب بشكل صحيح، بل القدرة على جعل أرقام الاحتمالات صادقة. ومن خلال استخدام عملية بسيطة لتعديل النموذج باستخدام قدر ضئيل من البيانات التاريخية المحلية، يمكن للمدارس ضمان أن تكون أنظمة الإنذار المبكر لديها دقيقة وقابلة للتنفيذ. وتخلص الدراسة إلى أنه بينما التكنولوجيا قوية، فإن قيمتها الحقيقية تكمن في قدرتها على التكيف مع السياق المحدد للفصل الدراسي، مما يضمن أن التحذيرات المرسلة إلى التربويين ليست سليمة إحصائياً فحسب، بل مفيدة حقاً في دعم الطلاب الذين يعانون من صعوبات.