Target Leakage in Machine Learning Models that Predict Higher Education Graduation from Administrative Records
تُظهر هذه الدراسة أن التنبؤات شبه المثالية التي تم الإبلاغ عنها سابقاً بشأن التخرج من التعليم العالي كانت ناتجة عن تسرب الهدف من سمات محددة بالنتيجة، وتثبت أنه عند استخدام بروتوكول مصحح وخالٍ من التسرب على السجلات الإدارية من غزة، تحقق نماذج تعلم الآلة دقة عالية ولكن واقعية (تصل إلى 89.16%) مع كون عدد الفصول الدراسية المكتملة هو أقوى مؤشر تنبؤي.
في الجامعة الحديثة، يُترك وراء كل طالب أثر رقمي هائل. فمنذ لحظة تقديمهم للطلب، تُسجل أسماؤهم ودرجاتهم وحضورهم في الأنظمة الإدارية، مما يخلق أرشيفاً ضخماً للتاريخ الأكاديمي. ولعقود من الزمن، حاول الباحثون استخراج البيانات من هذا السجل لإيجاد أنماط يمكنها التنبؤ بمن سيكمل دراسته الجامعية ومن قد يتسرب من الدراسة. والهدف هو تحديد الطلاب المتعثرين في وقت مبكر، مما يسمح للمدارس بتقديم المساعدة قبل فوات الأوان. ويعتمد هذا المجال، المعروف باسم تنقيب البيانات التعليمية، على قاعدة بسيطة ولكن صارمة: يجب إجراء التنبؤ باستخدام المعلومات المتاحة فقط في تلك اللحظة المحددة. فإذا استخدم النموذج معلومة لا توجد إلا بعد وقوع النتيجة بالفعل، فإنه يستخدم معلومات مستقبلية. وهذا الخطأ، الذي يسمى "تسرب الهدف"، يخلق شعوراً زائفاً باليقين، مما يجعل النموذج يبدو مثالياً بينما هو في الواقع يقرأ نموذج الإجابة فحسب.
لقد شرع فريق من الباحثين في غزة، فلسطين، في اختبار هذه الفكرة باستخدام سجلات تمتد لعشرين عاماً من الكلية الجامعية للعلوم التطبيقية. حيث فحصوا ملفات ما يقرب من 4700 طالب درسوا تكنولوجيا المعلومات بين عامي 2000 و2019. وبدأ تحقيقهم باكتشاف مذهل؛ فعندما بنوا نماذج حاسوبية للتنبؤ بالتخرج باستخدام البيانات كما هي مخزنة تماماً في نظام المدرسة، كانت النتائج مثالية بشكل مريب. حققت النماذج دقة بلغت 100 بالمائة، مما يعني أنها لم ترتكب خطأ واحداً. بدا هذا وكأنه انتصار، لكن الباحثين أدركوا أن النماذج لم تكن تتنبأ بالمستقبل فعلياً، بل كانت ببساطة تنظر إلى عمودين محددين في قاعدة البيانات: السنة التي تخرج فيها الطالب ومتوسط درجاته النهائية. هذه الأرقام لا تظهر في النظام إلا إذا كان الطالب قد أنهى درجته العلمية بالفعل. ومن خلال تضمينها، كان يتم إخبار النماذج بالإجابة قبل أن تبدأ الاختبار.
وبمجرد أن أزال الباحثون هذين العمودين من "المعلومات المستقبلية"، تغيرت الصورة تماماً. فقد تعين على النماذج، التي تضمنت أشجار القرار، والغابات العشوائية، وخوارزميات تعزيز التدرج، العمل فقط بالمعلومات المتاحة أثناء فترة دراسة الطلاب. وتحت هذه الظروف الصادقة، انخفضت الدقة إلى مستوى أكثر واقعية، حيث حامت حول 89 بالمائة. ورغم أن هذه النتيجة لا تزال قوية، إلا أنها بعيدة كل البعد عن الكمال المستحيل الذي شوهد من قبل. ووجد الباحثون أن أقوى إشارة لما إذا كان الطالب سيتخرج لم تكن معدله التراكمي، بل ببساطة عدد الفصول الدراسية التي أتمها بنجاح. فالطالب الذي يستمر في الحضور وإكمال الفصول الدراسية كان أكثر عرضة للتخرج من الطالب الذي يمتلك درجات عالية ولكنه يتوقف عن الحضور. وهذا يشير إلى أن الاستمرارية هي مؤشر أقوى للنجاح من الأداء الأكاديمي اللحظي.
كما بحثت الدراسة في مدى التبكير الذي يمكن من خلاله إجراء هذه التنبؤات. فعندما قيد الباحثون النماذج لاستخدام المعلومات المتاحة فقط في اللحظة التي يتقدم فيها الطالب للجامعة — مثل درجاته في المدرسة الثانوية وعمره — انخفضت الدقة إلى حوالي 70 بالمائة. وهذا يشير إلى أنه بينما يمكن للمدارس الحصول على تصور عام عن المخاطر قبل وصول الطالب، فإن الصورة الحقيقية لا تبرز إلا بمجرد أن يبدأ الطالب رحلته ويبدأ تاريخ حضوره في التكون. كما تحقق الباحثون مما إذا كانت النماذج تعامل الطلاب الذكور والإناث بإنصاف، ووجدوا أن النماذج لم تميز بينهم؛ بل في الواقع، ولأن الطالبات في هذه المجموعة المحددة كان لديهن معدل تخرج طبيعي أعلى، فقد تنبأت النماذج بشكل صحيح بأنهن أكثر عرضة للنجاح. كانت النسخة الأولى من الدراسة قد اقترحت قاعدة مختلفة بناءً على الجنس، لكن ذلك كان وهماً ناتجاً عن البيانات المعيبة.
إن تداعيات هذا العمل تمتد إلى ما وراء جامعة واحدة في غزة؛ فهي بمثابة درس تحذيري للمؤسسات في جميع أنحاء العالم المتلهفة لاستخدام الذكاء الاصطناعي لإدارة نجاح الطلاب. لقد أثبت الباحثون أن النموذج يمكن أن يبدو قوياً للغاية بينما هو عديم الفائدة تماماً إذا سُمح له بإلقاء نظرة على الإجابة. لقد قدموا طريقة واضحة للمدارس الأخرى للتحقق من بياناتها بحثاً عن هذه العيوب الخفية. وبالنسبة للمستشارين الجامعيين، تقدم النتائج المصححة مساراً عملياً للمضي قدماً: التركيز على الطلاب الذين يتوقفون عن حضور الحصص بدلاً من مجرد أولئك الذين لديهم درجات منخفضة، واستخدام هذه التنبؤات كدافع للحوار البشري بدلاً من القرار الآلي. وتخلص الدراسة إلى أن الدقة العالية ليست المقياس الوحيد للنموذج الجيد؛ فالنموذج الذي يكون صادقاً بشأن ما يعرفه وكيف عرفه هو الأكثر قيمة لمساعدة الطلاب في مسيرتهم التعليمية.
ملخص تقني: تسرب الهدف في نماذج تعلم الآلة للتنبؤ بالتخرج
بيان المشكلة تتناول هذه الدراسة خللاً منهجياً حرجاً في تنقيب البيانات التعليمية (EDM): وهو تسرب الهدف (Target Leakage). وتحديداً، تبحث الدراسة في كيفية قيام نماذج تعلم الآلة المدربة على السجلات الإدارية في مؤسسات التعليم العالي بإنتاج دقة عالية بشكل زائف (تقترب من 100%) عندما تُدرج سمات محددة للنتيجة ضمن مجموعة الميزات عن غير قصد. يفحص المؤلفون قاعدة بيانات تمتد لـ 20 عاماً (2000-2019) من الكلية الجامعية للعلوم التطبيقية (UCAS) في غزة، فلسطين، تشمل 4,704 طالباً في تخصص تكنولوجيا المعلومات. وتكمن المشكلة الجوهرية في أن أنظمة معلومات الطلاب القياسية غالباً ما تحتوي على حقول مثل "سنة التخرج" و"المعدل التراكمي للخريج"، والتي لا يتم ملؤها إلا للطلاب الذين تخرجوا بالفعل. إن إدراج هذه الحقول يسمح للنماذج بالاعتماد على وجود النتيجة بدلاً من التنبؤ بها.
المنهجية تستخدم الدراسة بروتوكولاً صارماً خالياً من التسرب لإعادة تقييم التنبؤ بالتخرج باستخدام ثلاثة مصنفات: شجرة القرار (DT)، والغابة العشوائية (RF)، وتعزيز التدرج (GBT).
معالجة البيانات وفحص التسرب:
تم تصفية مجموعة البيانات الأولية المكونة من 65,532 سجلاً لتصل إلى 4,704 طالباً في تخصص تكنولوجيا المعلومات.
خطوة حاسمة: تم تحديد صفتين، وهما GRADUATE_YEAR (سنة التخرج) و STD_GRADEAVG (المعدل التراكمي للطالب)، باعتبارهما دالتين حتميتين للنتيجة (حالة التخرج)، وتم استبعادهما. حيث تكون GRADUATE_YEAR فارغة لغير الخريجين، و STD_GRADEAVG تكون فارغة أو متميزة لغير الخريجين.
تصحيح البروتوكول: تفرض الدراسة ترتيباً صارماً حيث يتم إجراء تقسيم بيانات التدريب والاختبار (بنسبة 70/30 مع التقسيم الطبقي)قبل أي عملية تحجيم (Scaling) أو تعزيز (Augmentation) للبيانات. وهذا يمنع تسرب المعلومات من مجموعة الاختبار إلى عملية التدريب، وهو عيب كان موجوداً في عمل المؤلفين السابق.
التعزيز (Augmentation): تم تطبيق تعزيز الضجيج الغاوسي (Gaussian noise augmentation) على مجموعة التدريب فقط كعنصر تحكم سلبي.
التكوين (ب) (النموذج المصحح): يستخدم التاريخ الأكاديمي الكامل (باستثناء السمات المسربة) لوضع خطوط أساس واقعية للأداء.
التكوين (ج) (التنبؤ وقت القبول): يقصر الميزات على البيانات المتاحة عند الالتحاق (مثل المسار في الثانوية العامة، العمر، والتخصص المستهدف) لتقييم قدرات التنبؤ المبكر.
مقاييس التقييم:
يتم قياس الأداء عبر الدقة (Accuracy)، والمساحة تحت المنحنى (AUC)، ومقياس F1، والدقة (Precision)، والاستدعاء (Recall) على مجموعة اختبار مستقلة.
يتم تأكيد الصلاحية الإحصائية باستخدام التحقق المتقاطع الطبقي بخمس طيات (5-fold stratified cross-validation)، وفترات ثقة "ويلسون" (Wilson score intervals)، واختبار "ماكنيمار" (McNemar's test) للمقارنة بين النماذج.
تدقيق العدالة: تم استبعاد الجنس المسجل من الميزات المدخلة، ولكنه استُخدم لاحقاً لتدقيق أداء المجموعات الفرعية (التكافؤ الديموغرافي وتكافؤ الفرص).
النتائج الرئيسية
تأثير التسرب (التكوين أ): عند تضمين GRADUATE_YEAR و STD_GRADEAVG، حققت جميع المصنفات الثلاثة دقة بنسبة 100% مع تباين صفري في التحقق المتقاطع. وهذا يؤكد أن النماذج لا تتعلم الأنماط، بل تقوم ببساطة بقراءة تسمية النتيجة.
الأداء المصحح (التكوين ب): عند إزالة السمات المسربة، ينخفض الأداء إلى مستويات واقعية:
شجرة القرار (Decision Tree): دقة 87.18% (AUC = 0.933).
الدلالة الإحصائية: أظهر اختبار ماكنيمار أن الطريقتين التجميعتين (RF و GBT) لا يمكن التمييز بينهما إحصائياً (p=0.620)، بينما تفوقت كلتاهما بشكل ملحوظ على شجرة القرار.
أهمية الميزات: خلافاً للافتراضات السابقة بأن المعدل التراكمي (GPA) هو المتنبئ المهيمن، فإن عدد الفصول الدراسية المنتظمة المكتملة (r=+0.546) هو أقوى متنبئ، متجاوزاً المعدل التراكمي (r=+0.450). وهذا يشير إلى أن الاستمرارية هي إشارة أقوى من التحصيل.
التنبؤ المبكر (التكوين ج): باستخدام سمات وقت القبول فقط، حقق أفضل نموذج (GBT) دقة 70.47% (AUC = 0.769). وهذا يشير إلى أنه بينما توجد إشارات مبكرة، إلا أنها احتمالية وغير كافية لاتخاذ قرارات فردية عالية المخاطر.
العدالة: تظهر النماذج فرقاً في التكافؤ الديموغرافي يبلغ حوالي -0.11 (لصالح الإناث)، وهو ما يتماشى مع المعدل الأساسي لتخرج الإناث (45.0% مقابل 36.6% للذكور). النماذج لا تفرض تحيزاً، بل تعكس التفاوتات المؤسسية القائمة.
المساهمات الرئيسية
تشخيص تسرب الهدف: تقدم الورقة عرضاً قابلاً لإعادة الإنتاج يوضح كيف تؤدي السمات المحددة للنتيجة إلى دقة مثالية زائفة. كما تقدم بصمة تشخيصية محددة (دقة 100% عبر نماذج متباينة مع تباين صفري في التحقق المتقطع) لتتمكن المؤسسات من اكتشاف أخطاء مماثلة.
خطوط الأساس المصححة: تضع الدراسة خطوط أساس أداء دفاعية للتنبؤ بالتخرج في سياق محدود الموارد ومتأثر بالنزاعات (غزة)، مما يصحح الادعاءات المتضخمة سابقاً.
الصرامة المنهجية: تسلط الدراسة الضال على ضرية تقسيم البيانات قبل عمليات التحجيم/التعزيز، وتوضح التأثير السلبي لتعزيز الضجيج الغاوسي على هذه المجموعة من البيانات تحديداً.
العدالة والقابلية للتفسير: توفر تدقيقاً للمجموعات الفرعية حسب الجنس (الذي تم استبعاده من النموذج) وقواعد قرار قابلة للتفسير، مما يظهر أن الاستمرارية (عدد الفصول الدراسية) هي المحرك الرئيسي للتنبؤ، وليس العوامل الديموغرافية.
الأهمية والادعاءات يصرح المؤلفون صراحةً أن مساهمة الدراسة ليست في تحقيق دقة أعلى، بل في تقديم دقة قابلة للدفاع عنها. تكمن الأهمية في:
الموثوقية: كشف فشل منهجي شائع يجعل العديد من دراسات التنبؤ التعليمي ذات "الدقة المثالية" غير موثوقة.
التمثيل السياقي: تقديم تحليل بيانات طولي نادر من مؤسسة فلسطينية، مما يعالج فجوة التمثيل في الشرق الأوسط في أدبيات تنقيب البيانات التعليمية.
السياسة القابلة للتطبيق: تحويل التركيز من "من سيتخرج" إلى "من سيستمر". ويجادل المؤلفون بأن التدخلات الإرشادية يجب أن تُفعل بناءً على الانقطاعات في التقدم الدراسي (الاستمرارية) وليس فقط بسبب انخفاض الدرجات.
إرشادات النشر: تدعو الورقة إلى استخدام هذه النماذج كمحفزات للمراجعة البشرية (بسبب معدل خطأ سلبي بنسبة ~12%) بدلاً من أدوات اتخاذ القرار الآلية، وتؤكد على ضرية المراقبة المستمرة للمجموعات الفرعية لضمان النشر العادل.
تخلص الورقة إلى أن دقة التنبؤ العالية التي تتحقق بسهولة للغاية هي على الأرج old نتيجة لتسرب الهدف، وأن الذكاء الاصطناعي المسؤول في التعليم يتطلب الشفافية، والصرامة المنهجية، وفهماً بأن النماذج التنبؤية يجب أن تخدم الإشراف البشري، لا أن تحل محله.