Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

تواجه الجامعات حول العالم كل عام أزمة صامتة: وهي أن جزءاً كبيراً من طلابها يغادرون قبل إكمال درجاتهم العلمية. ولا يمثل هذا خسارة للطلاب فحسب، الذين غالباً ما يواجهون فرص عمل أقل ودخلاً أدنى، بل يمثل أيضاً ضربة مالية قوية للمؤسسات نفسها. لعقود من الزمن، حاول الباحثون حل هذا اللغز عبر بناء برامج حاسوبية يمكنها رصد الطلاب الذين يُحتمل أن ينسحبوا. هذه البرامج، المعروفة باسم نماذج تعلم الآلة، تحلل تاريخ الطالب — درجاته، وضعه المالي، وخلفيته — للتنبؤ بمستقبله. وكان الهدف دائماً هو رصد الطلاب المعرضين للخطر في وقت مبكر حتى تتمكن المدارس من تقديم المساعدة قبل فوات الأوان. ومع ذلك، ظل هناك خلل جوهري مستمر في هذه الجهود؛ فبينما تستطيع الحواسيب تقديم تنبؤ، إلا أنها نادراً ما تخبر المؤسسة بمدى إمكانية الثقة في هذا التنبؤ. قد يقول النموذج إن طالباً ما في خطر، لكنه لا يوفر وسيلة لمعرفة ما إذا كان هذا التحذير حقيقة راسخة أم مجرد تخمين مهتز. وبدون معرفة مدى موثوقية التوقعات، تخاطر المدارس بهدر الموارد على طلاب هم في الواقع بخير، أو الأسوأ من ذلك، تفوت الطلاب الذين يحتاجون حقاً إلى المساعدة.

تتناول دراسة جديدة أجراها كازي صبّير أحمد ناهين، وهو باحث في جامعة كنتاكي، هذه المشكلة من خلال تغيير كيفية تقديم هذه التنبؤات. فبدلاً من مطالبة الحاسوب بإعطاء إجابة واحدة حاسمة مثل "هذا الطالب سينسحب" أو "هذا الطالب سيتخرج"، تستخدم الدراسة منهجاً يسمى "التنبؤ المطابق" (conformal prediction). هذا النهج يطلب من الحاسوب تقديم مجموعة من النتائج المحتملة جنباً إلى جنب مع ضمان لمدى صحة تلك المجموعة. فكر في الأمر كفرق بين خبير أرصاد جوية يقول "ستمطر غداً" دون أي سياق، وبين قول "هناك احتمال بنسبة 95 بالمائة أن تمطر، وإذا أخطأت، فسيكون ذلك ضمن هذا النطاق المحدد من الاحتمالات". طبق الباحث هذا المنهج على بيانات أكثر من 4,400 طالب في جامعة برتغالية، حيث اختبر ستة أنواع مختلفة من النماذج الحاسوبية لمعرفة أي منها الأفضل في التنبؤ بما إذا كان الطالب سيتخرج، أو سينسحب، أو سيظل مسجلاً فقط.

وجدت الدراسة أن النماذج الحاسوبية كانت جيدة بالفعل في التمييز بين الطلاب الذين سينهون درجاتهم وأولئك الذين سيغادرون. وكانت النماذج الأفضل أداءً، والتي استخدمت تقنيات متقدمة للتعلم من البيانات، قد حددت النتيجة بشكل صحيح في حوالي 90 بالمائة من الحالات عند النظر فقط في النتيجتين النهائيتين: التخرج أو الانسحاب. ومع ذلك، جاء الاختراق الحقيقي عندما أضاف الباحثون طبقة عدم اليقين. فعندما طُلب من النماذج أن تكون واثقة للغاية — وتحديداً أن تكون على صواب بنسبة 95 بالمائة — لم تفرض إجابة واحدة لكل طالب. بدلاً من ذلك، أعادت النماذج لـ 9 إلى 12 بالمائة من الطلاب مجموعة تحتوي على كل من "تخرج" و"انسحاب". لم يكن هذا فشلاً للحاسوب، بل كان نجاحاً للمنهج الجديد؛ فقد يعني ذلك أن الطلاب في هذه الحالات المحددة لم تكن الأدلة المتاحة قوية بما يكفي لاختيار مستقبل واحد دون الآخر. لقد اعترف الحاسوب بصدق: "لا يمكنني التأكد بعد".

كان عدم اليقين هذا أكثر وضوحاً عندما أدرج الباحثون فئة ثالثة: الطلاب الذين لا يزالون مسجلين ولكن لم يتخرجوا بعد. وفي هذا السيناريو الأكثر تعقيداً، وجدت النماذج أنه بالنسبة لما يقرب من 40 بالمائة من الطلاب، أشارت الأدلة إلى احتمالات متعددة. تمثل مجموعة "لا يزال مسجلاً" حالة انتقالية يكون فيها مسار الطالب غير محدد فعلياً. ومن خلال فرض تسمية واحدة على هؤلاء الطلاب، ربما أخفت الدراسات السابقة حقيقة أن التنبؤ كان مهتزاً. أما الإطار الجديد، فقد جعل هذا الغموض مرئياً؛ حيث أظهر أن مسار نسبة كبيرة من الطلاب لم يكن واضحاً بعد، وأن الحاسوب لا يستطيع التنبؤ بالنتيجة النهائية بثقة. وهذا تمييز حاسم لمديري المدارس، لأنه يمنعهم من التعامل مع التخمين المهتز بنفس وزن الحقيقة الراسخة.

وبعيداً عن مجرد قياس عدم اليقين، بحثت الدراسة أيضاً في العوامل التي تقف وراء هذه التنبؤات. وباستخدام تقنية تفكك عملية صنع القرار لدى الحاسوب، وجد الباحثون أن أقوى الإشارات جاءت من التقدم الأكاديمي للطالب. وتحديداً، كان عدد الدورات التي اجتازها الطالب ودرجاته في الفصل الدراسي الثاني هي أقوى المؤشرات على مستقبله. كما لعب الضغط المالي دوراً كبيراً؛ فالطلاب المتأخرون في دفع الرسوم الدراسية أو الذين يحملون ديوناً كانوا أكثر عرضة للتصنيف كمعرضين للخطر. وتتماشى هذه النتائج مع النظريات طويلة الأمد حول أسباب ترك الطلاب للدراسة، مما يؤكد أن التكامل الأكاديمي والاستقرار المالي هما ركيزتان أساسيتان للاستمرار. لم تدّعِ الدراسة أن هذه العوامل تسبب انسحاب الطلاب، بل قالت إنها أكثر القرائن موثوقية التي يمكن للحاسوب استخدامها لرصد المشكلات.

إن آثار هذا العمل عملية ومباشرة في كيفية إدارة الجامعات لمواردها. تقترح الدراسة نظاماً متدرجاً للعمل بناءً على هذه التنبؤات. فإذا احتوت مجموعة تنبؤ الطالب على نتيجة "انسحاب" فقط، يمكن للمدرسة منحهم الأولوية للدعم المكثف والفوري مثل الدروس الخصوصية أو الاستشارات المالية. وإذا احتوت المجموعة على "تخرج" فقط، فيمكن ترك الطالب يواصل دراسته دون تدخل غير ضروري. أما بالنسبة للطلاب الذين تحتوي مجموعة تنبؤاتهم على نتائج متعددة — أولئك الذين لا يستطيع الحاسوب الحسم بشأنهم — فتقترح الدراسة نهجاً مختلفاً؛ إذ ينبغي إحالتهم إلى مستشارين بشريين لإجراء نظرة فحص وثيقة. يمكن للمستشار جمع المزيد من المعلومات، مثل التحدث إلى الطالب أو التحقق من حضوره، للمساعدة في حسم حالة عدم اليقين قبل اتخاذ قرار. وهذا يحول الحاسوب من قاضٍ نهائي إلى أداة مساعدة تسلط الضوء على المواضع التي تشتد فيها الحاجة إلى الحكم البشري.

في نهاية المطاف، تشير هذه الأبحاث إلى أن مستقبل دعم الطلاب لا يكمن في بناء حواسيب تكون دائماً على صواب، بل في بناء أنظمة تكون صادقة بشأن متى تكون غير متأكدة. ومن خلال تحديد كمية عدم اليقين، يمكن للمدارس التوقف عن التخمين والبدء في اتخاذ قرارات مدروسة. يمكنهم توجيه مواردهم المحدودة إلى الطلاب الذين يحتاجون إليها بشدة، مع تجنب الوصمة والهدر في حالات تكون فيها النتيجة واضحة بالفعل. وتخلص الدراسة إلى أنه بينما يعد تعلم الآلة أداة قوية لرصد الأنماط في بيانات الطلاب، إلا أنه يجب أن يقترن بأساليب تقيس الموثوقية. عندها فقط يمكن لهذه الأنظمة دعم الهدف المتمثل في مساعدة كل طالب على عبور خط النهاية.