A Unified Survival Benchmark for Temporal Dropout Risk Prediction in Learning Analytics
تقدم هذه الورقة معياراً موحداً ومتعدد الأبعاد للبقاء من أجل التنبؤ بمخاطر التسرب الزمني باستخدام مجموعة بيانات OULAD، مما يثبت أن الإشارات السلوكية والزمنية تتفوق على السمات الثابتة مع تسليط الضوء على ضرورة فصل عائلات النماذج لتجنب العيوب التقييمية.
المؤلفون الأصليون:Rafael da Silva, Jeff Eicher, Gregory Longo
في كل فصل دراسي، تواجه الجامعات أزمة صامتة: طلاب يبدؤون مساقاتهم لكنهم لا يكملونها أبداً. لعقود من الزمن، حاول التربويون التنبؤ بمن يُحتمل أن ينسحب، آملين في تقديم المساعدة قبل فوات الأوان. هذا المجال، المعروف باسم تحليلات التعلم، يعامل بيانات الطلاب كخريطة، بحثاً عن أنماط تشير إلى وجود مشكلة. تقليدياً، كانت هذه الخرائط عبارة عن لقطات ثابتة، مبنية على خلفية الطالب، أو عمره، أو درجاته من السنوات السابقة. لكن رحلة الطالب ليست صورة فوتوغرافية واحدة؛ بل هي فيلم يُعرض أسبوعاً بعد أسبوع. إن خطر ترك المساق لا يستقر في مكان واحد؛ بل يتغير وينمو مع تفاعل الطالب مع المواد عبر الإنترنت، أو تفويت المواعيد النهائية، أو ببساطة التوقف عن النقر عبر موقع المساق الإلكتروني. كان السؤال الجوهري للباحثين هو ما إذا كان بإمكاننا بناء خريطة أفضل عبر مشاهدة هذا الفيلم في الوقت الفعلي، بدلاً من مجرد النظر إلى تترات البداية.
وضع فريق من الباحثين في جامعة إيسترن (Eastern University) هدفاً للإجابة على هذا السؤال من خلال بناء نوع جديد من الاختبارات لمقارنة طرق مختلفة للتنبؤ بتسرب الطلاب. استخدموا مجموعة ضخمة ومعروفة من البيانات من الجامعة المفتوحة (Open University)، والتي تتبع آلاف الطلاب عبر عدة مساقات. وبدلاً من مجرد إعلان فوز نموذج حاسوبي واحد، صمموا تجربة صارمة تحترم الفرق بين طريقتين متميزتين للنظر إلى الزمن. إحدى المجموعات، التي أطلقوا عليها اسم عائلة "الأسبوعي الديناميكي" (Dynamic Weekly)، راقبت الطلاب أسبوعاً بأسبوع، وتحدثت تنبؤاتها في كل مرة يظهر فيها نشاط جديد. أما المجموعة الأخرى، وهي عائلة "النافذة المبكرة الثابتة" (Static Early-Window)، فقد اتبعت نهجاً مختلفاً: حيث نظرت فقط إلى الأسابيع الأربعة الأولى من سلوك الطالب ثم قدمت تنبؤاً واحداً ثابتاً لبقية المساق. ولم يعامل الباحثون هذين النهجين كخصمين للتصنيف ضد بعضهما البعض، بل كعدستين مختلفتين لرؤية نفس الظاهرة، مما ضمن أن تكون المقارنة عادلة وألا تُشوه النتائج بسبب طريقة تنظيم البيانات.
قارنت الدراسة أربعة عشر نموذجاً حاسوبياً، تراوحت من الأدوات الإحصائية البسيطة إلى أنظمة الذكاء الاصطناعي المعقدة. وقاس الباحثون مدى قدرة كل نموذج على القيام بشيئين: تصنيف الطلاب بشكل صحيح حسب مستوى خطورتهم، وتقديم رقم احتمالي يطابق العدد الفعلي للطلاب الذين تسربوا. ولأن المجموعتين تستخدمان صياغات مختلفة للمخاطر، فقد أبلغ الباحثون عن النتائج داخل كل عائلة على حدة بدلاً من إنشاء تصنيف واحد مدمج. وضمن مجموعة "النافذة المبكرة الثابتة"، برز نموذج يسمى "غابة البقاء العشوائية" (Random Survival Forest) كأكثر النماذج موثوقية. لقد كان الأفضل في تحديد الطلاب المعرضين للخطر، والأهم من ذلك، كانت تقديراته الاحتمالية دقيقة للغاية. فعلى سبيل المثال، عندما توقع هذا النموذج احتمال تسرب طالب بنسبة ثلاثين بالمائة، كان معدل التسرب الفعلي لتلك المجموعة من الطلاب قريباً جداً من ثلاثين بالمائة. وهذه الدقة حيوية لأنها تعني أن المدارس يمكنها الوثوق بالأرقام لاتخاذ قرار بشأن من يحتاج إلى المساعدة. وضمن مجموعة "الأسبوعي الديناميكي"، تجمعت النماذج بشكل وثيق جداً في الأداء، حيث أظهر نموذج "بواسون للنموذج الأسي الجزئي" (Poisson Piecewise-Exponential) تفوقاً طفيفاً في مقياس واحد محدد، رغم عدم هيمنة أي نموذج بمفرده على جميع المقاييس.
ولعل الاكتشاف الأكثر أهمية لم يكن يتعلق بأي نموذج حاسوبي هو الأكثر ذكاءً، بل بما من المعلومات استخدمته النماذج لاتخاذ قراراتها. اختبر الباحثون ذلك من خلال إزالة أنواع مختلفة من البيانات من النماذج، واحداً تلو الآخر. جردوا النماذج من المعلومات الخلفية الثابتة، مثل عمر الطالب، أو جنسه، أو تعليمه السابق. ثم جردوا النماذج من البيانات السلوكية، مثل عدد مرات نقر الطالب على المواد الدراسية أو عدد الأسابيع التي كان فيها نشطاً. كانت النتائج واضحة ومتسقة عبر جميع النماذج تقريباً: المعلومات الخلفية لم تكن مهمة تقريباً. وعندما تمت إزالة البيانات السلوكية، انهارت قدرة النماذج على التنبؤ بالتسرب. كانت الإشارة المهيمنة ليست من هو الطالب، بل ماذا يفعل. وتحديداً، كان عدد النقرات في الأسابيع الأربعة الأولى وعدد الأسابيع النشطة هما أقوى المتنبئات. وهذا يشير إلى أن التسرب ليس سمة ثابتة في الشخص، بل هو عملية تتكشف من خلال انخراطه اليومي.
كما كشفت الدراسة أيضاً أن النماذج ليست متساوية في الموثوقية. وبينما قدمت معظم النماذج الرائدة تقديرات احتمالية صادقة، فإن نموذجاً واحداً في المجموعة الثابتة، يسمى "إكس جي بوست إيه إف تي" (XGBoost AFT)، كان أداؤه ضعيفاً بشكل عام؛ حيث عانى في تصنيف الطلاب بشكل صحيح وكانت تقديراته الاحتمالية بعيدة تماماً عن الواقع، مما يشير إلى أن بنيته الرياضية لم تكن مرنة بما يكفي للتعامل مع الطبيعة المتغيرة لمخاطر الطلاب. ويعزز هذا الاكتشاف فكرة أن الطريقة التي يُبنى بها النموذج لا تقل أهمية عن البيانات التي يراها. وخلص الباحثون إلى أنه بالنسبة للمؤسسات التي تتطلع إلى بناء أنظمة إنذار مبكر، فإن النهج الأفضل هو استخدام نموذج يركز على سلوك الشهر الأول. يمكنهم تقييم الطلاب في نهاية الأسبوع الرابع باستخدام بيانات بسيطة مثل عدد النقرات والأسابيع النشطة، وتحديد أولئك الذين لديهم خطر عالٍ من التسرب، ثم التدخل. لم تدّع الدراسة أن هذه الطريقة تعمل لكل جامعة أو كل مساق، حيث جاءت البيانات من مجموعة محددة من الوحدات الدراسية، لكنها قدمت إطاراً واضحاً وموحداً لفهم كيفية قياس المخاطر. والخلاصة هي أن طريق البقاء في الدراسة معبد بالأفعال اليومية، وأفضل طريقة للتنبؤ بمن سيغادر هي مراقبة تلك الأفعال عن كثب، بدلاً من الاعتماد على من كان عليه الطالب قبل وصوله.
لا يزال تسرب الطلاب يمثل تحديًا مستمرًا في التعليم العالي، ومع ذلك تعاني أبحاث تحليلات التعلم (LA) الحالية من بروتوكولات تقييم مجزأة. غالبًا ما تقارن الدراسات الموجودة النماذج في ظل ظروف متباينة، حيث تعطي الأولوية للقدرة على التصنيف (التمييز) بينما تهمل القابلية للتفسير المرتبط بالزمن وجودة المعايرة. علاوة على ذلك، تفشل الأدبيات بشكل متكرر في التمييز بين ما إذا كانت الإشارات التنبؤية تنشأ من السمات الطلابية الثابتة (الديموغرافيا، التعليم السابق) أو من الأنماط السلوكية الزمنية (المشاركة، تطور النشاط). هذا الافتقار إلى التقييم الموحد يجعل من الصعب تحديد ما إذا كانت فروق الأداء تعكس تفوقًا حقيقيًا للنموذج أم أنها ناتجة عن تمثيل زمني وتصميم تقييم.
المنهجية
تؤسس الدراسة معيارًا موحدًا موجهًا نحو البقاء باستخدام مجموعة بيانات "Open University Learning Analytics" (OULAD)، والتي تضم 32,593 عملية تسجيل عبر 7 وحدات دراسية و4 عروض تقديمية. الابتكار المنهجي الجوهري هو مقارنة 14 نموذجًا مضبوطًا منظمين في "عائلتين" تمثيليتين متميزتين، يتم تقييمهما بموجب بروتوكول مشترك لضمان الاتساق المنهجي مع احترام الاختلافات التمثيلية.
1. العائلات التمثيلية
العائلة أ (الأسبوعية الديناميكية): تستخدم تمثيل الشخص-الفترة حيث يتم توسيع كل عملية تسجيل إلى ملاحظات أسبوعية متسلسلة. تقوم النماذج بتقدير المخاطر الشرطية الأسبوعية، والتي يتم تجميعها لتشكيل منحنيات البقاء على مستوى التسجيل. تشمل هذه العائلة خمسة نماذج: الخطر المنفصل الزمني الخطي، البقاء المنفصل العصبي، نموذج بواسون ذي الأجزاء الأسية، نموذج التدرج المعزز للمخاطر الأسبوعية، ونموذج CatBoost الأسبوعي.
العائلة ب (النافذة المبكرة الثابتة): تستخدم تمثيلًا ثابتًا على مستوى التسجيل مشتقًا من الأسابيع الأربعة الأولى من الدورة التدريبية. يتم ضغط المعلومات الزمنية في ملخصات (قيم عددية) من النافذة المبكرة تُغذى مباشرة في نماذج بقاء ذات زمن مستمر. تشمل هذه العائلة تسعة نماذج: نموذج Cox المقارن، DeepSurv، غابة البقاء العشوائية (RSF)، نموذج Cox المعزز بالتدرج، نموذج Weibull AFT، نموذج Royston-Parmar، نموذج XGBoost AFT، ونموذج Neural-MTLR، وDeepHit.
2. هندسة الميزات
تم تنظيم الميزات في ثلاث مجموعات لتسهيل تحليل الاستبعاد والقابلية للتفسير:
الهيكلية الثابتة: الديموغرافيا والسجلات الأكاديمية السابقة (مشتركة لكلا العائلتين).
السلوكية الزمنية الديناميكية: إشارات المشاركة أسبوع بأسبوع (العائلة أ فقط).
السلوكية للنافذة المبكرة: ملخصات المشاركة المضغوطة من الأسابيع الأربعة الأولى (العائلة ب فقط).
3. بروتوكول التقييم الموحد
يستخدم المعيار إطار تقييم متعدد الأبعاد بدلاً من مقياس واحد:
الأداء التنبئي: يُقاس عبر درجة براير المتكاملة (IBS) للخطأ الاحتمالي العالمي، ومعامل التوافق المعتمد على الزمن (C-index) للتمييز الترتيبي، ودرجات براير الخاصة بآفاق زمنية محددة عند الأسابيع 10 و20 و30. تستخدم جميع المقاييس طريقة "الوزن العكسي لاحتمالية الرقابة" (IPCW) للتعامل مع الرقابة اليمنى.
تحليل الاستبعاد: إزالة مجموعات الميزات بشكل منهجي (الثابتة مقابل الزمنية) لقياس مصدر القوة التنبؤية.
القابلية للتفسير: تستخدم معاملات النموذج للنماذج الخطية وأهمية التبديل المجمعة للنماذج غير الخطية لتحديد مجموعات الميزات المهيمنة.
المعايرة: تقييم الاتساق العددي بين احتمالات خطر التنبؤ ومعدلات التسرب الملحوظة باستخدام فجوات المعايرة المطلقة الموزونة لكل أفق زمني.
الاستقرار: يتم تقييم عدم اليقين عبر 200 عينة إعادة أخذ عينات (bootstrap) على مستوى التسجيل (دون إعادة ضبط النموذج) لتحديد استقرار التصنيف.
ملاحظة بشأن التقارير: يتم الإبلاغ عن النتائج داخل كل عائلة على حدة. يتجنب المؤلفون صراحةً وضع ترتيب عددي واحد عبر العائلات، بحجة أن مقاييس البقاء حساسة للتمثيل الزمني، وأن التصنيف المشترك سيخلط بين اختلافات النماذج والآثار الناتجة عن التمثيل.
النتائج الرئيسية
1. الأداء التنبئي
العائلة ب (النافذة المبكرة الثابتة): برزت غابة البقاء العشوائية (RSF) كقائد، حيث حققت أعلى توافق معتمد على الزمن (0.674) وأقل درجات براير عبر جميع الآفاق الثلاثة. حافظت على موقع ريادي في 90% من عينات الـ bootstrap للتوافق. كان نموذج XGBoost AFT استثناءً صارخًا، حيث كان أداؤه ضعيفًا عبر جميع المقاييس (I IBS 0.1495، والتوافق 0.577).
العائلة أ (الأسبوعية الديناميكية): تجمعت جميع النماذج الخمسة ضمن نطاق ضيق لـ IBS قدره 0.0011. أظهر نموذج Poisson Piecewise-Exponential أدنى تقدير نقطي لـ IBS (0.1399)، ولكن لم يهيمن نموذج واحد على جميع المقاييس في آن واحد.
2. عز التوقيع (الاستبعاد والتفسير)
اتفقت تحليلات الاستبعاد والتفسير على نتيجة متسقة عبر جميع النماذج الثمانية المختبرة (أربعة من كل عائلة):
هيمنة السلوك الزمني: أدى حذف الإشارات السلوكية الزمنية أو إشارات النافذة المبكرة إلى خسائر أكبر بكثير في الأداء مقارنة بحذف المتغيرات الهيكلية الثابتة. في العائلة ب، كان الارتفاع في IBS عند حذف الإشارات الزمنية أكبر بمقدار 1.20 إلى 2.46 مرة من حذفه للإشارات الثابتة.
محركات الميزات: لم تكن الإشارات التنبؤية المهيمنة ديموغرافية أو هيكلية بل سلوكية. في العائلة ب، كانت "الأسابيع النشطة في أول 4 أسابيع" و"النقرات في أول 4 أسابيع" هي المحركات الرئيسية. وفي العائلة أ، كانت الميزات الزمنية الديناميكية أو مؤشر الزمن المنفصل هي المهيمنة.
3. المعايرة
العائلة ب: أظهرت RSF أفضل ملف تعريف للمعايرة، بفجوات قدرها 0.012 و0.016 و0.014 عند الآفاق 10 و20 و30 على التوالي. كان XGBoost AFT استثناءً شديدًا بفجوات تجاوزت 0.12.
العائلة أ: أظهرت النماذج فجوات معايرة أكبر (0.089–0.098 عند الأفق 10) مقارنة بأفضل نماذج العائلة ب، رغم أنها ظلت متسقة عددياً وتتفوق بمراحل على نموذج XGBoost AFT المستبعد.
الأهمية والادعاءات
تضع الورقة نفسها ليس كادعاء بامتلاك درجة جديدة من "الحالة الفنية القصوى" (SOTA)، بل كعرض لكيفية تشكيل بنية التقييم للاستنتاجات في تحليلات التعلم.
التقييم الموحد: تجادل الدراسة بأن مقارنات النماذج في تحليلات التعلم يجب أن تتجاوز المقاييس المنعزلة والإعدادات غير المتجانسة. من خلال استخدام بروتوكول موحد عبر عائلتين تمثيليتين، يعزل هذا المعيار تأثير التمثيل الزمني عن بنية النموذج.
العملية السلوكية الزمنية: المساهمة الجوهرية الأساسية هي الدليل على أن مخاطر التسرب مهيكلة كـ عملية سلوكية زمنية وليست مجرد وظيفة للسمات الخلفية الثابتة. هذا الاستنتاج صامد عبر النماذج الخطية، والنموذج القائمة على الأشجار، والنماذج العصبية، مما يشير إلى أن أنماط المشاركة المبكرة هي المحركات الرئيسية للخطر.
التقييم متعدد الأبعاد: توضح الدراسة أن التمييز (التصنيف) وحده غير كافٍ لاتخاذ القرارات التعليمية. المعايرة والقابلية للتفسير ضروريان؛ فعلى سبيل المثال، يتم تعزيز ريادة RSF من خلال معايرتها القوية، بينما يكون الأداء الضعيف لـ XGBoost AFT متسقاً عبر مقاييس التمييز، والخطأ، والمعايرة.
الجدوى العملية: تشير النتائج إلى أن التنبؤ بالنافذة المبكرة (عند الأسبوع 4) باستخدام مجموعات الأشجار مثل RSF هو أمر قابل للتطبيق ومعاير جيداً لإطلاق التدخلات، بشرط أن يتطابق سياق النشر مع سياق التدريب (إعدادات المناهج المشتركة).
القيود التي أقر بها المؤلفون:
تقتصر القدرة على التعميم على السياق المنهجي المشترك لمجموعة بيانات OULAD؛ ويتطلب الانتقال إلى وحدات أو مؤسسات أخرى إعادة تحقق محلية.
تعكس فترات الـ bootstrap التباين في أخذ عينات التسجيل فقط، وليس عدم اليقين الكامل لإعادة تدريب النموذج.
لم يتم تطبيق إعادة المعايرة اللاحقة (post-hoc recalibration) على التنبؤات المحتجزة.
لا تدعي الدراسة وجود علاقات سببية بين المشاركة والتسرب، بل تركز على الارتباطات التنبؤية فقط.