Do Option-Elimination Logs Improve Student Models? A Preregistered Negative Result on EdNet-KT4
تخلص هذه الدراسة المسجلة مسبقاً على مجموعة بيانات EdNet-KT4 إلى أن إضافة سجلات استبعاد الخيارات إلى نماذج الطلاب لا يحقق أي تحسن ذي دلالة إحصائية في التنبؤ بالصحة أو ترتيب استهلاك المحاضرات، مما يجادل ضد إدراجها في النماذج التي تم تقييمها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التعليم الرقمي، تُوكل إلى البرمجيات مهمة دقيقة تتمثل في فهم عقل الطالب. هذه الأنظمة، التي تُسمى غالباً منصات التعلم التكيفي، تعتمد على "نموذج الطالب" — وهو لقطة رقمية لما يعرفه المتعلم، وما يعاني معه، وكيف يُحتمل أن يكون أداؤه لاحقاً. لبناء هذه اللقطة، تراقب البرمجية سجل الطالب: الأسئلة التي أجاب عليها بشكل صحيح، والوقت الذي استغرقه للإجابة، والمواضيع التي درسها سابقاً. لسنوات، تساءل الباحثون عما إذا كان من الممكن جعل النموذج أكثر حدة من خلال النظر في اللحظات البينية الفوضوية للتعلم. فعندما يواجه الطالب سؤالاً من نوع الاختيار من متعدد، فإنه غالباً ما يشطب الإجابات التي يعلم أنها خاطئة قبل الالتزام بخيار نهائي. هذا الفعل المتمثل في الاستبعاد، والذي يظهر في السجلات الرقمية للنظام، بدا وكأنه مصدر غني بالرؤى؛ إذ يوحي بأن الطالب يفكر، أو يستنتج، أو ربما يتردد. فإذا استطاع البرنامج رؤية هذه الخيارات المشطوبة، فهل يمكنه فهم الطالب بشكل أفضل مما يفعل بمجرد رؤية الإجابة النهائية؟
لقد وضع فريق من الباحثين حداً لهذا التساؤل من خلال تجربة صارمة ومخطط لها مسبقاً باستخدام مجموعة ضخمة من تفاعلات الطلاب الحقيقية. ركزوا على نوع محدد من البيانات: سجلات الطلاب الذين شطبوا إجابات خاطئة، بل وأعادوا بعضها أحياناً بعد تغيير آرائهم. طرح الباحثون سؤالاً بسيطاً ومباشراً: هل يؤدي إضافة سجل لهذه الخيارات المشطوبة إلى نموذج الطالب في الواقع إلى تحسين قدرة النظام على التنبؤ بالأداء المستقبلي أو التوصية بالدرس الصحيح التالي؟ لم يكتفوا بالتخمين؛ بل بنوا اختباراً منضبطاً حيث قارنوا نموذجاً قياسياً بنموذج يتضمن تاريخ الاستبعاد، مع ضمان بقاء كل عامل آخر كما هو تماماً.
كانت النتائج واضحة، وفي عالم الاكتشاف العلمي، كانت حاسمة للغاية. فبعد تحليل ما يقرب من مليوني نقطة تنبؤ من أكثر من 70,000 متعلم، وجد الباحثون أن إضافة سجلات الاستبعاد لم تؤدِ إلى تحسين نموذج الطالب. فقدرة النظام على التنبؤ بما إذا كان الطالب سيجيب على السؤال التالي بشكل صحيح ظلت دون تغيير يُذكر. وكان الفرق في الأداء ضئيلاً جداً — حيث تم قياسه في المرتبة الخامسة من الرقم العشري لدرجة الدقة المعيارية — لدرجة أنه لا يمكن تمييزه عن الضجيج العشوائي. وفي الواقع، بالنسبة لمهمة التوصية بالمحاضرة التي يجب أن يشاهدها الطالب تالياً، كان أداء النموذج الذي يتضمن سجلات الاستبعاد أسوأ قليلاً من النموذج الذي تجاهلها. وخلصت الدراسة إلى أنه بالنسبة لهذا النوع المحدد من منصات التعلم، فإن فعل شطب إجابة لا يوفر معلومات جديدة مفيدة حول معرفة الطالب. فالنظام يعرف بالفعل ما يكفي من خلال سجل الطالب للإجابات الصحيحة والخاطئة، وسرعته، وصعوبة الأسئلة التي واجهها.
ولضمان أن نتيجتهم السلبية لم تكن خطأً ناتجاً عن أداة قياس معيبة، ضمن الباحثون فحصاً داخلياً. فقد قاموا بإزالة مجموعة صغيرة من الميزات التي يعلمون أنها مهمة — وتحديداً توقيت نقر الطالب والوقت الذي استغرقه للإجابة — وراقبوا انخفاض أداء النموذج. وقد انخفض بالفعل، وبشكل ملحوظ بما يكفي لإثبات أن النظام حساس بما يكفي لاكتشاف التغييرات الحقيقية. وقد أكد ذلك أن النظام يعمل بشكل صحيح؛ ولكنه ببساطة لم يستطع إيجاد أي قيمة في سجلات الاستبعاد. تشير الدراسة إلى أن عملية شطب خيار ما في هذه المنصة غالباً ما تكون عادةً تتطلب جهداً منخفضاً أو إجراءً روتينياً في واجهة المستخدم، بدلاً من كونها إشارة عميقة لعملية تفكير الطالب. ولأن هذا الفعل لا يكلف شيئاً ولا يترتب عليه عقوبة، فإن العديد من الطلاب يقومون به دون تفكير كبير، أو يقومون به بطرق لا ترتبط ارتباطاً وثيقاً بفهمهم الفعلي للمادة.
كان هناك استثناء واحد صغير للقاعدة. فقد لاحظ الباحثون أنه بالنسبة لمجموعة محددة من الطلاب الذين يشطبون الإجابات بشكل متكرر جداً، بدت سجلات الاستبعاد تقدم تلميحاً ضئيلاً من القيمة. ومع ذلك، كانت هذه المجموعة صغيرة، وتلاشت هذه النتيجة عندما قام الباحثون بخلط البيانات للتأكد من أنها لم تكن مجرد تحديد لنوع معين من الطلاب بدلاً من فعل الاستبعاد نفسه. ظل الاستنتاج الرئيسي ثابتاً: بالنسبة للغالبية العظمى من المتعلمين، لم تكن البيانات الإضافية مفيدة. كما كشفت الدراسة عن مشكلة هيكلية أخرى في نظام التوصية نفسه؛ حيث وجدوا أن الطريقة التي يختار بها النظام المحاضرات المقترحة صارمة للغاية لدرجة تجعل من المستحيل التوصية بحوالي ثلث المحاضرات التي يشاهدها الطلاب بالفعل. هذا القصور، الناتج عن اختيار النظام للفيديوهات التي تشترك فقط في وسوم (tags) معينة مع الأسئلة التي تمت الإجابة عليها للتو، يعد عائقاً أكبر بكثير أمام التعلم الفعال من نقص بيانات الاستبعاد.
في نهاية المطاف، يعد هذا البحث دليلاً قيماً لمستقبل التكنولوجيا التعليمية. فهو يوضح أن ليس كل أثر رقمي يتركه الطالب خلفه يكون مفيداً. فمجرد قدرة النظام على تسجيل فعل ما لا يعني أن هذا الفعل يساعده في فهم المتعلم. ومن خلال إثبات أن سجلات الاستبعاد لم تحسن النموذج، وفرت الدراسة على الباحثين الآخرين عناء إضاعة الوقت في محاولة هندسة أنظمة معقدة حول إشارة غير موجودة أصلاً. وهي تشير إلى أن نماذج الطلاب الأكثر فعالية قد تحتاج إلى التركات على أنواع مختلفة من البيانات، ربما على المنصات حيث تكون الأفعال التي يتخذها الطلاب متعمدة ومكلفة، بدلاً من النقرات السريعة والمجانية في تطبيقات التحضير للاختبارات. الدرس المستفاد هو درس في الدقة: في السعي لفهم العقل البشري من خلال البيانات، أحياناً يكون أهم اكتشاف هو معرفة ما يجب تجاهله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.