Tracing intermittent knowledge states based on knowledge-context-aware augmentation of Q-matrices

تخيل أنك تحاول تتبع تقدم طالب في تعلم موضوع معقد، مثل الرياضيات. في عالم "تتبع المعرفة" (knowledge tracing)، يعمل العلماء كالمحققين، محاولين اكتشاف ما يعرفه الطالب وما لا يعرفه بالضبط في أي لحظة معينة. يفعلون ذلك من خلال مراقبة كيفية إجابة الطلاب على الأسئلة بمرور الوقت. تقليديًا، افترضت العديد من النماذج الحاسوبية أن معرفة الطالب تشبه لاعب السيرك الذي يمشي على حبل مهتز: يتأرجح ويتغير ويتقلب بجنون مع كل سؤال يجيب عليه. إذا أجاب الطالب على سؤال واحد بشكل صحيح، تقفز "مستوى معرفته" للأعلى؛ وإذا أخطأ في سؤال، تنهار للأس নিচে.

ومع ذلك، فإن الحياة الواقعية ليست بهذا القدر من الفوضى. فكر في التعلم كبناء منزل. قد تقضي أسبوعًا في رص الطوب (التعلم)، ثم تأخذ عطلة نهاية الأسبوع (تنسى قليلاً)، ولكن عندما تعود يوم الاثنين، ستجد أن الأساس الذي بنيته الأسبوع الماضي لا يزال موجودًا في معظمه. إنه لا يتلاشى لمجرد أنك أخذت استراحة. تفتقد معظم النماذج الحاسوبية الموجودة هذه الطبيعة "المتقطعة" للتعلم—فكرة أن المعرفة تظل مستقرة لفترة أثناء الاختبار، ولكن يمكن أن تتغير بشكل كبير بين فترات الاختبار المختلفة. تهدف هذه الورقة البحثية، بعنوان "تتبع حالات المعرفة المتقطعة بناءً على تعزيز مصفوفة Q المدرك لسياق المعرفة"، إلى بناء محقق أكثر ذكاءً يفهم هذا الإيقاع. إنها تقدم نموذجًا جديدًا يسمى INKT، والذي لا يكتفي بمراقبة الطالب فحسب، بل يفهم خريطة المعرفة نفسها وكيف يتعلم الطلاب وينسون بمرور الوقت.

الخريطة والقطع المفقودة

لفهم حل الورقة البحثية، نحتاج أولاً إلى النظر في الأدوات التي استخدمها الباحثون. تخيل خريطة ضخمة لمدينة حيث يمثل كل شارع فيها "مفهومًا معرفيًا" (مثل الجبر أو الهندسة) وكل مبنى يمثل "سؤال اختبار". في هذه المدينة، تؤدي بعض الشوارع مباشرة إلى أخرى؛ فلا يمكنك القيادة إلى الطريق السريع دون المرور بمنحدر الصعود أولاً. تُسمى هذه الخريطة في هذا السياًق مصفوفة Q (Q-matrix). وهي قائمة تخبر الحاسوب أي المفاهيم مطلوبة للإجابة على أي أسئلة.

المشكلة هي أن الخرائط التي يقدمها الخبراء البشريون غالبًا ما تكون غير مكتملة. فهي تعرض فقط الروابط الواضحة. على سبيل المثال، قد تقول الخريطة: "لحل هذه المسألة في التفاضل والتكامل، تحتاج إلى معرفة المشتقات". لكنها تنسى ذكر أنه لكي تعرف المشتاقات، يجب أن تعرف أيضًا النهايات، ولكي تعرف النهايات، يجب أن تعرف الدوال. الحاسوب، وهو ينظر إلى الخريطة غير المكتملة، يعتقد أن الطالب يحتاج فقط إلى معرفة المشتقات. فإذا أخطأ الطالب في مسألة التفاضل والتكامل، سيلوم الحاسوب مهارة التفاضل والتكامل، متجاهلاً حقيقة أن الطالب قد نسي في الواقع كيفية التعامل مع النهايات.

أدرك مؤلفو هذه الورقة أنه لإصلاح الخريطة، عليهم النظر في "طوبولوجيا" المدينة—أي شكل الروابط. لقد اقترحوا طريقة لـ "تعزيز" (أو ترقية) مصفوفة Q. فبدلاً من مجرد النظر في الروابط المباشرة، يقوم خوارزمهم بتتبع المسارات الكاملة عبر الرسم البياني للمعرفة. إذا كان المفهوم (أ) يؤدي إلى المفهوم (ب)، والمفهوم (ب) يؤدي إلى المفهوم (ج)، فإن الحاسوب يتعلم أن القيام بمهمة للمفهوم (ج) يتضمن أيضًا المفهومين (أ) و(ب). لقد استخدموا طريقة رياضية تسمى "الترتيب الطوبولوجي" لتنظيم هذه المفاهيم بترتيب منطقي، مثل ترتيب الكتب على الرف من الأسهل إلى الأصعب. ومن خلال القيام بذلك، تمكنوا من ملء الروابط "الخفية"، محولين خريطة متفرقة وغير مكتملة إلى دليل غني ومفصل يوضح كيف ترتبط جميع المفاهيم ببعضها سرًا.

المحقق "المتقطع"

بمجرد حصولهم على خريطة أفضل، بنى الباحثون نموذج المحقق الجديد الخاص بهم، INKT. الفكرة الجوهرية هنا هي أن حالات المعرفة "متقطعة". وهذا يعني أنه خلال اختبار قصير (مثل اختبار مدته 30 دقيقة)، تكون معرفة الطالب مستقرة نسبيًا. فهو لا ينسى كل شيء فجأة أو يتعلم فصلًا جديدًا في منتصف الاختبار. ومع ذلك، بين الاختبارات—على سبيل المثال، بفارق أسبوع—قد ينسى الطلاب بعض الأشياء ("معدل النسيان") أو يتعلمون أشياء جديدة ("معدل التعلم").

تعاملت معظم النماذج القديمة مع كل سؤال كحدث جديد تمامًا حيث يمكن لمعرفة الطالب أن تتأرجح بجنون. أما INK-T، من ناحية أخرى، فيحترم النوافذ الزمنية. فهو يفترض أنك إذا أجريت اختبارًا اليوم، فإن معرفتك هي نسخة متطورة قليلاً مما كانت عليه بالأمس، بعد تعديلها بناءً على مقدار ما تعلمته أو نسيته في هذه الأثناء. يستخدم إطارًا رياضيًا يسمى "نظرية الاستجابة للمفردة" (IRT)، وهي طريقة معقدة تعني أنه لا يأخذ في الاعتبار فقط ما إذا كنت قد أجبت بشكل صحيح، بل يأخذ في الاعتبار أيضًا مدى صعوبة السؤال ومدى قدرة السؤال على التمييز بين الطالب الذكي والطالب الذي يخمن الإجابة.

كما يأخذ النموذج في الاعتبار "منحنى النسيان"، وهو مفهوم من علم النفس يشير إلى أننا نفقد المعلومات بمرور الوقت إذا لم نستخدمها. يحسب INKT "معدل نسيان" محددًا لكل طالب ولكل مفهوم، و"معدل تعلم" لكيفية اكتسابهم للأشياء. ثم يستخدم هذه المعدلات للتنبؤ بما يجب أن تكون عليه حالة معرفة الطالب في الاختبار التالي، بدلاً من مجرد التخمين بناءً على الإجابة الأخيرة.

ماذا أظهرت التجارب

لمعرفة مدى جودة هذا المحقق الجديد، اختبره الباحثون على عدة مجموعات بيانات. لقد أنشأوا مجموعة بيانات مخصصة تسمى MTest من مدرسة ثانوية حقيقية في شنزن بالصين، شملت 69 طالبًا، و7 اختبارات، و88 مفهومًا معرفيًا. كما استخدموا ثلاث مجموعات بيانات عامة (Math1 و Math2 و FrcSub)، بل وقاموا بإنشاء مجموعة بيانات محاكاة ضخمة تسمى FMTest باستخدام طريقة تسمى "تحليل المفهوم الصوري" (Formal Concept Analysis) لمعرفة كيف يتعامل النموذج مع مجموعات كبيرة من الطلاب.

كانت النتائج واعدة للغاية. فعندما قارنوا INKT بالنماذج الأخرى (بعضها كان أبسط، وبعضها كان أكثر تعقيدًا ولكنها لم تأخذ الطبيعة "المتقطعة" للتعلم في الاعسبار)، تفوق INK-T باستمرار في الأداء.

• في مجموعة بيانات MTest، حقق INKT دقة (ACC) تبلغ حوالي 0.77 في أفضل سيناريو اختبار، بينما حقق أفضل نموذج تالٍ حوالي 0.57 فقط.
• وفي مجموعة البيانات المحاكة الضخمة FMTest، وصل INKT إلى دقة بلغت 0.94، متفوقًا بشكل كبير على الآخرين الذين حامت دقة أدائهم حول 0.81.
• كما أظهر النموذج استقرارًا كبيرًا؛ فحتى عندما قاموا بتغيير عدد الطلاب أو مزيج الاختبارات، لم ينهار INKT، بل استمر في تقديم تنبؤات دقيقة.

أجرى الباحثون أيضًا دراسات "الاستئصال" (ablation studies)، وهي تشبه تفكيك المحرك لمعرفة وظيفة كل جزء. ووجدوا أنه إذا أزالوا "معدل النسيان" أو "معدل التعلم" من النموذج، فإن الأداء ينخفض بشكل كبير. وقد أثبت هذا أن تتبع كيفية تعلم الطلاب ونسيانهم للأشياء بمرور الوقت أمر ضروري. كما وجدوا أن استخدام مصفوفة Q "المعززة" (الخريطة المطورة ذات الروابط الخفية) كان أمرًا حاسمًا؛ فعندما استخدموا الخريطة القديمة غير المكتملة، لم يكن النموذج بنفس الجودة في التنبؤ بمن سيجيب بشكل صحيح على ماذا.

الحكم النهائي

تخلص الورقة البحثية إلى أنه من خلال الجمع بين خريطة أذكى للمعرفة (مصفوفة Q المعززة) ونموذج يحترم إيقاع التعلم والنسيان (تتبع الحالة المتقطعة)، يمكننا الحصول على صورة أوضح لما يعرفه الطلاب بالفعل. يشير المؤلفون إلى أن هذا النهج أكثر عقلانية من النماذج التي تفترض أن المعرفة تتقلب وتتذبذب بجنون باستمرار.

ومع ذلك، فإن المؤلفين حذرون من الادعاء بأن هذه مشكلة مثالية تم حلها. فهم يعترفون بأن "خريطتهم" لروابط المعرفة لا تزال مبنية بواسطة خبراء بشريين، وهو أمر قد يكون ذاتيًا. كما يشيرون إلى أن نموذجهم يفترض أن معرفة الطالب الحالية تعتمد فقط على الحالة السابقة مباشرة، متجاهلين آليات "الانتباه" الأكثر تعقيدًا التي قد تكون موجودة. ويقترحون أن العمل المستقبلي يمكن أن يتضمن توليد هذه الخرائط المعرفية تلقائيًا من البيانات واستخدام آليات انتباه أكثر تقدمًا لجعل النموذج أكثر دقة.

باختصار، تقدم هذه الورقة طريقة مرحة ولكن صارمة للتوقف عن معاملة الطلاب كلاعبي سيرك مهتزين، والبدء في معاملتهم كبنائين يضعون الطوب، ثم يأخذون استراحة، ثم يعودون ليجدوا أن أساسهم لا يزال قائمًا في معظمه. ومن خلال فهم الروابط الخفية في المنهج الدراسي والإيقاع الطبيعي للذاكرة، يوفر نموذج INKT رؤية أكثر صدقًا ودقة لرحلة التعلم.