Automated Knowledge Component Generation for Interpretable Knowledge Tracing in Coding Problems

ملخص تقني: التوليد الآلي لمكونات المعرفة وتتبع المعرفة القابل للتفسير في المشكلات البرمجية

بيان المشكلة
في نمذجة الطلاب، تُعد مكونات المعرفة (KCs) ضرورية لتقييم إتقان المهارات بدقة، مما يتيح تقديم ملاحظات مخصصة ويدفع أنظمة التعلم التكيفي. تقليديًا، يتم صياغة مكونات المعرفة وتوسيمها للمشكلات من قبل خبراء بشريين في المجال، وهي عملية تتطلب جهدًا مكثفًا، وعرضة للتحيز، ويصعب توسيع نطاقها. وبينما استكشفت الأعمال السابقة توليد مكونات المعرفة آليًا للأسئلة متعددة الخيارات، تظل المشكلات المفتوحة - خاصة في البرمجة - غير مدروسة بشكل كافٍ. تطرح مشكلات البرمجة مفتوحة النهاية تحديات فريدة: حيث تظهر استجابات الطلاب تنوعًا كبيرًا، ويمكن أن تحدث الأخطاء بطرق لا حصر لها، وقد توجد عدة مقاربات صحيحة للحل تغطي كل منها مجموعات مختلفة من مكونات المعرفة. غالبًا ما تفشل الطرق الآلية الحالية في التقاط هذا التعقيد أو تعتمد على هياكل تركيبية جامدة لا تناسب تنوع تقديمات الطلاب.

المنهجية
يقترح المؤلفون إطار عمل يتكون من جزأين: خط إنتاج آلي لتوليد وتوسيم مكونات المعرفة باستخدام النماذج اللغوية الكبيرة (LLMs)، وطريقة جديدة لتتبع المعرفة (KT) تُسمى KCGen-KT، والتي تستفيد من مكونات المعرفة المولدة هذه.

1. خط إنتاج توليد مكونات المعرفة الآلي:

   • التوليد الأولي: لكل مشكلة برمجة، يختار النظام مجموعة متنوعة من تقديمات كود الطلاب الصحيحة والتمثيلية (يتم تجميعها عبر تضمينات CodeBERT لضمان التنوع). يقوم النموذج (GPT-4o) باستخدام أمثلة قليلة (few-shot) واستدلال سلسلة الأفك "chain-of-thought" لتحديد مكونات المعرفة الدقيقة المطلوبة لحل المشكلة، وتحويل وسوم المواضيع الموجودة إلى أوصاف باللغة الطبيعية.
   • التجميع والتحكم في التجريد: لإدارة مستوى التفصيل، يتم تضمين الأوصاف النصية لمكونات المعرفة المولدة باستخدام Sentence-BERT. يتم تطبيق التجميع الهرمي المتوالي (HAC) لدمج مكونات المعرفة المتشابهة دلاليًا. ومن خلال ضبط عدد المجموعات، يتحكم النظام في مستوى التجريد، من الانتقال من المهارات على مستوى الوظائف (function-level) إلى المجموعات المفاهيمية الأوسع.
   • التوسيم: يتم توجيه GPT-4o لتلخيص كل مجموعة في تسمية واحدة معلوماتية (إما باختيار مكون معرفة موجود أو بناء وصف جديد). أخيرًا، يتم إنشاء مصفوفة Q عن طريق ربط كل مشكلة بمكونات المعرفة الملخصة المقابلة لها.

2. إطار عمل KCGen-KT (تتبع المعرفة):

   • البنية: يستخدم النموذج Llama 3 (بـ 8 مليارات معلمة) كركيزة للتعلم متعدد المهام، حيث يتنبأ بكل من الصحة الثنائية لتقديم الطالب التالي والكود الفعلي رمزًا تلو الآخر (token-by-token).
   • نمذجة حالة الطالب: يقوم نموذج LSTM قياسي بتحديث حالة المعرفة الكامنة للطالب ($h_t$) بناءً على نص المشكلة السابقة، والكود، والصحة. يتم إسقاط هذه الحالة في متجه إتقان ($m_t$) يمثل الكفاءة في كل مكون معرفة فريد.
   • تحويل الرموز الناع (Soft-Token Conversion): لدمج مستويات الإتقان في فضاء مدخلات النموذج اللغوي الكبير، يقوم النموذج بتحويل قيم الإتقان المنفصلة إلى "رموز ناعمة". يتم تحويل مستوى الإتقان $m^j_t$ للمكون $j$ إلى مزيج مرجح من تضمينات رموز "الصواب" (true) و"الخطأ" (false): $s^j_t = m^j_t \cdot \text{emb}_{\text{true}} + ( - 1 - m^j_t) \cdot \text{emb}_{\text{false}}$. يسمهذا بمرور التدرجات (gradients) عبر معاملات الإتقان أثناء التدريب.
   • القابلية للتفسير: يستخدم النموذج نموذجًا تعويضيًا (compensatory model) لتجميع مستويات الإتقان الفردية لمكونات المعرفة في درجة إتقان إجمالية، مما يضمن أن الإتقان الأعلى لمكونات معرفة معينة يرتبط باحتمالية أعلى للاستجابة الصحيحة.
   • هدف التدريب: يقلل النظام من دالة خسارة مشتركة تشمل خسارة توليد الكود (cross-entropy)، وخسارة التنبؤ بالصحة (binary cross-entropy)، وخسارة تنظيم لفرض الرتابة (monotonicity) بين إتقان مكون المعرفة والصحة.

المساهمات الرئيسية

• أول خط إنتاج آلي للمشكلات البرمجية مفتوحة النهاية: تقدم الورقة أول خط إنتاج يعتمد على النماذج اللغوية الكبيرة قادر على توليد وتوسيم مكونات المعرفة خصيصًا للمشكلات البرمجية مفتوحة النهاية، مما يعالج تنوع وتعقيد تقديمات كود الطلاب.
• تتبع معرفة قابل للتفسير باستخدام الرموز الناع: يقدم المؤلفون KCGen-KT، الذي ينمذج صراحةً إتقان الطالب للأوصاف النصية لمكونات المعرفة. تسمح آلية تحويل الرموز الناع المبتكرة للنموذج اللغوي الكبير باستخدام مستويات الإتقان المستمرة كمدخلات، مما يسد الفجوة بين حالات الطالب الكامنة والتوليد النصي.
• التحقق التجريبي: تم تقييم إطار العمل على مجموعتي بيانات واقعيتين (CodeWorkout و FalconCode) تحتويان على آلاف تقديمات الطلاب.

النتائج

• الأداء: يتفوق KCGen-KT على طرق تتبع المعرفة الحالية ذات الحالة الراهنة (بما في ذلك TIKTOC و Code-DKT) والخطوط المرجعية التي تستخدم مكونات معرفة مكتوبة بشريًا. وتحديدًا، يحقق الإصدار الذي يستخدم مكونات المعرفة المولدة بواسطة النماذج اللغوية الكبيرة تحسنات ذات دلالة إحصائية في AUC، وF1 score، والدقة، وCodeBLEU (لتوليد الكود) عبر كلا المجموعتين.
• تحليل التفصيل (Granularity): تكشف التجارب التي تختلف فيها مستويات التجريد لمكونات المعرفة أن مكونات المعرفة شديدة التجريد (المجموعات عالية المستوى) تضعف الأداء، بينما تحقق مستويات التجريد المتوسطة إلى المنخفضة (التفصيل الدقيق) أفضل النتائج. يشير هذا إلى أن التفاصيل الكافية أمر بالغ الأهمية للنمذجة الدقيقة للطالب.
• منحنيات التعلم: تتوافق مكونات المعرفة المولدة بشكل أفضل مع قانون الممارسة (تناقص معدلات الخطأ مع الممارسة) مقارنة بمكونات المعرفة المكتوبة بشريًا، حيث تحقق معامل تحديد (weighted $R^2$) أعلى (0.21 مقابل 0.18) عند مطابقتها مع نماذج منحنى التعلم.
• التقييم البشري: صنف المحاضرون مكونات المعرفة المولدة بواسطة النماذج اللغوية الكبيرة بأنها عالية القابلية للتفسير (98.6% مقابل 94.6% للنماذج البشرية المرجعية) ووجدوا أن خرائط المشكلة-المكون (problem-KC mappings) تتمتع بدقة عالية (93.2%) وتغطية عالية (96% من الحالات كانت التغطية فيها مساوية أو أكبر من الخطوط البشرية المرجعية).

الأهمية والادعاءات
تدعي الورقة أن مكونات المعرفة عالية الجودة والمولدة آليًا والتوسيم الدقيق أمر بالغ الأهمية لتحسين أداء نماذج الطلاب في المهام اللاحقة. يوضح المؤلفون أن النماذج اللغوية الكبيرة يمكنها تحديد المهارات الدقيقة بفعالية في مهام البرمجة مفتوحة النهاية، وغالبًا ما تتفوق على الوسوم المكتوبة بشريًا في القدرة التنبؤية والتماشي مع مبادئ التعلم المعرفي.

نطاق العمل محدود بحدود علوم الحاسوب نظرًا لقيود توافر البيانات (الحاجة إلى بيانات طولية واسعة النطاق لاستجابات الطلاب مفتوحة النهاية). يقر المؤلفون بأن خط الإنتاج الخاص بهم يعتمد حاليًا على الأمثلة داخل السياق (in-context examples)، وأن العمل المستقبلي يجب أن يستكشف التحسين من خلال "الإنسان في الحلقة" (human-in-the-loop)، والتحسين المباشر لملاءمة منحنى التعلم، والتطبيق على مجالات أخرى مثل الرياضيات والعلوم. ويؤكدون أن نهجهم يهدف إلى دعم المعلمين من خلال تقليل العمل اليدوي، وليس استبدال الحكم البشري، ويوصون بالمراجعة من قبل الخبراء قبل النشر في أي بيئات تعليمية حقيقية.