Using LLMs for Knowledge Component-level Correctness Labeling in Open-ended Coding Problems

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استخدام النماذج اللغوية الكبيرة (LLMs) لتصنيف صحة المكونات المعرفية (Knowledge Components) في مسائل البرمجة مفتوحة النهايات."

1. بيان المشكلة

في مجال تنقيب البيانات التعليمية ونمذجة الطلاب، تمثل المكونات المعرفية (KCs) مهارات أو مفاهيم دقيقة. ويعد التصنيف الدقيق لإتقان الطالب على مستوى المكون المعرفي أمراً بالغ الأهمية لـ:

• توليد منحنيات تعلم قابلة للتفسير (مثل الالتزام بـ قانون الممارسة للقوة - Power Law of Practice، حيث تنخفض معدلات الخطأ مع الممارسة).
• توفير التغذية الراجعة المخصصة وتسلسل المناهج الدراسية.
• تدريب النماذج التنبؤية مثل نموذج العوامل المضافة (AFM).

التحدي الجوهري:

• ندرة البيانات: مجموعات البيانات في العالم الحقيقي لمهام البرمجة مفتوحة النهايات توفر عادةً فقط صحة على مستوى المسألة (ثنائي: صحيح/خاطئ للمشاركة بأكملها)، وليس تسميات على مستوى المكون المعرفي.
• عيب "التحيز للعمومية": إن مجرد تعميم صحة المسألة على جميع المكونات المعرفية المرتبطة بها هو أمر معيب. فقد يتقن الطالب بعض المكونات المعرفية (مثل منطق الحلقات التكرارية) بينما يفشل في أخرى (مثل معالجة النصوص) ضمن مشاركة واحدة خاطئة. إن معاملة جميع المكونات المعرفية على أنها "خاطئة" يحجب الإتقان الجزئي، مما يؤدي إلى ملاءمة سيئة لمنحنيات التعلم ونماذج تنبؤية غير دقيقة.
• محدودية التصنيف اليدوي: عملية وسم المكونات المعرفية يدوياً للأكواد مفتوحة النهايات تتطلب جهداً كبيراً، وتتعرض للتحيز، ولا يمكن توسيع نطاقها.
• المحدودية الحالية للأسال_الآلية: تعتمد الطرق الآلية السابقة على أشجار الإعراب المجردة (AST) لمطابقة العقد النحوية مع الكود المرجعي. تلتقط هذه الطرق النحو السطحي ولكنها غالباً ما تفقد المفاهيم الخوارذمية عالية المستوى وتفتقر إلى القابلية للتفسير.

2. المنهجية

يقترح المؤلفون إطار عمل مؤتمت يستفيد من النماذج اللغوية الكبيرة (LLMs) لتوليد تسميات دقيقة لصحة المكونات المعرفية مباشرة من كود الطالب.

أ. استراتيجية التلقين (Prompting Strategy)

• النموذج: يستخدم إطار العمل GPT-4o و Qwen3 Coder 30B.
• المدخلات: لكل زوج (مسألة-مشاركة)، يتلقى النموذج اللغوي الكبير:
  1. نص المسألة.
  2. كود الطالب المقدم.
  3. مجموعة المكونات المعرفية (KCs) المرتبطة بالمسألة.
  4. أمثلة داخل السياق (In-context examples): نماذج توضيحية مختارة يدوياً لتوجيه تنسيق المخرجات.
• سلسلة الأفكار (Chain-of-Thought - CoT): يتم توجيه النموذج للتفكير خطوة بخوة:
  1. تحديد ما إذا كان مكون معرفي معين موجود في الكود.
  2. تقييم ما إذا كان المكون المعرفي قد طُبق بشكل صحيح.
  3. إخراج تسمية ثنائية (صحيح/خاطئ) لكل مكون معرفي.
• التعامل مع المكونات المعرفية المفقودة: إذا لم يُستخدم مكون معرفي مطلوب في الكود، فإنه يُصنف على أنه غير صحيح.

ب. التوليد الآلي للمكونات المعرفية (Automated KC Generation)

لمعالجة التباين في استراتيجيات حل الطلاب (التي قد تغفلها مجموعات المكونات المعرفية المحددة بشرياً)، يدعم إطار العمل المكونات المعرفية المولدة بواسطة LLM:

1. التجميع (Clustering): يتم تجميع الحلول الصحيحة باستخدام تضمينات CodeBERT.
2. التوليد: يتم تلقين GPT-4o بهذه النماذج المتنوعة لتوليد مكونات معرفية مرشحة.
3. التحسين: يتم تجميع المكونات المعرفية المولدة وتلخيصها لإنشاء مجموعة منقحة عند مستوى تجريد مضبوط.

ج. الربط بين الكود والمكون المعرفي المعتمد على السياق الزمني

الابتكار الحاسم هو محاذاة المكونات المعرفية تحديداً مع استراتيجية الحل المقصودة للطالب بدلاً من مجرد تعريف المسألة.

• المشكلة: المحاولة الأولى للطالب (المستخدمة لتحليل منحنى التعلم) غالباً ما تكون غير مكتملة، بينما تكون محاولته الأخيرة قريبة من الصحة.
• الآلية:
  1. تحديد "أقرب" كود مرجعي صحيح إلى محاولة الطالب الأخيرة باستخدام مسافة جيب التمام (cosine distance) على تضمينات CodeBERT.
  2. تحديد أي مجموعة فرعية من المكونات المعرفية يستخدمها ذلك الكود المرجعي المحدد.
  3. تطبيق هذه المكونات المعرفية المحددة لتسمية محاولة الطالب الأولى.
• المنطق: تكشف المحاولة الأخيرة عن استراتيجية الحل الكاملة للطالب، مما يضمن أن المكونات المعرفية التي يتم تقييمها هي ذات الصلة بما كان الطالب يحاول بناءه بالفعل، حتى لو فشلت محاولته الأولى.

3. المساهمات الرئيسية

1. أول تصنيف للمكونات المعرفية يعتمد على LLM: هذه هي الدراسة الأولى التي تطبق النماذج اللغوية الكبيرة بشكل منهجي لتصنيف صحة المكونات المعرفية في البرمجة مفتوحة النهايات.
2. الربط المعتمد على السياق: تقديم آلية تحاذي المكونات المعرفية مع استراتيجيات الحل الفردية للطلاب باستخدام السياق الزمني (مقارنة المحاولات الأولى والأخيرة).
3. تكامل سلسلة الأفكار (CoT): إثبات أن التلقين بسلسلة الأفكار يحسن دقة التسمية بشكل كبير مقارنة بالتصنيف الثنائي المباشر.
4. مرونة إطار العمل: تعمل الطريقة مع كل من المجموعات المحددة بشرياً والمجموعات المولدة آلياً من المكونات المعرفية.

4. النتائج التجريبية

مجموعة البيانات: CodeWorkout (10,834 مشاركة من 246 طالباً في 50 مسألة بلغة Java).

مقايات التقييم:

• ملاءمة منحنى التعلم: جذر متوسط مربع الخطأ (RMSE) و $R^2$ مقابل قانون الممارسة للقوة.
• الأداء التنبؤي: المساحة تحت المنحنى (AUC) باستخدام نموذج العوامل المضافة (AFM).

النتائج الرئيسية:

• الملاءمة المتفوقة: تفوقت التسميات القائمة على LLM (سواء GPT-4o أو Qwen3) بشكل كبير على خط الأساس (صحة المسألة) في ملاءمة قانون الممارسة للقوة.
  • مثال: استخدام GPT-4o مع المكونات المعرفية "المختارة" أدى لتحسين $R^2$ من 0.253 (الأساس) إلى 0.383.
• القدرة التنبؤية: أظهرت نماذج AFM المدربة على تسميات LLM قدرة أعلى على AUC (تصل إلى 0.676 مع Qwen3) مقارنة بالأساس (0.529).
• دراسة الاستئصال (Ablation Study): أدى إزالة تلقين سلسلة الأفكار (CoT) إلى انخفاض كبير في الأداء، مما يؤكد أن الاستدلال الوسيط ضروري لتشخيص دقيق للمكونات المعرفية.
• التقييم البشري:
  • الاتفاق بين المقيّمين (بشر ضد بشر): معامل كوهين كابا (Cohen's Kappa) = 0.86 (شبه مثالي).
  • الاتفاق بين LLM والبشر: معامل كوهين كابا = 0.74 (اتفاق جوهري).

الأدلة المرئية:
أظهرت منحنيات التعلم الناتجة عن تسميات LLM اتجاهاً تنازلياً مستمراً (ملتزمة بالنظرية المعرفية). في المقابل، أظهرت المنحنيات القائمة على صحة المسألة سلوكاً مضطرباً، وفشلت في الانخفاض بمرور الوقت.

5. الأهمية والآثار المترتبة

• القابلية للتوسع: توفر بديلاً قابلاً للتوسع للتصنيف اليدوي من قبل الخبراء لمهام البرمجة مفتوحة النهايات.
• التأسيس المعرفي: تتوافق البيانات الناتلة بشكل أفضل مع النظريات المعرفية للتعلم (قانون الممارسة للقوة)، مما يؤكد جودة التسميات.
• الأثر التعليمي: تتيح تسميات المكونات المعرفية الدقيقة لأنظمة التعلم التكيفية ما يلي:
  • اكتشاف الإتقان الجزئي (على سبيل المثال، الطالب يفهم الحلقات التكرارية ولكنه لا يفهم معالجة النصوص).
  • تجنب التشخيص الخاطئ الذي يؤدي إلى تخطي التدريب الضروري أو تقديم دعم زائد عن الحاجة.
  • تقديم تغذية راجعة مستهدفة ودقيقة بدلاً من رسائل "غير صحيح" العامة.
• القدرة على التعميم: إطار العمل قوي عبر تعريفات المكونات المعرفية المختلفة (البشرية مقابل المولدة) ومعماريات النماذج اللغوية المختلفة (المملوكة مقابل مفتوحة الأوزان).

الخاتمة

تثبت هذه الورقة أن النماذج اللغوية الكبيرة، عندما تُوجه بسلسلة الأفكار (CoT) والربط المعتمد على السياق الزمني، يمكنها بفعالية استبدال تسميات مستوى المسألة العامة بتسميات دقيقة لصحة المكونات المعرفية. هذا التحول يحسن بشكل كبير دقة منحنيات تعلم الطلاب والقدرة التنبؤية للنماذج التعليمية، مما يوفر مساراً قابلاً للتوسع نحو تعليم برمجة أكثر ذكاءً وتخصيصاً.