CodeGENCAT: Generative Computerized Adaptive Testing for Open-ended Coding Problems
تقترح الورقة البحثية CodeGENCAT، وهو إطار عمل للاختبار التكيفي المحوسب التوليدي يستفيد من نموذج نظرية الاستجابة للمفردة التوليدي للتنبؤ باستجابات الطلاب البرمجية واختيار الأسئلة بناءً على تنوع أسلوب البرمجة وعدم اليقين في الاستجابة، مما يؤدي إلى التفوق على النماذج المرجعية التقليدية في تقييم المعرفة البرمجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم يحاول معرفة مدى براعة طالب ما في البرمجة بدقة. في الاختبار التقليدي، يطرح المعلم سؤالاً، ويجيب الطالب، ثم يصنف المعلم الإجابة ببساطة بأنها "صحيحة" أو "خاطئة". وبناءً على هذه العلامة الوحيدة، يختار المعلم السؤال التالي؛ فإذا أجاب الطالب بشكل صحيح، يكون السؤال التالي أصعب، وإذا أخطأ، يكون أسهل.
المشكلة في الطريقة القديمة
تجادل الورقة البحثية بأن نظام "صحيح/خاطئ" هذا يتجاهل الكثير من المعلومات المفيدة. تخيل طالبين كلاهما فشل في حل مسألة برمجية.
- الطالب (أ): ارتكب خطأً مطبعياً بسيطاً (مثل نسيان فاصلة منقوطة).
- الطالب (ب): كتب كوداً بمنطق خاطئ تماماً.
في الاختبار التقليدي، كلاهما يُعتبر "خاطئاً". لا يستطيع المعلم التمييز بينهما، وبالتالي لا يمكنه تخصيص السؤال التالي لمساعدة كل طالب بشكل محدد. الأمر يشبه طبيباً يعالج ذراعاً مكسورة وصداعاً بنفس الدواء تماماً لمجرد أن المريض قال "أنا أشعر بالسوء".
الحل: CodeGENCAT
يقترح المؤلفون نظاماً جديداً يسمى CodeGENCAT. بدلاً من مجرد الانتظار حتى يجيب الطالب، يستخدم هذا النظام "توأماً رقمياً" (ذكاءً اصطناعياً) لـ يتوقع ما الذي سيكتبه الطالب قبل أن يجيب فعلياً.
إليك كيف يعمل ذلك، خطوة بخطوة، باستخدام تشبيه الطبخ:
1. الشيف "التوأم الرقمي" (نموذج GIRT)
تخيل أنك تريد معرفة مدى براعة طالب في الطبخ. بدلاً من مطالبته بطهي وجبة كاملة فوراً، لديك شيف ذكاء اصطناعي فائق الذكاء يعرف مستوى مهارة الطالب الحالي.
- إذا كان الطالب مبتدئاً، يتوقع الذكاء الاصطناعي أنه سيقطع الخضروات بشكل غير متساوٍ أو ينسى تمليح الحساء.
- إذا كان الطالب خبيراً، يتوقع الذكاء الاصطناعي أنه سيستخدم مهارات تقطيع دقيقة وتتبيلة مثالية.
في الورقة البحثية، يسمى هذا الذكاء الاصطناعي نظرية الاستجابة للمفردات التوليدية (GIRT). فهو يأخذ مستوى معرفة الطالب المقدر ويقوم بتوليد قطعة من الكود تبدو تماماً مثل الكود الذي قد يكتبه هذا الطالب تحديداً. هو لا يكتفي بتخمين "صحيح" أو "خاطئ"؛ بل يولد الكود الفعلي، بما في ذلك الأخطاء البرمجية المحددة التي من المرجح أن يرتكبها الطالب.
2. "اختيار القائمة" (اختيار السؤال)
بمجرد أن يتوقع الذكاء الاصطناعي ما سيكتبه الطالب، يتعين على النظام تحديد: "أي سؤال يجب أن نطرحه على الطالب تالياً لنتعلم أكبر قدر ممكن؟"
تقدم الورقة ثلاث طرق لاختيار السؤال التالي، مثل شيف يختار المكون التالي لاختباره:
- شيف عدم اليقين: يختار سؤالاً يكون فيه الذكاء الاصطناعي أكثر حيرة بشأن ما إذا كان الطالب سيجيب عليه بشكل صحيح أم خاطئ (تخمين بنسبة 50/50). هذه هي منطقة "الوسط الذهبي" — ليست سهلة جداً ولا صعبة جداً.
- شيف التنوع: يختار سؤالاً يعتقد الذكاء الاصطناني أن الطالب قد يكتب بسببه أنواعاً مختلفة من الكود. إذا كان الذكاء الاصطناعي غير متأكد من كيفية حل الطالب للمسألة، فإن هذا السؤال يكون غنياً بالمعلومات.
- شيف المعلومات: يختار السؤال الذي، بناءً على الكود المتوقع، سيعطي أكبر "صدمة" للنظام في فهمه، مما يساعد على تحسين تقدير المهارة بأسرع ما يمكن.
3. التدريب (تعليم الذكاء الاصطناعي)
للتأكد من دقة هذا "التوأم الرقمي"، قام المؤلفون بتدريبه على مرحلتين:
- الضبط الدقيق تحت الإشراف (SFT): علموا الذكاء الاصطناعي كيف ينظر إلى إجابات الطالب السابقة ويتعلم كيفية محاكاتها.
- تحسين التفضيل المباشر (DPO): هذا هو "السر الصغير". لقد أدركوا أن الذكاء الاصطناعي يصبح كسولاً أحياناً ويكتب نفس الكود "المثالي" حتى للمبتدئين. لذا، علموه أن يكون صادقاً: "إذا كان الطالب مبتدئاً، يجب عليك توليد كود يحتوي على أخطاء". هذا يضمن أن توقعات الذكاء الاصطناعي واقعية ومتنوعة.
النتائج
اختبر الباحثون هذا النظام على مجموعات بيانات برمجية حقيقية (Java و Python). ووجدوا أن CodeGENCAT كان أفضل بكثير في تحديد مستوى مهارة الطالب الحقيقي مقارنة بالطرق التقليدية، خاصة في الأسئلة الأولى من الاختبار.
- التشبيه: إنه الفرق بين معلم يسأل "هل أجبت بشكل صحيح؟" ومعلم يقول "دعني أخمن بالضبط كيف حاولت الحل، ومن ثم سأطرح عليك السؤال المثالي التالي لإصلاح سوء الفهم المحدد لديك".
النقاط الرئيسية
- لا تنظر فقط إلى الدرجة: تدعي الورقة أن النظر إلى الكود الفعلي (حتى الكود المتوقع) يعطي معلومات أغنى بكثير من مجرد تسمية "ناجح/راسب".
- الاكتشاف المبكر مهم: النظام هو الأكثر قوة في بداية الاختبار، مما يساعد في تحديد نقاط قوة وضعف الطالب بشكل أسرع من الطرق القديمة.
- الأمان: يتمكن النظام أيضاً من الحفاظ على أمن الاختبار، مما يضمن عدم حصول جميع الطلاب على نفس الأسئلة تماماً، وهي مشكلة شائعة في الاختبارات التكيفية.
باختصار، يستخدم CodeGENCAT الذكاء الاصطنا تقريب عقل الطالب، مما يسمح للاختبار بالتكيف ليس فقط مع ما إذا كان قد أصاب أم أخطأ، بل مع كيفية تفكيره، مما يؤدي إلى تقييم أكثر دقة وتخصيصاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.