TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education
يقدم البحث إطار عمل TRACE، وهو إطار عمل مدعوم بالذكاء الاصطناعي يستفيد من تنقيب المستودعات وتحليلات التواصل لتقييم جودة المشروع والمساهمات الفردية بشكل عادل وقابل للتوسع في تعليم علوم الحاسوب التعاوني، مما أظهر تحسناً في التوافق مع تقييمات المحاضرين وتقليلاً في عبء التصحيح في دراسة تجريبية.
تخيل أنك مدرب لفريق كرة قدم. يتعين على فريقك بناء روبوت ضخم ومعقد من أجل مسابقة كبرى. يعمل الجميع في الفريق معًا، ولكن في نهاية اليوم، يتعين عليك إعطاء كل لاعب درجة (تقييمًا).
المشكلة: إذا أعطيت الجميع نفس الدرجة لمجرد أنهم كانوا في نفس الفريق، فسيشعر الجميع بعدم الإنصاف. ربما قام شخص ما ببناء "دماغ" الروبوت، بينما قام آخر فقط بتغيير لون العجلات. أو ربما بذل شخص واحد كل العمل بينما اكتفى آخر بالمشاهدة فقط. تقليديًا، يضطر المدربون (المعلمون) إلى التخمين حول من فعل ماذا من خلال النظر في ملاحظات فوضوية، أو سؤال اللاعبين لتقييم بعضهم البعض (والذي قد يكون متحيزًا أو فظًا)، أو محاولة تذكر كل حركة قام بها كل لاعب. إنه أمر مرهق، ويستنزف الوقت، وغير دقيق.
الحل: TRACE يقدم هذا البحث TRACE، وهو مساعد ذكي مدعوم بالذكاء الاصطناعي يعمل كحكم وكاتب نتائج فائق الملاحظة في آن واحد. هو لا يحل محل المدرب؛ بل يمنحه لوحة تحكم عالية التقنية ليرى بالضبط ما حدث.
إليك كيف يعمل TRACE، مقسمًا إلى ثلاثة أجزاء بسيطة:
1. "مفتش الروبوت" (تقييم جودة المشروع)
أولاً، يقوم TRACE بفحص الروبوت النهائي (المشروع البرمجي) ليرى ما إذا كان يعمل بالفعل ومبنيًا بشكل جيد.
التشبيه: تخيل ميكانيكيًا يفحص سيارة. إنه يتحقق من: هل المحرك يعمل؟ هل المكابح تعمل؟ هل طلاء السيارة ناعم؟ هل دليل الاستخدام سهل القراءة؟
ماذا يفعل TRACE: يقوم بمسح الكود برمجياً تلقائيًا للتحقق من وجود أخطاء (bugs)، ويختبر ما إذا كان البرنامج يتوقف عن العمل، ويقرأ التعليمات ليرى ما إذا كانت منطقية، وحتى يتحقق مما إذا كان الموقع الإلكتروني يظهر بشكل جيد على الهاتف. إنه يعطي الفريق بأكمله درجة بناءً على مدى جودة المنتج النهائي.
2. "المحقق" (محلل المساهمة الفردية)
هذا هو الجزء السحري. يقوم TRACE بالبحث في التاريخ الرقمي للمشروع ليعرف من فعل ماذا. إنه يبحث عن "إيصالات" العمل.
التشبيه: فكر في محقق يحل لغزًا. بدلاً من السؤال "من فعل هذا؟"، يبحث المحقق عن بصمات الأصابع، والطوابع الزمنية، وتصوير كاميرات المراقبة.
ماذا يفعل TRACE:
"بصمات الأصابع": ينظر إلى الكود ليرى من كتب أي أسطر. هل كتبت المحرك الرئيسي، أم قمت فقط بإصلاح خطأ مطبعي؟
"كاميرا المراقبة": يتحقق من سجلات الدردشة وأنظمة تتبع المشكلات. هل طلبت المساعدة؟ هل أصلحت خطأً وجده زميلك؟ هل راجعت عمل زميلك؟
"كاشف الخداع": إذا حاول شخص ما الغش عبر إجراء 100 تغيير صغير وغير مفيد (مثل إضافة مسافات إضافية) ليبدو مشغولًا، فإن TRACE يكتشف ذلك. إنه يعرف الفرق بين العمل الحقيقي والضجيج الفارغ.
3. "كاتب النتيجة" (محرك الدرجات)
أخيرًا، يدمج TRACE الدرجتين ليعطي درجة نهائية.
التشبيه: تخيل وصفة طعام. أنت تخلط 60% من "نجاح الفريق" (مدى جودة الروبوت) مع 40% من "الجهد الفردي" (ما قمت به أنت شخصيًا).
ماذا يفعل TRACE: يحسب درجة عادلة لكل طالب.
إذا كان الروبوت مذهلاً ولكنك لم تفعل شيئًا، فستنخفض درجتك.
إذا كان الروبوت جيدًا ولكنك عملت بجد كبير، فسترتفع درجتك.
إذا بدت الأرقام غريبة (مثل ادعاء شخص ما بأنه قام بـ 90% من العمل بينما كتب 5% فقط من الكود)، فإن النظام يضع علامة للمدرب البشري لمراجعته.
لماذا يعد هذا أمرًا مهمًا؟
إنه عادل: لا مزيد من "المتطفلين" الذين يحصلون على درجات (A) بينما يتم سحب المجتهدين للأسفل.
إنه سريع: كان المعلمون يقضون ساعات في التصحيح؛ الآن يقضون دقائق فقط في مراجعة تقرير الذكاء الاصطناعي.
إنه شفاف: يمكن للطلاب رؤية بالضبط لماذا حصلوا على هذه الدرجة. إنه ليس "صندوقًا أسود" غامضًا؛ يمكنهم رؤية "بصمتهم" الخاصة على المشروع.
التحدي (الأخلاقيات)
يؤكد المؤلفون بحذر على أن الذكاء الاصطناعي لا ينبغي أن يكون الحكم الوحيد.
الخصوصية: يجب أن يحافظ على أمان بيانات الطلاب.
التحيز: يجب التأكد من أنه لا يعاقب الطلاب الذين يكتبون الكود بأسلوب مختلف أو يتحدثون لغة مختلفة.
اللمسة البشرية: المعلم لا يزال هو القائد. الذكاء الاصطناعي يقدم البيانات، لكن المعلم هو من يتخذ القرار النهائي، خاصة في الأمور التي لا يستطيع الذكاء الاصطناعي قياسها، مثل "روح الفريق" أو "الأفكار الإبداعية".
باختًا: TRACE يشبه منح المعلم نظارات الأشعة السينية. يمكنهم أخيرًا رؤية من بنى الروبوت ومن وقف يتفرج فحسب، مما يجعل التقييم عادلاً، وسريعًا، وصادقًا للجميع.
إليك ملخص تقني مفصل لورقة البحث بعنوان "TRACE: التقييم المدعوم بالذكاء الاصطناعي للمشاريع التعاونية في تعليم علوم الحاسوب."
1. بيان المشكلة
تعد المشاريع الجماعية التعاونية حجر الزاوية في تعليم علوم الحاسوب (CS)، حيث تحاكي سير عمل هندسة البرمجيات في العالم الحقيقي (مثل: Agile، والتحكم في الإصدارات). ومع ذلك، يظل تقييم المساهمات الفردية بشكل عادل داخل هذه المجموعات تحديًا كبيرًا للمدرسين.
محدودية الأساليب الحالية:
الدرجات المتساوية: تعطي نفس الدرجة لجميع الأعضاء، متجاهلةً تفاوت الجهد.
تقييمات الأقران: غالبًا ما تعاني من التحيز، والتواطؤ، والضغط الاجتماعي، ونقص الرؤية التقنية.
ملاحظة المدرس: تفتقر إلى الرؤية التفصيلية، وتستغرق وقتًا طويلاً، ويصعب توسيع نطاقها، وتفتقر للاتساق، خاصة في الفصول الدراسية الكبيرة أو عن بُعد.
الفجوة: هناك حاة إلى أداة مؤتمتة، وشفافة، وقابلة للتوسع يمكنها قياس الجهد الفردي بموضوعية مع تقييم جودة المشروع الإجمالية دون استبدال إشراف المدرس.
2. المنهجية: إطار عمل TRACE
يقترح المؤلفون TRACE، وهو إطار عمل شبه مؤتمت مدعوم بالذكاء الاصطناعي مصمم لتقييم كل من جودة المشروع والمساهمات الفردية. تتكون بنية النظام من ثلاث وحدات أساسية:
أ. وحدة تقييم جودة المشروع (PQAM)
تقيم هذه الوحدة السلامة التقنية والنوعية للمخرج النهائي للمجموعة باستخدام خمس وحدات فرعية:
جودة الكود: تستخدم التحليل الساكن (مثل Radon و Pylint) لحساب مقاييس تعقيد "Cyclomatic" و "Halstead"، وفرض معايير الأسلوب (مثل PEP8 و ESLint)، والكشف عن تكرار الكود (عبر SonarQube).
تغطية الاختبار: تحلل تغطية الفروع (branch)، والمسارات (path)، والوظائف (function) باستخدام أدوات مثل pytest-cov أو JaCoCo، للتحقق من حالات الحواف (edge cases) ومعالجة الاستثناءات.
التوثيق: يستخدم معالجة اللغات الطبيعية (مثل BERT و spaCy) لتقييم وضوح وهيكلية واكتمال ملف الـ README. كما يتحقق من وجود أدلة التثبيت، وأوصاف البنية التحتية، ومعلومات الترخيص.
الوظيفية: تنفذ اختبارات الوحدة/التكامل المؤتمتة في بيئات معزولة (Docker) وتتحقق من نجاح خط أنابيب CI/CD (عبر GitHub Actions).
سهولة الاستخدام: تطبق التقييم الهيورستي (Heuristic evaluation) واختبار واجهة المستخدم المؤتمت (Selenium، Cypress) للتحقق من الامتثال لمعايير الوصول (WCAG)، والاستجابة، واتساق التنقل.
المخرج:درجة جودة المشروع (PQS) الموحدة.
ب. محلل المساهمة الفردية (ICA)
تقيس هذه الوحدة الجهد الفردي من خلال تحليل إشارات دورة حياة التطوير، متجاوزةً مجرد عدد عمليات الـ commit البسيطة:
تحليل الـ Commit: يستبعد التغييرات التافهة (المسافات البيضاء، التعليقات) باستخدام التعبيرات النمطية (regex) وتحليل الفرق (diff analysis). يحلل الأنماط الزمنية (النشاط المتقطع مقابل النشاط المستمر) ويستخرج المقاييس (الأسطر المضافة/المحذوفة).
ملكية الكود: يستخدم git blame لربط أسطر الكود بالمؤلفين. تُوزع الاعتمادات بناءً على إدخال المنطق أو تعديله بشكل جوهري، بدلاً من التعديلات الطفيفة في التنسيق.
متتبع المشكلات (Issue Tracker): يتتبع المساهمات غير المتعلقة بالكود (تقارير الأخطاء، طلبات الميزات، الحلول) عبر التكامل مع GitHub Issues/Jira. يستخدم معالجة اللغات الطبيعية لتصنيف أنواع المشكلات وقياس سرعة الاستجابة.
مراجعة الكود: يقيم المشاركة في مراجعات الأقران. يستخدم معالجة اللغات الطبيعية (مثل RoBERTa) لتقييم عمق وبناء التعليقات، والتمييز بين الملاحظات العامة والنقد التقني الجوهري.
المخرج:درجة المساهمة المعيارية (NCS) لكل طالب.
ج. محرك الدرجات (GE)
يقوم محرك الدرجات بتوليف PQS و NCS لإنشاء الدرجات النهائية.
المعادلة:Score=(PQS×0.6)+(NCS×0.4).
ملاحظة: الأوزان قابلة للضبط من قبل المدرسين (مثلاً 80/20 للتركيز على الفريق، أو 50/50 للتركيز على الفرد).
التقييس (Normalization): يستخدم Z-score أو Min-Max scaling لضمان العدالة عبر الفرق ذات الأحجام المختلفة.
كشف الشذوذ (Anomaly Detection): يحدد الحالات الشاذة (مثل: تكرار عالٍ للـ commits ولكن مع كود مكتوب قليل، أو "المتطفلين/الراكبين المجانيين - free riders") للمراجعة اليدوية من قبل المدرس.
الشفافية: ينشئ لوحات معلومات وتقارير مفصلة تشرح تفاصيل توزيع الدرجات.
مكتبات التحليلات:GitPython (تعدين المستودعات)، Radon/Pylint (التحليل الساكن)، spaCy/NLTK (معالجة اللغات الطبيعية)، scikit-learn/TensorFlow (نماذج تعلم الآلة).
سير العمل:
التسليم عبر GitHub Classroom.
استخراج البيانات المؤتمت (commits، PRs، issues).
تقييم النماذج (PQAM + ICA).
حساب الدرجات مع تحديد الحالات الشاذة.
مراجعة المدرس للوحة المعلومات وتصدير النتائج إلى نظام إدارة التعلم (LMS).
4. النتائج الرئيسية (الدراسة التجريبية)
أُجريت دراسة تجريبية في مقرر هندسة برمجيات لفصل الربيع 2025 مع 20 طالباً موزعين على 5 فرق.
توافق المدرس: أظهرت الدرجات التي أنشأها الذكاء الاصطناعي معامل ارتباط بيرسون قدره r=0.91 مع الدرجات التي حددها المدرس، مما يشير إلى اتساق عالٍ.
تصور الطلاب:
الإدراك بالعدالة: 4.3/5.
الشفافية: 4.5/5.
الكفاءة: قلل وقت تصحيح المدرس بنسبة 45% مقارنة بالتقييم اليدوي القائم على القواعد (rubrics).
التدخل اليدوي: تطلب 12% فقط من المشاركات مراجعة يدوية (غالباً بسبب الحالات الشاذة المكتشفة أو المساهمات غير المتعلقة بالكود).
دراسات الحالة: نجح النظام في تحديد:
الفرق ذات التوزيع المتساوي (درجات متشابهة).
المساهمين العاليين (58% من تأليف الكود) الذين حصلوا على درجات معدلة أعلى.
محاولات "التلاعب" (مثل commits المسافات البيضاء فقط) والتي تم خفض وزنها وتحديدها كحالات مشبوهة.
5. المساهمات الرئيسية
إطار عمل شامل: يعد TRACE من أوائل الأنظمة التي تدمج جودة المشروع (التحليل الساكن، الاختبار، سهولة الاستخدام) مع المساهمة الفردية (ملكية الكود، تتبع المشكلات، جودة المراجعة) في مسار تقييم واحد.
آليات مكافحة التلاعب: يعالج تحديداً مشكلة "تضخم الـ commits" عن طريق تصفية التغييرات التافهة وتحليل فروق الكود بدلاً من مجرد عد الـ commits.
تصميم "الإنسان في الحلقة" (Human-in-the-Loop): صُمم النظام لتعزيز دور المدرسين لا استبدالهم، من خلال توفير كشف الشذوذ وإمكانيات التجاوز لضمان الإشراف الأخلاقي.
القابلية للتوسع والشفافية: أثبت القدرة على التعامل مع مجموعات كبيرة (محاكاة حتى 200+ طالب) مع توفير تفسيرات واضحة مدعومة بالبيانات للطلاب حول درجاتهم.
6. الأهمية والتوجهات المستقبلية
الأهمية: يعالج TRACE العقبة الحرجة المتمثلة في التقييم العادل في تعليم علوم الحاسوب. ومن خلال الاستفادة من تعدين المستودعات والذكاء الاصطناعي، فإنه يحول التقييم الذاتي إلى عملية قائمة على الأدلة، مما يعزز الثقة ويقلل عبء العمل على المدرس.
الاعتبارات الأخلاقية: تؤكد الورقة على الخصوصية (الامتثال لـ FERFA/GDPR)، وتخفيف التحيز (تدقيق المتحدثين بغير اللغة الأم)، والشفافية لمنع "التقييم الصندوق الأسود".
العمل المستقبلي:
التكامل مع بيئة التطوير (IDE): التقاط نشاط ما قبل الـ commit (ضربات المفاتيح، تعديلات الملفات) عبر الإضافات.
التحليل متعدد الوسائط: استخدام الرؤية الحاسوبية ومعالجة اللغات الطبيعية الصوتية لتقييم العروض التقديمية وتصاميم الواجهات.
التقييم التكيفي: استخدام التعلم المعزز لتحسين سياسات الأوزان بناءً على التغذية الراجعة التاريخية للمدرسين.
تدقيق التحيز: إجراء فحوصات عدالة منهجية عبر المجموعات الديموغرافية المختلفة.
التكامل مع أنظمة إدارة التعلم (LMS): المزامنة السلسة مع منصات مثل Canvas و Blackboard.
في الختنتا، يمثل TRACE خطوة هامة نحو الأمام في مجال الذكاء الاصطنابو التعليم (AIEd)، حيث يقدم آلية قابلة للتوسع، وشفافة، وعادلة لتقييم المشاريع البرمجية التعاونية مع الحفاظ على الدور الجوهري للحكم البشري.