Leveraging Large Language Models for Assessments Grading and Personalised Feedback Generation: A Case of Software Engineering

في قاعات المحاضرات في الجامعات الحديثة، تحدث ثورة هادئة، تقودها نوع جديد من الذكاء الاصطناعي يُعرف باسم "النماذج اللغوية الكبيرة". هذه ليست مجرد محركات بحث بسيطة تسترجع الحقائق؛ بل هي أنظمة تدربت على كميات هائلة من الكتابات البشرية، وهي قادرة على فهم السياق، والتفكير في المشكلات المعقدة، وتوليد نصوص تحاكي المحادثة البشرية. لسنوات، تساءل التربويون عما إذا كانت هذه الأدوات يمكن أن تفعل أكثر من مجرد الدردشة؛ هل يمكنها حقاً التدريس، أو على الأقل مساعدة المعلمين في تصحيح جبال العمل التي يقدمها الطلاب؟ هذا السؤال شائك بشكل خاص في مجالات مثل هندسة البرمجيات، حيث لا يكتب الطلاب المقالات أو يحلون المسائل الرياضية فحسب، بل يقومون بدلاً من ذلك بإنشاء مخططات معقدة لأنظمة برمجية، ورسم رسوم بيانية توضح كيفية اتصال أجزاء البرنامج المختلفة ووظائفها. تتطلب هذه التصاميم المرئية عيناً بشرية لرصد الأخطاء الدقيقة في المنطق والبنية. وإذا استطاع الكمبيوتر تصحيح هذه التكليفات بدقة وتقديم نصائح مفيدة حول كيفية التحسين، فسيؤدي ذلك إلى تفرغ المعلمين للتركيز على التعلم العميق، ولكن فقط إذا كان الكمبيوتر موثوقاً بما يكفي ليتم ائتمانه على درجات الطلاب.

لقد شرع فريق من الباحثين من جامعات في باكستان والمملكة المتحدة في اختبار هذه الفكرة تحديداً. أرادوا معرفة ما إذا كان بإمكان اثنين من أكثر أنظمة الذكاء الاصطناعي تقدماً المتاحة حالياً تصحيح تكليفات تصميم البرمجيات المعقدة وتقديم ملاحظات مخصصة للطلاب. وللقيام بذلك، جمعوا 54 تسليماً حقيقياً من الطلاب من مساق حول تصميم وهندسة البرمجيات. كان كل طالب قد أنشأ ثلاثة أنواع محددة من الرسوم البيانية: رسم بياني لحالات الاستخدام يوضح كيفية تفاعل المستخدمين مع النظام، ورسم بياني للفئات يحدد اللبنات الأساسية للبرنامج، وتصميم بنية ثلاثية الطبقات يرسم مسار طبقات النظام. وكان معلم بشري خبير قد قام بالفعل بتصحيح كل واحد من هذه التكليفات باستخدام مجموعة صارمة من القواعد، أو "الروبيرك"، التي تحدد بدقة ما هو مطلوب للحصول على الدرجة الكاملة. ثم قام الباحثون بتغذية هذه التكليفات نفسها، جنباً إلى جنب مع قواعد المعلم، في نموذجين مختلفين من الذكاء الاصطناعي: أحدهما من شركة تُدعى "OpenAI" والآخر من "Google".

لم يكتفِ الباحثون بطلب إعطاء الدرجات من الحواسيب فحسب، بل صمموا عملية دقيقة لضمان أن تفكر النماذج في التصحيح خطوة بخوة، تماماً كما يفعل المعلم البشري. فقد طلبوا من النماذج أولاً التحقق مما إذا كان الطالب قد تناول الموضوع الصحيح، ثم فحص كل جزء من قواعد التصحيح لمعرفة ما إذا كانت العناصر المطلية موجودة، وأخيراً حساب الدرجة بناءً على أخطاء محددة تم العثور عليها. وللتأكد من أن النتائج مستقرة وليست مجرد تخمين محظوظ، طلب الباحثون من كل نموذج تصحيح كل تكليف ثلاث مرات منفصلة ثم حساب متوسط النتائج. كما قاموا ببناء أداة ويب مخصصة لإدارة هذه العملية بأكملها، مما سمح للنماذج بقراءة ملفات الـ PDF الخاصة بالطلاب، والتي تحتوي على النصوص والرسوم البيانية المعقدة، وإنشاء تقرير مفصل لكل طالب.

وعندما قارن الباحثون الدرجات التي أنتجها الكمبيوتر بدرجات المعلم البشري، جاءت النتائج مزيجاً من الوعود والقيود. كانت أنظمة الذكاء الاصطناعي قريبة بشكل عام من متوسط درجات المعلم البشري، حيث اختلفت درجات الكمبيوتر بنحو خمس درجات من أصل خمسين درجة في المتوسط. ومع ذلك، واجهت الحواسيب صعوبة في مطابقة قدرة المعلم البشري على التمييز بين أفضل الطلاب وأسوأهم. فقد أعطى المعلم البشري نطاقاً واسعاً من الدرجات، من أدنى درجة 19 إلى أعلى درجة 49، مما يعكس فهماً واضحاً لمن أتقن المادة ومن لم يتقنها. أما الحواسيب، فقد مالَت إلى ضغط هذه الدرجات في نطاق أضيق، حيث أعطت العمل المتوسط درجة أعلى قليلاً والعمل الممتاز درجة أقل قليلاً. وهذا يعني أنه بينما كانت الحواسيب جيدة في إعطاء تقدير تقريبي للأداء، إلا أنها لم تكن بعد موثوقة بما يكفي لاستبدال المعلم البشري في تحديد الدرجة النهائية، لأنها فقدت القدرة على ترتيب الطلاب بدقة.

وعلى الرغم من العيوب في التصحيح، فقد حظيت الملاحظات التي أنتجتها الحواسيب بقبول مفاجئ. وجد الطلاب الذين تلقوا تعليقات الذكاء الاصطناعي أنها واضحة ومفيدة ومساعدة في فهم أخطائهم. وفي الواقع، عندما طُلب منهم اختيار التعليقات التي يفضلونها من بين الحاسوبين، اختار الغالبية العظمى من الطلاب النموذج الخاص بشركة "OpenAI"، مشيرين إلى أن تعليقاته كانت تبدو أكثر شخصية وبناءة، وأقرب إلى ما قد يقوله معلم بشري. ومن المثير للاهتمام أن هذا التفضيل لم يتوافق دائماً مع أي حاسوب كان أكثر دقة من الناحية الرياضية؛ فالنموذج الذي فضله الطلاب من حيث أسلوب الكتابة لم يكن بالضرورة هو الأكثر دقة في تسجيل الدرجات. وهذا يشير إلى أنه بالنسبة للطلاب، فإن جودة النصيحة أهم من الرقم المحدد الممنوح لأعمالهم.

يخلص البحث إلى أن أدوات الذكاء الاصطناعي هذه هي مساعدات قوية ولكنها ليست جاهزة بعد لتولي القيادة بالكامل. يمكنها التعامل مع المهام الشاقة المتمثلة في مراجعة مئات التكليفات، ورصد العناصر المفقودة في الرسوم البيانية، وصياغة الملاحظات الأولية، مما يوفر وقتاً هائلاً للمعلمين. ومع ذلك، تشير الدراسة بقوة إلى ضر أن يظل المعلم البشري حاضراً في العملية لمراجعة الدرجات النهائية وضمان العدالة، خاصة في التقييمات عالية المخاطر حيث تعتمد مستقبل الطالب على النتيجة. إن المستقبل المثالي، وفقاً لهذه النتائج، هو نهج هجين حيث يعمل الكمبيوتر كقارئ أول لا يكل، يقدم تقييماً أولياً واقتراحات مفصلة، بينما يقدم المعلم البشري الحكم النهائي والفهم الدقيق الذي لا يستطيع تقديمُه إلا إنسان. يمكن لهذه الشراكة أن تغير تعليم هندسة البرمجيات، مما يجعل الملاحظات المخصصة متاحة لكل طالب دون إثقال كاهل المعلمين.