Beyond Mean Scores: Individual- and Trait-Level Agreement Between Human and Generative AI Raters in EFL Writing Assessment
تكشف هذه الدراسة أنه بينما تُظهر نماذج الذكاء الاصطناعي التوليدي الحالية استقراراً داخلياً عالياً، إلا أنها تُظهر توافقاً أقل مع المقيمين البشريين، وتحيزات منهجية في تقدير الشدة، وفشلاً في تطبيق قواعد معايير محددة مقارنة بالتقييم البشري المزدوج، مما يشير إلى أنها الأنسب لتقديم المساعدة الخاضعة للإشراف والمُحفزة بوجود تباينات، بدلاً من الاستبدال المستقل في تقييم كتابة اللغة الإنجليزية كلغة أجنبية ذي العواقب الوخيمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم تعلم اللغات عالي المخاطر، يمكن لمقال واحد أن يحدد ما إذا كان الطالب سينتقل إلى الجامعة أو يظل عالقاً في فصل تحضيري. لعقود من الزمن، اعتمد التربويون على المعلمين البشر لقراءة هذه المقالات وتعيين درجات بناءً على معايير تقييم معقدة تقيس كل شيء من القواعد النحوية إلى التدفق المنطقي للحجة. ومؤخراً، دخل منافس جديد إلى الساحة: الذكاء الاصطناعي. إن نماذج اللغات الكبيرة، وهي نفس البرامج الحاسوبية القوية التي يمكنها كتابة القصص أو الإجابة على الأسئلة، يتم اقتراحها بشكل متزايد كمصححين آليين. والوعد هنا مغرٍ: فالآلات سريعة، ولا تكل، ومتسقة. ولكن في مجال التعليم، السرعة ليست كافية؛ إذ يجب على نظام التقييم أن يفعل أكثر من مجرد إنتاج متوسط درجة معقول؛ بل يجب أن يتفق مع الخبراء البشر على التفاصيل المحددة لكل عمل من أعمال الطلاب، ويطبق القواعد بإنصاف، ويميز متى كتب الطالب شيئاً لا ينتمي ببساطة إلى الامتحان. لم يعد السؤال هو ما إذا كانت الآلة قادرة على توليد رقم، بل ما إذا كان يمكن الوثوق بهذا الرقم لاتخاذ قرارات تغير حياة المتعلمين.
شرع باحث في اختبار هذه الثقة في بيئة واقعية، متجاوزاً مجرد المقارنات البسيطة لمتوسط الدرجات ليرى مدى اتفاق الآلات والبشر فعلياً على الأوراق الفردية. فقد جمع اثنتين وسبعين مقالة مكتوبة بخط اليد من طلاب في تركيا كانوا يخوضون امتحاناً للكفاءة لتحديد مدى جاهزيتهم للدراسات الجامعية. وكان هؤلاء الطلاب قد كتبوا قطعاً رأي حول مواضيع تتراوح بين قيمة العمل الجاد والتوازن بين الأصدقاء والممتلكات. ثم أخضع الباحث هذه الأوراق لتقييم صارم وشامل؛ أولاً، قام ستة معلمون ذوو خبرة بتصحيح كل مقالة مرتين، باستخدام معيار تقييم مكون من خمسة أجزاء يقيم إنجاز المهمة، والتنظيم، والمفردات، والقواعد، والتماسك. بعد ذلك، قامت ثلاثة نماذج مختلفة من الذكاء الاصطناعي - وتحديداً نسخ من "كلود" (Claude) و"جي بي تي" (GPT) و"جيمناي" (Gemini) - بقراءة الصور الممسوحة ضوئياً للمقالات المكتوبة بخط اليد نفسها وقامت بتصحيحها باستخدام نفس التعليمات تماماً. ومن الأهمية بمكان أن الآلات لم تتلقَ أي تدريب خاص على هذه المقالات تحديداً؛ بل كان عليها تطبيق القواعد في الحال، تماماً كما يفعل أي معلم بشري جديد.
كشفت النتالئج عن مشهد أكثر تعقيداً من مجرد الأمل في وجود بديل آلي مثالي للحكم البشري. فبينما كانت نماذج الذكاء الاصطناعي متسقة بشكل ملحوظ مع نفسها - بمعنى أنه إذا طلبت من نفس النموذج تصحيح المقالة نفسها مرتين، فإنه سيعطي دائماً تقريباً الدرجة ذاتها - إلا أنها واجهت صعوبة في التوافق مع المعلمين البشر. كان الاتفاق بين المصححين البشريين قوياً، ولكن عندما تمت مقارنة الآلات بالمتوسط البشري، كان الارتباط أضعف بكثير. فقد مال كل نموذج إلى أن يكون أكثر صرامة من اللجنة البشرية، حيث منح درجات أقل بشكل عام. ولم تكن هذه الصرامة مقداراً ثابتاً؛ إذ كانت الآلات تعاقب المقالات القوية بشكل أكبر من المقالات الضعيفة، مما يعني أن التعديل الرياضي البسيط لا يمكنه إصلاح هذه الفجوة. وكان أحد النماذج، على وجه الخصوص، مثالياً تقريباً في تكرار قراراته الخاصة ولكنه كان الأكثر صرامة على الإطلاق، مما يثبت أن الاتساق لا يعني بالضرورة الإنصاف أو الدقة.
كما كشفت الدراسة عن كيفية تعامل هذه النماذج مع قواعد الامتحان المحددة، خاصة فيما يتعلق بالمقالات الخارجة تماماً عن الموضوع. نص معيار التقييم بوضوح على أنه إذا كتب الطالب عن موضوع خاطئ، فيجب أن يحصل على درجة صفر في كل المعايير. وقد اتبع المعلمون البشر هذه القاعدة دون استثناء، أما الآلات فلم تفعل ذلك. فحتى عند تقديم مقالات ليس لها علاقة بالموضوع المطروح، لا تزال النماذج تمنح درجات جزئية، فاشلة في إدراك أن المحتوى غير مؤهل للتقييم. كان هذا فشلاً تشغيلياً حرجاً، يظهر أنه بدون إشراف بشري، لا تستطيع الآلات التمييز بين الإجابة الضعية والإجابة غير ذات الصلة. علاوة على ذلك، عندما نظر الباحث في السمات المحددة للكتابة، مثل المفردات أو القواعد، غالباً ما فشلت النماذج في رؤية الفروق بين هذه الفئات، حيث عاملتها ككتلة ضبابية بدلاً من مهارات متميزة.
في نهاية المطاف، تشير الأبحاث إلى أن أدوات الذكاء الاصطنا هذه ليست جاهزة لاستبدال المصححين البشر في الامتحانات عالية المخاطر حيث تكون مستقبل الطالب على المحك. الآلات ليست معطلة، لكنها ليست مستقرة بما يكفي للوقوف بمفردها. إنها تعمل بشكل أفضل ليس كقضاة مستقلين، بل كمساعدين يحددون التناقضات أو يقدمون رأياً ثانياً ليراجعه البشر. وتخلص الدراسة إلى أنه لكي يكون الذكاء الاصطناعي مفيداً في التعليم، يجب أن يكون جزءاً من سير عمل تحت الإشراف حيث يظل البشر هم المسيطرون، يراجعون عمل الآلة، ويفرضون القواعد، ويتخذون القرار النهائي. توفر هذه التكنولوجيا طريقة قوية لتوسيع نطاق وصول التربويين، لكنها لا تستطيع بعد استبدال الحكم الدقيق المطلوب لضمان تقييم كل طالب بإنصاف ودقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.