Psychometric Calibration of Large Language Models for Multidimensional L2 Academic Writing Assessment: The LICA Framework

في عالم تعلم اللغة، تُعد كتابة المقال الأكاديمي عملاً معقداً؛ فهي لا تقتصر مجرد على كتابة الكلمات بشكل صحيح أو ترتيب الجمل دون أخطاء قواعدية، بل يجب على الطالب أيضاً لتنجح في ذلك أن يطور أفكاراً قوية، ويربط تلك الأفكار بسلاسة بحيث يتدفق النص منطقياً، ويتبنى نبرة تتناسب مع التوقعات الجادة والموضوعية للمحادثة العلمية. ولعقود من الزمن، كافح المعلمون لتصحيح هذه المقالات بإنصاف واتساق؛ فالحكم البشري ذو قيمة، ولكنه بطيء ومكلف وعرضة للإرهاق، مما قد يؤدي إلى منح معلمين مختلفين درجات مختلفة لنفس العمل. وقد خلق هذا طلباً على أجهزة حاسوب يمكنها قراءة وكتابة النصوص وتصحيحها تلقائياً.

مؤخراً، ظهرت أنظمة ذكاء اصطناعي قوية تُعرف بنماذج اللغات الكبيرة. وهي نفس أنواع التكنولوجيا التي يمكنها إجراء محادثات، أو كتابة قصص، أو الإجابة على الأسئلة. ولأنها تستطيع فهم اللغة البشرية بشكل جيد، بدأ الباحثون يتساءلون عما إذا كان بإمكانها أيضاً أن تعمل كمعلمين عادلين ودقيقين، بحيث تصحح مقالات الطلاب تماماً كما يفعل البشر. وكان الأمل هو أن توفر هذه الآلات تعليقات فورية لآلاف الطلاب في آن واحد. ومع ذلك، ظل هناك سؤال جوهري بلا إجابة: هل تفهم هذه الآلات حقاً ما الذي يجعل الكتابة جيدة، أم أنها مجرد تخمن أرقاماً تبدو صحيحة للوهلة الأولى؟ ولتحديد ذلك، شرعتت باحثة تُدعى بيغاه مريكخي في اختبار ثلاثة من أكثر أنظمة الذكاء الاصطناعي تقدماً المتاحة اليوم مقابل المعيار الذهبي للحكم البشري.

ركزت الدراسة على إطار عمل محدد يسمى LICA، والذي يفكك جودة المقال إلى أربعة أجزاء متميزة. الجزء الأول هو اللغة (Language)، والذي ينظر في القواعد والمفردات. والثاني هو الأفكار (Ideas)، الذي يقيس مدى عمق الحجج ومدى دعمها. والثالث هو التماسك (Cohesion)، الذي يتحقق من كيفية ترابط الجمل والفقرات معاً. والجزء الأخير هو الملاءمة الأكاديمية (Academic Appropriateness)، الذي يحكم ما إذا كان أسلوب الكتابة يبدو كحديث لباحث جاد، بدلاً من كونه محادثة عادية. أخذت الباحثة خمسة مقالات كتبها متعلمون للغة ثانية، وطلبت من ثلاثة أنظمة ذكاء اصطناعي مختلفة — وهي GPT-4o وClaude 3.5 Sonnet وGemini 1.5 Pro — تقييم كل مقال بناءً على هذه المقاييس الأربعة. وفي الوقت نفسه، قدم خبير بشري الدرجات "الصحيحة". وكان الهدف هو معرفة مدى قرب الآلات من الخبير البشري وكيف تقارن ببعضها البعض.

كشفت النتائج عن قصة من الدقة المفاجئة الممزوجة بشخصيات متميزة ضمن هذا الاختبار الصغير المحدد. أحد أنظمة الذكاء الاصطناعي، وهو GPT-4o، أظهر دقة مثالية في المقالات الخمسة المستخدمة في هذا المعايرة الأولية؛ حيث طابق درجات الخبير البشري تماماً في كل مقال وفي كل فئة في هذه العينة المحددة، محاكياً بذلك حكم الخبير البشري لهذا القدر المحدود من البيانات بفعالية. أما النظام الثاني، Claude 3.5 Sonnet، فقد كان قريباً جداً من الخبير البشري، لكنه أظهر ميلاً طفيفاً ليكون سخياً للغاية؛ فعند تقييم تدفق الأفكار والنبرة الأكاديمية، أعطى درجات أعلى قليلاً مما كان سيعطيه الخبير البشري. لم يكن مخطئاً، لكنه كان متساهلاً بعض الشيء.

أظهر النظام الثالث، Gemini 1.5 Pro، نمطاً مختلفاً. فبينما كان بارعاً جداً في الحكم على كيفية ترابط الفقرات، إلا أنه مال إلى أن يكون أكثر صرامة من الخبير البشري. وعند تقييم عمق أفكار الطالب وملاءمة النبرة الأكاديمية، أعطى درجات أقل بشكل ملحوظ مما أعطاه الخبير البشري. وهذا يشير إلى أنه بينما استطاعت الآلة رؤية بنية الكتابة، إلا أنه كان من الصعب عليها تقييم المحتوى وصوت الكاتب.

ولعل النتيجة الأكثر كشفاً لم تكن حول مقارنة الآلات بالبشر، بل حول مقارنتها ببعضها البعض. فعندما قامت أنظمة الذكاء الاصطناعي الثلاثة بتصحيح المقالات دون أي مساعدة بشرية، اتفقت بشكل شبه مثالي على الجوانات التقنية للغة وتدفق النص. ومع ذلك، واجهت صعوبة في الاتفاق فيما بينها عندما تعلق الأمر بالحكم على النبرة الأكاديمية وجودة الأفكار. ففي المسألة المتعلقة بما إذا كانت الكتابة تبدو مناسبة للوسط الجامعي، غالباً ما اختلفت الآلات، حيث كان أحدها سخياً والآخر صارماً. ويشير هذا إلى أنه بينما تعد هذه الأنظمة ممتازة في رصد القواعد والبنية، إلا أنها لا تمتلك بعد رؤية موحدة ومتسقة لما يجعل الحجة الأكاديمية تبدو صائبة.

تخلص الدراسة إلى أن أدوات الذكاء الاصطناعي هذه قوية بما يكفي لتكون مفيدة، ولكنها ليست جاهزة بعد لاستبدال المعلمين البشر تماماً. إذ يمكنها التعامل مع الأجزاء الميكانيكية للتصحيح بسرعة ودقة كبيرتين، لكنها لا تزال تفتقر إلى الحدس البشري المتسق اللازم لتقييم الفروق الاجتماعية والثقافية الدقيقة في الكتابة الأكاديمية. وتقترح الباحثة أن النهج الأفضل هو استخدام هذه الآلات كمساعدات تقدم مسودة أولى من التعليقات، مع إبقاء معلم بشري في صلب العملية لاتخاذ القرار النهائي، خاصة فيما يتعلق بالجوانب الأكثر تعقيداً في الكتابة. وهذا يضمن حصول الطلاب على سرعة الأتمتة دون فقدان عمق الفهم البشري.