When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

في عالم تعلم اللغة الثانية، اعتمد المعلمون والباحثون لفترة طويلة على إطار عمل ثلاثي الأجزاء لفهم مدى جودة كتابة الطالب. فهم ينظرون إلى التعقيد، وهو مدى تعقيد وتنوع تراكيب الجمل؛ والدقة، التي تقيس مدى خلو الكتابة من الأخطاء النحوية؛ والطلاقة، التي تحصي عدد الكلمات التي ينتجها الطالب في وحدة فكرية واحدة. لعقود من الزمن، تطلب قياس هذه السمات خبيراً بشرياً يقرأ كل جملة، ويعد الجمل التابعة، ويرصد كل خطأ، وهي عملية بطيئة ومكلفة ويصعب تكرارها باستمرار. أما الآن، فتقدم الذكاء الاصطناعي إمكانية جديدة. إذ يمكن أيضاً مطالبة النماذج اللغوية الكبيرة، وهي نفس الأنظمة الحاسوبية القوية التي يمكنها كتابة المقالات أو الإجابة على الأسئلة، بعدّ هذه السمات اللغوية فورياً. لكن يبقى سؤال جوهري: لمجرد أن الحاسوب يتفق مع الإنسان في التصنيف العام للمقالات، هل ينتج بالفعل نفس الأرقام؟ إذا استخدم المعلم هذه الأرقام لتتبع تقدم الطالب بمرور الوقت، فإن خطأً صغيراً ومتسقاً في عدّ الحاسوب قد يؤدي إلى استنتاج خاطئ تماماً حول ما إذا كان الطالب يتحسن أم يعاني.

وضع فريق من الباحثين في جامعة مراغه في إيران مجموعة من الأسئلة للإجابة عليها من خلال اختبار ستة أنظمة ذكاء اصطناعي عامة مختلفة مقابل خبراء بشريين. لقد جمعوا 90 مقالاً جدلياً كتبها 45 طالباً جامعياً، حيث كتب كل طالب مقالين حول الموضوع نفسه عن وسائل التواصل الاجتماعي، بفاصل أسبوعين بينهما. قرأ الخبراء البشريون أولاً كل مقال واتفقوا على مجموعة واحدة من الأرقام للتعقيد والدقة والطلاقة بناءً على قواعد صارمة. ثم قام الباحثون بتغذية الأنظمة الستة، بما في في ذلك أنظمة معروفة مثل ChatGPT وGemini وغيرها، بنفس المقالات تماماً، وطلبوا منهم تطبيق نفس القواعد الصارمة وإعادة الأعداد. لم يكن الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي كتابة مقال جيد، بل لمعرفة ما إذا كان بإمكانه العمل كأداة قياس دقيقة، تحاكي القيم الدقيقة التي سيحسبها البشر.

كشفت النتائج عن فجوة مفاجئة بين ما اتفق عليه الذكاء الاصطناعي والبشر وبين ما قاموا بقياسه فعلياً. أظهر كل نموذج من نماذج الذكاء الاصطناعي ارتباطاً قوياً بالدرجات البشرية؛ فعندما يقيم الإنسان مقالاً بأنه ذو تعقيد عالٍ، يقيمه الذكاء الاصطناعي أيضاً بأنه عالٍ. وهذا يعني أن الحواسيب كانت جيدة في فهم الترتيب النسبي للمقالات. ومع ذلك، عندما نظر الباحثون إلى الأرقام الفعلية، وجدوا أن الحواسيب كانت مخطئة في كثير من الأحيان بطريقة محددة. فبالنسبة لمقياس التعقيد، الذي يتضمن عدّ عدد الجمل التابعة المحشوة في جملة واحدة، قللت خمسة من النماذج الستة باستمرار من القيمة. لقد رأوا هياكل أقل تعقيداً مما رآه البشر. لم يكن هذا خطأ عشوائياً، بل كان انحيازاً منهجياً حيث بدا أن النماذج تغفل الأجزاء المعقدة في كتابة الطلاب. وفي المقابل، كانت النماذج أفضل بكثير في قياس الدقة؛ حيث استطاعت تحديد ما إذا كانت الجملة تحتوي على خطأ نحوي أم لا بشكل موثوق، وكانت أرقامها أقرب بكثير إلى الأعداد البشرية.

كما بحثت الدراسة في مدى قدرة النماذج على اكتشاف التغييرات في كتابة الطالب بمرور الوقت. وبما أن الطلاب كتبوا مقالين، فقد استطاع الباحثون معرفة ما إذا كان الذكاء الاصطناعي قد لاحظ نفس التحولات في الأداء التي لاحظها البشر. وجد الخبراء البشريون أنه في المقال الثاني، كتب الطلاب بـأخطاء نحوية أقل بكثير ولكنهم أنتجوا جملاً أقصر وأقل تعقيداً. وقد نجحت نماذج الذكاء الاصطناعي في نسخ هذا النمط بالنسبة للدقة والطلاقة، حيث حددت بشكل صحيح أن الطلاب ارتكبوا أخطاء أقل وكتبوا كلمات أقل في كل جملة. ومع ذلك، عندما تعلق الأمر بالتعقيد، كانت النماذج غير متسقة؛ فبعضها فشل في ملاحظة الانخفاض في التعقيد تماماً، بينما رأى البعض الآخر تغيراً صغيراً جداً. يشير هذا إلى أنه بينما قد يكون الذكاء الاصطناعي مفيداً لرصد الاتجاهات العامة في مجموعة كبيرة من الطلاب، إلا أنه لا يمكن الوثوق به بعد لتوفير الأرقام الدقيقة اللازمة للتحليل التفصيلي لبنية الجملة دون إشراف بشري.

من بين الأنظمة الستة المختبرة، حقق نموذج يسمى DeepSeek أفضل أداء إجمالي، حيث وازن بين الدقة عبر الفئات الثلاث بشكل أفضل من غيره. أما نموذج ChatGPT، فقد كان قوياً بشكل خاص في قياس الدقة. ومع ذلك، أكد الباحثون أنه لا يوجد نموذج واحد مثالي لكل مهمة. فقد اعتمد أداء الذكاء الاصطناعي بشكل كبير على ما يتم قياسه بالضبط؛ فالنموذج الممتاز في عد الأخطاء قد يكون ضعيفاً في عد تراكيب الجمل. يتحدى هذا الاكتشاف فكرة أن الارتباط العالي بين الدرجات البشرية والآلية يعني أنهما قابلان للتبادل. إنه يشير إلى أن استخدام الذكاء الاصطناعي لتقييم اللغة يتطلب نهجاً دقيقاً ومحدداً حيث يتم التحقق من صلاحية الأداة للمهمة المحددة المطلوبة منها، بدلاً من افتراض أنها تعمل بنفس الكفاءة لكل شيء.

في النهاية، خلصت الدراسة إلى أن هذه الأنظمة الحاسوبية القوية هي مساعدات قيمة وليست بدائل للحكم البشري في هذا المجال المحدد. يمكنها مسح كميات كبيرة من الكتابة بسرعة للعثور على أنماط عامة أو تحديد المقالات التي تحتاج إلى فحص أوثق. ومع ذلك، بالنسبة للقياسات الدقيقة، وخاصة فيما يتعلق بتعقيد تراكيب الجمل، لا تزال الأرقام التي تنتجها بحاجة إلى التدقيق مقابل المعايير البشرية. يسلط البحث الضدد على أنه في السعي نحو التحليل الآلي للغة، فإن الفرق بين التحرك في نفس الاتجاه وبين الوصول إلى نفس الرقم هو تمييز جوهري يجب على الباحثين والمعلمين وضعه في الاعتبار.