Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring
تقيم هذه الورقة أداء أربعة من النماذج اللغوية الكبيرة ذات الأوزان المفتوحة والأحدث حالياً في تصحيح مقالات اللغة الألمانية لمستوى (A-level) النمساوي باستخدام مطالبات قائمة على معايير التقييم، لتجد أنه على الرغم من قدرتها على تطبيق معايير موحدة، إلا أن معدلات توافقها المنخفضة مع الخبراء البشريين (بحد أقصى 40.6% في الأبعاد الفرعية و32.8% في الدرجات النهائية) تجعلها غير مناسبة حالياً للتصحيح الآلي في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم يتعين عليك تصحيح مئات المقالات كل أسبوع. إنه أمر مرهق، ويستغرق وقتاً طويلاً، وأحياناً، قد تكون قاسياً بعض الشيء في صباح يوم الثلاثاء أو متساهلاً للغاية في بعد ظهر يوم الجمعة. هذا هو المشكل الذي يحاول التصحيح الآلي للمقالات (AES) حله: استخدام الحواسيب للقيام بعملية التصحيح حتى يتمكن المعلمون من التركيز على التدريس.
لفترة طويلة، كانت الحواسيب مثل الروبوتات الجامدة التي لا يمكنها سوى عد الكلمات في المقال أو التحقق من الأخطاء الإملائية. لم تكن تستطيع حقاً "فهم" الكتابة. ولكن مؤخراً، أصبح لدينا هذه العقول الاصطناعية فائقة الذكاء التي تسمى نماذج اللغات الكبيرة (LLMs) والتي يمكنها القراءة، والكتابة، والاستنتاج بشكل يشبه البشر تقريباً.
هذه الورقة البحثية تشبه "تقرير الدرجات" لتجربة محددة: هل يمكن لهذه العقول الاصطناعية الجديدة أن تصحح مقالات اللغة الألمانية لطلاب المدارس الثانوية في النمسا بنفس كفاءة المعلم البشري؟
إليك تفصيل لما قاموا به، باستخدام بعض التشبيهات من الحياة اليومية:
1. الإعداد: "قاعة الامتحان"
جمع الباحثون 101 مقالاً حقيقياً من مقالات طلاب المدارس الثانوية في النمسا. لم تكن هذه مجرد فقرات عشوائية؛ بل كانت أنواعاً محددة من الكتابة مثل مقالات الرأي، والرسائل الموجهة لمديري الصحف، والتحليلات الأدبية.
فكر في نظام التصحيح مثل الوصفة. في النمسا، هناك "وصفة" صارمة (تسمى المعيار - Rubric) يجب على المعلمين اتباعها. وهي تقسم المقال إلى أربعة مكونات:
- المحتوى (هل قالوا الأشياء الصحيحة؟)
- البنية (هل العمل منظم بشكل جيد؟)
- الأسلوب (هل يبدو النص جيداً؟)
- اللغة (هل القواعد صحيحة؟)
الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناعي اتباع هذه الوصفة بشكل مثالي.
2. المتسابقون: نماذج الذكاء الاصطناعي
لقد اختبروا أربعة نماذج مختلفة من الذكاء الاصطناعي (DeepSeek، وQwen، وMixtral، وLlama). تخيل هؤلاء كأربعة متدربين طلاب تم استئجارهم للمساعدة في تصحيح الأوراق.
- Mixtral كان مثل المتدرب الذي يشعر بالملل ويعطي الجميع درجة "C" (الدرجة 3) دون قراءة.
- DeepSeek كان مثل المتدرب الصارم جداً، الذي يعطي ملاحظات غريبة، ويتحدث أحياناً باللغة الصينية بدلاً من الألمانية!
- Qwen كان جيداً نوعاً ما ولكنه لا يزال قاسياً بعض الشيء.
- Llama3.3 كان الفائز الواضح. لقد كان الأكثر موثوقية، وفهم التعليمات بشكل أفضل، وقدم ملاحظات أكثر شبهاً بالبشر.
3. التدريب: كيف علموا الذكاء الاصطناعي؟
جرب الباحثون ثلاث طرق مختلفة لمساعدة الذكاء الاصطناعي على فهم ما تعنيه "الدرجة الجيدة":
- نهج "الصفر محاولة" (التخمين الأعمى): قدموا للذكاء الاصطناعي المقال والقواعد فقط.
- النتيجة: أصيب الذكاء الاصطناعي بالارتباك. لم يكن يعرف ما الذي تبدو عليه "الدرجة 1" (المثالية) فعلياً مقارنة بـ "الدرجة 5" (الرسوب).
- نهج "RAG" (المكتبة): أعطوا الذكاء الاصطناعي "ورقة غش" تحتوي على مقالات أخرى (بعضها جيد وبعضها سيء) لينظر إليها أثناء التصحيح.
- النتيجة: كان الأداء أفضل، لكن الذك even ظل يعاني في التمييز بين أفضل المقالات وأسوأها. كان الأمر أشبه بإعطاء طالب كتاباً مدرسياً دون إخباره بأي صفحة يجب أن يقرأ.
- نهج "العديد من المحاولات" (الإرشاد): كان هذا هو الأسل better طريقة. لقد عرضوا على الذكاء الاصطناعي بعض الأمثلة: "هذا مقال مثالي (الدرجة 1)، وهذا مقال فوضوي (الدرجة 5)، وهذا مقال متوسط المستوى (الدرجة 3)". ثم طلبوا من الذكاء الاصطناعي تصحيح مقال جديد بناءً على تلك الأمثلة.
- النتيجة: نجح هذا النهج بشكل أفضل. كان الأمر أشبه بإظهار ملف أعمال سابق للمتدرب لكي يأخذ فكرة عن المعايير.
4. النتائج: هل اجتازوا الاختبار؟
إليك الأخبار السيئة: الذكاء الاصطناعي ليس مستعداً لاستبدال المعلمين البشر بعد.
- معدل الاتفاق: عندما قام الذكاء الاصطناعي والمعلم البشري بتصحيح نفس المقال، اتفقا على الدرجة النهائية في حوالي 33% من المرات فقط.
- الدرجات الفرعية: حتى عند النظر في "المحتوى" أو "القواعد" فقط، لم يتفق الذكاء الاصطناعي مع الإنسان إلا في حوالي 40% من المرات.
فكر في الأمر كالتالي: إذا أعطى المعلم البشري مقالاً بدرجة "A"، فقد يعطي الذكاء الاصطناعي درجة "C" أو "B". إنه ليس عشوائياً تماماً، لكنه ليس دقيقاً بما يكفي ليتم الوثوق به في مستقبل الطالب الحقيقي.
5. لماذا فشل؟
تشير الورقة إلى عدة أسباب جعلت الذكاء الاصطناعي يعاني:
- مشكلة "الصندوق الأسود": كان الذكاء الاصطناعي أحياناً يخمن الحل الوسط (الدرجة 3) لأنه كان يخشى أن يكون متطرفاً جداً.
- عقبة "الخط اليدوي": كانت العديد من مقالات الطلاب مكتوبة بخط اليد. كان على الكمبيوتر مسحها ضوئياً وتحويلها إلى نص (OCR). هذه العملية أدخلت أخطاءً، مثل تحويل حرف "s" غير الواضح إلى حرف "f"، مما أربك الذكاء الاصطناعي.
- تحيز "المعلم الواحد": احتوت مجموعة البيانات فقط على درجات من معلم بشري واحد. إذا كان هذا المعلم غريباً في أسلوبه أو صارماً، فإن الذكاء الاصطناعي تعلم هذا الأسلوب المحدد، وليس "الحقيقة العالمية" للتصحيح.
الخلاصة
هذه الورقة هي بمثابة واقع ملموس. بينما حقق الذكاء الاصطناعي قفزات هائلة، إلا أنه حالياً يشبه مساعد التدريس المساعد أكثر من كونه معلماً رئيسياً.
يمكنه قراءة مقال، والتحقق من القواعد، وإعطاء فكرة تقريبية عن الجودة. لكنه لا يستطيع بعد فهم الفروق الدقيقة في صوت الطالب الفريد أو الاختلافات الطفيفة بين الحجة "الجيدة" والحجة "العظيمة" كما يفعل البشر.
المستقبل: يقترح المؤلفون أنه في المستقبل، لن يستبدل الذكاء الاصطناعي المعلمين. بدلاً من ذلك، سيكون أداة تقوم بالعمل الممل (التحقق من الإملاء، عد الكلمات، اقتراح البنية) حتى يتمكن المعلمون من قضاء وقتهم في تقديم التغذية الراجعة البشرية الحقيقية التي يحتاجها الطلاب. ولكن في الوقت الحالي، لا نزال بحاجة إلى وجود البشر في العملية لضمان عدالة الدرجات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.