Multi model deliberation improves the stability of automated scoring by large language models across genres and assessment contexts

ملخص تقني: المداولة متعددة النماذج لاستقرار التقييم الآلي

بيان المشكلة
بينما تُظهر النماذج اللغوية الكبيرة (LLMs) وعوداً في التصحيح الآلي للمقالات، فإن نشرها العملي في التقييم التربوي يعوقه عدم استقرار التقييم والافتقار إلى التحقق من صحة السياقات المتعددة. تركز الأبحاث الحالية على دقة التنبؤ (الاتفاق مع المقيمين البشريين)، لكنها غالباً ما تهمل الموثوقية — وتحديداً، اتساق النموذج عند تقييم نفس الاستجابة بشكل متكرر. وباعتبارها مولدات احتمالية، تُدخل النماذج اللغوية الكبيرة تبايناً عشوائياً يشبه إجهاد المقيم البشري، مما يهدد العدالة والصدقية التعليمية. تفترض نظرية القياس الكلاسيكية أن الموثوقية هي شرط مسبق للصدقية؛ فالأداة التي تعطي درجات مختلفة لنفس الاستجابة لا يمكنها دعم استنتاجات صالحة. علاوة على ذلك، تفشل طرق التجميع التقليدية (مثل المتوسط البسيط) في تعزيز "المعايرة المعرفية"، لأنها تجمع أحكاماً معزولة دون تسهيل تبادل المعلومات أو التفكير معاً.

المنهجية
تقترح الدراسة إطار عمل للمداولة متعددة النماذج يستند إلى نظرية الذكاء الجمعي. يعيد هذا الإطار تصور التقييم الآلي كعملية مداولة تشمل ثلاثة نماذج لغوية كبيرة مفتوحة المصدر وغير متجانسة باللغة الصينية: Baichuan2-13B، و Qwen2.5-14B، و ChatGLM4-9B. تعمل العملية عبر ثلاث جولات متتالية:

1. التقييم المستقل (R1): تقوم النماذج بتقييم الاستجابة بمعزل عن بعضها البعض، وتوليد الدرجات الأولية والمسوغات.
2. تبادل المعلومات (R2): تُعرض على النماذج درجات ومسوغات النموذجين الآخرين. ويُطلب منها إعادة تقييم الاستجابة، مع خيار تعديل درجاتها أو التمسك بحكمها الأصلي بناءً على الأدلة الجديدة.
3. التأكيد النهائي (R3): تتلقى النماذج المجموعة الكاملة من التعديلات والمسوغات من الجولة الثانية (R2) وتقدم درجة نهائية حاسمة.

تم تقييم إطار العمل عبر مجموعتي بيانات متكاملتين لاختبار القدرة على التعميم والاستقرار:

• مجموعة بيانات ASAP-AES: وهي مرجع عام يحتوي على حوالي 13,000 مقال لطلاب من مرحلة الروضة وحتى الصف الثاني عشر موزعة على ثمانية مواضيع كتابة. ولأغراض هذه الدراسة، تم اختيار خمس مقالات عمداً من كل موضوع من المواضيع الثمانية (لتغطية شرائح الدرجات العليا والمتوسطة والدنيا) لإنشاء مجموعة اختبار مكونة من 40 مقالاً، مع إجراء 30 تجربة لكل مقال (7,350 ملاحظة على مستوى السمات).
• مجموعة بيانات الصحافة: استجابات حقيقية من دورة صحافة جامعية صينية (10 مقالات، 100 تجربة لكل منها، 9,000 سجل تقييم) تم تقييمها من قبل مقيم بشري خبير.

قارنت الدراسة بين تجميع المداولة المقترح وبين خطوط الأساس للنماذج الفردية، والتجميع البسيط (المتوسط/الوسيط)، والتقييم بنموذج فردي بعد المداولة. وشملت المقاييس متوسط الخطأ المطلق بين النماذج (MAE) للتقارب، ومعامل الاختلاف (CV) للاستقرار، وارتباطات ترتيب الرتب مع الدرجات البشرية.

النتائج الرئيسية

• انخفاض كبير في عدم الاتفاق: في مجموعة بيانات ASAP-AES، انخفض عدم الاتفاق بين النماذج (MAE) بشكل ملحو وظهور في الجولة الثالثة (R3) عبر جميع المواضيع (بمعامل تصحيح هولم p < 0.001). كان حجم الأثر المجمع كبيراً (Cohen's dz = 1.08)، مع ارتباط رتبي ثنائي (rank-biserial correlation) قدره 0.92، مما يشير إلى أن المداولة دفعت نحو التقارب باستمرار بغض النظر عن النوع أو مقياس التقييم.
• تعزيز الاستقرار: في مجموعة بيانات الصحافة، انخفض معامل الاختلاف (CV) لتجميع المداولة من 7.29% (الأساس) إلى 2.78%، مما يمثل تحسناً نسبياً قدره 61.9% (t(9) = 7.98, p < 0.001). تفوق هذا التحسن بشكل كبير على استراتيجيات التجميع البسيطة (التي خفضت CV بنسبة 40.8%)، والتقييم بنموذج فردي بعد المداولة (تحسن بنسبة 34.2%)، مما أثبت وجود تأثير تآزري بين المداولة والتجميع.
• تفكيك الجولات: تم تقسيم تأثير التقارب إلى جزأين. استحوذت جولة تبادل المعلومات (من R1 إلى R2) على حوالي ثلثي (66–69%) إجمالي التقارب، بينما ساهمت جولة التأكيد النهائي (من R2 إلى R3) بالثلث المتبقي (31–34%). وُجد أن كلا المرحلتين مهمتان إحصائياً وغير متكررتين.
• تباين النماذج وسلوكها: أظهرت النماذج الثلاثة أدواراً متميزة ومتسقة عبر مجموعات البيانات. عمل Baichuan2 كـ "مرساة" محافظة بأقل قدر من تغيير الدرجات؛ بينما عمل Qwen كـ "معدل نشط"، حيث قام بتعديل الدرجات صعوداً بشكل متكرر؛ وعمل ChatGLM كـ "قاضٍ قوي"، يوازن بين التعديل ومقاومة التفكير الجماعي. منع هذا التباين التقارب المبكر.
• المواءمة مع الدرجات البشرية: بينما حسنت المداولة الدقة (الاستقرار)، فقد أدت إلى إزاحة تصاعدية نظامية في الدرجات المطلقة مقارنة بالمقيمين البشريين (مثلاً +13.46 نقطة على مقياس الـ 100 نقطة في مجموعة بيانات الصحافة). ومع ذلك، تم الحفاظ إلى حد كبير على توافق ترتيب الرتب مع الدرجات البشرية (Spearman ρ = 0.75 في مجموعة بيانات الصحافة). أظهرت الدراسة أنه يمكن تصحيح هذا الانحياز النظامي من خلال المعايرة الخطية القياسية مقابل المرتكزات البشرية، مما قلل متوسط الخطأ المطلق بنسبة 50.3%.

المساهمات الرئيسية

1. إعادة صياغة موثوقية التقييم: تنقل هذه الدراسة التركيز من الدقة التنبؤية البحتة إلى موثوقية القياس، مقترحة إطار عمل للمداولة يحقق الاستقرار من خلال المعايرة المعرفية النشطة بدلاً من إلغاء الخطأ العددي.
2. التحقق التجريبي: توفر الدراسة دليلاً قوياً على فعالية إطار العمل عبر لغات متنوعة (الصينية/الإنجليزية)، وأنواع مختلفة (جدلية/سردية)، ومقاييس تقييم مختلفة، مما يؤكد القدرة على تعميم المداولة متعددة النماذج.
3. توصيف الآليات: توضح الدراسة أنماط التقارب وسلوكيات التعديل المحددة للنماذج غير المتجانسة، وتكشف أن تبادل المعلومات هو الذي يقود غالبية التقارب بينما توفر جولة التأكيد النهائي الاستقرار اللازم.

الأهمية والادعاءات
تزعم الورقة أن المداولة متعددة النماذج تعزز بشكل كبير استقرار التقييم الآلي، مما يجعل النماذج اللغوية الكبيرة أكثر قابلية للتطبيق في التقييم التربوي حيث يعد الاتساق أمراً بالغ الأهمية للعدالة. ويرى المؤلفون أنه بينما تحسن المداولة "الدقة" (الموثوقية)، فإنها لا تضمن تلقائياً "الصدقية" (المواءمة المطلقة مع المعايير البشرية). لذلك، يُقدم إطار العمل كطبقة لتعزيز الدقة يجب اقترانها بمعايرة مرتكزة على العنصر البشري للتطبيقات عالية المخاطر. وتخلص الدراسة إلى أن مثل هذا النظام يمكن أن يدعم التقييم التكويني ويقلل أعباء العمل في التصحيح، بشرما يظل الحكم المهني البشري مركزياً في عملية التقييم ويتم إدارة الانحيازات النظامية من خلال المعايرة. وتشير النتائج إلى أن "الحكمة الجماعية" للنماذج غير المتجانسة، عندما تُنظم من خلال المداولة، توفر مساراً نحو تقييم آلي أكثر موثوقية من طرق التجميع البسيطة أو النماذج الفردية.