Evidence-Based AI Marking for Secondary Assessment: Alignment, Bias, and Confidence Analysis

تخيل عالماً لا يقتصر فيه تصحيح المقالات على معلم يحدق في كومة من الأوراق في وقت متأخر من الليل، بل يتضمن مساعداً حاسوبياً فائق الذكاء. هذا المجال، المعروف باسم التصحيح الآلي للمقالات (Automated Essay Scoring)، موجود منذ عقود، محاولاً تحويل فن التصحيح الفوضوي إلى علم سريع ومنظم. فكر في الأمر كأن ريبوتاً يحاول تعلم قواعد لعبة من خلال مراقبة آلاف اللاعبين. كانت الروبوتات الأولى خرقاء، تكتفي بعدّ الأشياء مثل طول المقال أو عدد الكلمات الكبيرة المستخدمة. لكن روبوتات اليوم، المدعومة بـ نماذج اللغات الكبيرة (LLMs)، تشبه القراء العباقرة الذين يمكنهم فهم القصة والمنطق وراء الكلمات.

ومع ذلك، هناك عقبة. فمجرد قدرة الروبوت على القراءة لا يعني أنه يعرف كيف يصحح بإنصاف. يقلق المعلمون بشأن التحيز (هل الروبوت متساهل أم متشدد للغاية؟)، والشفافية (هل يمكننا معرفة لماذا أعطى درجة معينة؟)، والمواءمة (هل يتفق مع ما قد يقوله معلم بشري؟). إذا منح الروبوت طالباً درجة (A) بينما يستحق (C)، أو العكس، فقد يغير ذلك مستقبل الطالب. لذا، فإن السؤال الكبير ليس فقط "هل يستطيع الروبوت التصحيح؟" بل "هل يمكنه التصحيح بشكل جيد بما يكفي ليتم الوثوق به في مدرسة حقيقية؟"

---

تجربة المصحح الروبوت

في هذه الدراسة، قرر باحث يدعى توم برايدن وضع روبوت ذكاء اصطناعي محدد للاختبار في عالم المدارس الثانوية العليا المليء بالضغوط في أستراليا. وبدلاً من أن يطلب من الروبوت مجرد إعطاء درجة نهائية مثل "كرة الحظ" (Magic 8-Ball)، أجبره على اللعب وفق قواعد صارمة: كان عليه أن يعمل كـ "مصحح ثانٍ أعمى" (بمعنى أنه لا يعرف ما الذي صوبه المعلم بالفعل)، ولكل نقطة يمنحها، كان عليه أن يشير إلى جملة محددة في عمل الطالب ويشرح بالضبط لماذا استحقت تلك الجملة تلك النقطة. كان الأمر أشبه بطلب من الروبوت أن يكون محققاً يجب عليه إظهار أدلته قبل تنفيذ عملية الاعتقال.

تم تغذية الروبوت بـ 437 تكليفاً حقيقياً من طلاب من 13 مادة مختلفة، تتراوح من الرياضيات والفيزياء إلى اللغة الإنجليزية والتاريخ الحديث. كان الهدف هو معرفة ما إذا كانت درجات الروبوت تتطابق مع درجات المعلمين، وما إذا كان لديه أي عادات غريبة، وما إذا كان "ثقته" في إجاباته تعني شيئاً حقيقياً.

النتائج: مساعد مفيد، ولكن كريم قليلاً

إليك ما كشفت عنه التجربة، مقسمة حسب الاكتشافات الرئيسية:

1. الروبوت والمعلم: أصدقاء جيدون، ولكن ليسا توأمين
كان الروبوت والمعلمون البشريون على نفس الموجة فيما يتعلق بالجو العام للفصل، لكنهما لم يتفقا على الأرقام الدقيقة. وجدت الدراسة ارتباطاً متوسطاً بينهما، بدرجة ارتباط بلغت 0.51. وباللغة البسيطة، إذا أعطى المعلم طالباً درجة عالية، فإن الروبوت عادة ما يعطي درجة عالية أيضاً، لكن الأرقام المحددة غالباً ما تبتعد عن بعضها.

• معدل التطابق التام: أعطى الروبوت والمعلم الدرجة الإجمالية نفسها في 20.8% فقط من الحالات.
• متوسط الانحراف: في المتوسط، كانت درجة الروبوت بعيدة بمقدار 2.96 درجة (من إجمالي الدرجات الممكنة لتلك المهمة).
• هامش "الخطأ": عند النظر إلى حجم الخطأ بالنسبة للدرجة الإجمالية، كان الروبوت بعيداً بنسبة 13.24%.

2. مشكلة "الروبوت اللطيف"
كانت واحدة من أكثر النتائج إثارة للاهتمام هي أن الروبوت امتلك سمة شخصية مميزة: كان متساهلاً. لقد كان يحب منح الطلاب ميزة الشك لصالحهم.

• عندما نظر الباحثون في الفرق بين درجة الروبوت ودرجة المعلم، وجدوا أن التوزيع كان منحازاً بشدة نحو منح الروبوت درجات أعلى.
• في الواقع، 44.9% من الوقت، أعطى الروبوت درجة أعلى بـ درجتين أو أكثر من المعلم.
• بينما أعطى الروبوت درجة أقل (بمقدار درجتين أو أكثر) من المعلم في 14.2% فقط من الحالات.
• يشير هذا إلى أنه إذا تركت الروبوت يصحح كل شيء، فقد يحصل الطلاب على درجات أعلى قليلاً مما قد يعطيهم إياه البشر.

3. المسألة مسألة مواد: الرياضيات مقابل التاريخ
لم يكن الروبوت بارعاً في كل شيء بالتساوي. بدا أنه يعاني أكثر في المواد التي تتطلب تفسيراً إبداعياً عميقاً، وكان يؤدي بشكل أفضل في المواد التي لها إجابات واضحة وخطوات محددة.

• المتعثرون: في مواد مثل توسيع الأدب واللغة الإنجليزية والرياضيات العامة، كان متوسط الفرق بين الروبوت والمعلم كبيراً جداً (حوالي 18.57% و 19.0% من إجمالي الدرجات على التوالي).
• النجوم: في الرياضيات المتخصصة والكيمياء، كان الروبوت أقرب بكثير إلى المعلمين، بفروق متوسطة بلغت 6.67% و 6.91% فقط.
• يخبرنا هذا أن الروبوت رائع في اتباع القواعد الصارمة (مثل الرياضيات) ولكنه يرتبك عندما تكون القواعد متعلقة بـ "الشعور" أو "الجدل" (مثل الإنجليزية أو التاريخ).

4. فخ الثقة
أخبر الروبوت الباحثين أيضاً بمدى "ثقته" في تصحيحه، بدرجات تتراوح بين 0.80 و 1.00. قد تعتقد أنه عندما يقول الروبوت "أنا متأكد بنسبة 100%!"، فهذا يعني أنه على صواب تماماً. لكن الدراسة تشير إلى أن هذا ليس صحيحاً.

• لم تكن الثقة العالية تعني دقة عالية. في الواقع، عندما كان الروبوت واثقاً جداً (بين 0.95 و 1.00)، كان في الواقع أكثر عرضة للتساهل (إعطاء درجات أعلى) مما كان عليه عندما كان أقل ثقة.
• وجد الباحثون أن ثقة الروبوت كانت أشبه بمقياس لمدى وضوح الأدلة بالنسبة للروبوت، وليس مقياساً لمدى صحة الدرجة. إنه يشبه المحقق الذي يكون متأكداً جداً من نظريته لأن الأدلة واضحة، حتى لو كانت النظرية خاطئة قليلاً.

5. العمل "التحقيقي": الأدلة والتغذية الراجعة
بما أن الروبوت كان مضطراً لإظهار عمله، فقد تمكن الباحثون من التحقق مما إذا كان منطقياً.

• الجيد: في مواد مثل الفيزياء والاقتصاد والرياضيات، كان الروبوت ممتازاً في إيجاد الجمل الصحيحة في مقال الطالب وشرح سبب استحقاقها للنقاط. لقد عمل كمحقق شفاف.
• السيئ: في مواد مثل السينما والتلفزيون والوسائط الجديدة، قدم الروبوت أحياناً ملاحظات سطحية للغاية. فبدلاً من تحليل المعنى العميق لمشهد سينمائي، قد يكتفي بالتعليق على القواعد اللغوية.
• الحكم: إن قدرة الروبوت على إظهار أدلته جعلت منه أداة رائعة لعملية المعايرة (التحقق مما إذا كان المعلم عادلاً) أو لتقديم ملاحظات المسودة، لكنه لم يكن جاهزاً لاستبدال المعلم تماماً.

6. السرعة والتكلفة: سوبر كمبيوتر بسعر زهيد
أخيراً، نظرت الدراسة إلى الجانب العملي: ما مدى سرعة ورخص هذا الأمر؟

• السرعة: عالج الروبوت الدفعة الكاملة المكونة من 437 ورقة في حوالي 5.8 ساعة (إجمالي وقت المعالجة 20,929.35 ثانية)، أي حوالي 47.89 ثانية لكل ورقة.
• التكلفة: بلغت التكلفة الإجمالية لتصحيح جميع الأوراق الـ 437 حوالي 4.23 دولار أمريكي. أي ما يعادل تقريباً 0.01 دولار لكل ورقة طالب.
• يثبت هذا أن استخدام الذكاء الاصطناعي للمساعدة في التصحيح رخيص وسريع للغاية، مما يجعله أداة قابلة للتطبيق جداً للمدارس لاستخدامها كعين ثانية.

الخلاصة

لا تقول هذه الورقة إن الذكاء الاصطناعي مستعد للسيطرة على الفصل الدراسي ومنح الشهادات بمفرده. لا يزال الروبوت كريماً للغاية، ويرتبك في المواد الإبداعية، وثقته ليست ضماناً للحقيقة.

ومع ذلك، تشير الدراسة إلى مستقبل واعد جداً حيث يعمل الذكاء الاصطناعي كـ مساعد فائق الكفاءة. تخيل معلماً يصحح مجموعة من المقالات، ويقوم الذكاء الاصطناعي فوراً بالمرور عبرها، مسلطاً الضوء على الأدلة لكل نقطة، وموضحاً النقاط التي يختلف فيها مع المعلم، ومعطياً مسودة من الملاحظات. إنه ليس القاضي النهائي، ولكنه أداة رائعة ورخيصة وشفافة لمساعدة المعلمين على أن يكونوا أكثر اتساقاً وتوفير الوقت. الروبوت هو "مصحح ثانٍ" رائع، ولكن في الوقت الحالي، يجب أن يظل المعلم البشري هو من يجلس في مقعد القيادة.