Interpretability from the Ground Up: Stakeholder-Centric Design of Automated Scoring in Educational Assessments
تقترح هذه الورقة نهجاً متمحوراً حول أصحاب المصلحة للتقييم الآلي القابل للتفسير من خلال تحديد أربعة مبادئ أساسية (الأمانة، والواقعية، والقابلية للتتبع، والتبادلية) وإثبات أنه من خلال إطار عمل "AnalyticScore"، يمكن لهذه الأنظمة القابلة للتفسير أن تحقق دقة تضاهي النماذج "الصندوق الأسود" المتطورة مع التوافق الوثيق مع سلوكيات التوسيم البشري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم تصحح مئات المقالات. لا يمكنك قراءة كل واحدة منها بالتفصيل، لذا استعنت بروبوت للمساعدة. ولكن إليك المشكلة: الروبوت يعطيك درجة، لكنه لا يخبرك لماذا. هو فقط يقول: "هذا المقال يستحق درجة B".
إذا سأل طالب: "لماذا حصلت على درجة B؟" أو سأل ولي أمر: "هل هذا عادل؟"، فلن يملك الروبوت إجابة. إنه "صندوق أسود". وهذا يخلق أزمة ثقة.
تقدم هذه الورقة طريقة جديدة لبناء روبوتات تصحيح تكون شفافة، وعادلة، وقابلة للتفسير. ويطلق المؤلفون على حلهم اسم ANALYTICSCORE.
إليك شرح بسيط لفكرتهم، باستخدام بعض التشبيهات من الحياة اليومية.
1. المشكلة: "الصندوق السحري" مقابل "البيت الزجاجي"
في الوقت الحالي، معظم روبوتات التصحيح بالذكاء الاصطناعي تشبه الصناديق السحرية. تضع مقالاً في الداخل، فتخرج درجة من الخارج. عليك أن تثق في السحر، لكن لا يمكنك رؤية التروس وهي تعمل بالداخل. إذا ارتكب الروبوت خطأً (مثل التحيز ضد أسلوب كتابة معين)، فلن يعرف أحد كيفية إصلاحه.
يجادل المؤلفون بأننا بحاجة إلى بناء بيوت زجاجية بدلاً من ذلك. يجب أن تكون قادراً على المشي داخلها، ورؤية كيف يفكر الروبوت بالضبط، وحتى التدخل لتصحيحه إذا أخطأ.
2. الحل: أربع قواعد للروبوت الجيد (FGTI)
لبناء مصحح "بيت زجاجي"، وضع المؤلفون أربع قواعد، أطلقوا عليها اسم FGTI. فكر في هذه القواعد كأنها أكواد البناء لروبوت جدير بالثقة:
- الأمانة (صادق الحقيقة): يجب أن يتطابق تفسير الروبوت مع ما فعله بالفعل.
- تشبيه: تخيل طباخاً يقول: "لقد أضفت الملح لأنني أردت طعماً مالحاً". إذا كان الطباخ قد أضاف الملح في الواقع لأنه كان مرتبكاً، فهذه كذبة. يجب أن يكون التفسير هو السبب الحقيقي، وليس قصة تم تأليفها لاحقاً.
- الاستناد إلى الأدلة (جامع الأدلة): يجب أن يبني الروبوت درجته على أجزاء محددة ومرئية من عمل الطالب يمكن للإنسان الإشارة إليها.
- تشبيه: بدلاً من قول: "هذا المقال يبدو وكأه يستحق B"، يجب أن يقول الروبوت: "لقد ذكرت 'التمثيل الضوئي' بشكل صحيح، لكنك أغفلت الجزء المتعلق بـ 'الكلوروفيل'". إنه يشير إلى الجمل الفعلية في المقال.
- القابلية للتتبع (الدليل خطوة بخوة): يجب أن يكون منطق الروبوت عبارة عن سلسلة واضحة من الخطوات، مثل الوصفة.
- تشبيه: إذا اتبعت وصفة وحرقت الكعكة، يمكنك النظر في الخطوات: "أوه، لقد خبزتها لمدة 60 دقيقة بدلاً من 30". يمكنك رؤية المكان الذي تعطلت فيه العملية بالضبط.
- القابلية للتبادل (الاستبدال البشري): يجب أن يتمكن الإنسان من تولي أي خطوة من خطوات عملية الروبوت إذا لزم الأمر.
- تشبيه: إذا تعطل "خلاط الصلصة" الخاص بالروبوت، يمكن لطباخ بشري أن يتدخل ويخلط الصلصة يدوياً. الطبق النهائي (الدرجة) سيُصنع بنفس الطريقة، ولكن بيد بشرية في ذلك الجزء المحدد.
3. كيف يعمل: مصنع الخطوات الثلاث
بنى المؤلفون نظاماً يسمى ANALYTICSCORE يعمل كمصنع مكون من ثلاث مراحل لتصحيح المقالات:
- المرحلة 1: المحقق (استخراج القرائن)
يقرأ الروبوت المقال والسؤال، ثم يستخرج "قرائن" أو "مكونات تحليلية" محددة.- مثال: إذا كان السؤال عن الباندا، سيبحث الروبوت عن قرائن مثل: "هل ذكروا أن الباندا تأكل الخيزران؟" أو "هل ذكروا أن الباندا تعيش في الصين؟". إنه يسرد هذه القرائن بوضوح.
- المرحلة 2: بطاقة الدرجات (تحديد السمات)
يتحقق الروبوت من المقال مقابل تلك القرائن. هو لا يخمن؛ بل يضع علامات (صح) في المربعات.- مثال: "القرينة 1: هل ذُكر الخيزران؟ نعم. القرينة 2: هل ذُكرت الصين؟ لا". إنه يحول المقال إلى قائمة بسيطة من الحقائق التي يمكن للبشر قراءتها.
- المرحلة 3: القاضي (وضع الدرجة)
يأخذ الروبوت تلك القائمة ويطبق معادلة رياضية بسيطة (مثل المتوسط المرجح) لإعطاء درجة نهائية. ولأن القائمة بسيطة، يمكن للإنسان أن ينظر إليها ويقول: "مهلاً، إذا فاتهم ذكر الصين، فلا ينبغي أن يحصلوا على الدرجة الكاملة"، وتثبت الرياضيات ذلك.
4. هل نجح الأمر؟
اختبر المؤلفون هذا النظام على مقالات طلابية حقيقية من مجموعة بيانات كبيرة (ASAP-SAS).
- الدقة: كان الروبوت جيداً تقريباً مثل أفضل روبوتات "الصناديق السحرية" في إعطاء الدرجة الصحيحة. كان الفرق ضئيلاً جداً (حوالي 0.06 نقطة على مقي scale)، وهو فرق طفيف للغاية.
- الثقة: عندما طلبوا من البشر القيام بنفس مهمة "القائمة" التي قام بها الروبوت، وجدوا أن البشر والروبوت اتفقوا مع بعضهم البعض بشكل جيد جداً. وهذا يثبت أن الروبوت لا يخمن فحسب؛ بل ينظر إلى نفس الأشياء التي ينظر إليها البشر.
5. لماذا هذا مهم؟
هذه الورقة مهمة جداً لأنها تنقل التركيز من "ما مدى ذكاء الروبوت؟" إلى "كيف يمكننا الوثوق بالروبوت؟".
- للطلاب: يحصلون على ملاحظات يمكنهم فهمها حقاً ("لقد فاتتك هذه النقطة المحددة").
- للمعلمين: يمكنهم الوثوق بالدرجات لأنهم يستطيعون رؤية المنطق.
- للمجتمع: هذا يمنع التحيز غير العادل لأننا نستطيع فحص "وصفة" الروبوت للتأكد من أنه لا يعامل الطلاب بشكل غير عادل.
باخت-القول: بنى المؤلفون روبوتاً للتصحيح لا يعطي إجابة فحسب، بل يظهر خطوات حله أيضاً. إنه يثبت أنه يمكننا الحصول على تصحيح عالي التقنية وسريع، وفي نفس الوقت يكون عادلاً، وشفافاً، وصديقاً للبشر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.