💬 NLP

CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading

تقدم الورقة البحثية إطار عمل CHiL(L)Grader، وهو إطار عمل يعتمد على وجود الإنسان في الحلقة يجمع بين تقدير الثقة المعاير والتعلم المستمر لأتمتة تصحيح الإجابات القصيرة ذات الثقة العالية بأمان مع توجيه الحالات غير المؤكدة إلى الخبراء البشريين، مما يحقق دقة بمستوى الخبراء في 35-65% من الاستجابات عبر مجموعات بيانات متنوعة.

المؤلفون الأصليون: Pranav Raikote, Korbinian Randl, Ioanna Miliou, Athanasios Lakes, Panagiotis Papapetrou

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pranav Raikote, Korbinian Randl, Ioanna Miliou, Athanasios Lakes, Panagiotis Papapetrou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك معلم لديه 500 طالب و50 سؤالاً ذا إجابة قصيرة لتصحيحها. أنت مرهق. أنت تعلم أن التصحيح عملية ذاتية، وتستغرق وقتاً طويلاً، وعرضة للإجهاد. هنا يأتي دور المصحح الآلي (AI Grader)، وهو مساعد روبوت فائق الذكاء يمكنه قراءة الإجابات في ثوانٍ معدودة.

ولكن هناك عقبة: الروبوت كاذب سيء جداً بشأن مدى تأكده.

إذا خمن الروبوت الدرجة، فسيقول: "أنا متأكد بنسبة 99%!" حتى لو كان مخطئاً تماماً. الأمر يشبه طالباً يرفع يده بثقة للإجابة على سؤال ليس لديه أدنى فكرة عنه. إذا تركت هذا الروبوت يصحح كل شيء، فستعطي درجات خاطئة، وسيكون الطلاب غاضبين للغاية.

هذه هي المشكلة التي يحلها بحث CHiL(L)Grader.

الحل: "شرطي مرور ذكي" للتصحيح

لقد بنى المؤلفون نظاماً يعمل مثل شرطي مرور ذكي عند تقاطع مزدحم. فبدلاً من ترك كل سيارة (إجابة طالب) تمر بعشوائية، يتحقق الشرطي من "مقياس الثقة" الخاص بالسيارة.

إليك كيف يعمل النظام، مقسماً إلى أربع خطوات بسيطة:

1. "فحص الثقة" (المعايرة - Calibration)

أولاً، يعلم النظام الذكاء الاصطناعي كيف يكون صادقاً. في العالم الحقيقي، إذا قال المعلم: "أنا متأكد بنسبة 80% أن هذه الإجابة صحيحة"، فغالباً ما يكون محقاً في 80% من الحالات. أما الذكاء الاصطناعي، فهو بطبيعته مفرط في الثقة.
يستخدم النظام حيلة تسمى "تدرج درجة الحرارة" (Temperature Scaling). فكر في هذا الأمر كأنه خفض لـ "مستوى صوت" ثقة الذكاء الاصطناعي. إذا كان الذكاء الاصطناعي يصرخ: "أنا متأكد بنسبة 100%!" بينما هو في الواقع متأكد بنسبة 60% فقط، فإن النظام يخفض مستوى الصوت حتى تتطابق ثقة الذكاء الاصطناعي مع دقته الفعلية. الآن، عندما يقول الذكاء الاصطناعي: "أنا متأكد بنسبة 80%"، يمكنك الوثوق به حقاً.

2. "إشارة المرور" (التنبؤ الانتقائي - Selective Prediction)

الآن بعد أن أصبح الذكاء الاصطناعي صادقاً، يضع النظام إشارة مرور مع حد معين (لنفترض 80%).

الضوء الأخضر (ثقة عالية): إذا كان الذكاء الاصطايئي واثقاً جداً (مثلاً 90%)، فإنه يمنح الدرجة تلقائياً. لا حاجة لبشر هنا. هذا يوفر الوقت!
الضوء الأحمر (ثقة منخفضة): إذا لم يكن الذكاء الاصطناعي متأكداً (مثلاً 40%)، فإنه يوقف السيارة. ويقول: "أنا لا أعرف هذا السؤال جيداً بما يكفي. يحتاج الأمر إلى تدخل بشري".

هذا يعني أن النظام لا يحاول تصحيح كل شيء بشكل مثالي، بل يصحح فقط الأشياء التي هو متأكد منها، ويرسل الأشياء الصعبة إلى المعلم البشري.

3. "حلقة التغذية الراجعة" (الإنسان في الحلقة - Human-in-the-Loop)

عندما يصطدم الذكاء الاصطناعي بالضوء الأحمر، يتدخل المعلم البشري، ويصحح الإجابة، ويقوم بتصحيح مسار الذكاء الاصطناعي.

السحر: النظام لا يرمي هذا التصحيح فحسب. بل يستخدم تصحيح المعلم لـ إعادة تدريب الذكاء الاصطناعي.
تخيل أن الذكاء الاصطناعي طالب أخطأ في مسألة رياضية؛ يقوم المعلم بشرح لماذا كانت خاطئة. يتعلم الذكاء الاصطناعي من هذا الخطأ ويصبح أكثر ذكاءً للمرة القادمة.

4. "بنك الذاكرة" (التعلم المستمر - Continual Learning)

هناك خطر يتمثل في أنه عندما يتعلم الذكاء الاصطناعي أشياء جديدة، فقد ينسى الأشياء القديمة (مثل الطالب الذي يدرس لاختبار التاريخ وينسى جداول الضرب).
لحل هذه المشكلة، يحتفظ النظام بـ "مخزن إعادة التشغيل" (Replay Buffer). إنه يشبه "بنك الذاكرة" حيث يحتفظ الذكاء الاصطناعي ببعض الأمثلة القديمة للأسئلة التي يعرف بالفعل كيفية الإجابة عليها. في كل مرة يتعلم فيها تصحيحاً جديداً، فإنه يتدرب على هذه الأمثلة القديمة أيضاً. هذا يضمن أن يصبح الذكاء الاصطناعي أفضل في الأسئلة الجديدة دون أن يصبح أسوأ في الأسئلة القديمة.

لماذا يعد هذا أمراً بالغ الأهمية؟

اختبر البحث هذا النظام على ثلاثة مواضيع مختلفة (تنقيب البيانات، العلوم الابتدائية، والهندسة) ووجد نتائج مذهلة:

يقوم بالمهام الشاقة: قام النظام بتصحيح ما بين 35% إلى 65% من جميع الإجابات بجودة تضاهي مستوى الخبراء. هذا جزء ضخم من العمل الذي تم توفيره للمعلمين!
يعرف حدوده: نجح النظام في تحديد الأسئلة "الصعبة" وأرسلها إلى البشر. وكان الفرق في الجودة بين ما صلحّه الذكاء الاصطناعي تلقائياً وما أرسله للبشر هائلاً (فجوة قدرها +0.347 في درجات الجودة). وهذا يثبت أن النظام بارع في معرفة متى يطلب المساعدة.
يتحسن بمرور الوقت: مع قيام المعلم بتصحيح أخطاء الذكاء الاصطناعي، يتعلم الذكاء الاصطناعي أسلوب ذلك المعلم المحدد والأسئلة الخاصة بذلك الاختبار. إنه يتكيف مع التغييرات، تماماً كما يفعل البشر.

الخلاصة

إن CHiL(L)Grader لا يحاول استبدال المعلمين، بل يحاول منح المعلمين مساعداً فائق القدرة يتولى الأعمال السهلة والواضحة، ليتفرغ المعلم للعمل المعقد والدقيق الذي يتطلب لمسة بشرية.

إنه الفرق بين معلم يصحح 500 ورقة بمفرده (مرهق، ويرتكب الأخطاء)، وبين معلم يعمل مع روبوت يقول له: "لقد صححتُ 300 من هذه الأوراق لك بشكل مثالي. إليك الـ 200 الورقة الصعبة التي تحتاج إلى نظرتك الخبيرة. أوه، وقد تعلمتُ من التصحيحات التي قمتَ بها بالأمس، لذا أنا الآن أفضل حالاً!"

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CHiL(L)Grader: تقييم الإجابات القصيرة المعاير المعتمد على الإنسان في الحلقة" (CHiL(L)Grader: Calibrated Human-in-the-Loop Short-Answer Grading).

1. بيان المشكلة

تتناول الورقة البحثية نشر النماذج اللغوية الكبيرة (LLMs) لغرض التقييم الآلي للإجابات القصيرة (ASAG) في البيئات التعليمية عالية المخاطر. وبينما تُظهر هذه النماذج إمكانات واعدة، إلا أن هناك تحديين جوهريين يمنعان استخدامها بشكل مستقل تماماً:

الثقة المفرطة المنهجية: غالباً ما تمنح النماذج اللغوية الضخمة المُعدلة للتعليم (Instruction-tuned) درجات ثقة عالية لتوقعات خاطئة. هذا الخلل في المعايرة يجعل من المستحيل على التربويين التمييز بين المخرجات الموثوقة وغير الموثوقة، مما يؤدي إلى أخطاء محتملة في التقييم.
انزياح التوزيع (Distribution Shift): يتدهور أداء النموذج بشكل كبير عند مواجهة أنواع جديدة من الأسئلة، أو معايوهات تقييم متطورة، أو أنماط استجابة مختلفة من الطلاب (انزياح التوزيع) تختلف عن بيانات التدريب الأولية.

تفتقر الحلول الحالية إما إلى تقدير عدم اليقين (مما يجعلها غير آمنة للتفويض) أو تعتمد على ضبط دقيق ثابت يفشل في التكيف مع الظروف المتغيرة دون حدوث "النسيان الكارثي".

2. المنهجية: إطار عمل CHiL(L)Grader

يقترح المؤلفون إطار عمل CHiL(L)Grader، وهو إطار موحد يدمج تقدير الثقة المعاير، والتنبؤ الانتقائي، والتعلم المستمر في سير عمل يعتمد على "الإنسان في الحلقة" (Human-in-the-Loop - HiL). يعمل النظام في دورات تكرارية:

أ. المكونات الأساسية

النموذج الأساسي المُعدل للتعليم:
- يتم ضبط نموذج لغوي ضخم مُدرب مسبقاً (تحديداً Qwen-2.5-7B-Instruct) باستخدام تقنية LoRA (Low-Rank Adaptation) على مجموعة بيانات من أزواج الأسئلة والأجوبة مع درجات بشرية.
- يتم تدريب النموذج على إخراج سلسلة نصية بتنسيق JSON تحتوي على الدرجة المتوقعة والدرجة القصوى الممكنة.
المعايرة اللاحقة (Scaling Temperature):
- لمعالجة الثقة المفرطة، يطبق النظام "تدرج الحرارة" (Temperature Scaling) على مجموعة معايرة محجوزة.
- يعمل النظام على تقليل خطأ المعايرة المتوقع (ECE) من خلال إيجاد معامل درجة حرارة أمثل ( $T^*$ ) يعيد ضبط مخرجات الـ (logits) للنموذج.
- يحول هذا الإجراء الاحتمالات الخام المفرطة في الثقة إلى درجات ثقة معايرة تعكس بدقة مدى موثوقية النموذج الحقيقية.
التنبؤ الانتقائي القائم على الثقة:
- يتم تطبيق عتبة ( $\tau$ ) على درجة الثقة المعايرة.
- ثقة عالية ( $\hat{c} \ge \tau$ ): يتم قبول التوقع تلقائياً كدرجة نهائية.
- ثقة منخفضة ( $\hat{c} < \tau$ ): يتم تفويض الحالة لمصحح بشري للمراجعة. يضمن ذلك تخصيص الجهد البشري فقط للحالات التي يشوبها عدم اليقين.
حلقة التعلم المستمر مع إعادة التشغيل (Replay):
- تشكل التصحيحات البشرية للحالات المفوضة مجموعة إشراف جديدة ( $H$ ).
- لمنع النسيان الكارثي (حيث يؤدي تعلم بيانات جديدة إلى تدهور الأداء على البيانات القديمة)، يستخدم النظام مخزن إعادة التشغيل (Replay Buffer).
- لكل تصحيح جديد، يسترجع النظام $k$ من الأمثلة التاريخية المشابهة من بيانات التدريب الأصلية.
- يتم ضبط النموذج بدقة باستخدام محولات LoRA على اتحاد التصحيحات الجديدة وعينات إعادة التشغيل، مما يسمح له بالتكيف مع معايير التقييم الجديدة مع الاحتفاظ بقدرات التقييم العامة.
- بعد كل تحديث، تتم إعادة معايرة درجة الحرارة $T^*$ على العينات المقبولة الحالية.

ب. تصور سير العمل

تتبع العملية حلقة:

التنبؤ: يولد النموذج الدرجة + الثقة.
التوجيه: ثقة عالية $\leftarrow$ قبول؛ ثقة منخفضة $\leftarrow$ مراجعة بشرية.
التصحيح: يقدم الإنسان الحقيقة الأرضية (Ground Truth) للحالات المرفوضة.
التكيف: ضبط دقيق للنموذج بناءً على (التصحيحات البشرية + مخزن إعادة التشغيل) وإعادة معايرة الثقة.
التكرار: يتحسن تغطية النموذج للتوقعات عالية الثقة والمستوى الخبير بمرور الوقت.

3. المساهمات الرئيسية

إطار عمل مبتكر: أول نظام ASAG يدمج معايرة الثقة، والتنبؤ الانتقائي، والتفويض البشري المنهجي في حلقة HiL تكيفية واحدة.
الموثوقية عبر المعايرة: يثبت أن "تدرج الحرارة" يقلل بشكل كبير من ECE (بنسبة 53-65% في بعض مجموعات البيانات)، مما يمكن النموذج من تحديد متى يجب عليه التفويض للبشر بشكل موثوق.
التكيف مع انزياح التوزيع: يثبت أن التعلم المستمر القائم على HiL يسمح للنموذج بالتعميم على الأسئلة غير المرئية ومعايير التقييم المتطورة، محافظاً على الأداء حيث تفشل النماذج الثابتة.
الأتمتة بمستوى الخبراء: يحقق جودة تقييم بمستوى الخبراء (Quadratic Weighted Kappa $\ge 0.80$ ) على 35-65% من استجابات الطلاب تلقائياً، مع توجيه الحالات غير المؤكدة المتبقية إلى البشر.
قابلية التكرار: جميع الأكواد، والإعدادات، ونصوص التقييم متاحة للعموم.

4. النتائج التجريبية

تم تقييم إطار العمل على ثلاث مجموعات بيانات متنوعة: DAMI (تنقيب البيانات، متعدد المقاييس)، SciEntsBank (علوم K-6، أسئلة غير مرئية)، و EngSAF (هندسة، مقياس خشن).

أداء المعايرة:
- سجلت النماذج المرجعية (Baselines) خطأ ECE مرتفعاً (مثلاً 0.270 في DAMI).
- بعد تطبيق تدرج الحرارة، انخفض ECE إلى 0.094 (في DAMI) و 0.046 (في EngSAF)، ليدخل منطقة "المعايرة الجيدة" ( $<0.1$ ).
جودة التقييم (QWK):
- DAMI: حسنت دورة واحدة من HiL قيمة QWK للعينات المقبولة من 0.458 إلى 0.882 (متجاوزة عتبة الخبير 0.80) مع الحفاظ على تغطية آلية بنسبة 35.1%.
- SciEntsBank: أظهر تحسناً تدريجياً عبر الدورات، مستعيداً الأداء من انزياحات التوزيع التي تسببت في هبوط مؤقت في الأداء.
- فعالية التوجيه: كان هناك فجوة كبيرة في QWK بلغت +0.347 بين التوقعات المقبولة (عالية الثقة) والمرفوضة (منخفضة الثقة)، مما يؤكد أن بوابة الثقة تفصل بفعالية بين الحالات الموثوقة وغير الموثوقة.
دراسات الاستئصال (Ablation Studies):
- أدى إزالة مخزن إعادة التشغيل (Replay Buffer) إلى حدوث نسيان كارثي، حيث انخفضت قيمة QWK إلى مستويات قريبة من العشوائية (0.025).
- فشلت النماذج الأصغر (3 مليار معلمة) في الاحتفاظ بالمعرفة السابقة تحت الضبط الدقيق.
- توازن العتبة المثلى للثقة ( $\tau$ ) بين تغطية الأتمتة والجودة؛ حيث تؤدي العتبات الأقل إلى زيادة التغطية ولكن قد تقلل قليلاً من متوسط QWK.

5. الأهمية والخاتمة

يمثل CHiL(L)Grader تحولاً في النموذج من "الأتمتة الكاملة" إلى "الأتمتة الجزئية الموثوقة".

الواقعية: يقلل من عبء العمل على المعلمين من خلال أتمتة غالبية الحالات عالية الثقة مع ضمان السلامة من خلال الإشراف البشري للحالات غير المؤكدة.
القوة: من خلال التعلم المستمر من ملاحظات المعلمين واستخدام مخازن إعادة التشغيل، يتكيف النظام مع تغيرات المناهج دون فقدان المعرفة السابقة.
الثقة: يوفر دمج تقدير عدم اليقين المعاير آلية الثقة اللازمة لنشر الذكاء الاصطناعي في التقييمات التعليمية عالية المخاطر.

تخلص الورقة إلى أن تقدير عدم اليقين ليس مجرد مقياس نظري، بل هو مكون حاسم للنشر الآمن والفعال للذكاء الاصطناعي في التعليم، مما يتيح أنظمة تتسم بالكفاءة والموثوقية في آن واحد.