Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training
تقترح هذه الورقة نهجاً مبتكراً لتعزيز أداء التصحيح الآلي للمقالات في كل من بيئات البيانات المحدودة والبيانات الكاملة من خلال دمج ثلاث تقنيات رئيسية —وهي الضبط الدقيق ثنائي المراحل، ومحاذاة الدرجات، والتدريب الذاتي المدرك لعدم اليقين— في نموذج DualBERT، محققةً بذلك نتائج هي الأفضل في فئتها على مجموعات بيانات متعددة بما في ذلك ASAP++.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً حيث يتعين على معلم مرهق تصحيح مئات المقالات كل أسبوع. إنها مهمة ضخمة، ويتطلب القيام بها بإنصاف وقتاً وجهداً. وللمساعدة في ذلك، صمم العلماء أنظمة "تصحيح المقالات الآلي" (AES) — وهي برامج حاسوبية تقرأ كتابات الطلاب وتمنحها درجة، تماماً كما يفعل البشر. فكر في هذه البرامج كأنها مساعدون تعليميون رقميون. لفترة طويلة، كانت هذه المساعدات تشبه الروبوتات الذكية ولكن المتعثرة؛ فقد كانت تحتاج إلى قراءة آلاف الأمثلة قبل أن تصبح جيدة في التصحيح. إذا كان لدى المعلم عدد قليل فقط من المقالات لتصحيحها، فسيصاب الروبوت بالارتباك ويعطي درجات سيئة. وهذه مشكلة كبيرة لأن المعلمين في العالم الحقيقي غالباً لا يملكون آلاف المقالات لتدريب الحاسوب عليها؛ بل لديهم فقط كومة من الأوراق من فصلهم الدراسي الخاص.
التحدي يكمل في أن تعليم الحاسوب فهم الكتابة أمر صعب. الأمر لا يتعلق فقط بعدّ الكلمات أو التحقق من القواعد النحوية؛ بل يتعلق بفهم تدفق الأفكار، والنبرة، والبنية. وبينما توجد نماذج ذكاء اصطناعي ضخمة وقوية (مثل تلك التي تكتب القصص أو تدردش معك)، إلا أنها غالباً ما تعاني في هذه المهمة المحددة ما لم تُعطَ كمية هائلة من البيانات. لذا، فإن السؤال الكبير الذي يواجه الباحثين هو: كيف يمكننا صنع مصحح حاسوبي ذكي وعادل، حتى عندما لا يكون قد رأى الكثير من الأمثلة؟
تقدم هذه الورقة البحثية طريقة مبتكرة وجديدة لتدريب هؤلاء المصححين الرقميين، خاصة عندما يكون هناك عدد قليل جداً من المقالات للتعلم منها. فقد طور الباحثون، بالعمل مع نموذج يسمى DualBERT (وهو بمث de "قارئ ذكي" يفهم الجمل الفردية والمقال بأكمله)، ثلاث تقنيات خاصة لتعزيز الأداء.
أولاً، استخدموا طريقة تسمى الضبط الدقيق ثنائي المراحل باستخدام LoRA. تخيل أنك تعلم طالباً يعرف بالفعل أساسيات اللغة الإنجليزية. بدلاً من جعله يعيد تعلم كل شيء من الصفر، تمنحه مجموعة خاصة من "أقلام التحديد" (LoRA) التي تسمح له بالتركيز على أجزاء محددة وصعبة من الواجب دون إفساد ما يعرفه بالفعل. لقد سمح الباحثون للنموذج بالممارسة باستخدام هذه الأقلام في جولتين، من خلال تجربة طرق مختلفة لوزن أهمية سمات المقال المختلفة (مثل المحتوى مقابل التنظيم) حتى يجد التوازن المثالي.
ثانياً، قدموا تقنية محاذاة الدرجات (Score Alignment). أحياناً، حتى المصحح الذكي قد يشعر ببعض التوتر ويلعب في المنطقة الآمنة. إذا كتب طالب مقالاً مثالياً، فقد يخشى الحاسوب إعطاء درجة مثالية ويعطي بدلاً من ذلك 9.8 من 10. وإذا كان المقال سيئاً للغاية، فقد يعطي 0.2 بدلاً من 0. تعمل هذه التقنية كـ "أداة معايرة". ينظر الباحثون إلى كيفية تصحيح الحاسوب لمجموعة تجريبية صغيرة من المقالات، ويرون أين كان متردداً للغاية أو جريئاً للغاية، ثم يطبقون تعديلاً رياضياً بسيطاً لإصلاح الدرجات للاختبار الحقيقي. إنه يشبه ضبط الغيتار لكي تصيب كل نوتة النغمة الصحيحة.
ثالثاً، استخدموا التدريب الذاتي الواعي بعدم اليقين (Uncertainty-Aware Self-Training). هنا، يحصل الحاسوب على فرصة للممارسة على مقالات لم يتم تصحيحها بعد. يقرأ الحاسوب هذه المقالات غير المصححة ويعطيها درجة "وهمية". ولكن إليكم الخدعة: إذا كان الحاسوب غير متأكد من درجته (أي أنه "غير متيقن")، فإنه يتجاهل ذلك المقال. إنه يحتفظ فقط بالمقالات التي يشعر بالثقة تجاهها لاستخدامها كمواد ممارسة إضافية. بهذه الطريقة، يتعلم الحاسوب من أمثلة أكثر دون أن يتعلم بالخطأ من أخطائه الخاصة.
عندما اختبر الباحثون هذه الحيل الثلاث معاً على مجموعة بيانات تسمى ++ASAP، كانت النتائج مبهرة. في سيناريو كان لدى الحاسوب فيه 32 مقالاً فقط للتعلم منها (كمية صغيرة جداً)، حسنت الطريقة الجديدة دقة التصحيح بشكل كبير. فقد وصلت إلى 91.2% من مستوى أداء نموذج تم تدريبه على حوالي 1,000 مقال. بعبارات أبسط، مع القليل فقط من البيانات وهذه الحيل الذكية الثلاث، أصبح الحاسوب جيداً تقريباً كما لو كان قد قرأ مكتبة كاملة من المقالات.
والأكثر إثارة للاهتمام، هو أنه عندما كان لدى الحاسوب وفرة من البيانات (إعداد "البيانات الكاملة")، ساعدت حيلة "محاذاة الدرجات" وحدها في التغلب على جميع الأرقام القياسية السابقة، محققةً أفضل نتيجة جديدة. كما اختبر الباحثون ذلك على مجموعات بيانات أخرى ذات أنواع مختلفة من المقالات ووجدوا أن الحيل تعمل هناك أيضاً، مما يشير إلى أن هذه الطرق قوية وليست مجرد صدفة لاختبار محدد واحد.
تشير الورقة البحثية إلى أن هذه التقنيات "نمطية" (modular)، مما يعني أنه يمكن خلطها ومطابقتها مع أنظمة أخرى. ومع ذلك، يلاحظ المؤلفون بحذر أنه بينما النتـائج قوية، إلا أنها لا تزال تواجه قيوداً. على سبيل المثال، تحتاج طريقة "التدريب الذاتي" إلى كومة كبيرة من المقالات غير المصححة لكي تعمل، وهو ما قد لا يتوفر دائماً في كل مدرسة. أيضاً، تستغرق طريقة "المرحلتين" وقتاً أطدي في تدريب الحاسوب في البداية، رغم أنها لا تبطئ عملية التصحيح الفعلية لاحقاً.
في النهاية، تظهر هذه الدراسة أننا لسنا بحاجة دائماً إلى كميات هائلة من البيانات لبناء أدوات ذكاء اصطناي رائعة. فمن خلال استخدام استراتيجيات ذكية لضبط النماذج، ومعايرة درجاتها، واختيار مواد الممارسة بعناية، يمكننا صنع مصححين آليين موثوقين حتى عندما تكون البيانات شحيحة. وهذا يقربنا خطوة أخرى من امتلاك مساعدين رقميين مفيدين، وعادلين، وفعالين للمعلمين في كل مكان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.