Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring
تقدم هذه الورقة إطار عمل يعتمد على "المتعدد الأذرع" (multi-armed bandit) ومراعٍ للتكلفة، يقوم باختيار استراتيجيات التلقين المثلى للتصحيح الآلي للمقالات بشكل تكيفي، محققاً دقة تضاهي البحث الشبكي الشامل مع تقليل استدعاءات النماذج اللغوية الكبيرة بنسبة 78.4%، ومؤسساً أول منحنيات تعلم للتكلفة والموثوقية في هذا المجال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التعليم، يعد تصحيح مجموعة من المقالات مهمة شاقة وتستغرق وقتاً طويلاً. لعقود من الزمن، حاولت الحواسيب المساعدة في ذلك، لكنها غالباً ما تجد صعوبة في مضاهاة الدقة واللمسة البشرية للمعلم. مؤخراً، أظهر جيل جديد من البرامج الحاسوبية القوية، المعروفة باسم النماذج اللغوية الكبيرة، قدرة ملحوظة على قراءة وفهم الكتابة البشرية. يمكن توجيه هذه الأنظمة لتعمل كممتحنين، حيث تخصص درجات للأعمال الطلابية بناءً على قواعد محددة. ومع ذلك، تظل هناك مشكلة كبيرة: وهي أن تشغيل هذه البرامج مكلف. فكلما زادت التعليمات التفصيلية المقدمة للحاسوب، زادت التكلفة للحصول على إجابة. علاوة على ذلك، فإن الطريقة المثلى لسؤال الحاسوب ليست واضحة دائماً؛ فهي تتغير اعتماداً على المقال المحدد أو نسخة البرنامج المستخدم. ويواجه التربويون ومنظمات الاختبارات خياراً صعباً: إما دفع ثمن باهظ لتشغيل كل مقال عبر كل مجموعة ممكنة من التعليمات لإيجاد الأفضل، أو المخاطرة باستخدام طريقة أرخص وأقل دقة قد تخطئ الهدف.
اقترح فريق من الباحثين في جامعة كارلتون طريقة جديدة لحل هذه المعضلة. فبدلاً من محاولة تخمين المجموعة المثالية من التعليمات مسبقاً، قاموا ببناء نظام يتعلم النهج الأفضل أثناء عمله. لقد عاملوا الطرق المختلفة لسؤال الحاسوب حول كيفية تصحيح مقال مثل مجموعة من آلات القمار (slot machines)، حيث لكل منها فرصة مختلفة لتحقيق نتيجة جيدة. وبينما كان النظام يصحح المقالات، كان يتتبع أي الطرق أنتجت درجات تطابق معلمي البشر بشكل وثيق وأيها كانت الأكثر كفاءة. ومع مرور الوقت، توقف النظام طبيعياً عن إهدار الجهد في الطرق الرديئة وركز بالكامل تقريباً على الطرق التي تعمل بشكل أفضل. وقد سمح هذا النهج لهم بإيجاد استراتيجية التصحيح الأكثر فعالية مع استخدام موارد حاسوبية أقل بكثير من الطرق التقليدية.
اختبر الباحثون هذه الفكرة باستخدام مجموعة مكونة من 787 مقالاً حقيقياً من امتحان الكتابة لـ IELTS، وهو اختبار دولي رئيسي لإتقان اللغة الإنجليزية. وقد وضعوا أربع طرق متميزة لتصحيح الحاسوب للأوراق. طلبت طريقتان من الحاسوب إعطاء درجة واحدة شاملة فوراً، بينما طلبت الطريقتان الأخريان منه تفكيك المقال إلى أربع فئات محددة — مثل مدى جودة استجابة الكاتب للموضوع ومدى تنظيم الأفكار — قبل حساب درجة نهائية. وبالنسبة لنصف هذه الطرق، تم عرض أمثلة على مقالات جيدة وسيئة للحاسوب لمساعدته على فهم ما يجب البحث عنه؛ أما النصف الآخر، فقد تعين عليه الاعتماد على معرفته الخاصة. ثم بدأ النظام في تصحيح المقالات، مستخدماً خوارزمية تعلم لتحديد أي من الطرق الأربع سيستخدم لكل ورقة.
كانت النتائج واضحة وفورية. فقد تعلم النظام بسرعة أن الاستراتيجية الأكثر فعالية هي تلك التي تفكك المقال إلى فئات محددة وتقدم أمثلة لما يبدو عليه المقال الجيد أو السيئ. أنتجت هذه الطريقة باستمرار درجات تتوافق بشكل وثيق مع الممتحنين البشر. في المقابل، أدت الطرق التي تجاوزت الأمثلة أو حاولت إعطاء درجة واحدة دون تفكيك المقال إلى نتائج أسوأ بكماً. كانت خوارزمية التعلم فعالة للغاية، فبعد فترة قصيرة من الاختبار، توقفت عن اختيار الطرق الأضعف تماماً، وخصصت أكثر من 70 في المائة من جهودها للنهج الأفضل أداءً.
ربما جاء الاكتشاف الأكثر إثارة للدهشة عندما نظر الباحثون في تكلفة هذه التعليمات. تشير الحكمة التقليدية إلى أن إعطاء الحاسوب قواعد وشروحات أكثر تفصيلاً حول كيفية التصحيح يجب أن يؤدي إلى نتائج أفضل. ومع ذلك، وجدت الدراسة العكس؛ فعندما أزال الباحثون الأوصاف الطويلة والمفصلة لقواعد التصحيح من التعليمات، أصبح أداء الحاسوب أفضل في الواقع. فالتعليمات الأبسط، التي اعتمدت على فهم الحاسوب الحالي للكتابة بدلاً من دليل من القواعد، أدت إلى درجات أكثر دقة واستخدمت موارد حاسوبية أقل. وهذا يشير إلى أن هذه البرامج الحاسوبية القوية قد تعلمت بالفعل الفروق الدقيقة في الكتابة الأكاديمية أثناء تدريبها، ولا تحتاج إلى إخبارها بكل تفصيل مجدداً.
كانت مكاسب الكفاءة الناتجة عن هذا النهج التكيفي كبيرة. فمن خلال ترك النظام يختار الطريقة الأفضل أثناء العمل، قلل الباحثون من عدد المرات التي يحتاجون فيها إلى استدعاء الحاسوب للمساعدة بنسبة تقارب 79 في المائة مقارنة بالطريقة التقليدية التي تجرب كل خيار ممكن في كل مقال. وترجم هذا الانخفاض الهائل في استدعاءات الحاسوب مباشرة إلى انخفاض بنسبة 73 في المائة في إجمالي عدد الكلمات التي تعين على الحاسوب معالجتها، وانخفاض بنسبة 70 في المائ المئة في التكلفة التقديرية للتجربة. لقد حقق النظام نفس مستوى الدقة الذي حققته الطريقة الشاملة والمكلفة، ولكن بجهد أقل بكثير.
يمثل هذا العمل تحولاً في كيفية التعامل مع التصحيح الآلي. فبدلاً من معاملة اختيار التعليمات كإعداد ثابت يجب تقريره قبل بدء العمل، أظهر الباحثون أنه يمكن أن يكون عملية ديناميكية تتحسن مع مرور الوقت. وبينما اقتصرت الدراسة على مجموعة محددة من المقالات ونوع واحد من البرامج الحاسوبية، فإن النتائج تقدم مساراً واعداً للمستقبل في تكنولوجيا التعليم. ومن خلال الموازنة بين الحاجة إلى الدقة وواقع التكاليف التشغيلية، توفر هذه الطة وسيلة لجعل التصحيح الآلي عالي الجودة متاحاً ومستداماً لبرامج الاختبار واسعة النطاق. وتشير الدراسة إلى أن مستقبل التقييم الآلي لا يكمن في بناء تعليمات أكثر تعقيداً، بل في بناء أنظمة أذكى تعرف كيف تتعلم أي التعليمات تعمل بشكل أفضل في اللحظة الراهنة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.