Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direct Preference Optimization
تقترح هذه الورقة طريقة مبتكرة لتوليد أسئلة استيعاب قرائي من نوع الاختيار من متعدد يمكن التحكم في صعوبتها، وذلك عبر الاستفادة من نموذج لغوي كبير تم تدريبه باستخدام التحسين المباشر للتفضيلات للتغلب على قيود النهج الحالية في إنتاج تنسيقات الاختيار من متعدد بشكل مباشر والتحكم بدقة في صعوبة الأسئلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم يحاول مساعدة 30 طالباً مختلفاً على تعلم اللغة الإنجليزية. بعضهم مبتدئون يحتاجون إلى قصص بسيطة، بينما البعض الآخر متعلمون متقدمون مستعدون لروايات معقدة. في العالم الحقيقي، إنشاء اختبار قراءة مثالي لكل طالب هو كابوس؛ فهو يستغرق ساعات لكتابة الأسئلة، وعليك أن تخمن ما إذا كانت سهلة جداً أم صعبة جداً.
هذه الورقة البحثية تدور حول بناء معلم آلي فائق الذكاء يمكنه كتابة اختبار القراءة المثالي لأي طالب فوراً، وبمستوى الصعوبة المناسب تماماً.
إليك قصة كيفية بناء هذا المعلم، مشروحة ببساًطة:
1. المشكلة: الروبوت الذي يستخدم "مقاساً واحداً للجميع"
قبل هذه الدراسة، كانت الروبوتات (الذكاء الاصطناعي) تستطيع كتابة أسئلة القراءة، لكن كان لديها عيبان كبيران:
- لم تكن تستطيع صنع أسئلة "الاختيار من متعدد": كانت تكتب غالباً أسئلة تتطلب منك إيجاد جملة محددة في النص. لكن في المدارس الحقيقية، نستخدم دائماً أسئلة الاختيار من متعدد (أ، ب، ج، د). الروبوتات القديمة لم تكن تجيد ذلك جيداً.
- كانت سيئة في تخمين مستوى الصعوبة: إذا طلبت من روبوت "اكتب سؤالاً سهلاً"، فقد يكتب شيئاً صعباً في الواقع. كان الأمر يشبه طلب طبق حار من طباخ، فيقوم بطريق الخطأ بصنع شيء طعمه مثل مطفأة الحريق. لم يكن لديهم وسيلة لضمان أن درجة الصعوبة صحيحة.
2. الحل: تدريب "اختبار التذوق"
استخدم الباحثون ذكاءً اصطناعياً قوياً يسمى Llama 3.1 (تخيله كمتدرب موهوب جداً ولكنه غير مدرب بعد). ولتعليمه كيفية التحكم في الصعوبة، استخدموا طريقة تدريب خاصة تسمى تحسين التفضيل المباشر (DPO).
إليك هذا التشبيه:
- الطريقة القديمة (التعلم الخاضع للإشراف): أنت تري المتدرب كتاب وصفات وتقول له: "انسخ هذا". هو يحفظ الكلمات لكنه لا يفهم حقاً لماذا هذا الطبق حار أو حلو.
- الطريقة الجديدة (DPO): أنت تعمل كناقد طعام صارم. تطلب من المتدرب صنع طبقين:
- طبق بمستوى حرارة مثالي تماماً.
- طبق حار جداً أو باهت جداً.
ثم تقول له: "أنا أحب الأول، وأكره الثاني".
المتدرب يتعلم من خلال المقارنة بين الاثنين. هو لا يحفظ فقط؛ بل يتعلم "إحساس" الصعوبة المثالية.
من خلال القيام بذلك مراراً وتكراراً، يتعلم الروبوت كيفية ضبط "حرارة" الأسئلة لتناسب بالضبط ما تطلبه.
3. المكون السري: جيش "الطلاب الافتراضيين"
كيف تعرف ما إذا كان السؤال سهلاً أم صعباً حقاً؟ لا يمكنك سؤال طلاب حقيقيين في كل مرة (لأن ذلك يستغرق وقتاً طويلاً).
لذا، بنى الباحثون جيشاً من 77 "طالباً افتراضياً" (برامج كمبيوتر بارعة في الإجابة على الأسئلة).
- بعض الطلاب الافتراضيين عباقرة (يجيبون على كل شيء بشكل صحيح).
- بعضهم يعاني (يجيبون على 30% فقط من الأسئلة).
- وبعضهم متوسط المستوى.
عندما يكتب الروبوت سؤالاً جديداً، يقوم بتمريره عبر هذا الجيش:
- إذا أجاب العباقرة بشكل صحيح بينما أخطأ الطلاب المتعثرون، فهذا سؤال متوسط الصعوبة.
- إذا أخطأ حتى العباقوة، فهو صعب جداً.
- إذا أجاب حتى الطلاب المتعثرون بشكل صحيح، فهو سهل جداً.
هذه البيانات تخبر الروبوت بدقة مدى "حرارة" السؤال، مما يسمح له بضبط تدريبه بدقة.
4. النتائج: طباخ ماهر
اختبر الباحثون روبوتهم الجديد مقابل الروبوت القديم.
- الدقة: عندما طلبوا سؤالاً من "المستوى 2"، أعطاهم الروبوت القديم مستوى "5" أو "0". أما الروبوت الجديد (المدرب بتقنية DPO)، فقد أعطاهم سؤالاً يطابق "المستوى 2" تقريباً.
- الجودة: خشي الباحثون من أن جعل الأسئلة أصعب قد يجعلها تبدو غريبة أو غير منطقية. لكن الاختبارات أظهرت أن أسئلة الروبوت الجديد كانت سلسة وذات صلة تماماً مثل الأسئلة القديمة.
- اختبار "النماذج القليلة" (Few-Shot Test): حاولوا معرفة ما إذا كان بإمكانهم مجرد "إخبار" الروبوت بكيفية القيام بذلك عبر إعطائه بعض الأمثلة (مثل إظهار سؤال سهل واحد وقول "افعل مثله"). لقد فشل. لم يستطع الروبوت تعلم المفهوم بمجرد النظر إلى الأمثلة؛ بل احتاج إلى تدريب "اختبار التذوق" العميق (DPO) ليفهم الصعوبة حقاً.
الخلاصة
تقدم هذه الورقة طريقة جديدة لتعليم الذكاء الاصطناعي كيفية كتابة الاختبارات المدرسية. بدلاً من مجرد حفظ الأنماط، يتعلم الذكاء الاصطناعي كيفية معايرة مخرجاته مثل طباخ ماهر يضبط وصفة الطعام.
الآن، بدلاً من أن يقضي المعلم طوال الليل في كتابة الاختبارات، يمكنه ببساطة أن يقول للذكاء الاصطناعي: "اكتب سؤال اختيار من متعدد حول هذه القصة يكون مثالياً لطالب جاهز بنسبة 60% للمرحلة التالية". وسيقوم الذكاء الاصطناعي بذلك فوراً، وبدقة، ودون أي عناء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.