Cognitively Diverse Multiple-Choice Question Generation: A Hybrid Multi-Agent Framework with Large Language Models

ملخص تقني: ReQUESTA – إطار عمل هجين متعدد الوكلاء لتوليد أسئلة الاختيار من متعدد ذات التنوع المعرفي

بيان المشكلة
بينما جعلت النماذج اللغوية الكبيرة (LLMs) توليد أسئلة الاختيار من متعدد (MCQ) المؤتمت أمراً ممكناً بشكل متزايد، إلا أن إنتاج عناصر تلبي المتطلبات المعرفية المنضبطة بشكل موثوق لا يزال يشكل تحدياً كبيراً. غالباً ما تعاني أساليب "التحفيز بمرور واحد" (single-pass prompting) الحالية من صعوبة في مواءمة الأسئلة المولدة مع المهارات المعرفية العليا (مثل الاستنتاج والتركيب)، وكثيراً ما تنتج عناصر ذات جودة غير متسقة في المشتتات، وتفتقر إلى التوازي الهيكلي، أو تفتقر إلى المواءمة السطحية مع النصوص المصدرية. لم تثبت الأساليب الهجينة الحالية بعد قدرة موثوقة على التحكم في التعقيد المعرفي للأسئلة المولدة دون قيود هيكلية إضافية. المشكلة الجوهرية التي يعالجها البحث هي كيفية الانتقال لما وراء التوليد الأحادي ذو المرور الواحد لإنشاء نظام يمكنه استهداف مستويات معرفية محددة بشكل منهجي (الاستدعاء القائم على النص، الاستدلال، وتوليف الفكرة الرئيسية) مع ضمان الجودة السيكومترية والتربوية العالية.

المنهجية: إطار عمل ReQUESTA
يقدم المؤلفون إطار عمل ReQUESTA (توليد أسئلة القراءة باستخدام وكلاء النصوص الذكية التعليمية)، وهو إطار عمل هجين متعدد الوكلاء مصمم لتنسيق توليد أسئلة الاختيار من متعدد من خلال تسلسل منسق من الوكلاء المدعومين بالنماذج اللغوية الكبيرة والمكونات القائمة على القواعد. بدلاً من الاعتماد على توسيع نطاق النموذج وحده، يقوم ReQUESTA بتفكيك عملية التأليف إلى مهام فرعية متخصصة لضمان القدرة على التحكم والموثوقية.

• البنية وسير العمل:

  • المعالج المسبق (قائم على القواعد): يقوم بتقسيم النص المدخل إلى وحدات متماسكة وقابلة للإدارة باستخدام التحليل على مستوى الجملة.
  • المخطط (مدعوم بالنماذج اللغوية الكبيرة): يحلل المقاطع لتحديد المفاهيم الرئيسية، والاستنتاجات الضمنية، والموضوعات المركزية. ويقوم بتوليد خطة مهيكلة (تمثيل وسيط) تحدد المقاطع والعناصر التي ستُستخدم لأنواع مختلفة من الأسئلة (القائمة على النص، الاستدلالية، والفكرة الرئيسية).
  • المتحكم (قائم على القواعد): يفسر مخرجات المخطط وينسق تنفيذ المهام، حيث يقوم بتعيين مقاطع نصية وأهداف معرفية محددة لوكلاء التوليد المناسبين.
  • مولدات الأسئلة (مدعومة بالنماذج اللغوية الكبيرة): ثلاثة وكلاء متخصصين يولدون الأسئلة بناءً على قيود المخطط:
    1. القائمة على النص: تستهدف الحقائق الصريحة.
    2. الاستدلالية: تستهدف العلاقات التي تتطلب دمج المعلومات.
    3. الفكرة الرئيسية: تستهدف الموضوعات الشاملة.
    4. المقيم (مدعوم بالنماذج اللغوية الكبيرة): يقيم العناصر المولدة مقابل قائمة تحقق (الوضوح، المواءمة بين السؤال والإجابة، ومعقولية المشتتات). تُعاد العناصر التي تفشل في المعايير إلى المولد للمراجعة المتكررة.
  • المنسق (قائم على القواعد): يعمل على توحيد المخرجات، مع خلط الخيارات وفرض تسميات متسقة.
  • وحدة تقصير الخيارات: خطوة معالجة لاحقة تستخدم نظام وكلاء تعاوني (محلل بناء الجملة، محدد الطول، مولد المرشحين، ومختار المرشحين) لتصحيح عدم توازن الطول بين المشتتات، وهو نمط فشل شائع في توليد النماذج اللغوية الكبيرة.

• استراتيجيات هندسة التحفيز (Prompt Engineering):
  يوظف إطار العمل أربع استراتيجيات رئيسية لتوجيه سلوك الوكلاء:

  1. التحفيز القائم على الشخصية: تخصيص أدوار محددة (مثل "مدرس جامعي ذي خبرة") لمواءمة المخرجات مع معايير التقييم.
  2. سلسلة الأفكـات (CoT): تتطلب من الوكلاء تقديم خطوات الاستدلال الوسيطة، مما يجعل عمليات اتخاذ القرار صريحة وقابلة للفحص.
  3. التحفيز بلقطات قليلة (Few-shot Prompting): توفير أمثلة على المخرجات الفعالة وغير الفعالة (على سبيل المثال، لتقصير الخيارات) لمعايرة القيود الأسلوبية.
  4. النقد الذاتي: يتم تحفيز الوكلاء لمراجعة مخرجاتهم الخاصة بحثاً عن نقاط الضعف الشائعة (الغموض، عدم المواءمة) قبل التقييم الخارجي.

• التصميم التجريبي:
  تم تقييم إطار العمل مقابل خط أساس GPT-5 بنظام المرور الواحد (zero-shot baseline) باستخدام 20 نصاً أكاديمياً تفسيرياً من كتب OpenStax المدرسية.

  • المشاركون: 572 بالغاً تم استقطابهم عبر منصة Prolific.
  • المهمة: قرأ المشاركون النصوص وأجابوا على 5 أسئلة اختيار من متعدد لكل نص (2 قائمة على النص، 2 استدلالية، 1 فكرة رئيسية).
  • الشروط: تصميم داخل المشارك (within-participant design) حيث أجاب المشاركون على العناصر المولدة إما بواسطة ReQUESTA أو بواسطة خط الأساس GPT-5.
  • المقاييس:
    • السيكومترية: تم تحليل صعوبة العنصر ($p$)، والتمييز ($D$)، ومعامل الارتباط بين النقطة والنسبة المئوية ($r_{pb}$) عبر نظرية الاختبار الكلاسيكية ونموذج الانحدار اللوجستي ذو التأثيرات المختلطة.
    • تقييم الخبراء: قام اثنان من المقيمين الخبراء بتسجيل 200 عنصر (100 لكل طريقة) بناءً على نموذج تقييم يغطي صحة الإجابة، وعدم صحة المشتتات، وثبات الموضوع، ووضوح الكتابة، وجودة المشتتات (السمات اللغوية، المعقولية الدلالية، والفرادة).

النتائج الرئيسية

1. الأداء السيكومتري: كانت العناصر المولدة بواسطة ReQUESTA أكثر صعوبة وتمييزاً باستمرار من خط الأساس GPT-5.

   • الصعوبة: سجلت عناصر ReQUESTA متوسط معامل صعوبة أقل ($M = 0.786$) مقارنة بـ GPT-5 ($M = 0.902$)، مما يشير إلى أنها كانت أصعب على المتعلمين.
   • التمييز: أظهرت عناصر ReQUESTA تمييزاً أعلى بكثير ($M = 0.39$ مقابل $0.17$)، مما ميز بشكل أفضل بين القراء ذوي الأداء العالي والمنخفض.
   • المواءمة: أظهرت عناصر ReQUESTA ارتباطات أقوى بين النقطة والنسبة المئوية مع إجمالي درجات الاختبار ($M = 0.323$ مقابل $0.275$)، مما يشير إلى مواءمة أفضل مع القدرة العامة على القراءة والاستيعاب.
   • تحليل الانحدار: أكدت النماذج ذات التأثيرات المختلطة أن مصدر السؤال (ReQUESTA) كان متنبئاً هاماً بانخفاض الدقة ($\beta = -1.277, p < .001$)، مع ثبات نوع السؤال والمفردات.

2. تقييم الخبراء:

   • ثبات الموضوع: تم تقييم عناصر ReQUESTA بدرجة أعلى بكثير من حيث المواءمة مع المفاهيم المركزية ($p < .05$).
   • جودة المشتتات: تفوق ReQUESTA على خط الأساس في السمات اللغوية للمشتتات (الاتساق في الطول/البنية) والمعقولية الدلالية للمشتتات (المنطقية بالنسبة للمتعلمين الذين أخطأوا في فهم النقطة)، لا سيما في الأسئلة الاستدلالية.
   • وضوح الكتابة: حصل خط الأساس GPT-5 على درجات أعلى في وضوح الكتابة ($p < .001$)، مما يشير إلى وجود مقايضة حيث أدى تركيز ReQUESTA على الصرامة المعرفية والمشتتات المعقدة إلى جعل بعض الأسئلة أو الخيارات أقل إيجازاً.
   • الصحة: حققت كلتا الطريقتين درجات شبه مثالية في صحة الإجابة وعدم صحة المشتتات.

الأهمية والمساهمات
يدعي البحث ثلاث مساهمات رئيسية في مجال أنظمة التوليد القائمة على النماذج اللغوية الكبيرة:

1. تصميم سير العمل فوق توسيع نطاق النموذج: تثبت الدراسة أن التحسينات الملموسة في التوليد الآلي لأسئلة الاختيار من متعدد يمكن تحقيقها من خلال تصميم سير العمل والتنسيق بدلاً من مجرد توسيع معاملات النموذج. من خلال تثبيت النموذج اللغوي الأساسي (GPT-5) وإدخال تنسيق مهيكل عبر مراحل التخطيط، والتوليد، والتقييم، والمراجعة، حقق ReQUESTA نتائج متفوقة مقارنة بأسلوب المرور الواحد.
2. إطار عمل قابل للتحكم في التوليد: يقترح ReQUESTA بنية هجيبة تجمع بين القدرة التعبيرية للنماذج اللغوية الكبيرة وموثوقية المعالجة القائمة على القواعد الحتمية. من خلال هندسة حدود الوكلاء، وتخصص المهام، وحلقات التغذية الراجعة المتكررة بشكل صريح، ينظم النظام متطلبات الاستدلال والقيود الهيكلية للمخرجات المولدة، متجاوزاً بذلك قيود التوليد أحادي المسار.
3. ممارسة التقييم: يطور البحث ممارسات التقييم لأنظمة التوليد المهيكلة من خلال استخدام مقاييس النتائج الوظيفية (مثل صعوبة العنصر، والتمييز، ومعقولية المشتت) بدلاً من الاعتماد فقط على المؤشرات السطحية مثل السلامة اللغوية.

الخلاصة
يخلص المؤلفون إلى أن التنسيق الوكيل (Agentic orchestration) يمكن أن يحسن بشكل منهجي الموثوقية والقدرة على التحكم في التوليد القائم على النماذج اللغوية الكبيرة. يوضح ReQUESTA أن تفكيك المهام المعقدة إلى خطوات وسيطة قابلة للتدقيق وفرض القيود من خلال عمليات التحقق المتكررة يؤدي إلى مخرجات أكثر موثوقية وتنوعاً معرفياً ومواءمة تربوية من أساليب المرور الواحد. يضع هذا الإطار نفسه كنهج ناضج ومدفوع بالتقييم لتوليد التقييمات المؤتمتة، مؤكداً أن تصميم سير عمل التوليد هو الرافعة الأساسية لتوليد المخرجات المهيكلة.