Small, Private Language Models as Teammates for Educational Assessment Design

ملخص تقني: النماذج اللغوية الصغيرة والخاصة كزملاء في تصميم التقييم التعليمي

بيان المشكلة
بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرة على توليد أسئلة تقييم تعليمية متوافقة مع الأطر البيداغوجية مثل تصنيف بلوم، لا تزال هناك فجوات كبيرة في تقييمها ونشرها. تعتمد الأبحاث الحالية غالباً على معايير ذاتية، أو تحليل إحصائي محدود، أو نماذج سحابية مملوكة لجهات معينة، مما يثير مخاوف بشأن قابلية إعادة الإنتاج، والموثوقية، والقدرة على النشر في العالم الحقيقي. علاوة على ذلك، تواجه المؤسسات التعليمية تكراراً قيوداً تتعلق بخصوصية البيانات، والتكلفة، وتوافر الموارد، مما يجعل الاعتماد على واجهات برمجة التطبيقات (APIs) الخارجية أمراً إشكالياً. وبالرغم من أن النماذج اللغوية الصغيرة (SLMs) توفر بدائل محلية تحافظ على الخصوصية، إلا أن فعاليتها في مهام تصميم التقييم — وتحديداً فيما يتعلق بصلاحية المحتوى، وسهولة القراءة، والمواءمة المعرفية — لا تزال غير مستقصاة بشكل كافٍ. بالإضافة إلى ذلك، فإن موثوقية استخدام النماذج اللغوية كمقيمين للمحتوى المولد ("النموذج كحكم") ليست مفهومة جيداً، مع وجود احتمالات للتحيز وعدم الاتساق مقارنة بتقييمات الخبراء البشريين.

المنهجية
تستخدم الدراسة سير عمل تجريبي شامل ومنظم لمقارنة النماذج اللغوية الكبيرة (Frontier LLMs) والنماذج اللغوية الصغيرة القابلة للنشر محلياً (SLMs) عبر أربعة أسئلة بحثية (RQs).

• البيانات والنماذج: استخدمت الدراسة 2,550 سؤالاً من مجموعة بيانات سابقة [23] وقامت بتوليد 4,080 سؤالاً جديداً.
  • النماذج اللغوية الكبيرة (Frontier LLMs): GPT-4، وGPT-3.5، وPalm-2، وLLaMA-2، وMistral، وGemini Pro.
  • النماذج اللغوية الصغيرة (المحلية/ذات الأوزان المفتوحة): Granite 4، وPhi-4 mini، وLLaMA 3.2، وMistral Small 3.2، وGPT-OSS، وPhi-4، وDeepseek R1، وGemma 3.
  • الإعدادات: تم تثبيت درجات الحرارة (Temperatures) للتوليد والتقييم عند 0.8 و0.0 على التوالي، لضمان إمكانية المقارنة المباشرة.
• استراتيجية التلقين (Prompt Strategy): تم استخدام خمسة هياكل للتلقين (PS)، تتراوح من التوليد العام بدون أمثلة (PS1) إلى التلقين المتدرج في التحديد الذي يستهدف المستويات الدراسية العليا وفئات ديموغرافية محددة (PS2–PS5)، مع دمج تعليمات النظام والإشارات الصريحة لمستويات تصنيف بلوم.
• مقاييس التقييم: ربطت الدراسة كل سؤال بحثي بمقاييس معالجة لغات طبيعية (NLP) موضوعية وقابلة لإعادة الإنتاج واختبارات إحصائية:
  • س1 (التعقيد المعرفي): تم قياسه عبر مستوى درجة Flesch-Kincaid وسهولة القراءة Flesch لتقييم تعقيد النص والمواءمة مع المستويات الدراسية المستهدفة.
  • س2 (القصد اللغوي): تم قياسه عبر BERTScore (باستخدام تضمينات GTR T5-large) لحساب التشابه الدلالي بين التلقينات والأسئلة المولدة، والاتساق داخل الموضوع عبر مستويات بلوم.
  • س3 (الامتثال البيداغوجي): تم تقييمه عبر "فحص الأفعال" لتحديد ما إذا كانت الأسئلة المولدة تستخدم أفعال حركة تتوافق مع مستوى تصنيف بلوم المستهدف.
  • س4 (موثوقية التقييم): تم تقييم موثوقية "النموذج كحكم" من خلال مقارنة مخرجات النموذج مع التعليقات التوضيحية للخبراء البشريين للجودة العالية (HQ) ومطابقة المهارة، وتحليل أنماط الاتفاق، والتحيز، والمعايرة.

النتائج الرئيسية

• جودة التوليد (س1–س3):
  • التعقيد: أنتجت كلتا عائلتي النماذج (LLMs وSLMs) أسئلة عند مستوى دراسي أساسي متقارب (أواخر المرحلة الثانوية/أوائل المرحلة الجامعية، $\mu \approx 14$). ومع ذلك، أظهرت النماذج اللغوية الصغيرة (SLMs) قدرة أكبر على التحكم والضبط المنهجي لتعقيد اللغة استجابةً لتحديد التلقين، بينما أظهرت النماذج الكبيرة (LLMs) تبايناً أعلى.
  • القصد والاتساق: حافظت النماذج اللغوية الصغيرة (SLMs) على مواءمة أقرب للقصد الموضوعي وأظهرت استقراراً دلالياً أعلى (درجات F1 أعلى) عبر انتقالات مستويات بلوم مقارنة بالنماذج الكبيرة (LLMs) التي أظهرت مزيداً من الانحراف المفاهيمي.
  • المواءمة البيداغوجية: أظهرت كلتا العائلتين امتثالاً قوياً للأفعال عندما كانت التلقينات صريحة. ومع ذلك، حافظت النماذح الصغيرة (SLMs) على مواءمة عالية ومتسقة حتى مع التلقينات ذات التحديد المنخفض، في حين اعتمدت النماذج الكبيرة (LLMs) بشكل كبير على التدعيم الإرشادي الصريح للحفاظ على المواءمة.
• موثوقية التقييم (س4):
  • لم تنجح لا النماذج الصغيرة (SLMs) ولا الكبيرة (LLMs) في محاكاة التوازن بين الانتقائية والوعي بالمهارة الذي يوجد لدى الخبراء البشريين بشكل ثابت.
  • أظهرت أحكام النماذج تبايناً كبيراً: فبعض النماذج كانت متساهلة للغاية (مما يخاطر بقبول عناصر منخفضة الجودة)، بينما كانت أخرى متحفظة للغاية (مما يخاطر باستبعاد العناصر عالية الجودة).
  • وُجد أن موثوقية المقيم تعتمد على النموذج المحدد الذي يتم الحكم عليه، حيث أظهرت بعض النماذج تفضيلاً للاتفاق مع المولدات من نفس العائلة، مما يشير إلى تحيز منهجي.

المساهمات الرئيسية

1. القياس المرجعي المنهجي: تقدم الدراسة أول مقارنة منهجية بين النماذج اللغوية الصغيرة (SLMs) والكبيرة (LLMs) من أجل التوليد الآلي للأسئلة التعليمية (AEQG)، مما يثبت أن النماذج الأصغر والمحلية يمكن أن تحقق مواءمة بيداغوجية واستقراراً تنافسياً، وفي بعض الحالات متفوقاً، مقارنة بالنماذج الرائدة.
2. مقاييس قابلة لإعادة الإنتاج: تقدم الدراسة إطاراً باستخدام مقاييس معالجة لغات طبيعية موضوعية وقابلة لإعادة الإنتاج (القابلية للقراءة، التشابه الدلالي، الامتثال للأفعال) لتقييم جودة التوليد عبر الأبعاد اللغوية والدلالية والبيداغوجية، متجاوزةً بذلك المعايير البشرية الذاتية.
3. تقييم "النموذج كحكم": يحلل البحث أنماط التحيز والموثوقية في استخدام النماذج اللغوية كمقيمين، كاشفاً أنه رغم قدرتها على المساعدة، إلا أنها تفتقر حالياً إلى الاتساق المطلوب للتقييم المستقل.
4. رؤى مدركة لظروف النشر: تسلط النتائج الضوء على جدوى النماذج اللغوية الصغيرة (SLMs) في البيئات التعليمية الحساسة للخصوصية والمحدودة الموارد، مما يوفر مساراً مستداماً للنشر على الأجهزة المحلية.

الأهمية والادعاءات
تفترض الورقة أن النماذج اللغوية يجب أن تُعامل كـ مساعدين محدودين وليس كمقيمين مستقلين في سير العمل التعليمي. تدعم النتائج إطار عمل "الإنسان في الحلقة" (HIL) حيث تعمل النماذج على تسريع عملية التفكير وتدعيم بناء الأسئلة، لكن يظل الخبراء البشريون هم أصحاب السلطة الرقابية لضمان النزاهة البيداغوجية والعدالة.

يزعم المؤلفون أنه بينما توفر النماذج اللغوية الصغيرة (SLMs) بديلاً واعداً للنشر المحلي نظراً لمتطلباتها الحسابية المنخفضة والتزامها الثابت بالقيود، فإن موثوقية الذكاء الاصطناعي كمقيم مستقل لا تزال غير مستقرة. وتؤكد الدراسة على ضرية الإشراف البشري للتخفيف من التحيزات الناتجة عن النماذج وضمان أن تكون التقييمات المولدة متاحة وصحيحة. في نهاية المطاف، يعزز هذا العمل المجال من خلال فحص المقايضات بين الجودة والموثوقية وقابلية النشر، واضعاً حجر الأساس لأنظمة ذكاء اصطناعي توليدي مسؤولة ومرتبطة بالمناهج الدراسية.