ملخص تقني: CASTLE – معيار شامل لتقييم السلامة المخصصة والموجهة للطلاب في النماذج اللغوية الكبيرة

1. بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) تقدماً في التعلم الشخصي، إلا أن آليات التوليد المتأصلة فيها غالباً ما تنتج استجابات متجانسة للمطالبات المتطابقة. هذا النهج القائم على "النموذج الواحد للجميع" يتجاهل التباين الكبير في الخصائص المعرفية والنفسية للطلاب، مما قد يشكل مخاطر سلامة على الفئات الضعيفة. تعتمد تقييمات السلامة الحالية بشكل أساسي على مقاييس غير مرتبطة بالسياق (مثل الدقة الواقعية، والسمية، والتحيز)، والتي تفشل في رصد الأضرار المتباينة التي قد تسببها استجابة واحدة عبر سمات الطلاب المختلفة. في المجالات التعليمية عالية المخاطر، تجد أساليب السلامة العامة صعوبة في تحديد وتخفيف المخاطر الشخصية الناشئة عن الاختلافات في خلفيات المستخدمين، مثل الاستجابة غير الضارة لطالب منخفض المخاطر والتي قد تؤدي إلى سلوك مميت لطالب يعاني من ميول التسرب الدراسي أو الاكتئاب الشديد.

2. المنهجية

يقترح المؤلفون CASTLE (التقييم الشامل للتعلم المخصص والموجه للطلاب)، وهو معيار قائم على النظريات التعليمية لقياس مخاطر السلامة الشخصية بشكل منهجي.

2.1 بناء مجموعة البيانات

تتكون CASTLE من 92,908 سيناريو ثنائي اللغة (53,483 بالصينية، 39,425 بالإنجليزية) تم بناؤها عبر مسار متعدد المراحل:

• الأساس النظري: يدمج المعيار نظريات علم النفس التربوي الكلاسيكية، بما في ذلك سمات الشخصية الخمس الكبرى، ونظرية دريك حول نوع الاعتقاد في القدرة (عقلية النمو مقابل العقلية الثابتة)، ومراحل اكتساب المهارة لفيتس وبوسنر، ومراحل التعلم المنظم ذاتياً لزيمرمان.
• تصنيف المخاطر: يحدد تصنيف ذو مستويين 15 مجالاً لمخاطر السلامة التعليمية عبر أربع فئات:
  1. الصحة النفسية والعاطفية (مثل: الإجهاد الأكاديمي المفرط، معضلة اختيار المسار المهني).
  2. النزاهة والكفاءة الأكاديمية (مثل: سوء السلوك الأكاديمي، تجنب مسار التعلم).
  3. تحيز المحتوى والمعلومات (مثل: الصور النمطية، مخاطر هلوسة النموذج).
  4. الاعتماد على التعلم والإدراك (مثل: فقدان الحكم المستقل، الجمود المعرفي).
• ملفات تعريف الطلاب: يتضمن كل سيناريو ملف تعريف هيكلي للطالب يحتوي على 14 سمة تشمل الخلفية (العمر، الجنس، المرحلة التعليمية)، سمات الشخصية الخمس الكبرى، الحالة العاطفية (الحالة، الكثافة، التغذية الراجعة الأخيرة)، والتعليم (الاعتقاد في القدرة، المهارة، مرحلة الاكتساب، التنظيم الذاتي).
• عملية التوليد: تم توليد مجموعة البيانات باستخدام استراتيجية دورية متعددة النماذج (GPT-4o، Gemini-2.5-Flash، DeepSeek-V3، Claude-Haiku-4.5) للتخفيف من التحيز الخاص بالنماذج. كما تم فرض قواعد قيود منطقية صارمة لضمان الصلاحية النفسية واتساق السمات (على سبيل المثال، منع عدم التطابق بين العمر والمرحلة الدراسية أو عدم توافق العاطفة مع السيناريو).

2.2 مقاييس التقييم

تقدم CASTLE ثلاثة أبعاد للتقييم، يتم قياسها على مقياس ليكرت من 1 إلى 5:

1. الحساسية للمخاطر: تقيس قدرة النموذج على اكتشاف المخاطر النفسية أو المعرفية الكامنة في الاستعلام.
2. التعاطف العاطفي: تقيم قدرة النموذج على التعرف على الحالة العاطفية للطالب ومعالجتها.
3. المواءمة مع الطالب: تقيم مدى التوافق بين استجابة النموذج وسمات الطالب المحددة (الشخصية، مرحلة التعلم، إلخ).
   متوسط درجة السلامة هو متوسط هذه الأبعاد الثلاثة.

2.3 الإعداد التجريبي

استُخدم المعيار لتقييم 18 نموذجاً لغوياً كبيراً، بما في ذلك النماذج مفتوحة المصدر (سلسلة Qwen، LLaMA3، Mistral، إلخ)، والنماذج مغلقة المصدر (GPT-4o، GPT-5.2، Claude-Haiku-4.5، Gemini-2.5-Flash)، والنماذج المتخصصة في التعليم (InnoSpark-7B، MuduoLLM-7B). أُجريت التقييمات تحت كل من إعدادات غير مخصصة (الاستعلام فقط) ومخصصة (الاستعلام + الملف التعريفي الكامل). أكد تحليل الموثوقية بين البشر والذكاء الاصطناعي أن Claude-Haiku-4.5 يعمل كمقيم تلقائي قوي (معامل سبيرمان $\rho$ = 0.83 مقابل المراجع البشرية).

3. المساهمات الرئيسية

1. الإطار المفاهيمي: يحدد البحث بشكل منهجي أوجه القصور في نموذج "النموذج الواحد للجميع" السائد في التعليم ويقدم السلامة المخصصة والموجهة للطالب كمنظور تقييم جديد.
2. معيار CASTLE: بناء معيار واسع النطاق وقائم على النظرية يغطي 15 مجالاً للمخاطر، و14 سمة للطالب، وأكثر من 92 ألف سيناريو ثنائي اللغة.
3. مقاييس التقييم: اقتراح ثلاثة مقاييس محددة (الحساسية للمخاطر، التعاطف العاطفي، المواءمة مع الطالب) للانتقال لما وراء أحكام السلامة الثنائية.
4. النتائج التجريبية: تقييم شامل لـ 18 نموذجاً من أحدث النماذج اللغوية الكبيرة، مما كشف عن أوجه قصور كبيرة في ضمان السلامة المخصصة.

4. النتائج

• الأداء العام: سجلت جميع النماذج التي تم تقييمها درجة أقل من متوسط درجة سلامة قدرها 2.5 من 5 في الإعداد غير المخصص. حتى أقوى نموذج، Claude-Haiku-4.5، حقق 2.42 فقط.
• تأثير التخصيص: أدى دمج ملفات تعريف الطلاب الهيكلية إلى تحسين درجات السلامة باستمرار عبر جميع المجالات الـ 15 وجميع النماذج. ومع ذلك، حتى مع التخصيص، لم يحقق أي نموذج درجة مثالية، مما يشير إلى أن المعلومات المخصصة تحسن الوعي بالمخاطر ولكنها لا تقضي تماماً على مخاطر السلامة في البيئات التعليمية المعقدة.
• المجال مقابل الحجم: أثبتت المواءمة الخاصة بالمجال فعاليتها أكثر من مجرد زيادة حجم النموذج. تفوقت النماذج القائمة على التعليم (مثل InnoSpark-7B) على النماذج العامة الأكبر (مثل GPT-4o، Gemini-2.5-Flash) في عدة فئات.
• التعلم التعزيزي (RL): أظهرت النماذج المحسنة بالتعلم التعزيزي (مثل QwQ-32B) أداءً فائقاً واستخداماً أفضل للمعلومات المخصصة مقارنة بنظيراتها التي تم ضبطها بالتعليمات (مثل Qwen2.5-32B)، مما يشير إلى أن نماذج التدريب أهم من عدد المعلمات.
• حساسية السمات: أظهرت دراسات الاستئصال أن سمات العاطفة والتعليم ساهمت بأكبر قدر من مكاسب السلامة. كما حقق التخصيص الصريح (الملفات التعريفية الهيكلية) درجات سلامة أعلى بكثير من التخصيص الضمني (الإشارات المضمنة في الاستعلام).
• قصور حواجز السلامة: صنفت نماذج حماية السلامة العامة الحالية (مثل Llama-Guard، WildGuard) أكثر من 96% من استجابات CASTLE على أنها "آمنة"، وفشلت في اكتشاف المخاطر التعليمية المخصصة والدقيقة التي يستهدفها المعيار.

5. الأهمية والادعاءات

يزعم البحث أن CASTLE يوفر أساساً ضرورياً لأبحاث السلامة التي تتكيف مع سياقات الطلاب الفردية، معالجةً بذلك فجوة حرجة في أبحاث السلامة الحالية. ويسلط الضين على أن:

• النماذج اللغوية الكبيرة الحالية تواجه صعوبة في تحديد المخاطر الخاصة بالطالب دون سياق شخصي صريح.
• الملفات التعريفية الهيكلية وآليات التخصيص الصريحة ضرورية لتوليد استجابات أكثر أماناً وتعاطفاً في السيناريوهات التعليمية عالية المخاطر.
• نموذج "النموذج الواحد للجميع" غير كافٍ للتعليم، حيث يحدد التباين المعرفي والنفسي نتائج السلامة.

يضع المؤلفون CASTLE كأداة لدفع تطوير آليات المواءمة الواعية بالسياق، مشيرين إلى أنه بينما صُمم المعيار للتقييم، فإنه ليس مخصصاً للتشخيص السريري أو اتخاذ القرارات عالية المخاطر. ويُقترح في العمل المستقبلي توسيع المعيار ليشمل بيئات تفاعلية متعددة الأدوار ولغات أخرى.