Beyond Direct Answering: Aligning Educational LLMs as Socratic Guides via Heuristic Reinforcement Learning

ملخص تقني: ما وراء الإجابة المباشرة: مواءمة النماذج اللغوية الكبيرة التعليمية كمرشدين سقراطيين عبر التعلم المعزز الاستدلالي

بيان المشكلة
تُظهر النماذج اللغوية الكبيرة (LLMs) المنتشرة في البيئات التعليمية تكراراً لنمط فشل يُعرف بـ "المجيب المباشر". فبدلاً من الالتزام بالمنهج السقراطي — الذي يعطي الأولوية لتوجيه الطلاب من خلال استقصاء تدريجي لتعزيز الفهم المفاهيمي المستدام — تكتفي النماذج الحالية بالإفصاح الفوري عن المفاهيم المستهدفة. وقد كشف تحليل تجريبي لأكثر من 10,000 استعلام طلابي من منصة علوم حية أن النماذج التي تتراوح أحجامها بين 7 مليار إلى 72 مليار معلمة تسرب المصطلحات العلمية الجوهرية في ردودها الافتتاحية بمعدلات تتجاحز 96%. ويرى المؤلفون أن هذه مشكلة سلوكية، وليست قصوراً في القدرة، ولا يمكن حلها بمجرد زيادة حجم النموذج وحده.

المنهجية: مسار HeuristicEdu
يقترح البحث HeuristicEdu، وهو مسار مواءمة ثنائي المراحل مصمم لتحويل نموذج Qwen2.5-7B-Instruct إلى معلم سقراطي.

1. بناء مجموعة البيانات (SocraticEdu):

   • قام المؤلفون بإعادة بناء متن يتكون من 797 حواراً متعدد الأدوار من منصة تعليمية صينية حية ("Dr. Curious").
   • تضمنت العملية تصفية 10,512 سؤالاً خاماً للبحث عن القصد العلمي (F1=0.98)، وتجميعها في سبعة مجالات للعلوم الابتدائية، واختيار 134 "بذرة" عالية التفاعل.
   • تتكون المجموعة النهائية من 395 مساراً واقعياً معاد بناؤها و402 مساراً اصطناعياً تم إنشاؤها عبر واجهة برمجة التطبيقات (API) لتغطية أساليب تدريس متنوعة (توجيهي، استكشافي، تناظري).

2. مسار التدريب:

   • المرحلة الأولى (الضبط الدقيق الخاضع للإشراف - SFT): يتم بدء تشغيل النموذج (warm-start) على متن SocraticEdu المكون من 797 مساراً لإرساء أنماط الاستجابة السقراطية الأساسية.
   • المرحلة الثانية (تحسين السياسة النسبي الجماعي - GRPO): يخضع النموذج للتعلم المعزز باستخدام دالة مكافأة استدلالية ($R_{total}$) دون استخدام ناقد متعلم. المكافأة هي مجموع موزون لثلاثة مكونات:
     • $R_{cog}$ (العمق المعرفي): يقيس "الرفع المعرفي" بين استعلام الطالب واستجابة النموذج باستخدام مستويات تصنيف بلوم (1–6)، مما يشجع النموذج على الارتقاء بتفكير الطالب بدلاً من مجرد تأكيد الحقائق.
     • $R_{eng}$ (إشراك الفضول): يقيم استجابة النموذج بناءً على نموذج وسيط للإشراك (EPM) يكتشف الأسئلة البلاغية، والتناظرات، والفرضيات المفتوحة للحفاظ على الفضول.
     • $R_{dir}$ (عقوبة المباشرة): يعاقب على الإفصاح المبكر عن المصطلحات العلمية المستهدفة. ومن المهم ملاحظة أن هذا يتضمن تصحيح $K_{query}$، الذي يعاقب فقط المصطلحات الموجودة في استجابة النموذج والتي لم يسبق للطالب تقديمها، مما يمنع العقوبات الخاطئة عندما يستخدم الطالب المصطلحات بشكل صحيح.

3. مقاييس التقييم:

   • فعالية السقالات (SE): نسبة حالات الاختبار التي نجح فيها طالب محاكى في صياغة المفهوم المستهدف دون أن يسرب المعلم أي كلمات رئيسية جوهرية.
   • عمق المحادثة (CD): يقيس التقدم الدلالي من خلال حساب كسر أزواج الأدوار المتتالية ذات التشابه الجيبي المنخفض (Sentence-BERT cosine similarity < 0.70)، مما يضمن تقدم الحوار بدلاً من التكرار.
   • معدل التسريب: وتيرة إفصاح المعلم عن الكلمات الرئيسية الجوهرية.

النتائج الرئيسية
أُجريت التجارب على 30 سؤالاً من المجموعة المختبرة باستخدام حلقة طالب محاكى.

• المواءمة مقابل هندسة الأوامر (Prompting): حقق النموذج الأفضل أداءً، وهو PT-GRPO w/o $R_{dir}$ (المدرب عبر GRPO بدون عقوبة المباشرة)، نسبة SE بلغت 63.3% ومعدل تسريب قدره 13.3%. وقد تفوق هذا بشكل كبير على خط الأساس SFT-only (الذي حقق 50.0% SE) والمرجع القائم على هندسة الأوامر (الذي حقق 40.0%).
• الدور العكسي لـ $R_{dir}$: كانت هناك نتيجة حاسمة وهي أن تضمين عقوبة المباشبة ($R_{dir}$) أثناء تحسين GRPO أدى إلى تدهور الأداء. فقد انخفضت نسخة "Full" GRPO (مع $R_{dir}$) إلى 43.3% SE و23.3% تسريب. ويعزو المؤلفون ذلك إلى صراع في التحسين حيث تعمل العقوبة على كبح المفردات العلمية الضرورية، مما يعيق قدرة النموذج على استخدام المصطلحات كإشارات سقالات، وهو ما يتعارض مع مكافأة الإشراك ($R_{eng}$).
• الحجم مقابل السلوك: حقق خط الأساس غير الموائم Qwen-72B نسبة 0% SE ومعدل تسريب بنسبة 96.7%، مما يثبت أن زيادة حجم النموذج لا تؤدي بالضرورة إلى استحثاث السلوك السقراطي.
• العمق: حقق أفضل متغير أيضاً أعلى عمق للمحادثة (0.722)، مما يشير إلى أن السقالات الناجحة ترتبط بتقدم دلالي أعمق.

الأهمية والادعاءات
يدعي البحث ثلاث مساهمات رئيسية:

1. مجموعة البيانات: تقديم SocraticEdu، وهو متن متعدد الأدوار محكوم بالأسلوب ومصمم خصيصاً للتدريس السقراطي في العلوم الابتدائية.
2. المنهجية: تقديم برهان على أن GRPO مع المكافآت الاستدلالية (تحديداً الرفع المعرفي والإشراك) أكثر فعالية من هندسة الأوامر للمواءمة السلوكية في التعليم. يسلط العمل الضوء على أن قيود منع التسريب الصريحة قد تكون ضارة عند استخدامها كمكافآت قائمة على التدرج (gradient-based rewards)، مما يشير إلى الحاجة لتصميم دقيق للمكافآت.
3. التقييم: اقتراح مقاييس SE وCD الموجهة نحو النتائج، والتي تتجاوز الطلاقة السطحية لتقييم ما إذا كان الحوار يغير حالة المتعلم بالفعل.

يخلص المؤلفون إلى أن المواءمة السقراطية هي مشكلة سلوكية مستهدفة تتطلب تحسيناً صريحاً. ويؤكدون أنه بينما ينجح تدريب المعلمات (GRPO) في إعادة توجيه نموذج 7B نحو الاستقصاء السقراطي، فإن مجرد رفع الحجم إلى 72B دون هذه المواءمة لن يحقق أي تحسن عن الإجابة المباشرة.