Temporal Stability and Few-Shot Prompting in Math Task Assessment

ملخص تقني: الاستقرار الزمني والتحفيز بالقليل من الأمثلة في تقييم المهام الرياضية

بيان المشكلة
مع تزايد دمج أدوات الذكاء الاصطناعي في السياقات التعليمية، تبرز حاجة ماسة لفهم استقرارها الزمني واستجابتها لهندسة الأوامر (Prompt Engineering). وبينما تتطور النماذج اللغوية الكبيرة (LLMs) بسرعة، فإن أداءها في المهام التعليمية المتخصصة — وتحديداً تصنيف المهام الرياضية حسب الطلب المعرفي — قد لا يتحسن أو قد يتدهور بمرور الوقت بسبب "الانجراف الزمني" والمقايضات التحسينية. علاوة على ذلك، لا يزال من غير الواضح ما إذا كانت تقنيات هندسة الأوامر، مثل "التحفيز بالقليل من الأمثلة" (Few-shot prompting)، يمكنها تعويض حالات عدم الاستقرار هذه أو التفوق على الاعتماد السلبي على تحديثات إصدارات النماذج. تعالج هذه الدراسة الفجوة المعرفية المتعلقة بكيفية أداء أدوات الذكاء الاصطناعي العامة والمتخصصة تعليمياً بمرور الوقت، وما إذا كان التحفيز بالقليل من الأمثلة يمكن أن يعزز قدرتها على تصنيف المهام الرياضية باستخدام دليل تحليل المهام (TAG).

المنهجية
قيمت هذه الدراسة الطولية أداتين للذكاء الاصطناński: نموذجاً عام الأغراض (Google Gemini) ونموذجاً متخصصاً تعليمياً (Coteach). ركز التقييم على قدرة الأداتين على تصنيف 12 مهمة رياضية مصنفة مسبقاً لطلاب المرحلة المتوسطة إلى أربع فئات من الطلب المعرفي كما حددها دليل (TAG): الحفظ، الإجراءات بدون روابط، الإجراءات مع الروابط، وممارسة الرياضيات.

اعتمدت الدراسة تصميماً من ثلاث مراحل:

1. الزمن 1 (الخط المرجعي): قامت كلا النماذجين بتصنيف المهام الـ 12 باستخدام "التحفيز الصفري" (Zero-shot prompting) (تعليمات قياسية وإطار عمل TAG).
2. الزمن 2أ (بعد 7 أسابيع): أُعيد اختبار النموذجين باستخدام نفس الأوامر الصفرية. خلال هذه الفترة، خضع Gemini لتحديث رئيسي للإصدار (من 2.5 Flash إلى 3 Flash)، بينما تلقى Coteach تحديثات منتظمة غير معلنة بناءً على النموذج الأساسي الخاص به (Claude من Anthropic).
3. الزمن 2ب (التحفيز بالقليل من الأمثلة): تم اختبار كلا النموذجين باستخدام "التحفيز بالقليل من الأمثلة". تضمن هذا الشرط مثالين لكل فئة من فئات الطلب المعرفي الأربعة (8 أمثلة إجمالاً)، صيغت بلغة LaTeX لتقليل عبء المعالجة. كانت الأمثلة متشابهة دلالياً مع مجموعة الاختبار ولكن بكلمات مختلفة.

النتائج الرئيسية

• الاستقرار الزمني: أظهرت النماذج أنماطاً متميزة من عدم الاستقرار.
  • Gemini: ظل الدقة الإجمالية مستقراً عند 58% (7/12 مهمة). ومع ذلك، تغيرت المهام المحددة التي تم تصنيفها بشكل صحيح؛ حيث تحولت ثلاث تصنيفات كانت صحيحة سابقاً إلى تصنيفات خاطئة، وثلاث تصنيفات كانت خاطئة سابقاً إلى تصنيفات صحيحة. يشير هذا إلى "انجراف الأوامر" (Prompt drift) حيث يتغير سلوك النموذج رغم استقرار المقاييس الإجمالية.
  • Coteach: انخفضت الدقة الإجمالية بشكل ملحوظ من 75% إلى 50% (انخفاض قدره 25 نقطة مئوية)، مما يمثل فقداناً في القدرة بدلاً من إعادة توزيع للأخطاء.
• تأثير التحفيز بالقليل من الأمثلة: أدى التحفيز بالقليل من الأمثلة إلى تحسين الأداء لكلا النموذجين، مما يثبت أن تحسين الأوامر يمكن أن يكون أكثر فعالية من تحديثات النماذج.
  • Gemini: ارتفعت الدقة من 58% إلى 67% (+8 نقاط مئوية).
  • Coteach: استعادت الدقة من 50% لتعود إلى 75% (+25 نقطة مئوية)، مما عوض تماماً التدهور الزمني الملاحظ في الزمن 2أ.
• الأداء حسب الفئة: تباينت الدقة حسب فئة الطلب المعرفي. كانت فئة "الإجراءات بدون روابط" هي الأكثر دقة في التصنيف (متوسط 94%)، بينما كانت ف% "ممارسة الرياضيات" هي الأقل (متوسط 33%). لم يؤدِ التحفيز بالقليل من الأمثلة إلى تحسين جميع الفئات بشكل موحد؛ حيث ظلت مهام "ممارسة الرياضيات" صعبة التصنيف بشكل صحيح، مما يشير إلى قصور في كيفية تعامل النماذج اللغوية الكبيرة مع المهام المعقدة وغير الخوارزمية.

المساهمات الرئيسية

• دليل على عدم الاستقرار الزمني: توفر الدراسة دليلاً تجريبياً على أن أداء الذكاء الاصطناعي في المهام التعليمية ليس ثابتاً. وهي تميز بين "التدهور المرئي" (انخفاض الدقة الإجمالية، كما في حالة Coteach) و"الانجراف غير المرئي" (تحولات على مستوى المهمة مع استقرار المقاييس الإجمالية، كما في حالة Gemini)، والذي قد يظل غير مكتشف بواسطة تقارير الاختبارات المعيارية العادية.
• فعالية هندسة الأوامر: تثبت النتائج أن التحفيز بالقليل من الأمثلة هو استراتيجية قابلة للتطبيق وقوية للتخفيف من حدة الانجراف الزمني. وفي حالة Coteach، نجحت هندسة الأوامر في عكس خسائر الأداء المنسوبة إلى تحديثات النماذج بالكامل.
• مقارنة الأدوات: تسلط الدراسة الضوء على اختلاف أنماط الاستجابة بين الأدوات عامة الأغراض والمتخصصة تعليمياً. فبينما أظهرت الأداة المتخصصة تعليمياً حساسية أكبر تجاه الانجراف الزمني، فقد أظهرت أيضاً استجابة وحساسية أعلى لتقنيات التحفيز المتخصصة في المجال مقارنة بالنموذج عام الأغراض.

الأهمية والادعاءات
يدعي البحث أنه بالنسبة للمهام التعليمية المتخصصة، فإن تحسين الأوامر النشط هو استراتيجية أكثر موثوقية وفعالية من الاعتماد السلبي على تحسينات النماذج. وتتحدى النتائج الافتراض القائل بأن الإصدارات الأحدث من نماذج الذكاء الاصطناعي تقدم بطبيعتها أداءً أفضل للتطبيقات التعليمية المحددة. بدلاً من ذلك، تقترح الدراسة أن على التربويين والباحثين مراعاة عدم الاستقرار الزمني وإعطاء الأولوية لهندسة الأوامر (وتحديداً التحفيز بالقليل من الأمثلة مع أمثلة ذات صلة) لضمان اتساق ودقة أداء أدوات الذكاء الاصطناعي. ويشير المؤلفون إلى أنه على الرغم من أن التحفيز بالقليل من الأمثلة قد حسن الدقة الإجمالية، إلا أنه لم يحل التحديات الجوهرية في تصنيف مهام "ممارسة الرياضيات" ذات الطلب المعرفي العالي، مما يشير إلى أن بنيات النماذج اللغوية الكبيرة الحالية قد لا تزال تعاني في التعامل مع المهام التي تتطلب تفكيراً معقداً وغير خوارزمي.