Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks
تقيم هذه الدراسة أحد عشر أداة من أدوات الذكاء الاصط， العام والتعليمي المتخصص، لتجد أنها تحقق دقة متوسطة فقط (63%) في تصنيف المتطلبات المعرفية للمهام الرياضية بسبب وجود تحيز منهجي نحو الفئات ذات المستوى المتوسط ونزعة لإعطاء الأولوية للميزات النصية السطحية على العمليات المعرفية الكامنة، مما يحد من موثوقيتها الفورية للتخطيط التدريسي دون تحسين هندسة الأوامر أو تطوير الأدوات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك رئيس طهاة (معلم) تدير مطبخاً مزدحماً. لديك قائمة ضخمة من الوصفات (المسائل الرياضية) التي تتراوح بين مهام بسيطة مثل "تحميص شريحة خبز" وتحديات معقدة مثل "إعداد وليمة من 12 طبقاً من فن الطهي الجزيئي".
مهمتك هي فرز هذه الوصفات في الحاويات الصحيحة حتى تتمكن من تقديم المستوى المناسب من التحدي لزبائنك (الطلاب). فإذا قدمت مبتدئاً وليمة معقدة، فسيصاب بالإحباط والإنهاك. وإذا قدمت خبيراً مجرد قطعة خبز محمصة، فسيشعر بالملل.
مؤخراً، وصل مساعد جديد إلى مطبخك: الذكاء الاصطناعي (AI). سألتَه: "هل يمكنك النظر في هذه الوصفات وإخباري أي منها بسيط وأيها معقد؟"
هذه الورقة هي "تقرير الدرجات" الذي يوضح مدى كفاءة مساعد الذكاء الاصطناعي في يومه الأول في العمل.
الإعداد: قائمة "الطلب المعرفي"
استخدم الباحثون إطار عمل شهيراً يسمى دليل تحليل المهام (TAG). فكر في هذا كأنه نظام تقييم مكون من أربع نجوم لمسائل الرياضيات:
- الحفظ (نجمة واحدة): مجرد استرجاع الحقائق. مثل قول "2 + 2 = 4" دون تفكير.
- الإجراءات بدون روابط (نجمتان): اتباع وصفة خطوة بخطوة دون معرفة لماذا تعمل المكونات. مثل خلط عجينة الكيك لأن الصندوق يقول ذلك.
- الإجراءات مع الروابط (ثلاث نجوم): استخدام الوصفة لفهم لماذا يرتفع الكيك. أنت تربط الخطوات بعلم الخبز.
- ممارسة الرياضيات (أربع نجوم): ابتكار وصفة جديدة تماماً من الصفر. يجب عليك اكتشاف المكونات، والطريقة، والمنطق بنفسك. الأمر فوضوي وصعب ويتطلب تفكيراً عميقاً.
التجربة: "اختبار خارج الصندوق"
لم يحاول الباحثون "تدريب" الذكاء الاصطناعي أو إعطاءه تعليمات خاصة. بل سلموا 11 أداة مختلفة من أدوات الذكاء الاصطناعي (بعضها عام مثل ChatGPT، وبعضها مخصص للمدارس مثل Khanmigo) حزمة من 12 مسألة رياضية وقالوا له: "إليك كتاب القواعد. أخبرني ما هو تصنيف النجوم لكل مسألة."
أرادوا معرفة ما يحدث عندما يستخدم المعلم الذكاء الاصطناعي الآن، دون قضاء ساعات في تعلم كيفية "هندسة الأوامر" (إعطائه تعليمات مثالية).
النتائج: الذكاء الاصطناعي هو مساعد "آمن ومتوسط"
كانت النتائج مزيجاً من "ليس سيئاً" و"مقلق للغاية".
1. الدرجة المتوسطة: 63%
حصل الذكاء الاصطناعي على حوالي 6 من أصل 10 مسائل بشكل صحيح. هذا أفضل من التخمين، لكنه بعيد كل البعد عن الدقة بنسبة 100% التي يحتاجها المعلم ليثق به بشكل أعمى.
2. انحياز "منتصف الطريق"
كان هذا هو الاكتشاف الأكبر. كان الذكاء الاصطناعي يخشى التطرف.
- عندما تكون المسألة بسيطة بوضوح (حفظ)، غالباً ما يقول الذكاء الاصطناعي: "أوه، إنها إجراء من نجمتين".
- عندما تكون المسألة صعبة بوضوح (ممارسة الرياضيات)، غالباً ما يقول: "هذا مجرد إجراء من 3 نجوم".
- التشبيه: تخيل خبير أرصاد جوية يخشى أن يقول "إنها إعصار" أو "إنها جفاف". بدلاً من ذلك، يستمر في قول "إنه يوم غائم". لقد استمر الذكاء الاصطناعي في دفع كل شيء نحو الفئات المتوسطة (الإجراءات) لأنه شعر بأنها أكثر أماناً.
3. فخ "السطحية"
كان الذكاء الاصطناعي بارعاً في رصد الكلمات المفتاحية لكنه سيء في فهم التفكير.
- مثال: إذا قالت المسألة "وضح خطوات عملك"، اعتقد الذكنا الاصطناعي: "أوه، توضيح العمل يعني أنه إجراء بسيط!"
- الواقع: أحياناً يعني "توضيح العمل" شرح حل إبداعي معقد. لقد نظر الذكاء الاصطناعي إلى النص السطحي (الكلمات) بدلاً من التفكير العميق (القدرة الذهنية) المطلوب.
4. الأدوات العامة مقابل المتخصصة
قد تعتقد أن أدوات الذكاء الاصطناعي المصممة خصيصاً للمدارس (مثل Magic School أو Khanmigo) ستكون أفضل من الأدوات العامة (مثل ChatGPT أو Grok).
- المفاجأة: لم تكن كذلك. الأدوات العامة أدت بشكل جيد (أو سيء بنفس القدر) مثل الأدوات المخصصة للمدارس. كونها "ذات علامة تجارية تعليمية" لم يجعلها أكثر ذكاءً في هذه المهمة المحددة.
"السبب" وراء الأخطاء
تعمق الباحثون في "منطق" الذكاء الاصطناعي (تفسيره لسبب إعطائه تقييماً معيناً). ووجدوا أن الذكاء الاصطناعي كان واثقاً جداً من نفسه ولكنه مخطئ.
- "الكذبة المقنعة": كان الذكاء الاصطناعي يقدم تفسيراً احترافياً ومقنعاً للغاية حول سبب كون مسألة صعبة هي في الواقع سهلة. بدا وكأنه معلم، لكنه كان يفتقر إلى الجوهر.
- فشل "المهمة G": كانت هناك مسألة محددة (المهمة G) حيث فشل الذكاء الاصطناعي في 3 من أصل 4 مرات. كانت مسألة تبدو كسيناريو من واقع الحياة ولكن بها تعليمات محددة جداً ("أنشئ تناسباً"). ارتبك الذكاء الاصطناعي بسبب القصة الواقعية وفشل في ملاحظة التعليمات المحددة التي جعلت المهمة بسيطة.
ماذا يعني هذا للمعلمين؟
إذاً، هل يجب عليك طرد مساعدك البشري وتوظيف الذكاء الاصطناعي؟ لا.
- ليس جاهزاً للعمل الأساسي: لا يمكنك ترك الذكاء الاصطناعي يصحح خطط دروسك أو يصنف مسائل الرياضيات الخاصة بك بمفرده. سوف يخطئ في تصنيف أصعب وأسهل المسائل، وهي المسائل التي تحتاج إلى ضبطها بدقة.
- "رأي ثانٍ" جيد: الذكاء الاصطناعي رائع كـ مساعد في الصياغة. يمكنك سؤاله: "مهلاً، ما رأيك في صعوبة هذه المسألة؟" ثم تقوم أنت بمراجعة عمله. يمكنه توفير الوقت لك من خلال القيام بالمسودة الأولى، ولكن يجب أن تكون أنت الحكم النهائي.
- مشكلة "الأمر" (Prompt): استخدمت الدراسة أمراً بسيطاً للغاية. إذا تعلم المعلمون كيفية التحدث إلى الذكاء الاصطناعي بشكل أفضل (إعطاؤه أمثلة، وطلب التفكير خطوة بخطوة)، فقد ترتفع الدرجات. لكن في الوقت الحالي، وبدون أي تدخل، فهو متعثر نوعاً ما.
الخلاصة
الذكاء الاصطناعي يشبه متدرباً جديداً في المطبخ. إنه متحمس، ويعرف الكثير من الحقائق، ويمكنه قراءة كتاب الوصفات. لكنه لا يمتلك بعد "الذوق" أو "الحدس" لمعرفة ما إذا كان الطبق بسيطاً حقاً أم معقداً حقاً. إنه يميل إلى اللعب في المنطقة الآمنة ويسمي كل شيء "متوسطاً".
حتى نعلمه كيف يفكر (وليس فقط كيف يقرأ)، يحتاج المعلمون إلى إبقاء مآزرهم وقيامهم بعملية التذوق النهائي بأنفسهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.