AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة القائمة على التلقين يمكنها تحديد الفئات المفاهيمية في استجابات الطلاب المفتوحة في الرياضيات بشكل موثوق دون الحاجة إلى ضبط دقيق، محققةً دقة عالية في تحديد السمات الإيجابية والفهم المفاهيمي العميق، مع تسليط الضوء على الحاجة إلى دعم الخبراء في الحلقة البشرية واستخدام تلقينات صريحة لغوياً لمعالجة التحديات المتعلقة بالتحقق من السمات الغائبة أو حل الغموض.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الفصل الدراسي، غالبًا ما تحدث اللحظات الأكثر قيمة ليس عندما يحصل الطالب على الإجابة الصحيحة، بل عندما يشرح كيف توصل إليها. لطالما عرف المعلمون أنه لفهم عقل الطالب حقًا، يجب عليهم النظر إلى ما وراء الرقم النهائي ورؤية المنطق الكامن وراءه. هذا هو جوهر التقييم التكويني: عملية تفقد للتعلم أثناء حدوثه، بحيث يمكن تعديل التدريس لمساعدة الطالب على المضي قدمًا. ومع ذلك، هناك مشكلة عملية؛ فعندما يكتب الطلاب أفكارهم، أو يرسمون صورًا، أو ينشئون مسائل لفظية خاصة بهم، يواجه المعلم جبلًا من النصوص التي تتطلب القراءة والتفسير. القيام بذلك بعمق لكل طالب يستغرق وقتًا نادرًا ما يتوفر في يوم دراسي مزدحم. ونتيجة لذلك، ينتهي الأمر بالعديد من المعلمين بتصحيح الإجابات النهائية فقط، مما يفوت عليهم الرؤى الثرية المختبئة في تفسيرات الطلاب.
لسنوات، حاول الباحثون بناء حواسيب يمكنها قراءة هذه التفسيرات ورصد أنماط التفكير بداخلها. فشلت المحاولات المبكرة غالبًا لأنها اعتمدت على قواعد جامدة أو تطلبت كميات هائلة من البيانات المصنفة مسبقًا للتعلم. وقد أعاد وصول النماذج اللغوية الكبيرة — وهي أنظمة حاسوبية قوية مدربة على كميات هائلة من النصوص لفهم وتوليد اللغة البشرية — فتح السؤال من جديد. يمكن لهذه النماذج اتباع تعليمات مكتوبة بلغة إنجليزية بسيطة دون الحاجة إلى إعادة تدريبها لكل مهمة محددة. ولكن يظل هناك شك جوهري: هل يمكن لآلة بارعة في اللغة أن تفهم المنطق الرياضي المحدد، والذي غالبًا ما يكون دقيقًا؟ هل يمكنها التمييز بين طالب يستوعب مفهومًا ما حقًا، وبين آخر يخمن فقط أو يستخدم الكلمات الصحيحة لأسباب خاطئة؟
شرع باحث في جامعة دورتموند التقنية في الإجابة على هذا السؤال في سياق تعليم الرياضيات. أراد معرفة ما إذا كانت أدوات الذكاء الاصناعي الجديدة هذه يمكنها تحديد أنواع معينة من تفكير الطلاب بشكل موثوق في الاستجابات الرياضية المفتوحة، وما إذا كان بإمكانها القيام بذلك بجودة تجعلها مفيدة في فصل دراسي حقيقي. ركزت الدراسة على مجالين رئيسيين: الأعداد الطبيعية والكسور. جمع الباحث آلاف الاستجابات المكتوبة من طلاب الصفين الخامس والسادس. طُلب من هؤلاء الطلاب القيام بأمور مثل شرح سبب عمل كسر معين بطريقة معينة، أو إنشاء مسألة لفظية خاصة بهم لمعادلة رياضية معينة. كان الهدف هو معرفة ما إذا كان بإمكان الذكاء الاصطناي، مسترشدًا بمجموعة من التعليمات التي وضعها خبير بشري، فرز هذه الاستجابات إلى فئات ذات معنى، مثل "يظهر فهمًا عميقًا"، أو "لديه سوء فهم محدد"، أو "لا يقدم دليلًا على الفهم".
اختبر الباحث أربعة نماذج مختلفة من الذكاء الاصطناعي مفتوحة المصدر، وهي نسخ من التكنولوجيا التي يمكن للمدارس استضافتها على خوادمها الخاصة لحماية خصوصية الطلاب. وقارن تصحيح الذكاء الاصطناعي بتصحيح الخبراء البشريين. كانت النتائج إيجابية بشكل مفاجئ؛ فمن خلال أكثر من 13,000 استجابة مرمزة، حققت نماذج الذكاء الاصطناعي مستوى عاليًا من الاتفاق مع الخبراء البشريين، حيث حددت الفئات الرئيسية لتفكير الطلاب بدقة بلغت حوالي 82 بالمائة. كان هذا الأداء ثابتًا عبر مختلف أنواع المسائل الرياضية ومختلف النماذج. كان الذكاء الاصطناعي جيدًا بشكل خاص في رصد الحالات التي يشرح فيها الطالب مفهومًا بشكل صحيح، مثل فهم أن الضرب يتضمن تجميع العناصر معًا، أو عندما يرتكب الطالب خطأً واضحًا ومحددًا في منطقه.
ومع ذلك، كشفت الدراسة أيضًا عن المواضع التي اصطدمت فيها الآلات بحائط مسدود. فعندما تطلبت المهمة من الذكاء الاصطناعي إجراء فحص حسابي بسيط — مثل التحقق مما إذا كانت الأرقام في قصة الطالب تجمع بالفعل بشكل صحيح — واجهت النماذج صعوبة. كما واجهت صعوبة عندما كانت استجابة الطالب قصيرة جدًا أو غامضة، أو عندما استخدم الطالب لغة مبهمة. في هذه المواقف الصعبة، كان الذكاء الاصطناعي يميل إلى التخمين، مفترضًا غالبًا أن الطالب يفهم أكثر مما هو عليه في الواقع. وجد الباحث أن الذكاء الاصطناعي كان يعمل تقريبًا بنفس كفاءة قارئ بشري غير خبير، مثل طالب متدرب، لكنه لم يستطع مضاهاة أداء الخبير المتمرس الذي يمكنه رصد الأخطاء المفاهيمية العميقة أو التحقق من الحسابات فورًا.
لم تكن النتيجة الأكثر أهمية هي مجرد أن الذكاء الاصطناعي يعمل، بل في كيفية عمله وأين يحتاج إلى المساعدة. اكتشف الباحث أن الذكاء الاصطناعي يكون أكثر موثوقية عندما تكون استجابة الطالب صريحة لغويًا. إذا استخدم الطالب كلمات واضحة لوصف بنية التجميع، فإن الذكاء الاصطناعي يلتقطها بسهء. أما إذا كان الطالب غامضًا، فإن الذكاء الاصطناعي يضل طريقه. وهذا يشير إلى أن تصميم الأسئلة الاختبارية نفسها يكتسب أهمية قصوى؛ فالأسئلة التي تحفز الطلاب على الكتابة بوضوح وشمولية ستؤدي إلى نتائج أفضل من أدوات الذكاء الاصطناعي. علاوة على ذلك، خلصت الدراسة إلى أن أدوات الذكاء الاصطناعي هذه لا ينبغي اعتبارها بديلة للمعلمين، بل تعمل كمحفز قوي. يمكنها القيام بالعمل الشاق المتمثل في قراءة وفرز آلاف الاستجابات، وتحديد تلك التي تحتاج إلى عين بشرية. وهذا يحرر المعلم للتركيز على الحالات الأكثر صعوبة واتخاذ القرارات التدريسية النهائية بناءً على صورة أوضح وأكثر تنظيمًا لفهم الفصل الدراسي.
يؤكد الباحث أن الذكاء الاصطناعي هو أداة للمعلم، وليس بديلًا لتقديره. النظام مصمم ليعمل في حلقة حيث يقدم الجهاز المسودة الأولى للتحليل، ثم يقوم المعلم البشري بمراجعتها، وتصحيح أي أخطاء وإضافة السياق الضروري الذي لا يستطيع تقديم إلاه إلا البشر. هذا النهج يحترم تعقيد التدريس مع الاعتراف بالحدود العملية للوقت البشري. من خلال استخدام الذكاء الاصطناعي للتعامل مع عملية الفرز الأولية، يمكن للمعلمين تقنيًا التفاعل مع التفكير المفاهيمي العميق لكل طالب، بدلًا من الاكتفاء ببعض الطلاب فقط. تؤكد الدراسة أنه بينما لا يستطيع الذكاء الاصطناعي بعد استبدال الفهم الدقيق للمعلم المتمكن، فقد وصل إلى نقطة تمكنه من جعل حلم التقييم التكويني العميق والشخصي في الرياضيات واقعًا عمليًا للمدارس.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.