Invariance of multiple-choice item difficulty to item position: a counterbalanced quasi-experimental study in emergency medical services education
تُظهر هذه الدراسة شبه التجريبية ذات التصميم المتوازن في تعليم الخدمات الطبية الطارئة أن صعوبة أسئلة الاختيار من متعدد وأداء الممتحنين يظلان ثابتين جوهرياً تجاه موقع السؤال، مما يدعم صحة عشوائية ترتيب الأسئلة في التقييمات القائمة على الحاسوب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تخوض اختباراً كبيراً، مثل امتحان نهائي لمادة صعبة. تجلس، والقلم في يدك، ويصدمك السؤال الأول. إذا كان هذا السؤال الأول وحشاً كاسراً — صعباً جداً ومربكاً — فقد تصاب بالذعر. يتسارع نبض قلبك، ويشعر عقلك بالضبابية، وفجأة، تبدو حتى الأسئلة التي كان بإمكانك الإجابة عليها مستحيلة. هذا هو المفهوم الكامن وراء "قلق الاختبار": الخوف من أن ترتيب الأسئلة يهم. إذا اصطدمت بحائط في البداية، فقد تتعثر لبقية الاختبار.
ولكن إليك التحول في القصة: ماذا لو كانت الأسئلة نفسها لا تهتم بمكان جلوسها؟ في عالم القياس التربوي، هناك قاعدة ذهبية تسمى "الثبات" (invariance). الأمر يشبه قولنا إن الطوبة تظل طوبة سواء كانت في أسفل الجدار أو في أعلاه تماماً؛ فوزن الطوبة وحجمها لا يتغيران لمجرد أنك نقلتها من مكان لآخر. وبالمثل، يجب أن تكون صعوبة سؤال الاختبار سمة ثابتة في السؤال نفسه، وليست خدعة ناتجة عن موقعه. إذا صحت هذه القاعدة، يمكن للحواسيب إعادة ترتيب الأسئلة عشوائياً لمنع الطلاب من استخدام موارد غير مصرح بها، وستظل الدرجات عادلة. ولكن إذا كُسرت هذه القاعدة، فإن إعادة ترتيب الأسئلة قد يجعل الاختبار أصعب أو أسهل لبعض الناس عن طريق الخطأ، مما يفسد العدالة.
هذا هو بالضبط اللغز الذي قررت مجموعة من الباحثين في المملكة العربية السعودية حله. لم يكونوا يخمنون فحسب؛ بل أجروا تجربة ذكية مع طلاب يدرسون الخدمات الطبية الطارئة. أرادوا معرفة ما إذا كان نقل سؤال من بداية الاختبار إلى نهايته سيغير مدى صعوبته أو عدد الطلاب الذين أجابوا عليه بشكل صحيح. كما تساءلوا عما إذا كان البدء بالأسئلة السهلة وتوفير الأسئلة الصعبة للنهاية (طريقة "من السهل إلى الصعب") أفضل فعلياً لأدمغة الجميع مقارنة بالعكس.
لعبة إعادة ترتيب الأسئلة الكبرى
لحل هذه القضية، صمم الباحثون لعبة "متوازنة" (counterbalanced). تخيل أن لديك مجموعة من 10 بطاقات، كل منها يمثل سؤالاً طبياً حول صحة القلب. لقد صنعوا نسختين من الاختبار. حصلت المجموعة (أ) على البطاقات بالترتيب من الأسهل إلى الأصعب. وحصلت المجموعة (ب) على نفس البطاقات تماماً، ولكن بترتيب عكسي: من الأصعب إلى الأسهل. ولأن المجموعتين كانتا متطابقتين تماماً، فقد طُرح كل سؤال في بداية الاختبار لمجموعة واحدة وفي نهاية الاختبار للمجموعة الأخرى. كان الأمر يشبه مشاهدة نفس الفيلم، لكن إحدى المجموعات رأت النهاية أولاً والأخرى رأت البداية أولاً.
تضمنت الدراسة 89 طالباً (65 رجلاً و24 امرأة) خاضوا اختباراً مكوناً من 10 أسئلة في طب القلب. تراوحت الأسئلة بين اختبارات الذاكرة البسيطة (مثل "ما اسم صمام القلب هذا؟") والمسائل السريرية المعقدة (مثل "انظر إلى شريط نظم القلب هذا وأخبرنا ما المشكلة"). استخدم الباحثون خدعة إحصائية خاصة لمعرفة ما إذا كانت "صعوبة" السؤال تتغير لمجرد أنه غير مكانه.
النتيجة: الطوبة لا تتحرك
كانت النتائج هادئة بشكل مفاجئ. وجد الباحثون أن صعوبة السؤال كانت ثابتة (invariant) تماماً بالنسبة لموقعه. وباللغة البسيطة: كان السؤال بنفس الصعوبة (أو السهولة) سواء ظهر في البداية أو في النهاية.
وعندما نظروا إلى الطلاب الذكور، الذين شكلوا المجموعة الأكبر، كانت البيانات متسقة للغاية. فقد ارتبطت صعوبة السؤال عندما يكون في بداية الاختبار بشكل شبه مثالي (بدرجة 0.975) بصعوبته عندما يكون في نهاية الاختبار. وحتى بالنسبة للأسئلة التي تم نقلها عبر الاختبار بالكامل — أي تغير موقعها بمقدار تسعة مواضع — لم تتزحزح الصعوبة إلا قليلاً. وكان متوسط الفرق في مدى صعوبة السؤال ضئيلاً جداً، حيث بلغ 0.05 على مقي المسافة من 0 إلى 1.
كما تحقق الباحثون مما إذا كان "نوع" السؤال يهم. هل أصبحت الأسئلة السريرية المعقدة والمجهدة للعقل أكثر صعوبة عندما يتعب الطلاب في نهاية الاختبار؟ لا. فقد ظل "الثبات" حقيقة قائمة لكل من أسئلة الذاكرة البسيطة والأسئلة السريرية الصعبة. لم يغير موقع السؤال احتمالية إجابة الطالب بشكل صحيح.
هل غير الترتيب الدرجة؟
سأل الفريق أيضاً: "هل البدء بالأسئلة السهلة يساعد الطلاب على الحصول على درجات أعلى؟" كانت الإجابة هي "ربما، ولكن على الأرجح لا".
عندما قارنوا بين المجموعتين، سجل الطلاب الذين خاضوا نسخة "من السهل إلى الصعب" درجات أعلى قليلاً في المتوسط من أولئك الذين خاضوا نسخة "من الصعب إلى السهل". فقد سجلت المجموعة المشتركة 0.48 نقطة أعلى من أصل 10. ومع ذلك، لم يكن هذا الفرق ذا دلالة إحصائية؛ حيث تراوح فاصل الثقة بين -0.33 و 1.28، مما يعني أن الفرق الحقيقي يمكن أن يكون صفراً. بعبارة أخرى، لم يبدُ أن الترتيب قد منح ميزة حقيقية.
كان هناك تلميح واحد بسيط وضعيف للفائدة. فقد جعل ترتيب "من السهل إلى الصعب" درجات الاختبار تبدو أكثر اتساقاً داخلياً (وهو مقياس إحصائي يسمى KR-20، حيث انتقل من 0.390 إلى 0.488). لكن الباحثين حذروا من أن هذه الأرقام غير مستقرة لأن الاختبار كان قصيراً جداً (10 أسئلة فقط) والمجموعات كانت صغيرة. لذا، وبينما قد يكون البدء بالسهل "عادة لطيفة"، إلا أن الدراسة لم تثبت أنه حل سحري لتحسين الدرجات.
لماذا يهم هذا الأمر؟
الخلاصة الكبرى هي أمر يبعث على الراحة لأي شخص يصمم الاختبارات أو يخوضها. تشير الدراسة إلى أن إعادة ترتيب الأسئلة — وهو ما تفعله الحواسيب تلقائياً لمنع استخدام الموارد غير المصرح بها — لا يكسر عدالة الاختبار. فصعوبة السؤال هي سمة مستقرة، مثل وزن الطوبة، ولا تهتم إذا كانت في البداية أو في النهاية.
هذه النتيجة توسع فهمنا من مجرد طلاب الجامعات العامين إلى عالم التدريب الطبي الطارئ عالي الخطورة. إنها تخبرنا أنه حتى بالنسبة للتفكير الطبي المعقد الذي قد يترتب عليه حياة أو موت، فإن ترتيب الأسئلة لا يشوه النتائج. وبينما قد يبدو نهج "من السهل إلى الصعب" أكثر لطفاً للطلاب، إلا أن البيانات تشير إلى أن عشوائية الترتيب آمنة وعادلة، مما يضمن أن تعكس الدرجات ما يعرفه الطلاب حقاً، وليس مجرد مكان جلوسهم في صف الأسئلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.