Measurement-bounded predictive inference in international large-scale assessment: how the plausible-value ceiling governs attainable accuracy and the stability of predictor rankings in PISA 2022
تُظهر هذه الدراسة أن سقف دقة القياس المتأصل في القيم المعقولة لبرنامج PISA 2022 يحد بشكل جوهري من دقة التنبؤ الممكن تحقيقها ويزعزع استقرار تصنيفات المتنبئات عبر المجالات والنظم التعليمية، مما يستوجب أن تستند مقارنات الأداء وتفسيرات النماذج إلى هذه الحدود القياسية القابلة للحساب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في كل عام، يخضع ملايين المراهقين حول العالم لاختبار ضخم يسمى "بيزا" (PISA)، صُمم لمعرفة مدى استيعابهم للرياضيات والقراءة والعلوم. وتُستخدم النتائج من قبل الحكومات والتربويين للحكم على أي المدارس والدول تؤدي المهمة بشكل أفضل. وفي السنوات الأخيرة، بدأ الباحثون في استخدام درجات هذه الاختبارات لبناء نماذج حاسوبية تحاول التنبؤ بنجاح الطالب بناءً على خلفيته، مثل دخل أسرته، أو الكتب الموجودة في منزله، أو المناخ المدرسي. وغالبًا ما تنتج هذه الدراسات قائمة مرتبة لأهم العوامل، مما يوحي بأنه إذا أردنا تحسين الدرجات، فعلينا التركيز على العناصر الأولى في تلك القائمة. ومع ذلك، هناك مشكلة خفية في هذا النهج؛ فدرجات الاختبار المستخدمة في هذه الدراسات ليست ملاحظات مباشرة لقدرة الطالب، بل هي تقديرات إحصائية، تم إنشاؤها عبر سحب عشرة أرقام مختلفة محتملة لكل طالب من سحابة من الاحتمالات. ولأن هذه الأرقام هي تقديرات، فهي تحتوي على قدر معين من الضجيج المتأصل، أو عدم اليقين، الذي لا يمكن لأي كمية من البيانات أن تفسره أبدًا. ويضع عدم اليقين هذا حدًا صارمًا لمدى دقة أي نموذج يمكنه التنبؤ بأداء الطالب، وهو حد يتغير اعتمادًا على المادة التي يتم اختبارها والدولة التي أُجري فيها الاختبار.
تتقصى دراسة جديدة أجراها "يوناس ماندالونس" (Jonas Mandalunes) تحديدًا مقدار هذا الضجيج الخفي الذي يحد من قدرتنا على التعلم من هذه الاختبارات الضخمة. استخدم الباحث قاعدة البيانات الدولية لدورة "بيزا" لعام 2022، والتي تتضمن بيانات من أكثر من 600,000 طالب عبر 80 نظامًا تعليميًا مختلفًا. ركزت الدراسة على أربعة مجالات: الرياضيات، والقراءة، والعلوم، وإضافة أحدث تسمى "التفكير الإبداعي". كان السؤال الجوهري بسيطًا: ما هو مقدار ما يمكن لنموذج حاسوبي تفسيره من درجة الطالب بالفعل، وهل يغير هذا الحد قائمة العوامل التي يبدو أنها الأكثر أهمية؟ وللإجابة على ذلك، قام الباحث بحساب "سقف" لكل مادة في كل بلد. يمثل هذا السقف أقصى دقة ممكنة يمكن أن يحققها أي نموذج تنبؤ، لمجرد أن درجات الاختبار نفسها ليست مثالية. ووجدت الدراسة أن هذا السقف يتباين بشكل كبير؛ فبالنسبما يتعلق بالتفكير الإبداعي، تراوح الحد بين حوالي 65 بالمائة وحوالي 90 بالمائة اعتمادًا على البلد. أما بالنسبة للرياضيات، فقد كان النطاق أضيق ولكنه لا يزال متفاوتًا، حيث تراوح بين حوالي 81 بالمائة و93 بالمائة. وهذا يعني أنه في بعض الأماكن، لا يمكن لأي نموذج أن يفسر أكثر من ثلثي الاختلافات في درجات الطلاب، بينما في أماكن أخرى، يكون الحد أعلى بكثير.
ذهبت الدراسة أبعد من ذلك لترى ما إذا كان هذا الحد يؤثر على ترتيب العوامل التي تؤثر على الدرجات. قام الباحث بتشغيل النماذج الحاسوبية نفسها مرارًا وتكرارًا، وفي كل مرة، باستخدام تقدير مختلف واحد من تقديرات الدرجات العشرة الممكنة للطلاب. وفي المواد الأكثر دقة في القياس، ظلت قائمة العوامل الرئيسية ثابتة إلى حد كبير. ولكن في المواد الأقل دقة، مثل التفكير الإبداعي، تغيرت القائمة بشكل جذري. فعندما انتقل الباحث من تقدير درجات إلى آخر، كانت أكثر من 40 بالمائة من العوامل الخمسة الأولى في القائمة تتبادل الأماكن. وهذا يعني أن أي دراسة تقدم قائمة واحدة لـ "أهم العوامل" هي في الأساس تعرض مجرد لقطة عشوائية واحدة من واقع أوسع ومتغير. ولو اختار الباحث تقديرًا مختلفًا للدرجات، لربما خلص إلى أن مجموعة مختلفة تمامًا من العوامل هي التي تقود نجاح الطلاب.
تعلق اكتشاف حاسم آخر بكيفية تقسيم البيانات لاختبار النماذج. تخلط العديد من الدراسات عشوائيًا الطلاب من مدارس مختلفة في مجموعات التدريب والاختبار. وأظهر البحث الجديد أن هذه الطريقة تخلق شعورًا زائفًا بالدقة؛ نظرًا لأن الطلاب في نفس المدرسة يميلون إلى التشابه، فإن النموذج الذي يرى طلابًا من مدرسة معينة أثناء التدريب يمكنه تعلم أنماط خاصة بتلك المدرسة، بدلاً من التعلم عن الطلاب أنفسهم. وعندما أجبر الباحث النموذج على إبقاء المدارس بأكملها منفصلة أثناء التدريب والاختبار، انخفضت الدقة المتوقعة بشكل ملحوظ. وفي بعض الحالات، كان الانخفاض هائلًا، مما كشف أن الدراسات السابقة قد ضخمت نتائجها بمقدار 0.36 نقطة لمجرد أنها لم تأخذ الهيكل المدرسي في الاعتبار. واعتمد حجم هذا التضخم على عدد المدارس الموجودة في الدراسة، وليس على تعقيد النموذج الحاسوبي المستخدم.
كما بحثت الدراسة في سبب اختلاف دقة الدرجات بين المواد. ووجدت أنه كلما اعتمد الاختبار أكثر على المصححين البشريين لتصحيح الإجابات المفتوحة، قلّت دقة الدرجات، خاصة في البلدان الكبيرة جدًا. وقد أظهر التفكير الإبداعي، الذي تم تصحيحه بالكامل بواسطة بشر يقرأون الاستجابات المكتوبة، أكبر تباين في الدقة. وفي المقابل، كانت الرياضيات، التي تُصحح غالبًا بواسطة الآلات، أكثر اتساقًا. وهذا يشير إلى أن طريقة إدارة الاختبار وتصحيحه لا تقل أهمية عن الأسئلة نفسها عندما يتعلق الأمر بمدى ما يمكننا تعلمه من النتائج.
إن تداعيات هذه النتائج واضحة لأي شخص يحاول فهم البيانات التعليمية. لا يمكنك مقارنة أداء نموذج في بلد ما بآخر، أو في مادة ما بمادة أخرى، دون معرفة سقف الدقة الخاص بذلك السياق أولاً. فالنموذج الذي يفسر 45 بالمائة من التباين في بلد ذي سقف منخفض يؤدي في الواقع عملًا جيدًا، حيث يلتقط معظم ما يمكن معرفته. أما نفس النموذج في بلد ذي سقف مرتفع، فقد يكون أداؤه ضعيفًا، تاركًا الكثير من الإشارات غير مفسرة. علاوة على ذلك، يجب التعامل مع أي قائمة للعوامل المهمة المستمدة من هذه الاختبارات بحذر؛ نظرًا لأن التصنيفات تتغير كثيرًا اعتمادًا على تقدير الدرجات المستخدم، فإن القائمة الواحدة ليست حقيقة مستقرة بل هي تحقق مؤقت. وتخلص الدراسة إلى ضرب على ضرورة قيام الباحثين دائمًا بالإبلاغ عن سقف الدقة جنبًا إلى جنب مع نتائجهم، واختبار نماذجهم عبر جميع تقديرات الدرجات الممكنة لمعرفة ما إذا كانت استنتاجاتهم ستصمد. وبدون هذه الضوابط، قد تُبنى التصنيفات والمقارنات التي توجه السياسة التعليمية على أساس من الضجيج الإحصائي بدلاً من الأدلة الراسخة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.