When the adjustment fails: population-denominator sensitivity in coverage-adjusted PISA trends

كل بضع سنوات، تجرى تجربة عالمية ضخمة في الفصول الدراسية حول العالم. يجلس مئات الآلاف من المراهقين في سن الخامسة عشرة لأداء الاختبارات نفسها في الرياضيات والقراءة والعلوم. هذا هو برنامج التقييم الدولي للطلاب، المعروف باسم "بيزا" (PISA). إن النتائج هي أكثر من مجرد تقرير دراسي للمدارس؛ فهي لقطة توضح مدى استعداد شباب الأمة للمستقبل. ولأن هذه الاختبارات تحدث في دورات، يمكن للباحثين النظر إلى الوراء ومعرفة ما إذا كانت الدولة تتحسن أم تسوء بمرور الوقت. ولكن هناك تعقيد خفي في هذه المقارنة؛ فالفئة من الطلاب الذين يخضعون للاختبار ليست دائماً هي ذاتها من إجمالي عدد السكان من سنة إلى أخرى. ففي بعض البلدان، قد يصل الاختبار إلى كل مراهق في سن الخامسة عشرة تقريباً، بينما في بلدان أخرى، قد يصل فقط إلى نسبة ضئيلة منهم. وعندما تتغير مجموعة الطلاب، يمكن أن يتغير متوسط الدرجات ببساطة لأن المزيج البشري قد تغير، وليس لأن الطلاب أنفسهم تعلموا أكثر أو أقل. ولإصلاح ذلك، تستخدم المنظمة التي تدير الاختبارات تعديلاً رياضياً خاصاً؛ حيث تحاول تقدير ما كان سيحققه الطلاب المتفوقون لو أن الاختبار وصل إلى كل مراهق في سن الخامسة عشرة في البلاد، وليس فقط أولئك الذين حضروا. ومن المفترض أن يكون هذا الرقم المعدل وسيلة عادلة لمقارنة التقدم عبر السنوات المختلفة والدول المختلفة.

قرر باحثان، يوناس أ. ماندالونس ودانيكا جين س. ماندالونس، معرفة مدى هشاشة هذا التعديل حقاً. وقد ركزا على القطعة الأكثر أهمية في أحجية اللغز: العدد الإجمالي للمراهقين في سن الخامسة عشرة في كل بلد. يعمل هذا الرقم كمقام، أو الجزء السفلي من الكسر، الذي يحدد مدى كبر حجم التعديل المطلوب. طرح الباحثان سؤالاً بسيطاً ولكنه عميق: ماذا يحدث للنتائج النهائية إذا غيرنا هذا الرقم السفلي؟ لم يفترضا أن أحد مصادر بيانات السكان مثالي والآخر خاطئ، بل عاملا طريقتين مختلفتين في إحصاء المراهقين في سن الخامسة عشرة كسيناريوهين مختلفين. استخدم أحد السيناريوهات الأرقام التي قدمتها الحكومات الوطنية رسمياً لمنظمي الاختبار، بينما استخدم الآخر توقعاً عالمياً يحظى باحترام واسع لنمو السكان من الأمم المتحدة. ومن خلال إجراء تحليل الاتجاه بأكمله مرتين — مرة بالأرقام الرسمية ومرة بالتوقعات العالمية — استطاعا رؤية مدى تغير قصة تقدم الدولة اعتماداً على أي عدٍّ تم استخدامه.

نظر الباحثان في بيانات من ثلاثة وسبعين اقتصاداً بين عامي 2018 و2022. ووجدا أن العدد الرسمي للمراهقين في سن الخامسة عشرة الذي يستخدمه منظمو الاختبار تغير بشكل ملحوظ في العديد من الأماكن. وفي المتوسط، كان الفرق في معدل التغطية بين العامين يقارب نقطتين مئويتين، ولكن في بعض الحالات، كان التغيير هائلاً، حيث تأرجح بما يصل إلى سبع وعشرين نقطة في اتجاه واحد وخمس وأربعين نقطة في الاتجاه الآخر. وعندما حللا سبب تغير هذه الأرقام، اكتشفا أن التحول في معظم الحالات جاء من المسح نفسه — مما يعني أن الاختبار وصل إلى حصة مختلفة من الطلاب المسجلين — بدلاً من التغيير في عدد الطلاب المسجلين فعلياً في المدارس. وهذا التمييز حيوي لأنه يعني أن ارتفاع الدرجات قد لا يعني ذهاب المزيد من الأطفال إلى المدرسة، بل قد يعني فقط أن الاختبار وصل إلى مجموعة مختلفة منهم.

كانت النتيجة الأكثر إثارة للدهشة هي مدى حساسية الاتجاهات النهائية لهذا المقام. فعندما استبدل الباحثون عدد السكان الرسمي بتوقعات الأمم المتحدة، تغير التغير المقدر في درجات الاختبار بشكل كبير. وفي الرياضيات، كان متوسط الفرق بين السيناريوهين حوالي 3.4 نقطة، وفي القراءة 3.5 نقطة، وفي العلوم 3.4 نقطة. ولوضع ذلك في السياق، ينشر منظمو الاختبار قيمة "خطأ الربط" القياسية لمساعدة القراء على فهم هامش عدم اليقين في اتجاهاتهم؛ وبالنسبة للرياضيات، تبلغ تلك القيمة 2.24 نقطة. وكان الفرق الناتج ببساطة عن تغيير عدد السكان أكبر من هامش عدم اليقين هذا في ثمان وثلاثين دولة من أصل تسع وستين دولة. وفي القراءة، تجاوز هذا الفرق الهامش في اثنتين وخمسين دولة، وفي العلوم، في إحدى وخمسين دولة. وهذا يعني أنه بالنسبة لغالبية البلدان التي تمت دراستها، كان اختيار رقم السكان الذي يجب استخدماهم أكثر أهمية من عدم اليقين الإحصائي المرتبط بالاختبار نفسه.

كما فحص الباحثون ما يحدث عندما يصطدم الحساب بجدار. يفترض إجراء التعديل أن الاختبار وصل إلى عدد طلاب أقل مما يوجد فعلياً في البلاد، ولكن في حالات محددة، اقترح الحساب أن الاختبار وصل إلى عدد طلاب أكثر من عدد السكان الرسمي. وعندما حدث ذلك، اضطر الإجراء إلى إجراء إصلاح خاص: حيث قام ببساطة بضبط الوزن الإضافي إلى صفر وتقرير الدرجة الخام للطلاب الذين خضعوا للاختبار، مما أدى فعلياً إلى إيقاف التعديل. وقد حدث هذا في دول مثل كوريا وأيرلندا في عام 2022. وأوضح الباحثون أن هذا الانتقال من الدرجة المعدلة إلى الدرجة الخام يخلق انقطاعاً مفاجئاً في البيانات؛ فهو ليس انتقالاً سلساً، بل هو توقف حاد حيث تتغير الطريقة تماماً. كما لاحظوا أنه في بعض الحالات، كان عدد السكان الرسمي أعلى من عدد الطلاب الذين ادعى الاختبار وصولهم، وهو أمر لا ينبغي أن يكون ممكناً إذا كانت التعريفات متوافقة تماماً، مما يشير إلى أن تعريفات من هو "مراهق في سن الخامسة عشرة" أو من هو "مسجل" قد تختلف بين منظمي الاختبار وإحصائيي السكان.

لم تخلص الدراسة إلى أن أحد أعداد السكان هو الصحيح والآخر خطأ، فقد كان الباحثون حذرين في التأكيد على أن لا الأرقام الحكومية الرسمية ولا توقعات الأمم المتحدة تمثل الحقيقة المطلقة. فالأرقام الرسمية غالباً ما تفتقر إلى التفاصيل حول التوقيت الدقيق الذي تم فيه الإحصاء أو التعريف المحدد لـ "المقيم". أما التوقعات العالمية فهي نماذج مبنية على افتراضات. المشكلة الجوهرية هي أن درجة الاتجاه النهائي تعتمد بشدة على رقم لا يتم شرحه أو توحيده بشكل كامل. ووجد الباحثون أنه حتى عندما حاولوا تنقية البيانات عبر إزالة الدول ذات النزاعات الإقليمية أو السجلات غير المتسقة، ظلت الاختلافات قائمة. لم يختفِ الفارق بين السيناريوهين، بل تغير قليلاً فقط. وهذا يشير إلى أن هذه الحساسية هي سمة أساسية في المنهج الحالي، وليست مجرد نتيجة لبيانات غير منظمة.

في النهاية، يجادل الباحثون بأن الطريقة التي تُنشر بها هذه الاتجاهات تحتاج إلى التغيير لتكون أكثر صدقاً بشأن عدم اليقين هذا. ويقترحون أن ينشر منظمو الاختبار المصدر الدقيق لأرقام السكان، بما في ذلك التاريخ والتعريف المحدد المستخدم. كما يقترحون أنه في كل مرة يتم فيها الإبلاغ عن اتجاه ما، يجب أن يرافقه نطاق يوضح ما ستكون عليه النتيجة إذا استُخدم عدد سكان مختلف ومعقول آخر. لن يكون هذا "فاصل ثقة" بالمعنى الإحصائي، بل سيكون بياناً واضحاً لمدى اعتماد النتيجة على المقام. وأخيراً، يقترحون أنه إذا تعطلت العملية الحسابية لأن الأرقام لا تتطابق، فلا ينبغي معالجة الدرجة المعدلة بصمت أو إخفاؤها، بل يجب وضع علامة عليها وحجبها حتى تتم تسوية المدخلات. تظهر الدراسة أن قصة تحسن الدول أو تراجعها حقيقية، لكن الأرقام المحددة التي نستخدمها لسرد هذه القصة هي أكثر دقة وهشاشة مما تبدو عليه. الاتجاهات موجودة، لكن حجمها الدقيق مرتبط باختيار أرقام يتم اتخاذ القرار بشأنها حالياً في الظلام.