From Means to Slopes: Rethinking International Comparisons of Questionnaire Indicators in PISA
تجادل هذه الدراسة بأنه بالنسبة لمؤشرات استبيان برنامج التقييم الدولي للطلاب (PISA) غير المعرفية، يجب أن تتحول المقارنات الدولية من الاعتماد على التصنيفات المتوسطة الوطنية التي قد تكون مضللة إلى تحليل المنحدرات داخل المدارس، والتي توفر فهماً أكثر قوة وصلة بالسياسات حول كيفية تشكيل الأنظمة التعليمية لتجارب الطلاب وتحصيلهم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز حول كيفية أداء المدارس المختلفة حول العالم. لسنوات، كانت الأداة الرئيسية التي يستخدمها المحققون هي لوحة نتائج ضخمة، أو "جدول ترتيب"، يدرج الدول ببساطة من المركز الأول إلى الأخير بناءً على متوسط درجاتها. الأمر يشبه تصنيف فرق كرة السلة بمجرد النظر إلى إجمالي النقاط التي سجلتها في موسم ما، دون الاهتمام بمن لعبوا، أو كيف لعبوا، أو حتى ما إذا كانوا يلعبون نفس اللعبة. هذا يعمل بشكل جيد في أمور مثل الرياضيات أو القراءة، حيث تكون الإجابات عادةً إما صحيحة أو خاطئة. ولكن عندما يتعلق الأمر بالمشاعر، أو الدافع، أو مدى سعادة الطلاب، يصبح الأمر معقداً. هذه ليست أشياء يمكن قياسها بمسطرة؛ إنها تشبه النكهات أو الألوان. فإذا سألت الناس في ثقافات مختلفة عن مدى "حرارة" طعامهم، فإن تقييم "حار جداً" في بلد ما قد يعني شيئاً مختلفاً تماماً عما يعنيه في بلد آخر. تتحدث هذه الورقة عن مجموعة من الباحثين الذين قرروا التوقف عن مجرد النظر إلى لوحة النتائج والبدء في النظر إلى العلاقات بين اللاعبين واللعبة. فبدلاً من السؤال: "أي دولة لديها أعلى متوسط سعادة؟"، تساءلوا: "كيف تغير خلفية الطالب أو درجاته في الاختبار مشاعره تجاه المدرسة؟". أرادوا معرفة ما إذا كانت قواعد اللعبة تتغير عندما تبتعد عن مستوى الطالب الفردي لتنظر إلى دولة بأكملة.
لقد أخذ الباحثون، بقيادة كيت تاي هو وفريقه، لقطة هائلة من البيانات لـ 612,004 طالب من 80 دولة، تم جمعها خلال اختبار PISA لعام 2018. نظروا في 31 استبياناً مختلفاً حول أشياء مثل الدافع، والرفاهية، وكيف يشعر الطلاب تجاه فصولهم الدراسية. كان اكتشافهم الكبير الأول هو أن لوحة النتائج كانت عديمة الفائدة في الغالب فيما يتعلق بهذه المشاعر. فعندما قاموا بمعالجة الأرقام، وجدوا أن الاختلافات بين الدول كانت ضئيلة — حيث أن حوالي 6% فقط من التباين في هذه المشاعر حدث بسبب الدولة التي ينتمي إليها الطالب. أما الـ 94% المتبقية فقد حدثت داخل الدول، ومعظمها بين المدارس المختلفة. إنه يشبه محاولة مقارنة متوسط طول الأشخاص في فرنسا مقابل إيطاليا لتجد أن الفرق ضئيل جداً لدرجة أنه لا يهم، بينما يكون الفرق بين فريق كرة سلة وفريق جمباز في نفس المدينة كبيراً جداً.
لكن السحر الحقيقي حدث عندما توقفوا عن النظر إلى المتوسطات وبدأوا في النظر إلى "الميول" (slopes). تخيل رسماً بيانياً حيث يتحرك الخط للأعلى أو للأسفل. "الميل" يخبرك كيف يتغير شيء ما مع تغير شيء آخر. وجد الباحثون أنه إذا نظرت فقط إلى متوسط الدولة، فإن القصة غالباً ما تنقلب رأساً على عقب. على سبيل المثال، على مستوى الطالب الفردي، فإن التفوق في القراءة يجعل الطالب يشعر بالرضا عن نفسه. ولكن عندما تنظر إلى مستوى الدولة، فإن الدول ذات متوسط درجات القراءة الأعلى كانت تضم أحياناً طلاباً أفادوا بانخفاض في الثقة بالنفس. إنه يشبه تأثير "السمكة الكبيرة في بركة صغيرة": إذا كنت سمكة ذكية في بركة مليئة بالأسماك الذكية الأخرى، فقد تشعر بأنك أقل تميزاً مما لو كنت أذكى سمكة في بركة صغيرة وهادئة. المتوسط الخاص بالدولة يخفي هذا الأمر لأنه يخلط جميع البرك معاً.
تجادل الورقة بأنه بدلاً من تصنيف الدول حسب متوسط "مزاجها"، يجب أن ننظر إلى هذه "الميول" لفهم كيفية عمل الأنظمة التعليمية. لقد وجدوا أن العلاقة بين خلفية الطالب (مثل ثروة عائلته) وتجربته المدرسية هي وسيلة أفضل بكثير للحكم على النظام. واكتشفوا أن هذه العلاقات (الميول) كانت متسقة في اتجاهها في الغالب — مما يعني أن النظرية صمدت — ولكن قوة هذه العلاقات تفاوتت من دولة إلى أخرى. ومن المثير للاهتمام أن معظم الاختلافات في هذه الميول لم تكن بين الدول، بل بين المدارس داخل نفس الدولة. وهذا يشير إلى أنه إذا أردنا إصلاح المشكلات أو تحسين الأمور، فلا ينبغي أن ننظر فقط إلى السياسات الوطنية؛ بل نحتاج إلى النظر فيما يحدث داخل مدارس محددة.
كما تحقق المؤلفون للتأكد من أن نتائجهم لم تكن مجرد صدفة ناتجة عن طريقة عدّهم للبيانات. لقد جربوا طرقاً مختلفة لوزن الأرقام، وظلت النتائج كما هي. ووجدوا أيضاً أن بعض السمات الهيكلية للدولة، مثل مدى الفصل بين المدارس (كيف يتم فصل الطلاب من خلفيات مختلفة)، يمكن أن تفسر سبب اختلاف هذه الميول. فعلى سبيل المثال، في الدول التي كانت فيها المدارس أكثر اختلاطاً، كانت العلاقة بين التفوق والشعور بالرضا أقوى غالباً.
في النهاية، تقترح الورقة تحولاً كبيراً في كيفية تفكيرنا في التقارير التعليمية الدولية. لا ينبغي لنا أن نتخلص من لوحة النتائج تماماً، ولكن لا ينبغي لنا الاعتماد عليها لإخبارنا بمدى سعادة أو دافعية الطلاب. لوحة النتائج هي أداة ضعيفة للمشاعر لأنها تتجاهل السياق. نهج "الميل" يشبه الانتقال من صورة جماعية ضبابية إلى فيديو عالي الدوضوح يظهر كيف يتفاعل الطلاب مع عالمهم. إنه يخبرنا أن الاختلافات الأكثر أهمية ليست بين الأمم، بل بين المدارس داخلها. ومن خلال التركيز على هذه العلاقات بدلاً من مجرد المتوسطات، يمكننا الحصول على صورة أوضح وأكثر صدقاً لكيفية تشكيل الأنظمة التعليمية لحياة الشباب، والانتقال من مجرد تصنيف من هو "الأفضل" إلى فهم كيفية جعل الأمور أفضل للجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.