Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من مسرح جريمة واحد، لديك مستودع ضخم ومتلألئ مليء بالملايين من الأدلة. هذا هو ما يحدث في عالم علم "البيانات الضخمة"، حيث يدرس الباحثون مجموعات هائلة من الناس — مثل آلاف المعلمين من جميع أنحاء العالم — لفهم كيف تسير الأمور. لكن الجزء الصعب هنا هو: عندما تمتلك الكثير من الأدلة، يمكنك ترتيبها بطرق مختلفة الملايين لتروي قصة ما. قد تقرر التركيز فقط على الأدلة الحمراء، أو تجاهل تلك الموجودة في الجانب الأيسر من الغرفة، أو تجميعها حسب الحجم بدلاً من اللون. كل قرار من هذه القرارات يشبه اتخاذ مسار مختلف عبر حديقة. إذا سلكت مساراً واحداً، فقد تجد كنزاً مخفياً؛ وإذا سلكت مساراً آخر، فقد تجد طريقاً مسدوداً. تُسمى هذه الفكرة "حديقة المسارات المتشعبة"، وهي تشير إلى أن القصة التي نرويها تعتمد أحياناً على المسار الذي اختاره المحقق للسير فيه أكثر مما تعتمد على الأدلة التي وجدها بالفعل.

هذه الورقة البحثية، التي كتبها مارك وايت من جامعة أوسلو، تتعمق في هذه المشكلة باستخدام مجموعة بيانات ضخمة تسمى TALIS 2018، والتي استطلعت آراء معلمين من دول عديدة. أراد المؤلف معرفة ما إذا كانت "القصة" التي ترويها دراسة شهيرة ومقتبس منها بكثرة حول تدريب المعلمين (تسمى "التوجيه" أو "الاستيعاب" - induction) كانت حقيقية حقاً، أم أنها كانت مجرد نتيجة لمسار واحد محدد عبر الحديقة. لا تكتفي الورقة بالنظر إلى طريقة واحدة لتحليل البيانات فحسب؛ بل إنها تجرب ما يقرب من نصف مليون طريقة مختلفة لمعالجة الأرقام. الأمر يشبه سؤال 500,000 محقق مختلف لحل نفس القضية باستخدام قواعد مختلفة قليلاً، ورؤية ما إذا كان جميعهم سيجدون نفس الجاني. الهدف ليس القول بأن الدراسة الأصلية كانت "خاطئة"، بل إظهار أن النتائج يمكن أن تتغير بشكل جذري بناءً على الاختيارات التي تم اتخاذها في الطريق، مما يجعل من الصعب معرفة الإجابة "الحقيقية" بدقة.

حديقة الملايين من المسارات

فكر في الدراسة الأصلية التي يحقق فيها المؤلف كأنها خريطة لصندوق كنز. ادعت الخريطة أن بعض أنشطة تدريب المعلمين — مثل التدريس الجماعي أو كتابة المذكرات — كانت هي المفاتيح لجعل المعلمين أكثر سعادة وأفضل في وظائفهم. استخدم الباحثون الذين رسموا هذه الخريطة مجموعة محددة من القواعد للعثور على الكنز: فقد ركزوا على المعلمين الأمريكيين، وشملوا فقط العاملين بدوام كامل، واستخدموا معادلة رياضية محددة لربط التدريب بالنتائج. وجدوا صندوق كنز لامعاً وقالوا: "انظروا! التدريب فعال!"

لكن مارك وايت تساءل: "ماذا لو غيرنا القواعد قليلاً؟" ماذا لو نظرنا إلى المعلمين في أستراليا أو نيوزيلندا بدلاً من الاقتصار على أمريكا فقط؟ ماذا لو نظرنا فقط إلى المعلمين في سنتهم الأولى من التدريس؟ ماذا لو غيرنا المعادلة الرياضية قليلاً؟ للإجابة على ذلك، لم يكتفِ وايت بالتخمين؛ بل بنى "متعدد أكوان" (multiverse). في العلم، تحليل "متعدد الأكوان" يشبه تشغيل محاكاة حيث تختبر كل تركيبة معقولة من القواعد في وقت واحد.

في هذه الحالة، حدد وايت 13 "مقبضاً" أو خياراً مختلفاً يمكن للباحث ضبطه. شملت هذه القرارات أموراً مثل:

• من الذي يُحتسب؟ (هل ندرج المعلمين الجدد فقط، أم جميع المعلمين؟ هل ننظر فقط إلى أمريكا، أم إلى دول أخرى ناطقة بالإنجليزية أيضاً؟)
• ما هي الأرقام التي نستخدمها؟ (هل نعدل الرياضيات لتأخذ في الاعتبار عدد الأشخاص الذين شملهم الاستطلاع، أم نعد الجميع بالتساوي؟)
• كيف نقيس التدريب؟ (هل ننظر إلى برنامج التدريب بأكمله، أم نفككه إلى أجزاء صغيرة جداً؟)

عندما تضرب كل هذه الخيارات في بعضها البعض، تحصل على رقم مذهل: 497,664 طريقة مختلفة محتملة لتحليل البيانات. هذا يعني ما يقرب من نصف مليون مسار مختلف عبر الحديقة. لقد قام وايت بإجراء التحليل لكل مسار من هذه المسارات.

الكنز المتغير

كانت النتائج صادمة نوعاً ما. عندما نظر وايت في "متعدد الأكوان" من النتائج، وجد أن صندوق الكنز لم يكن في نفس المكان لكل مسار.

في بعض التحليلات من أصل 497,664، بدت أنشطة التدريب وكأنها عصا سحرية تجعل المعلمين سعداء وفعالين للغاية. وفي تحليلات أخرى، بدت نفس أنشطة التدريب تماماً وكأنها تضر المعلمين وتجعلهم أقل فعالية. وفي مسارات أخرى كثيرة، بدا أن التدريب لا يفعل شيئاً على الإطلاق.

توضح الورقة ذلك من خلال رسم بياني ضخم (الشكل 1 في النص الأصلي). تخيل خطاً من النقاط يمتد من أقصى اليسار إلى أقصى اليمين. تمثل النقاط في أقصى اليسار التحليلات التي كان فيها التدريب كارثياً. وتمثل النقاط في أقصى اليمين التحليلات التي كان فيها التدريب بمثابة معجزة. وتمثل النقاط في المنتصف التحليلات التي لم يكن فيها للتدريب أي تأثير. الجزء المخيف هو وجود نقاط خضراء (بمعنى "ذات دلالة إحصائية" أو "حقيقية") على كلا الجانبين. وهذا يعني أنه بالنسبة لكل نشاط تدريبي محدد ولكل نتيجة للمعلم، يمكن للباحث أن يجد طريقة "معقولة" لإثبات أنه كان نجاحاً باهراً، وطريقة "معقولة" أخرى لإثبات أنه كان فشلاً ذريعاً.

لقد اختارت الدراسة الأصلية مساراً واحداً محدداً عبر هذه الحديقة ووجدت نتيجة إيجابية. لكن تحليل "متعدد الأكوان" الذي أجراه وايت يشير إلى أن هذه النتيجة لم تكن بالضرورة هي الحقيقة "المطلقة". لقد كانت مجرد واحدة من مئات الآلاف من الحقائق الممكنة، وكان اختيار المسار الذي يجب اتخاذه عشوائياً إلى حد ما.

لماذا يهم هذا الأمر

لا تقول هذه الورقة إن تدريب المعلمين غير مفيد. ولا تقول إن المؤلفين الأصليين كانوا مخطئين. بدلاً من ذلك، فهي تسلط الضل على مشكلة دقيقة ولكنها ضخمة في كيفية إجراء العلم. عندما يكون السؤال البحثي غامضاً بعض الشيء — مثل "هل يساعد التدريب المعلمين؟" — فإن هناك طرقاً عديدة للإجابة عليه بحيث تعتمد الإجابة غالباً على الاختيارات التي يتخذها الباحث حتى قبل أن يبدأ في النظر إلى البيانات.

يسمي المؤلف هذا "حديقة المسارات المتشعبة". إذا كنت لا تعرف أي مسار تسلك، فلا يمكنك التأكد مما إذا كان الكنز الذي وجدته حقيقياً أم أنه مجرد نتيجة للمسار المحدد الذي اخترته. تشير الورقة إلى أنه عندما نرى دراسة ذات نتيجة واحدة واضحة، يجب أن نكون أكثر فضولاً. يجب أن نتساءل: "ماذا لو كانوا قد اختاروا مساراً مختلفاً؟"

من خلال إجراء ما يقرب من نصف مليون تحليل، توضح لنا هذه الورقة أن "الحقيقة" حول تدريب المعلمين هي أكثر تعقيداً وعدم يقين مما يوحي به عنوان واحد. إنها لا تعطينا إجابة جديدة أو أفضل؛ بل تعطينا صورة أوضح بكثير لمدى عدم تأكدنا مما نحن عليه حقاً. إنها تذكير بأنه في حديقة العلم، هناك مسارات عديدة، وأحياناً، يتغير المشهد تماماً اعتماداً على المسار الذي تختار السير فيه.