Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक अपराध स्थल नहीं है, बल्कि लाखों सुरागों से भरा एक विशाल, चमकता हुआ गोदाम है। यह "बिग डेटा" विज्ञान की दुनिया में होता है, जहाँ शोधकर्ता लोगों के विशाल समूहों का अध्ययन करते हैं—जैसे दुनिया भर के हजारों शिक्षक—यह समझने के लिए कि चीजें कैसे काम करती हैं। लेकिन पेच यहाँ है: जब आपके पास इतने सारे सुराग होते हैं, तो आप एक कहानी बताने के लिए उन्हें लाखों अलग-अलग तरीकों से व्यवस्थित कर सकते हैं। आप तय कर सकते हैं कि केवल लाल सुरागों पर ध्यान केंद्रित करना है, या बाईं ओर के सुरागों को अनदेखा करना है, या रंग के बजाय आकार के आधार पर उन्हें समूह में रखना है। प्रत्येक विकल्प एक बगीचे में एक अलग रास्ते पर चलने जैसा है। यदि आप एक रास्ता चुनते हैं, तो आपको एक छिपा हुआ खजाना मिल सकता है; यदि आप दूसरा रास्ता चुनते हैं, तो आपको एक बंद रास्ता (डेड एंड) मिल सकता है। इस विचार को "फोर्किंग पाथ्स का बगीचा" (garden of forking paths) कहा जाता है, और यह सुझाव देता है कि कभी-कभी हम जो कहानी सुनाते हैं वह इस पर अधिक निर्भर करती है कि जासूस ने कौन सा रास्ता चुना था, न कि उन वास्तविक सुरागों पर जो उसे मिले।

यह शोध पत्र, जिसे ओस्लो विश्वविद्यालय के मार्क व्हाइट ने लिखा गया है, इस समस्या की गहराई में जाता है और इसके लिए TALIS 2018 नामक एक विशाल डेटासेट का उपयोग करता है, जिसमें कई देशों के शिक्षकों का सर्वेक्षण किया गया था। लेखक यह देखना चाहते थे कि शिक्षक प्रशिक्षण (इंडक्शन) के बारे में एक प्रसिद्ध, अत्यधिक उद्धृत अध्ययन (जिसे "इंडक्शन" कहा जाता है) द्वारा बताया गया "कथानक" वास्तव में सच था, या यह केवल बगीचे के एक विशिष्ट पथ के माध्यम से निकला परिणाम था। यह शोध पत्र केवल डेटा का विश्लेषण करने के एक तरीके को नहीं देखता है; इसके बजाय, यह संख्याओं को क्रंच करने के लगभग पांच लाख अलग-अलग तरीकों को आज़माता है। यह 5 लाख अलग-अलग जासूसों को एक ही केस को थोड़े अलग नियमों का उपयोग करके हल करने के लिए कहने जैसा है और यह देखने जैसा है कि क्या वे सभी एक ही अपराधी को पाते हैं। लक्ष्य यह कहना नहीं है कि मूल अध्ययन "गलत" था, बल्कि यह दिखाना है कि रास्ते में किए गए विकल्पों के आधार पर परिणाम नाटकीय रूप से बदल सकते हैं, जिससे यह जानना कठिन हो जाता है कि वास्तविक उत्तर क्या है।

लाखों रास्तों का बगीचा

मूल अध्ययन के बारे में सोचें जिसकी जांच लेखक कर रहा है। वह एक खजाने के नक्शे की तरह है। नक्शे ने दावा किया कि कुछ शिक्षक प्रशिक्षण गतिविधियाँ—जैसे टीम टीचिंग या डायरी रखना—शिक्षकों को खुश और बेहतर बनाने की कुंजी थीं। जिन शोधकर्ताओं ने यह नक्शा बनाया, उन्होंने खजाना खोजने के लिए नियमों का एक विशिष्ट सेट उपयोग किया: उन्होंने अमेरिकी शिक्षकों को देखा, केवल पूर्णकालिक कर्मचारियों को शामिल किया, और प्रशिक्षण को परिणामों से जोड़ने के लिए एक विशिष्ट गणितीय सूत्र का उपयोग किया। उन्हें एक चमकदार खजाना मिला और उन्होंने कहा, "देखो! प्रशिक्षण काम करता है!"

लेकिन मार्क व्हाइट ने सोचा: "क्या होगा अगर हम नियमों को थोड़ा सा बदल दें?" क्या होगा अगर हम केवल अमेरिका के बजाय ऑस्ट्रेलिया या न्यूजीलैंड के शिक्षकों को देखें? क्या होगा अगर हम केवल अपने शिक्षण के पहले वर्ष के शिक्षकों को देखें? क्या होगा अगर हम गणितीय सूत्र को थोड़ा बदल दें? इसका उत्तर देने के लिए, व्हाइट ने केवल अनुमान नहीं लगाया; उन्होंने एक "मल्टीवर्स" बनाया। विज्ञान में, एक मल्टीवर्स विश्लेषण एक सिमुलेशन चलाने जैसा है जहाँ आप एक साथ सभी एकल तर्कसंगत नियमों के संयोजन का परीक्षण करते हैं।

इस मामले में, व्हाइट ने 13 अलग-अलग "नॉब्स" या विकल्पों की पहचान की जिन्हें एक शोधकर्ता घुमा सकता है। इनमें ऐसे निर्णय शामिल थे जैसे:

• कौन गिनता है? (क्या हमें केवल नए शिक्षकों को शामिल करना चाहिए, या सभी शिक्षकों को? क्या हमें केवल अमेरिका को देखना चाहिए, या अन्य अंग्रेजी बोलने वाले देशों को भी?)
• हम किन नंबरों का उपयोग करते हैं? (क्या हमें इस बात को ध्यान में रखने के लिए गणित को समायोजित करना चाहिए कि कितने लोगों का सर्वेक्षण किया गया था, या बस सभी को समान रूप से गिनना चाहिए?)
• हम प्रशिक्षण को कैसे मापते हैं? (क्या हमें पूरे प्रशिक्षण कार्यक्रम को देखना चाहिए, या इसे छोटे-छोटे टुकड़ों में तोड़ना चाहिए?)

जब आप इन सभी विकल्पों को गुणा करते हैं, तो आपको एक चौंकाने वाली संख्या मिलती: 497,664 डेटा विश्लेषण के विभिन्न संभावित तरीके। यह लगभग पांच लाख अलग-अलग रास्तों के माध्यम से गुजरने जैसा है। व्हाइट ने इन सभी रास्तों के लिए विश्लेषण चलाया।

बदलता हुआ खजाना

परिणाम थोड़े चौंकाने वाले थे। जब व्हाइट ने "मल्टीवर्स" के परिणामों को देखा, तो उन्होंने पाया कि खजाना हर पथ के लिए एक ही स्थान पर नहीं था।

497,664 विश्लेषणों में से कुछ में, प्रशिक्षण गतिविधियाँ एक जादू की छड़ी की तरह दिखीं जिसने शिक्षकों को अविश्वसनीय रूप से खुश और प्रभावी बना दिया। अन्य विश्लेषणों में, वही प्रशिक्षण गतिविधियाँ ऐसी दिखीं जैसे वे वास्तव में शिक्षकों को नुकसान पहुँचा रही थीं, जिससे वे कम प्रभावी हो गए। कई अन्य पथों में, प्रशिक्षण का कोई प्रभाव ही नहीं पड़ा।

यह शोध पत्र इसे एक विशाल ग्राफ के माध्यम से दिखाता है (मूल पाठ में चित्र 1)। कल्पना कीजिए कि बहुत दूर बाईं ओर से लेकर बहुत दूर दाईं ओर तक फैला हुआ बिंदुओं की एक रेखा है। बहुत बाईं ओर के बिंदु उन विश्लेषणों का प्रतिनिधित्व करते हैं जहाँ प्रशिक्षण एक आपदा था। बहुत दाईं ओर के बिंदु उन विश्लेषणों का प्रतिनिधित्व करते हैं जहाँ प्रशिक्षण एक चमत्कार था। बीच के बिंदु उन विश्लेषणों का प्रतिनिधित्व करते हैं जहाँ इससे कोई फर्क नहीं पड़ता था। डरावनी बात यह है कि दोनों तरफ हरे बिंदु (जिसका अर्थ है "सांख्यिकीय रूप से महत्वपूर्ण" या "वास्तविक") मौजूद हैं। इसका मतलब है कि लगभग प्रत्येक विशिष्ट प्रशिक्षण गतिविधि और प्रत्येक विशिष्ट शिक्षक परिणाम के लिए, एक शोधकर्ता यह साबित करने का एक "तर्कसंगत" तरीका ढूंढ सकता था कि यह एक बड़ी सफलता थी, और एक और "तर्कसंगत" तरीका भी कि यह एक बड़ी विफलता थी।

मूल अध्ययन ने इस बगीचे के माध्यम से एक विशिष्ट पथ चुना और एक सकारात्मक परिणाम पाया। लेकिन व्हाइट का मल्टीवर्स विश्लेषण बताता है कि यह परिणाम अनिवार्य रूप से "सत्य" नहीं था। यह हजारों संभावित सत्यों में से एक था, और कौन सा रास्ता चुनना है, यह चुनाव काफी हदत तक मनमाना था।

यह क्यों मायने रखता है

यह शोध पत्र यह नहीं कहता कि शिक्षक प्रशिक्षण बेकार है। यह यह नहीं कहता कि मूल लेखक गलत थे। इसके बजाय, यह इस बात पर प्रकाश डालता है कि हम विज्ञान कैसे करते हैं, इसमें एक सूक्ष्म लेकिन बड़ी समस्या है। जब एक शोध प्रश्न थोड़ा अस्पष्ट होता है—जैसे "क्या प्रशिक्षण शिक्षकों की मदद करता है?"—तो इसका उत्तर देने के कितने सारे तरीके हैं कि उत्तर अक्सर उन विकल्पों पर निर्भर करता है जो शोधकर्ता डेटा देखना शुरू करने से पहले ही चुन लेता है।

लेखक इसे "फोर्किंग पाथ्स का बगीचा" कहते हैं। यदि आप नहीं जानते कि आप किस पथ पर हैं, तो आप निश्चित नहीं हो सकते कि आपने जो खजाना पाया है वह वास्तविक है या केवल चुने गए विशिष्ट पथ का परिणाम है। यह शोध पत्र सुझाव देता है कि जब हम एक अध्ययन देखते जिसमें एक स्पष्ट परिणाम होता है, तो हमें थोड़ा अधिक जिज्ञासु होना चाहिए। हमें पूछना चाहिए, "क्या होगा अगर उन्होंने एक अलग रास्ता चुना होता?"

लगभग पांच लाख विश्लेषण चलाकर, यह शोध पत्र हमें दिखाता है कि शिक्षक प्रशिक्षण के बारे में "सत्य" एक एकल हेडलाइन के सुझाव की तुलना में बहुत अधिक जटिल और अनिश्चित है। यह हमें कोई नया, बेहतर उत्तर नहीं देता है; इसके बजाय, यह हमें एक बहुत स्पष्ट तस्वीर देता है कि हम वास्तव में कितने अनिश्चित हैं। यह हमें याद दिलाता है कि विज्ञान के बगीचे में, कई रास्ते हैं, और कभी-कभी, दृश्य पूरी तरह से बदल जाता है, यह इस पर निर्भर करता है कि आपने कौन सा रास्ता चुना है।