Meta-Analysis with JASP, Part I: Classical Approaches

वैज्ञानिक दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ प्रत्येक शोधकर्ता एक विशिष्ट प्रयोग के बारे में एक पुस्तक लिखता है। कभी-कभी, एक पुस्तक कहती है कि एक नई दवा चमत्कार करती है, जबकि दूसरी कहती है कि यह कुछ भी नहीं करती। यहीं पर मेटा-एनालिसिस (meta-analysis) काम आता है। इसे एक सुपर-लाइब्रेरियन के रूप में सोचें जो केवल एक पुस्तक नहीं पढ़ता बल्कि सैकड़ों पुस्तकें एकत्र करता है, उन्हें एक साथ रखता है, और शोर के बीच छिपी वास्तविक कहानी का पता लगाता है। यह एक भीड़ भरे स्टेडियम में एक अकेली फुसफुसाहट को सुनने की कोशिश करने जैसा है; आप केवल एक व्यक्ति को नहीं सुन सकते, आपको वास्तविक संकेत खोजने के लिए सभी की आवाजों को मिलाने की आवश्यकता है।

यह करने के लिए, सुपर-लाइब्रेरियन कुछ प्रमुख उपकरणों का उपयोग करता है। सबसे पहले, वे इफेक्ट साइज (effect size) की गणना करते हैं, जो यह मापने का एक तरीका है कि परिणाम "कितना बड़ा" है, जिससे विभिन्न प्रकार के मापों को एक सामान्य भाषा में बदला जा सके। इसके बाद, वे एक फॉरेस्ट प्लॉट (forest plot) देखते हैं, जो एक चार्ट है जो पेड़ों के जंगल जैसा दिखता है, जहाँ प्रत्येक पेड़ एक अध्ययन का प्रतिनिधित्व करता है, और पेड़ की स्थिति उसके परिणाम को दर्शाती है। अंत में, वे हेटरोजेनिटी (heterogeneity) की जाँच करते हैं, जो बस एक फैंसी शब्द है यह पूछने के लिए कि, "क्या ये सभी अध्ययन एक ही कहानी कह रहे हैं, या वे बहुत अलग हैं?" यदि अध्ययन बहुत अधिक भिन्न हैं, तो लाइब्रेरियन को यह समझने के लिए विशेष गणित का उपयोग करना पड़ता है कि ऐसा क्यों है। वैज्ञानिक इस पर इसलिए ध्यान देते हैं क्योंकि एक एकल अध्ययन पर भरोसा करना एक पूरी फिल्म को केवल एक दृश्य देखकर आंकने जैसा है; आप कथानक के उतार-चढ़ाव या अंत को मिस कर सकते हैं।

यह शोध पत्र एक नया, उपयोगकर्ता के अनुकूल उपकरण पेश करता है जिसे JASP (विशेष रूप से इसका "मेटा-एनालिसिस मॉड्यूल") कहा जाता है, जो इन शक्तिशाली, जटिल उपकरणों को कंप्यूटर कोडिंग के दायरे से बाहर लाकर एक सरल "पॉइंट-एंड-क्लिक" इंटरफेस में ले आता है। इसके लेखक, सांख्यिकीविदों और सॉफ्टवेयर डेवलपर्स की एक टीम है, जिन्होंने इसे इसलिए बनाया है ताकि वे वैज्ञानिक जो प्रोग्रामर नहीं हैं, बिना कोड लिखे उन्नत मेटा-एनालिसिस कर सकें। वे प्रदर्शित करते हैं कि JASP बुनियादी सारांशों से लेकर बहुत जटिल परिदृश्यों तक सब कुछ संभाल सकता है जहाँ अध्ययन डेटा साझा करते हैं या उनमें जानकारी की कई परतें होती हैं। यह पेपर यह दावा नहीं करता कि इसने ब्रह्मांड का कोई नया नियम खोज लिया है; बल्कि, यह दिखाता है कि एक मुफ्त, ओपन-सोर्स सॉफ्टवेयर अब उन्नत सांख्यिकी का भारी काम कर सकता है, जिससे यह उन छात्रों और शोधकर्ताओं के लिए सुलभ हो गया है जो पहले सरल, कम शक्तिशाली उपकरणों का उपयोग करने तक सीमित थे।

सुपर-लाइब्रेरियन के नए टूलकिट की कहानी

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास एक गवाह के बजाय पचास गवाह हैं। कुछ गवाहों ने अपराध को दूर से देखा, कुछ बिल्कुल पास थे, और कुछ थोड़ी अलग कहानियाँ बता रहे हैं। अतीत में, इन सभी कहानियों को एक स्पष्ट सत्य में मिलाने के लिए, आपको एक मास्टर कोडर होने की आवश्यकता थी, जो कंप्यूटर की गुप्त भाषा (जैसे R प्रोग्रामिंग भाषा) बोल सके ताकि एक कस्टम मशीन बनाई जा सके जो साक्ष्य को छाँट सके। यदि आप कोडिंग नहीं जानते थे, तो आप एक बुनियादी आवर्धक लेंस (magnifying glass) के साथ फंसे हुए थे जो सूक्ष्म सुरागों को छोड़ देता था।

इस पेपर के लेखक कहते हैं, "आइए एक ऐसी मशीन बनाएं जिसे कोई भी उपयोग कर सके।" उन्होंने JASP नामक एक मुफ्त सॉफ्टवेयर के भीतर एक मॉड्यूल बनाया है जो इस जासूसी कार्य के लिए एक हाई-टेक डैशबोर्ड की तरह काम करता है। कोडिंग टाइप करने के बजाय, आप बस बटन क्लिक करते हैं, अपने डेटा को ड्रैग और ड्रॉप करते हैं, और सॉफ्टवेयर आपके लिए गणित करता है। यह पेपर आपको तीन अलग-अलग "केस" के माध्यम से दिखाता है कि यह डैशबोर्ड कैसे काम करता है, यह साबित करते हुए कि अब आप कोडर बने बिना सबसे उन्नत जासूसी कार्य कर सकते हैं।

केस 1: वैक्सीन मिस्ट्री (बुनियादी बातें)
पहला केस तपेदिक (tuberculosis) के टीके के बारे में एक प्रसिद्ध डेटासेट से संबंधित है। लेखक दिखाते हैं कि कैसे JASP का उपयोग करके "इफेक्ट साइज" (टीका कितनी अच्छी तरह काम कर रहा था) की गणना की जाए और एक फनल प्लॉट (funnel plot) बनाया जाए। फनल प्लॉट को एक फनल के आकार के ग्राफ के रूप में कल्पना करें जहाँ आप अपने सभी अध्ययन परिणामों को डालते हैं। यदि सब कुछ निष्पक्ष और सही है, तो बिंदु एक व्यवस्थित, सममित पिरामिड बनाना चाहिए। यदि पिरामिड एक तरफ झुका हुआ है, तो इसका मतलब हो सकता है कि कुछ अध्ययन गायब हैं या पक्षपाती हैं। सॉफ्टवेयर फिर एक फॉरेस्ट प्लॉट बनाता है, जो पेड़ों के जंगल जैसा दिखता है, जो दिखाता है कि प्रत्येक अध्ययन कहाँ खड़ा है और हम परिणाम के बारे में कितने आश्वस्त हैं। लेखक दिखाते हैं कि JASP पेड़ों को समूहों (सबग्रुप्स) में भी विभाजित कर सकता है ताकि यह देखा जा सके कि टीका अध्ययन के संचालन के तरीके के आधार पर अलग तरह से काम कर रहा था या नहीं। परिणाम क्या है? सॉफ्टवेयर सफलतापूर्वक उस जटिल गणित को दोहराता है जिसके लिए पहले कोडिंग की आवश्यकता होती थी, जिससे "रैंडम-इफेक्ट्स" मॉडल (अध्ययनों के बीच अंतर को संभालने का एक तरीका) चलाना आसान हो जाता है।

केस 2: लेखन हस्तक्षेप (पैटर्न की तलाश)
दूसरे केस में, जासूस "लिखने-से-सीखने" (writing-to-learn) के हस्तक्षेपों के बारे में अध्ययनों की जांच करते हैं। यहाँ, वे जानना चाहते हैं कि हस्तक्षेप की लंबाई या क्या छात्रों को फीडबैक मिला, इससे परिणामों में क्या बदलाव आया। इसे मेटा-रिग्रेशन (meta-regression) कहा जाता है। इसे बिंदुओं के बिखराव के माध्यम से एक रेखा खींचने की तरह समझें ताकि यह देखा जा सके कि क्या कोई रुझान मौजूद है। JASP आपके लिए यह रेखा खींचता है और यहाँ तक कि एक बबल प्लॉट (bubble plot) भी बनाता है, जहाँ बड़े बुलबुले अधिक सटीक अध्ययनों को दर्शाते हैं। सॉफ्टवेयर एस्टीमेटेड मार्जिनल मीन्स (Estimated Marginal Means) की भी गणना करता है, जो एक फैंसी तरीका है यह कहने का कि, "परिणाम क्या होगा यदि हम बाकी सब कुछ स्थिर रखें?" यह पूछने जैसा है कि, "यदि प्रत्येक छात्र के पास समान समय और फीडबैक होता, तो स्कोर क्या होता?" पेपर दिखाता है कि Jভাবে JASP इन जटिल तुलनाओं को संभाल सकता है और यहाँ तक कि यह भी परीक्षण कर सकता है कि क्या डेटा का "फैलाव" (हेटरोजेनिटी) अध्ययन की लंबाई के आधार पर बदलता है, जिसे लोकेशन-स्केल मॉडल (location–scale model) कहा जाता है।

केस 3: रेसिडिविज़म पहेली (जटिल जाल)
तीसरा केस सबसे पेचीदा है। यह किशोर अपराध और मानसिक स्वास्थ्य के बारे में अध्ययनों को देखता है। यहाँ समस्या यह है कि कई अध्ययन बच्चों के एक ही समूह (जैसे, आक्रामकता, बुलीइंग और चोरी) के लिए कई परिणाम रिपोर्ट करते हैं। यह डेटा के एक "जटिल जाल" (tangled web) को बनाता है जहाँ परिणाम स्वतंत्र नहीं होते हैं। यदि आप इसे अनदेखा करते हैं, तो आप सोच सकते हैं कि आपके पास वास्तव में उपलब्ध साक्ष्य से अधिक साक्ष्य हैं। लेखक दिखाते हैं कि JASP मल्टीलेवल मॉडल्स (multilevel models) (जो डेटा के नेस्टिंग को संभालते हैं), मल्टीवेरिएट मॉडल्स (multivariate models) (जो विभिन्न प्रकार के अपराधों के बीच सहसंबंध को ध्यान में रखते हैं), और क्लस्टर-रोबस्ट स्टैंडर्ड एरर्स (cluster-robust standard errors) (जो एक सुरक्षा जाल के रूप में कार्य करते हैं ताकि गणित कनेक्शनों से धोखा न खा जाए) का उपयोग करके इसे सुलझा सकता है। इस विशिष्ट मामले में, इस जाल को सुलझाने के बाद भी, सॉफ्टवेयर ने एक सांख्यिकीय रूप से महत्वपूर्ण अंतर पाया: मानसिक स्वास्थ्य विकारों वाले किशोरों में पुनरावृत्ति की दर (संयुक्त प्रभाव आकार $d=0.36$, 95% CI [0.16, 0.56]) अलग थी।

यह क्यों मायने रखता है

यह पेपर केवल एक सुंदर इंटरफेस का प्रदर्शन नहीं कर रहा है; यह तर्क देता है कि उन्नत सांख्यिकीय विधियाँ कंप्यूटर कोड की दीवार के पीछे बंद नहीं होनी चाहिए। JASP में इन उपकरणों को एकीकृत करके, लेखक सुझाव देते हैं कि शोधकर्ता, शिक्षक और छात्र अब कोड को डीबग करने के बजाय विज्ञान की व्याख्या करने पर ध्यान केंद्रित कर सकते हैं। सॉफ्टवेयर बैकग्राउंड में कोड जेनरेट करता है, इसलिए यदि आप सीखना चाहते हैं, तो आप देख सकते हैं कि यह कैसे किया जाता है, लेकिन यदि आप केवल उत्तर चाहते हैं, तो आप बस "रन" पर क्लिक कर सकते हैं।

लेखक सावधानी बरतते हुए नोट करते हैं कि हालांकि यह मॉड्यूल बहुत व्यापक क्षेत्र को कवर करता है—बुनियादी प्लॉट्स से लेकर जटिल मल्टीलेवल मॉडल्स तक—यह एक प्रगतिशील कार्य (work in progress) है। वे उल्लेख करते हैं कि कुछ फीचर्स, जैसे नेटवर्क मेटा-एनालिसिस, भविष्य के लिए नियोजित हैं। लेकिन फिलहाल, उन्होंने सफलतापूर्वक प्रदर्शित किया है कि एक मुफ्त, ओपन-सोर्स टूल उन्नत, अत्याधुनिक तरीकों को संभाल सकता है जो वैज्ञानिक साक्ष्यों के संश्लेषण के लिए आवश्यक हैं। वे यह दावा नहीं कर रहे हैं कि उन्होंने विज्ञान की हर समस्या को हल कर दिया है, लेकिन उन्होंने सुपर-लाइब्रेरियन को एक बहुत बेहतर टूलकिट थमा दी है, जिसे कोई भी उठा सकता है और शोर के बीच सच खोजने के लिए उपयोग कर सकता है।