p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach
यह शोध पत्र यह तर्क देता है कि जबकि p-हैकिंगिंग (p-hacking) त्रुटि सांख्यिकीय दृष्टिकोण (error statistical approach) के भीतर वास्तविक फैमिलीवाइज़ त्रुटि दरों (actual familywise error rates) की नाममात्र दरों (nominal rates) से तुलना करके टाइप I त्रुटि दरों को बढ़ा देती है, लेकिन यह औपचारिक अनुमान दृष्टिकोण (formal inference approach) में ऐसा नहीं करती है क्योंकि विशिष्ट, चयनात्मक रूप से रिपोर्ट किए गए परिकल्पनाओं के बारे में निष्कर्ष निकालने के लिए वास्तविक फैमिलीवाइज़ त्रुटि दर अप्रासंगिक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ मार्क रुबिन के शोध पत्र का सरल भाषा और रचनात्मक उपमाओं (analogies) में अनुवाद दिया गया है।
बड़ी तस्वीर: "पी-हैकिंग" (P-Hacking) को देखने के दो तरीके
कल्पना कीजिए कि आप एक अपराध सुलझाने की कोशिश कर रहे एक जासूस हैं। आपके पास 20 संदिग्धों की एक सूची है। आप उन सभी 20 से पूछताछ करते हैं, लेकिन उनमें से केवल एक ही संयोगवश अपराधी जैसा दिखता है (शायद सिर्फ घबराहट के कारण)। आप यह रिपोर्ट लिखने का फैसला करते हैं कि, "संदेशित #13 दोषी है!" जबकि आप इस तथ्य को नजरअंदाज कर देते हैं कि आपने पहले 19 अन्य निर्दोष लोगों से भी पूछताछ की थी।
सांख्यिकी (statistics) में, इसे पी-हैकिंग (p-hacking) कहा जाता है। यह तब होता है जब शोधकर्ता कई परीक्षण करते हैं, जो काम नहीं करते उन्हें छिपा देते हैं, और केवल उसे दिखाते हैं जो महत्वपूर्ण दिखता है।
बड़ा सवाल यह है: क्या इस चालाकी से गणित गलत हो जाता है?
मार्क रुबिन का पेपर कहता है कि उत्तर इस पर निर्भर करता है कि आप गणित के किस "दर्शन" (philosophy) में विश्वास करते हैं। वह विचार के दो अलग-अलग स्कूलों की तुलना करते हैं:
- एरर स्टैटिस्टिकल अप्रोच (Error Statistical Approach) (एक "वास्तविक दुनिया का जासूस")
- फॉर्मल इन्फरेंस अप्रोच (Formal Inference Approach) (एक "कठोर नियम पुस्तिका वाला वकील")
1. एरर स्टैटिस्टिकल अप्रोच: "वास्तविक दुनिया का जासूस"
दर्शन: "हमें केवल अंत को नहीं, बल्कि पूरी कहानी को देखना चाहिए।"
कल्पना कीजिए कि एक जासूस जानता है कि यदि आप 20 लोगों से पूछताछ करते हैं, तो आप भाग्यवश एक ऐसा व्यक्ति ढूंढने के लिए लगभग निश्चित हैं जो संदिग्ध लगे। यदि वह जासूस आपको केवल उस एक "दोषी" व्यक्ति की फोटो दिखाता है और 19 निर्दोष लोगों की फोटो छिपा देता है, तो वह जासूस संभावनाओं (odds) के बारे में झूठ बोल रहा है।
- उपमा: एक मछली पकड़ने वाले जाल के बारे में सोचें। यदि आप 20 बार जाल डालते हैं, तो आप अंततः एक मछली पकड़ ही लेंगे, भले ही पानी खाली हो। यदि आप केवल वही एक मछली दिखाते हैं जिसे आपने पकड़ा है और यह दिखावा करते हैं कि आपने केवल एक बार जाल डाला था, तो आप अपनी सफलता दर को बढ़ा रहे हैं।
- फैसला: इस दृष्टिकोण में, पी-हैकिंग एक समस्या है। यह त्रुटि दर (error rate) को "बढ़ा" देता है। गणित कहता है, "यदि आप 20 बार जाल डालते हैं, तो गलत अलार्म (false alarm) की आपकी संभावना अधिक है (लगभग 64%)।" लेकिन शोधकर्ता दावा करता है, "मैंने केवल एक बार जाल डाला था, इसलिए गलत अलार्म की मेरी संभावना कम है (5%)।"
- परिणाम: "वास्तविक" त्रुटि दर "रिपोर्ट की गई" त्रुटि दर से बहुत अधिक है। साक्ष्य को "खराब" माना जाता है क्योंकि जासूस ने खोज के संदर्भ (context) को छिपा दिया।
2. फॉर्मल इन्फरेंस अप्रोच: "कठोर नियम पुस्तिका वाला वकील"
दर्शन: "हम केवल उसी का न्याय करते हैं जो आधिकारिक दस्तावेज़ पर लिखा है।"
अब, एक वकील की कल्पना करें जिसे केवल अदालत में हस्ताक्षरित अंतिम अनुबंध की परवाह है। वकील को उन अव्यवस्थित वार्ताओं, मसौदों, या उन 19 अन्य संदिग्धों की परवाह नहीं है जिनकी जांच जासूस ने बंद दरवाजों के पीछे की थी। वकील केवल अंतिम, हस्ताक्षरित बयान को देखता है: "संदेशित #13 दोषी है।"
- उपमा: एक लॉटरी टिकट के बारे में सोचें।
- आप 100 टिकट (परीक्षण) खरीदते हैं।
- 99 हार जाते हैं।
- 1 जीत जाता है।
- आप 99 हारने वाले टिकट फेंक देते हैं और केवल विजेता को अपने दोस्त को दिखाते हैं।
- आपका दोस्त पूछता है, "इस टिकट के जीतने की क्या संभावना है?"
- वकील कहता है: "खैर, इस विशिष्ट टिकट के जीतने की संभावना 10,00,000 में से 1 है। वह गणित सही है।"
- जासूस (एरर स्टैटिस्टिशियन) कहता है: "लेकिन आपने 100 टिकट खरीदे थे! आप अंततः एक विजेता खोजने के लिए ही बने थे!"
- फैसला: इस दृष्टिकोण में, पी-हैकिंग रिपोर्ट किए गए विशिष्ट परीक्षण की त्रुटि दर को नहीं बढ़ाता है।
- शोधकर्ता ने "संदेशित #13" के लिए एक परीक्षण की रिपोर्ट की।
- "संदेशित #13" के लिए गणित अभी भी वैध है (त्रुटि की 5% संभावना)।
- तथ्य यह है कि उन्होंने पहले 19 अन्य संदिग्धों को देखा, यह एक "मनोवैज्ञानिक" मुद्दा है, गणितीय नहीं। उनके द्वारा किए गए विशिष्ट दावे के लिए गणित अप्रभावित रहता है।
- परिणाम: "वास्तविक" त्रुटि दर अप्रासंगिक है क्योंकि शोधकर्ता ने यह दावा नहीं किया था कि वे सभी 20 संदिग्धों का एक साथ परीक्षण कर रहे थे। उन्होंने केवल #13 का परीक्षण करने का दावा किया था। इसलिए, गणित बना रहता है।
यह असहमति क्यों मायने रखती है
पेपर तर्क देता है कि ये दोनों दृष्टिकोण एक-दूसरे से अलग बातें कर रहे हैं क्योंकि वे "परीक्षण" को अलग तरह से परिभाषित करते हैं।
- जासूस (एरर स्टैटिस्टिशियन) कहता है: "परीक्षण में परिणाम की तलाश करने की प्रक्रिया शामिल है। यदि आपने 20 घंटे तक खोज की, तो वह भी परीक्षण का हिस्सा है।"
- वकील (फॉर्मल इन्फेरेंशियलिस्ट) कहता है: "परीक्षण केवल वह अंतिम दावा है जो आपने लिखा है। यदि आपने संदेशित #13 के लिए एक परीक्षण लिखा, तो वही एकमात्र परीक्षण है जो आधिकारिक रिकॉर्ड में मौजूद है।"
"टेक्सास शार्पशूटर" (Texas Sharpshooter) की उपमा
पेपर इस अंतर को समझाने के लिए एक प्रसिद्ध कहानी का उपयोग करता है: टेक्सास शार्पशूटर।
कल्पना कीजिए कि एक आदमी एक खलिहान (barn) की दीवार में यादृच्छिक (random) छेद करता है। फिर, वह छेदों के समूह के चारों ओर एक लक्ष्य (target) पेंट करता है और कहता है, "देखो! मैं एक कुशल निशानेबाज हूँ!"
- जासूस का दृष्टिकोण: यह धोखाधड़ी है। उसने खेल बिगाड़ा क्योंकि उसने गोलियां चलाने के बाद लक्ष्य पेंट किया। "वास्तविक" कौशल बहुत खराब है। त्रुटि दर 100% है क्योंकि उसने खेल को नियंत्रित किया।
- वकील का दृष्टिकोण: यदि निशानेबाज कहता है, "मैं इस विशिष्ट पेंट किए गए लक्ष्य को हिट करने की अपनी क्षमता का परीक्षण कर रहा हूँ," और हम मान लेते हैं कि लक्ष्य गोली चलाने से पहले वहां था (काल्पनिक रूप से), तो उस लक्ष्य को हिट करने का गणित अभी भी वैध है। तथ्य यह है कि उसने गोलियां चलाने के बाद लक्ष्य पेंट किया, यह उसके कौशल के बारे में एक झूठ है, लेकिन यह उस लक्ष्य को हिट करने की गणितीय संभावना को नहीं बदलता जो वहां मौजूद था।
महत्वपूर्ण बिंदु: वकील स्वीकार करता है कि निशानेबाज अपने कौशल (substantive inference) के संबंध में एक धोखेबाज है, लेकिन उस विशिष्ट लक्ष्य को हिट करने के संबंध में गणित तार्किक रूप से सही रहता है।
"प्रतिकृति संकट" (Replication Crisis) के बारे में क्या?
वैज्ञानिक अध्ययन अक्सर दोहराव (replicate) में विफल क्यों होते हैं (यानी दोबारा काम क्यों नहीं करते)?
- जासूस का स्पष्टीकरण: "क्योंकि पी-हैकिंग ने त्रुटि दरों को बढ़ा दिया! हमारे पास बहुत अधिक गलत अलार्म हैं!"
- वकील का स्पष्टीकरण: "नहीं, गणित टूटा नहीं है। समस्या यह है कि हम गणित का अर्थ गलत समझ रहे हैं। हम सोचते हैं कि एक 'महत्वपूर्ण' परिणाम यह सिद्ध करता है कि एक सिद्धांत सत्य है, लेकिन यह केवल एक यादृच्छिक घटना हो सकती है, या हम छिपे हुए कारकों (जैसे हरे जेली बीन्स के कारण केवल हरे रंग में ही मुंहासे होना) को अनदेखा कर रहे हो सकते हैं। गणित ठीक है; हमारी वास्तविक दुनिया के बारे में हमारी समझ त्रुटिपूर्ण है।"
आम आदमी के लिए सारांश
- पी-हैकिंग (p-Hacking) मछली पकड़ने के तालाब में मछली पकड़ने, 19 खाली जाल दिखाने और केवल वही एक मछली दिखाने जैसा है जिसे आपने पकड़ा है।
- एरर स्टैटिस्टिशियंस (Error Statisticians) कहते हैं: "आपने धोखाधड़ी की! आपने 20 बार जाल डाला, इसलिए आपकी सफलता दर फर्जी है।"
- फॉर्मल इन्फेरेंशियलिस्ट्स (Formal Inferentialists) कहते हैं: "आपने गणित के साथ धोखाधड़ी नहीं की। आपने बस खाली जाल छिपा दिए। उस एक मछली के लिए गणित अभी भी सही है। समस्या यह है कि आप हमें यह बताने में गुमराह कर रहे हैं कि आपने कितनी मेहनत की, न कि मछली के बारेंे में।"
निष्कर्ष: रुबिन सुझाव देते हैं कि हालांकि पी-हैकिंग विज्ञान के लिए बुरा है क्योंकि यह इस सच्चाई को छिपाता है कि हमें परिणाम कैसे मिले, लेकिन यह आवश्यक रूप से हमारे द्वारा पाए गए परिणाम के गणित को नहीं तोड़ता है। समाधान केवल बेहतर गणित (जैसे प्री-रजिस्ट्रेशन) नहीं है, बल्कि इस बारे में बेहतर आलोचनात्मक सोच है कि हमारे परिणामों का वास्तव में क्या अर्थ है और यह स्वीकार करना है कि हम वास्तविक दुनिया में कुछ छिपे हुए कारकों को मिस कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।