How accurate are Bayes factor-based null hypothesis tests? A simulation study
यह सिमुलेशन अध्ययन brms और bridgesampling पैकेज का उपयोग करके सामान्य मनोवैज्ञानिक डिजाइनों में बेयस फैक्टर-आधारित शून्य परिकल्पना परीक्षणों की सटीकता को मान्य करता है, जो यह प्रदर्शित करता है कि अनुमान तब विश्वसनीय होते हैं जब कोई एल्गोरिदम चेतावनी जारी नहीं की जाती है, लेकिन जब ऐसी चेतावनियाँ दिखाई दें तो उन्हें अनदेखा कर दिया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य को सुलझाने की कोशिश कर रहे एक जासूस हैं: क्या एक नया सुराग वास्तव में आपके संदिग्ध को दोषी सिद्ध करता है, या यह केवल एक संयोग है? विज्ञान की दुनिया में, विशेष रूप से मनोविज्ञान और भाषाविज्ञान जैसे क्षेत्रों में, शोधकर्ता अक्सर इसी तरह के प्रश्न का सामना करते हैं। उनके पास डेटा होता है, और उनके पास दो प्रतिस्पर्धी कहानियाँ होती हैं: एक जहाँ एक विशिष्ट प्रभाव मौजूद है ("दोषी" कहानी) और दूसरी जहाँ कुछ भी नहीं हो रहा है ("निर्दोष" कहानी)। यह तय करने के लिए कि कौन सी कहानी बेहतर है, वैज्ञानिक एक गणितीय उपकरण का उपयोग करते हैं जिसे 'बेयस फैक्टर' (Bayes factor) कहा जाता है। बेयस फैक्टर को एक अत्यंत सटीक तराजू के रूप में समझें जो साक्ष्य का वजन करता है। यदि तराजू भारी रूप से "दोषी" कहानी की ओर झुकता है, तो शोधकर्ता आश्वस्त महसूस करता है; यदि यह संतुलित रहता है, तो वह जानता है कि साक्ष्य कमजोर है।
हालाँकि, इस तराजू पर सटीक वजन की गणना करना रेत के हर एक कण को गिनने की कोशिश करने जैसा है, जबकि आप एक चलती हुई नाव पर खड़े हों। इसे पूरी तरह से करना गणितीय रूप से असंभव है, इसलिए वैज्ञानिक एक अनुमानित उत्तर प्राप्त करने के लिए चतुर कंप्यूटर शॉर्टकट का उपयोग करते हैं। सबसे बड़ी चिंता यह है: वह अनुमान सत्य के कितने करीब है? यदि कंप्यूटर का अनुमान गलत है, तो जासूस एक निर्दोष व्यक्ति को दोषी ठहरा सकता है या एक दोषी को छूट सकता है। यह ठीक वही समस्या है जिसे डैनियल जे. शेड और मार्टिन मोड्राक के एक नए अध्ययन में संबोधित किया गया है। वे जानना चाहते थे कि क्या वे लोकप्रिय कंप्यूटर उपकरण जिनका उपयोग वैज्ञानिक इन बेयस फैक्टर्स को तौलने के लिए करते हैं, वास्तव में सटीक हैं, या वे गुप्त रूप से ऐसे तरीकों से खराब हैं जो गलत निष्कर्षों की ओर ले जा सकते हैं।
इसकी जांच करने के लिए, लेखकों ने केवल वास्तविक डेटा ही नहीं देखा; उन्होंने एक "सिमुलेशन लैब" बनाई। कल्पना कीजिए कि उन्होंने हजारों नकली प्रयोग बनाए जहाँ वे पहले से ही उत्तर जानते थे। उन्होंने नियमों के एक विशिष्ट सेट का उपयोग करके नकली डेटा तैयार किया, फिर कंप्यूटर टूल से बेयस फैक्टर की गणना करने के लिए कहा और देखा कि क्या टूल का निष्कर्ष उनके द्वारा बोए गए सत्य से मेल खाता है। उन्होंने मनोविज्ञान और भाषाविज्ञान में उपयोग किए जाने वाले तीन बहुत सामान्य प्रकार के प्रयोगात्मक डिजाइनों पर ध्यान केंद्रित किया: एक सरल 2x2 डिजाइन, एक डिजाइन जो विषयों (subjects) और वस्तुओं (items) को मिलाता है (जैसे अलग-अलग लोग अलग-अलग शब्द पढ़ रहे हों), और उस मिश्रण का एक अधिक जटिल संस्करण।
परिणाम दो बहुत अलग परिणामों की एक कहानी थे, जो एक सूक्ष्म विवरण पर निर्भर करते थे: एक चेतावनी संदेश। जब कंप्यूटर सॉफ्टवेयर ने अपनी गणना चलाई और कोई चेतावनी संदेश नहीं दिखाया, तो बेयस फैक्टर्स एकदम सटीक थे। तराजू पूरी तरह से कैलिब्रेटेड था; उपकरण का अनुमान साक्ष्य के सत्य के लगभग बिल्कुल समान था। यह ऐसा था जैसे जासूस का तराजू पूरी तरह से काम कर रहा हो, जो हर बार विश्वसनीय निर्णय दे रहा हो।
हालाँकि, कहानी नाटकीय रूप से बदल गई जब सॉफ्टवेयर ने चेतावनी जारी की। उन सिमुलेशनों में जहाँ कंप्यूटर ने कहा, "हे, मुझे इस संख्या का अनुमान लगाने में कठिनाई हो रही है," परिणाम अविश्वसनीय हो गए। बेयस फैक्टर्स अब सटीक नहीं थे; वे पक्षपाती और अत्यधिक परिवर्तनशील थे। कभी-कभी टूल साक्ष्य को बढ़ाकर दिखाता था, जिससे एक कमजोर प्रभाव मजबूत दिखने लगता था (एक "उदार" पूर्वाग्रह), और अन्य समय में यह एक वास्तविक प्रभाव को कम करके दिखाता था, जिससे ऐसा लगता था कि कुछ भी नहीं हो रहा है (एक "रूढ़िवादी" पूर्वाग्रह)। लेखकों ने पाया कि इन चेतावनी वाले मामलों में, कंप्यूटर वास्तव में बहुत अधिक शोर (noise) के साथ अनुमान लगा रहा था, और उन परिणामों पर भरोसा नहीं किया जा सकता था।
दिलचस्प बात यह है कि लेखकों ने कंप्यूटर को अधिक मेहनत करने के लिए कहकर इसे ठीक करने की कोशिश की—गणना के चरणों को बढ़ाकर (10,000 से बढ़ाकर 40,000 इटरेशन करना)। हालांकि इससे थोड़ा बहुत सुधार हुआ, लेकिन इसने चेतावनियों को रोकने या पूर्वाग्रह को पूरी तरह से ठीक करने में मदद नहीं की। अध्ययन बताता है कि समस्या केवल अधिक गणित करने के बारे में नहीं है; यह डेटा के आकार के बारे में है जो वर्तमान शॉर्टकट के लिए बहुत जटिल है।
तो, विज्ञान के भविष्य के लिए इसका क्या अर्थ है? लेखक निष्कर्ष निकालते हैं कि उनके द्वारा परीक्षण किए गए सामान्य प्रयोगात्मक डिजाइनों के लिए, बेयस फैक्टर्स एक बेहतरीन उपकरण हैं—लेकिन केवल तभी जब कंप्यूटर शांत रहे। यदि सॉफ्टवेयर चेतावनी फ्लैश करता है, तो शोधकर्ताओं को रुक जाना चाहिए और परिणाम पर भरोसा नहीं करना चाहिए। यह कार चलाने जैसा है: यदि "चेक इंजन" लाइट बंद है, तो आप विश्वास के साथ गाड़ी चला सकते हैं। लेकिन यदि यह लाइट चमक रही है, तो आपको इसे अनदेखा करके और तेज गति से नहीं चलाना चाहिए; आपको स्पीडोमीटर पर भरोसा करने से पहले समस्या को ठीक करने के लिए रुकना होगा। यह अध्ययन एक महत्वपूर्ण अनुस्मारक के रूप में कार्य करता है कि वैज्ञानिक खोज के उच्च-दांव वाले खेल में, कंप्यूटर के चेतावनी संकेतों पर ध्यान देना डेटा से भी अधिक महत्वपूर्ण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।