Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals
यह शोध पत्र कवरेज के लिए इष्टतम संभाव्य पूर्वानुमानों के रूप में विश्वास अंतरालों (कॉन्फिडेंस इंटरवल्स) की एक निर्णय-सैद्धांतिक व्याख्या प्रस्तावित करता है, जो यह प्रदर्शित करता है कि नाममात्र का विश्वास स्तर एकमात्र इष्टतम स्थिर भविष्यवाणी है और डिज़ाइन-आधारित सुधार बेयसियन पूर्व धारणाओं (बायेसियन प्रायर्स) पर निर्भर किए बिना भविष्य कहनेवाला प्रदर्शन में सुधार कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Confidence as Forecast" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवाद दिया गया है।
बड़ी समस्या: "या तो हाँ या ना" का भ्रम
कल्पना कीजिए कि आप एक सांख्यिकीविद् (statistician) हैं। आप एक प्रयोग करते हैं और एक कॉन्फिडेंस इंटरवल (CI) की गणना करते हैं। यह संख्याओं की एक सीमा है (जैसे "10 और 20 के बीच") जिसे आप मानते हैं कि इसमें आपके प्रश्न का सही उत्तर मौजूद है।
दशकों से, मानक नियम (प्रसिद्ध सांख्यिकीविद् जेरज़ी नेमन द्वारा दिया गया) यह रहा है: "एक बार जब आप संख्याएँ देख लें, तो संभावना (probability) के बारे में बात करना बंद कर दें।"
तर्क इस प्रकार है: सही उत्तर एक निश्चित संख्या है। एक बार जब आप अपना अंतराल (interval) बना लेते हैं, तो या तो वह उस संख्या को शामिल करता है या नहीं करता है। यह एक बाइनरी तथ्य है। इसलिए, संभावना या तो 100% है (यह इसके अंदर है) या 0% है (यह इसके बाहर है)। चूँकि आप नहीं जानते कि कौन सा सच है, इसलिए आपको यह कहने की अनुमति नहीं है कि "मैं 95% आश्वस्त हूँ।" आपको बस यह कहना चाहिए, "मैंने यह अंतराल बनाया है, और यह तरीका लंबे समय में 95% बार काम करता है।"
समस्या: यह असंतोषजनक लगता है। यदि आपको उस विशिष्ट अंतराल के आधार पर अभी कोई निर्णय लेना है, तो यह कहना कि "यह या तो 0% है या 100%" आपकी मदद नहीं करता है। यह एक मौसम विज्ञानी की तरह है जो यह बताए बिना कहता है, "या तो बारिश हो रही है या नहीं हो रही है," कि क्या आपको छाता ले जाने की ज़रूरत है।
लेखक का समाधान: एक "मौसम पूर्वानुमान" के रूप में कॉन्फिडेंस
स्कॉट ली, जो लेखक हैं, सुझाव देते हैं कि हमें अपना दृष्टिकोण बदलना चाहिए। कॉन्फिडेंस इंटरवल को एक अंतिम फैसले के रूप में देखने के बजाय, हमें इसे एक संभावना पूर्वानुमान (probability forecast) के रूप में देखना चाहिए।
इसे इस तरह सोचें:
- पुराना दृष्टिकोण: एक CI एक बंद बक्सा है। इसके अंदर या तो "जीत" है या "हार"। एक बार जब आप बक्सा खोल लेते हैं, तो खेल खत्म हो जाता है।
- नया दृष्टिकोण: एक CI एक मौसम पूर्वानुमान की तरह है। आप यह नहीं जानते कि ठीक 2:00 बजे बारिश होगी या नहीं, लेकिन आप उपलब्ध डेटा के आधार पर बारिश की संभावना का अनुमान लगा सकते हैं।
ली का तर्क है कि भले ही आप अंतराल देख लें, फिर भी आप प्रॉपर स्कोरिंग रूल्स (Proper Scoring Rules) नामक उपकरण का उपयोग करके यह अनुमान लगा सकते हैं कि क्या यह सत्य को कवर करता है।
उपमा: "ब्रियर स्कोर" (द दंड खेल)
कल्पना कीजिए कि आप एक खेल खेल रहे हैं जहाँ आपको अनुमान लगाना है कि क्या एक विशिष्ट अंतराल सत्य को कवर करता है।
- यदि आप अनुमान लगाते हैं कि "100% पक्का है कि यह कवर करता है" और ऐसा नहीं होता है, तो आपको भारी दंड मिलता है।
- यदि आप अनुमान लगाते हैं कि "0% पक्का है" और वह कवर करता है, तो भी आपको भारी दंड मिलता है।
- यदि आप अनुमान लगाते हैं कि "50% पक्का है" और यह एक सिक्के के उछाल जैसा निकलता है, तो आपको छोटा दंड मिलता है।
ली गणितीय रूप से सिद्ध करते हैं कि यदि आपके पास कोई विशेष अतिरिक्त जानकारी नहीं है, तो दंड को कम करने के लिए सबसे अच्छा संभव अनुमान नाममात्र कॉन्फिडेंस लेवल (nominal confidence level) (जैसे 95% या 50%) है।
इसलिए, भले ही आप अंतराल देख लें, यदि आपके पास कोई अन्य सुराग नहीं है, तो यह कहना कि "95% संभावना है कि यह सत्य को कवर करता है" सबसे ईमानदार, गणितीय रूप से अनुकूल बात है। यह कोई "विश्वास" नहीं है; यह एक पूर्वानुमान है कि मशीन कैसे काम करती है।
ट्विस्ट: जब आप अपने पूर्वानुमान को अपडेट कर सकते हैं
यहाँ मामला वास्तव में दिलचस्प हो जाता है। कभी-कभी अंतराल स्वयं आपको ऐसे अतिरिक्त सुराग देता है जो संभावनाओं को बदल देते हैं।
"खोई हुई पनडुब्बी" की उपमा
कल्पना कीजिए कि एक पनडुब्बी 10 मीटर लंबे गलियारे में खो गई है। उसे खोजने के लिए आप दो बुलबुले छोड़ते हैं।
- परिदृश्य A: बुलबुले एक-दूसरे से दूर हैं (गलियारे के 9 मीटर को कवर कर रहे हैं)। आपका अंतराल बहुत बड़ा है।
- परिदृश्य B: बुलबुले बिल्कुल एक-दूसरे के बगल में हैं (केवल 1 मीटर को कवर कर रहे हैं)। आपका अंतराल बहुत छोटा है।
दोनों मामलों में, "कॉन्फिडेंस इंटरवल" विधि कहती है, "हम 50% आश्वस्त हैं।"
- पुराना दृष्टिकोण: "यह 50-50 है। आकार पर ध्यान न दें।"
- नया दृष्टिकोण: "एक मिनट रुकिए! यदि बुलबुले दूर हैं, तो अंतराल बड़ा है, इसलिए इसकी पनडुब्बी को पकड़ने की बहुत अधिक संभावना है। यदि बुलबुले पास में हैं, तो अंतराल बहुत छोटा है, इसलिए इसकी पनडुब्बी को पकड़ने की बहुत कम संभावना है, भले ही गणित कहता हो '50%'।"
ली दिखाते हैं कि इन विशिष्ट मामलों में, आपको अपना पूर्वानुमान अपडेट करना चाहिए।
- यदि अंतराल बड़ा है, तो आप कह सकते हैं, "मुझे 90% यकीन है कि यह इसे कवर करता है।"
- यदि अंतराल बहुत छोटा है, तो आप कह सकते हैं, "मुझे केवल 10% यकीन है।"
यह केवल अनुमान लगाना नहीं है; यह अपने पूर्वानुमान को बेहतर बनाने के लिए डेटा के आकार (shape of the data) का उपयोग करना है, ठीक वैसे ही जैसे एक मौसम विज्ञानी बारिश के पूर्वानुमान को बेहतर बनाने के लिए रडार मैप देखता है।
"मोंटी हॉल" कनेक्शन
पेपर इस बात को सिद्ध करने के लिए एक गेम शो (मोंटी हॉल) की उपमा का उपयोग करता है।
- खेल में, आप एक दरवाजा चुनते हैं। होस्ट एक हारने वाला दरवाजा खोल देता है।
- "नेमन" का दृष्टिकोण: "आपके द्वारा चुने गए दरवाजे के पीछे या तो कार है या नहीं है। संभावना 0 या 1 है।" (यह आपको रुकने और हारने की ओर ले जाता है)।
- "पूर्वानुमान" का दृष्टिकोण: "खेल के नियमों के आधार पर, दरवाजा बदलने से मुझे जीतने की 2/3 संभावना मिलती है।" (यह आपको स्विच करने और जीतने की ओर ले जाता है)।
लेखक का तर्क है कि कॉन्फिडेंस को एक पूर्वानुमान के रूप में मानने से हम "0 या 1" के जाल में फंसने के बजाय "स्मार्ट मूव" (दरवाजा बदलना) कर सकते हैं।
सारांश: आपको क्या करना चाहिए?
यह पेपर व्यावहारिक कार्य के लिए एक सरल मार्गदर्शिका देता है:
- डिफ़ॉल्ट नंबर का पालन करें: यदि आप 95% कॉन्फिडेंस इंटरवल देखते हैं और आपको स्थिति के बारे में कुछ विशेष पता नहीं है, तो इसे 95% पूर्वानुमान की तरह मानें। यह सबसे अच्छा अनुमान है जो आप लगा सकते हैं।
- सुराग खोजें: यदि अंतराल अजीब दिखता है (जैसे कि यह बहुत चौड़ा या बहुत संकीरा है जिस तरह से गणित कहता है कि महत्वपूर्ण है), तो अपने पूर्वानुमान को अपडेट करें। अपने प्रतिशत को ऊपर या नीचे समायोजित करने के लिए अंतराल के आकार का उपयोग करें।
- "विश्वास" के जाल को भूल जाएं: ऐसा करने के लिए आपको "व्यक्तिगत भावनाओं" या "बायेसियन प्रायर्स (Bayesian priors)" में विश्वास करने की आवश्यकता नहीं है। आप बस एक स्मार्ट फोरकास्टर की तरह काम कर रहे हैं जो जानता है कि मशीन कैसे काम करती है।
निष्कर्ष:
कॉन्फिडेंस इंटरवल केवल कठोर बक्से नहीं हैं जो या तो सही हैं या गलत। वे पूर्वानुमान हैं। कभी-कभी पूर्वानुमान एक सपाट "95%" होता है, और कभी-कभी डेटा आपको उस नंबर को बदलने के लिए कहता है। उन्हें पूर्वानुमानों के रूप में मानकर, हम फ्रिक्वेंटिस्ट सांख्यिकी (frequentist statistics) के नियमों को तोड़े बिना बेहतर निर्णय ले सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।