Finite Population Sampling as n to N: Empirical Evidence for the Transition from Inference to Accuracy

तकनीकी सारांश: $n \to N$ के रूप में परिमित जनसंख्या नमूनाकरण (Finite Population Sampling)

समस्या विवरण
यह शोध पत्र शास्त्रीय अनुमानात्मक सांख्यिकी (classical inferential statistics) और आधुनिक बड़े पैमाने की डेटा प्रणालियों की वास्तविकता के बीच एक मौलिक विसंगति को संबोधित करता है। सेंट्रल लिमिट थ्योरम (CLT) और मानक अनुमानात्मक ढांचे इस धारणा पर निर्भर करते हैं कि नमूने प्रभावी रूप से अनंत जनसंख्या से लिए गए हैं या नमूना अंश (sampling fraction, $f = n/N$) छोटा है। इन स्थितियों के तहत, नमूना परिवर्तनशीलता (sampling variability) अनिश्चितता का प्राथमिक स्रोत होती है, और रैंडमाइजेशन वितरण सामान्यता (normality) के करीब होते हैं।

हालाँकि, आधुनिक डेटा स्ट्रीम (प्रशासनिक रिकॉर्ड, ट्रांजेक्शन लॉग, सेंसर डेटा) अक्सर परिमित जनसंख्या के बड़े अंशों को कैप्चर करते हैं, जो पूर्ण गणना (full enumeration, $n/N \to 1$) के करीब पहुँच जाते हैं। इस "निकट-गणना" (near-enumeration) शासन में, फाइनाइट पॉपुलेशन करेक्शन (FPC) कारक $(1 - n/N)$ अनुमानकों (estimators) की सैद्धांतिक भिन्नता (variance) को शून्य की ओर ले जाता है। यह शोध $n/N$ के एकत्रीकरण के करीब पहुँचते समय अनुमानकों के व्यवहार की जांच करता है, और यह सवाल उठाता है कि क्या शास्त्रीय अनुमानात्मक उपकरण (standard errors, confidence intervals, normal approximations) तब भी सार्थक रहते हैं जब सूचना प्राप्ति में सुधार के बजाय जनसंख्या की समाप्ति के कारण नमूना परिवर्तनशीलता यांत्रिक रूप से समाप्त हो जाती है।

कार्यप्रणाली (Methodology)
यह अध्ययन शास्त्रीय नमूनाकरण से निकट-गणना की ओर संक्रमण को अनुभवजन्य रूप से देखने के लिए एक GPU-आधारित प्लेटफॉर्म का उपयोग करते हुए एक कम्प्यूटेशनल सिमुलेशन दृष्टिकोण अपनाता है। कार्यप्रणाली चार चरणों में संरचित है:

1. जनसंख्या निर्माण (Population Construction): दो स्पष्ट परिमित जनसंख्याएँ ($N = 10^7$) ज्ञात मापदंडों (माध्य $\mu$ और प्रसरण $\sigma^2$) के साथ बनाई गईं। एक विविक्त समान वितरण (discrete uniform distribution) का पालन करती थी, और दूसरी एक कृत्रिम अनुभवजन्य वितरण (synthetic empirical distribution) का। ये मापदंड एक निश्चित 'ग्राउंड ट्रुथ' के रूप में कार्य करते थे, जिससे अज्ञात मापदंडों के बारे में अनुमान लगाने की आवश्यकता समाप्त हो गई।
2. नमूना डिजाइन (Sampling Design): शोधकर्ताओं ने बिना प्रतिस्थापन के बार-बार नमूनाकरण (repeated sampling without replacement) किया, जिसमें नमूना अंश ($f$) का एक विस्तृत रेंज ($0.01$से$1.00$ तक) शामिल था।
3. रैंडमाइजेशन वितरण विश्लेषण (चरण 1–3): निश्चित नमूना अंशों के लिए, टीम ने नमूना माध्य (sample mean) के अनुभवजन्य रैंडमाइजेशन वितरण तैयार किए। उन्होंने देखे गए प्रसरण (variance) की तुलना परिमित जनसंख्या नमूनाकरण सिद्धांत (विशेष रूप से FPC सूत्र) से प्राप्त सैद्धांतिक भविष्यवाणियों के विरुद्ध की।
4. संख्यात्मक परिशुद्धता विश्लेषण (चरण 4): एक बार जब नमूना परिवर्तनशीलता प्रभावी रूप से समाप्त हो गई (लगभग $n=N$), तो अध्ययन ने जनसंख्या माध्य से नमूना माध्य के शेष विचलन को अलग कर दिया। इस चरण में विभिन्न कम्प्यूटेशनल पथों का परीक्षण किया गया, जिनमें शामिल थे:
   • हार्डवेयर: CPU बनाम GPU कार्यान्वयन।
   • परिशुद्धता (Precision): डबल-प्रिसिजन (FP64) बनाम सिंगल-प्रिसिजन (FP32) अंकगणित।
   • एल्गोरिदम: नैव समेशन (naive summation), कंपंसेटेड समेशन (compensated summation), ट्री-आधारित रिडक्शन, और रैंडमाइज्ड ऑर्डर समेशन।

प्रमुख परिणाम
प्रयोगों ने अनुमानक व्यवहार के तीन विशिष्ट शासन (regimes) की पहचान की:

1. शास्त्रीय नमूनाकरण शासन ($n/N \ll 1$): अनुभवजन्य प्रसरण अनंत-जनसंख्या सन्निकटन ($\sigma^2/n$) के करीब था।
2. परिमित जनसंख्या शासन (मध्यम से बड़ा $n/N$): जैसे-जैसे नमूना अंश बढ़ा, अनुभवजन्य प्रसरण तेजी से कम हुआ, जो फाइनाइट पॉपुलेशन करेक्शन सिद्धांत के साथ सटीक रूप से संरेखित हुआ। पूर्ण गणना तक पहुँचने से पहले ही रैंडमाइजेशन वितरण महत्वपूर्ण रूप से संकुचित हो गया।
3. निकट-गणना शासन ($n/N \to 1$):
   • नमूना परिवर्तनशीलता का पतन: जैसे-जैसे $n$, $N$ के करीब पहुँचा, नमूना परिवर्तनशीलता लुप्त हो गई। $n=N$ पर, नमूना माध्य ठीक जनसंख्या माध्य के बराबर हो गया, और रैंडमाइजेशन वितरण एक एकल बिंदु पर सिमट गया।
   • संख्यात्मक प्रभुत्व का उदय: नमूना यादृच्छिकता की अनुपस्थिति में, अनुमानक का शेष विचलन पूरी तरह से संख्यात्मक प्रभावों द्वारा संचालित था।
   • परिशुद्धता संवेदनशीलता: पूर्ण गणना के तहत, देखा गया प्रसरण केवल फ्लोटिंग-पॉइंट संचय त्रुटियों (floating-point accumulation errors) के कारण गैर-शून्य था। FP64 में कंपंसेटेड समेशन ने प्रसरण को लगभग शून्य ($< 10^{-15}$) तक कम कर दिया, जबकि FP32 में नैव समेशन में अवशिष्ट प्रसरण ($\approx 10^{-7}$) प्रदर्शित हुआ।

प्रमुख योगदान

• विचरण पतन का अनुभवजन्य सत्यापन: अध्ययन इस बात का उच्च-रिज़ॉल्यूशन अनुभवजन्य प्रमाण प्रदान करता है कि जैसे-जैसे जनसंख्या समाप्त होती है, नमूना परिवर्तनशीलता संरचनात्मक रूप से कम होती जाती है, यह पुष्टि करता है कि रैंडमाइजेशन वितरण का "बेल कर्व" $n=N$ से बहुत पहले एक ऊर्ध्वाधर रेखा (vertical line) में संकुचित हो जाता है।
• अनुमान (Inference) और सटीकता (Accuracy) के बीच अंतर: शोध पत्र उस बिंदु को स्पष्ट करता है जहाँ सांख्यिकीय विश्लेषण संभाव्यतात्मक अनुमान (अज्ञात मापदंडों के बारे में अनिश्चितता) से सटीकता विश्लेषण (गणना के कारण नियत त्रुटि) में बदल जाता है।
• त्रुटि स्रोतों की पहचान: यह दर्शाता है कि निकट-गणना सेटिंग्स में, प्रमुख त्रुटि स्रोत नमूना यादृच्छिकता नहीं, बल्कि फ्लोटिंग-पॉइंट प्रतिनिधित्व, योग क्रम (summation order) और कम्प्यूटेशनल आर्किटेक्चर के बीच की परस्पर क्रिया है।

महत्व और दावे
शोध पत्र तर्क देता है कि शास्त्रीय अनुमानात्मक तर्क उच्च-कवरेज डेटा सेटिंग्स के साथ संरचनात्मक रूप से असंगत है। जब नमूना अंश बड़ा होता है, तो स्वतंत्र और समान रूप से वितरित (i.i.d.) अवलोकनों की धारणा टूट जाती है, और रैंडमाइजेशन वितरण अज्ञात सत्य के बारे में अनिश्चितता का प्रतिनिधित्व नहीं करता है, बल्कि शेष नमूना ली जाने वाली जनसंख्या के यांत्रिक न्यूनीकरण (mechanical reduction) का प्रतिनिधित्व करता है।

लेखकों का दावा है कि इन शासनों में:

• मानक त्रुटियां (standard errors) और कॉन्फिडेंस इंटरवल अपने व्याख्यात्मक मूल्य को खो देते हैं क्योंकि वे जिस अनिश्चितता को मापते हैं (नमूना परिवर्तनशीलता) वह प्रभावी रूप से समाप्त हो चुकी है।
• सांख्यिकीय अभ्यास को पुन: नमूनाकरण-आधारित अनिश्चितता मात्रा निर्धारण (resampling-based uncertainty quantification) से हटकर संख्यात्मक स्थिरता, परिशुद्धता चयन और कम्प्यूटेशनल आर्किटेक्चर के सत्यापन पर ध्यान केंद्रित करना चाहिए।
• अनुमान से सटीकता की ओर संक्रमण फाइनाइट पॉपुलेशन थ्योरी का एक स्वाभाविक परिणाम है, न कि सांख्यिकी की कोई विकृति (pathological failure)।

अध्ययन निष्कर्ष निकालता है कि जबकि बड़े नमूना आकार आमतौर पर शास्त्रीय सेटिंग्स में अनुमान में सुधार करते हैं, वे निकट-गणना संदर्भों में विश्वसनीय अनुमान सुनिश्चित करने के लिए अपर्याप्त हैं। इसके बजाय, इन सेटिंग्स में जिम्मेदार सांख्यिकीय अभ्यास के लिए संख्यात्मक परिशुद्धता और एल्गोरिद्मिक पूर्वाग्रह का कठोर मूल्यांकन आवश्यक है, क्योंकि ये ही अनुमानक की सटीकता के सीमित कारक बन जाते हैं।