Design-Based Inference for the AUC with Complex Survey Data

यहाँ "Design-Based Inference for the AUC with Complex Survey Data" नामक शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बाइनरी परिणामों (binary outcomes) के लिए भविष्य कहने वाले मॉडलों (predictive models) की विभेदक क्षमता (discriminative ability) का आकलन करने के लिए 'एरिया अंडर द रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक कर्व' (AUC) एक मानक मीट्रिक है। जबकि सरल यादृच्छिक नमूनाकरण (Simple Random Sampling - SRS) के तहत पारंपरिक बूटस्ट्रैप विधियों का उपयोग करके AUC के लिए सांख्यिकीय अनुमान (statistical inference) अच्छी तरह से स्थापित है, ये विधियाँ जटिल सर्वेक्षण डेटा (complex survey data) पर लागू होने पर विफल हो जाती हैं।

जटिल सर्वेक्षण (जैसे, NHANES, BRFSS) प्रतिनिधित्व में सुधार के लिए स्तरीकरण (stratification) और क्लस्टरिंग (clustering) का उपयोग करते हैं। डिजाइन संरचना की अनदेखी करने से निम्नलिखित परिणाम होते हैं:

• पूर्वाग्रही विचरण अनुमान (Biased variance estimates): पारंपरिक बूटस्ट्रैपिंग अक्सर विचरण (variance) को कम करके आंकती है क्योंकि यह प्रेक्षणों (observations) को स्वतंत्र मानती है, और इंट्रा-क्लस्टर सहसंबंध (intra-cluster correlation) की अनदेखी करती है।
• अमान्य अनुमान (Invalid Inference): इस कम आकलन के परिणामस्वरूप विश्वास अंतराल (confidence intervals) नाममात्र स्तरों से नीचे कवरेज प्रोबेबिलिटी (coverage probabilities) रखते हैं और परिकल्पना परीक्षण (hypothesis tests) में टाइप I त्रुटि दरें (महत्व स्तर $\alpha$ से अधिक अस्वीकृति दरें) बढ़ जाती हैं।

यह शोध जटिल सर्वेक्षण परिवेशों में AUC के लिए विश्वास अंतराल बनाने और परिकल्पना परीक्षण करने हेतु एक सुदृढ़, डिज़ाइन-आधारित ढांचे (design-based framework) के अभाव को संबोधित करता है।

2. कार्यप्रणाली (Methodology)

लेखक एक डिज़ाइन-आधारित ढांचे (design-based framework) का प्रस्ताव करते हैं जो भारित AUC अनुमानक (weighted AUC estimator) के विचरण का अनुमान लगाने के लिए रिप्लिकेट वेट्स (replicate weights) का उपयोग करता है।

2.1. अनुमानक परिभाषा (Estimator Definition)

अध्ययन एक भारित AUC अनुमानक ($\widehat{AUC}_w$) का उपयोग करता है जो सर्वेक्षण भारों (survey weights) को ध्यान में रखने के लिए स्यूडो-लाइक्लीहुड (pseudo-likelihood) के माध्यम से फिट किए गए लॉजिस्टिक रिग्रेशन मॉडलों से प्राप्त होता है। अनुमानक को इस प्रकार परिभाषित किया गया है:
$$\widehat{AUC}_w = \frac{\sum_{i_0 \in S_{Y=0}} \sum_{i_1 \in S_{Y=1}} w_{i_0}w_{i_1} [I(\hat{p}_{i_0} < \hat{p}_{i_1}) + 0.5I(\hat{p}_{i_0} = \hat{p}_{i_1})]}{\sum_{i_0 \in S_{Y=0}} \sum_{i_1 \in S_{Y=1}} w_{i_0}w_{i_1}}$$
जहाँ $w_i$ नमूनाकरण भार (sampling weights) हैं और $\hat{p}_i$ अनुमानित संभावनाएँ (predicted probabilities) हैं।

2.2. विचरण अनुमान विधियाँ (Variance Estimation Methods)

$\widehat{AUC}_w$ की परिवर्तनशीलता (variability) का अनुमान लगाने के लिए, लेखक चार पुनरावृत्ति (resampling) दृष्टिकोणों की तुलना करते हैं:

1. जैकनीफ रिपीटेड रेप्लिकेशन (Jackknife Repeated Replication - JKn): यह एक समय में एक स्ट्रैटम (stratum) से एक प्राथमिक नमूनाकरण इकाई (Primary Sampling Unit - PSU) को व्यवस्थित रूप से हटाता है, और शेष इकाइयों के लिए भार को समायोजित करता है।
2. रीस्केलिंग बूटस्ट्रैप (Rescaling Bootstrap - RB): एक डिज़ाइन-आधारित बूटस्ट्रैप जो प्रत्येक स्ट्रैटम $h$ से प्रतिस्थापन (replacement) के साथ $a_h - 1$ PSUs को पुन: नमूना लेता है और भार को रीस्केल करता है।
3. रीस्केलिंग बूटस्ट्रैप n (Rescaling Bootstrap n - RBn): एक संस्करण जो प्रतिस्थापन के साथ $a_h$ PSUs (पूर्ण संख्या) को पुन: नमूना लेता है।
4. पारंपरिक बूटस्ट्रैप (Traditional Bootstrap - trB): एक गैर-डिज़ाइन-आधारित विधि जो स्ट्रेटा और क्लस्टरों की अनदेखी करते हुए प्रतिस्थापन के साथ व्यक्तिगत इकाइयों को पुन: नमूना लेती है।

2.3. अनुमान प्रक्रियाएं (Inference Procedures)

• विश्वास अंतराल (Confidence Intervals - CIs): सामान्य सन्निकटन ($\widehat{AUC}_w \pm z_{\alpha/2}\sqrt{\widehat{var}}$) और पर्सेंटाइल विधियों का उपयोग करके निर्मित।
• परिकल्पना परीक्षण (Hypothesis Testing): दो AUCs के बीच अंतर ($D_{pop} = AUC_1 - AUC_2$) के लिए परीक्षण।
  • स्वतंत्र AUCs (Independent AUCs): विचरण व्यक्तिगत वार्जनों का योग है।
  • युग्मित AUCs (Paired AUCs): प्रत्येक प्रतिकृति/पुन: नमूने (replicate/resample) के माध्यम से AUC के अंतर की गणना करके विचरण का अनुमान लगाया जाता है, फिर इन अंतरों के विचरण की गणना की जाती है।

3. मुख्य योगदान (Key Contributions)

• ढांचा प्रस्ताव (Framework Proposal): जटिल सर्वेक्षणों में रिप्लिकेट वेट्स का उपयोग करके AUC के लिए डिज़ाइन-आधारित अनुमान (CIs और परिकल्पना परीक्षण) के लिए पहला व्यापक प्रस्ताव।
• तुलनात्मक विश्लेषण (Comparative Analysis): डिज़ाइन-आधारित विधियों (JKn, RB) की पारंपरिक गैर-डिज़ाइन-आधारित बूटस्ट्रैप (trB) के साथ तुलना करने वाला एक विस्तृत सिमुलेशन अध्ययन।
• सॉफ्टवेयर कार्यान्वयन (Software Implementation): इन विधियों को svyROC R पैकेज में लागू किया गया है, जिससे वे चिकित्सकों (practitioners) के लिए सुलभ हो गए हैं।
• अनुभवजन्य सत्यापन (Empirical Validation): व्यावहारिक उपयोगिता प्रदर्शित करने के लिए नेशनल हेल्थ एंड न्यूट्रिशन एग्जामिनेशन सर्वे (NHANES) के वास्तविक डेटा पर ढांचा लागू करना।

4. सिमुलेशन परिणाम (Simulation Results)

लेखकों ने $N=100,000$ जनसंख्या के साथ एक सिमुलेशन अध्ययन किया, जिसमें नमूना आकार, प्रति स्ट्रैटम क्लस्टरों की संख्या ($a_h$), और विभिन्न परिदृश्यों (CI अनुमान, स्वतंत्र AUC तुलना, युग्मित AUC तुलना) को बदला गया।

मुख्य निष्कर्ष:

• डिज़ाइन-आधारित विधियों (JKn & RB) का प्रदर्शन:
  • सभी परिदृश्यों में नाममात्र स्तरों (जैसे, 95%) के बहुत करीब कवरेज प्रोबेबिलिटी प्राप्त की।
  • शून्य परिकल्पना (null hypothesis) के तहत उचित अस्वीकृति दर बनाए रखी।
  • प्रति स्ट्रैटम क्लस्टरों की संख्या ($a_h$) के बावजूद लगातार प्रदर्शन किया, हालांकि $a_h$ बढ़ने के साथ प्रदर्शन में सुधार हुआ।
• पारंपरिक बूटस्ट्रैप (trB) का प्रदर्शन:
  • व्यवस्थित कम आकलन (Systematic Underestimation): लगातार विचरण को कम करके आंका, जिससे संकीर्ण विश्वास अंतराल और अंडरकवरेज (undercoverage) हुआ।
  • बढ़ी हुई टाइप I त्रुटि (Inflated Type I Error): अधिकांश परिदृश्यों में (विशेष रूप से स्वतंत्र AUCs और छोटे $a_h$ के लिए) उच्च अस्वीकृति दर उत्पन्न की।
  • अपवाद: विशिष्ट युग्मित AUC परिदृश्यों में जहाँ दोनों मॉडलों के डिज़ाइन प्रभाव एक-दूसरे को रद्द कर देते थे, वहाँ trB भ्रामक रूप से अच्छा प्रदर्शन करता था। हालाँकि, जब यह रद्दीकरण नहीं हुआ (विस्तारित परिदृश्य), तो trB फिर से विफल हो गया।
• RBn का प्रदर्शन:
  • आम तौर पर अच्छा प्रदर्शन किया लेकिन जब प्रति स्ट्रैटम क्लस्टरों की संख्या बहुत कम थी, तो अस्थिरता दिखाई, अक्सर JKn/RB की तुलना में थोड़ा अधिक विचरण कम करके आंका।
• डिज़ाइन मापदंडों का प्रभाव (Impact of Design Parameters):
  • प्रति स्ट्रैटम PSUs की संख्या ($a_h$) बढ़ाने से विधियों के बीच अंतर कम हो गया, जिससे गैर-डिज़ाइन-आधारित विधियाँ भी अधिक विश्वसनीय दिखाई देने लगीं (हालाँकि अभी भी उप-इष्टतम थीं)।
  • बड़े नमूना आकार ने शक्ति (power) में सुधार किया लेकिन trB में पूर्वाग्रह (bias) को ठीक नहीं किया।

5. NHANES डेटा पर अनुप्रयोग (Application to NHANES Data)

लेखकों ने मधुमेह की स्थिति (diabetes status) की भविष्यवाणी करने के लिए 2021–2023 NHANES डेटासेट पर ढांचे को लागू किया।

• सेटअप: विभिन्न सहचरों (covariates) वाले मॉडलों (युग्मित) और विभिन्न सर्वेक्षण चक्रों के माध्यम से मॉडलों (स्वतंत्र) की तुलना की गई।
• परिणाम:
  • डिज़ाइन-आधारित विधियों (JKn, RB) ने trB और RBn की तुलना में थोड़े व्यापक विश्वास अंतराल और बड़े p-मान (p-values) उत्पन्न किए।
  • एक युग्मित तुलना में, RBn (और trB) ने समान AUC के शून्य परिकल्पना को खारिज कर दिया, जबकि JKn और RB ने नहीं किया, जो सर्वेक्षण डिज़ाइन की अनदेखी करने पर होने वाले 'फॉल्स पॉजिटिव' (false positives) के जोखिम को उजागर करता है।
  • परिणामों ने सिमुलेशन निष्कर्षों की पुष्टि की: डिज़ाइन-आधारित विधियाँ अधिक रूढ़िवादी (conservative) और सांख्यिकीय रूप से वैध अनुमान प्रदान करती हैं।

6. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र स्थापित करता है कि AUC के विश्लेषण के दौरान जटिल सर्वेक्षण डिज़ाइनों की अनदेखी करना अमान्य सांख्यिकीय निष्कर्षों की ओर ले जाता है।

• सिफारिश: जटिल सर्वेक्षणों (जैसे, स्वास्थ्य सर्वेक्षणों) में भविष्य कहने वाले मॉडलों का विश्लेषण करने वाले शोधकर्ताओं को पारंपरिक बूटस्ट्रैपिंग के बजाय डिज़ाइन-आधारित विचरण अनुमान (विशेष रूप से JKn या RB) का उपयोग करना चाहिए।
• व्यावहारिक प्रभाव: svyROC R पैकेज में इन विधियों की उपलब्धता महामारी विज्ञानियों (epidemiologists) और सांख्यिकीविदों को टाइप I त्रुटि दरों को बढ़ाए बिना मॉडल के प्रदर्शन का सही ढंग से आकलन करने और मॉडलों की तुलना करने की अनुमति देती है।
• भावी कार्य: इस ढांचे को अन्य AUC अनुमानकों, लुप्त डेटा (missing data) रणनीतियों और सहचर समायोजन (covariate adjustments) को संभालने के लिए विस्तारित किया जा सकता है।

संक्षेप में, यह शोध पत्र एक सामान्य सांख्यिकीय अभ्यास के लिए एक महत्वपूर्ण सुधार प्रदान करता है, जिससे यह सुनिश्चित होता है कि जनसंख्या स्वास्थ्य अध्ययनों में भविष्य कहने वाले मॉडलों की विभेदक क्षमता का गणितीय कठोरता और वैधता के साथ मूल्यांकन किया जाए।