📄 health informatics

Separation-like irregularity and sample size optimism in high-discrimination logistic prediction models

यह अध्ययन प्रदर्शित करता है कि लॉजिस्टिक प्रेडिक्शन मॉडल के लिए क्लोज्ड-फॉर्म सैंपल साइज मानदंड, जैसे कि राइली फ्रेमवर्क, जैसे-जैसे लक्षित भेदभाव (टारगेट डिस्क्रिमिनेशन) बढ़ता है, तेजी से आशावादी होते जाते हैं और आवश्यक सैंपल साइज का कम आकलन करते हैं, जो मुख्य रूप से सेपरेशन-जैसे व्यवहार के कारण होता है जो कैलिब्रेशन को अस्थिर कर देता है, जिससे उच्च-भेदभाव वाले परिदृश्यों के लिए सिमुलेशन-आधारित स्ट्रेस टेस्ट का उपयोग करना आवश्यक हो जाता है।

मूल लेखक: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

प्रकाशित 2026-01-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liu, Z., Liang, Y., Wang, L. S., Yu, J., Liu, J.

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नया सूप बनाने की रेसिपी तैयार करने की कोशिश कर रहे हैं जो यह भविष्यवाणी कर सके कि ग्राहक इसे पसंद करेगा या नफरत करेगा। आपके पास सामग्रियों (प्रेडिक्टर्स) की एक सूची है जैसे नमक, काली मिर्च और जड़ी-बूटियाँ। आपका लक्ष्य एक ऐसी रेसिपी (एक गणितीय मॉडल) लिखना है जो इतनी अच्छी हो कि वह केवल सामग्रियों को देखकर ग्राहक की प्रतिक्रिया का सटीक अनुमान लगा सके।

यह पेपर इस बारे में है कि अपना रेस्टोरेंट खोलने से पहले आपको एक विश्वसनीय रेसिपी लिखने के लिए कितने स्वाद परीक्षणों (डेटा पॉइंट्स) की आवश्यकता है।

पुराना नियम बनाम नई वास्तविकता

लंबे समय तक, शेफ (शोधकर्ताओं) ने एक सरल नियम का उपयोग किया: "यदि आपके पास 10 सामग्रियां हैं, तो आपको कम से कम 100 स्वाद परीक्षणों की आवश्यकता है।" बाद में, एक अधिक परिष्कृत नियम पुस्तिका (जिसे राइली फ्रेमवर्क कहा जाता है, जिसका उपयोग pmsampsize नामक टूल में किया जाता है) बनाई गई। यह नियम पुस्तिका एक स्मार्ट कैलकुलेटर की तरह है जो कहती है, "आपके सूप की जटिलता और आप इसके स्वाद के बारे में क्या सोचते हैं के आधार पर, आपको ठीक इतने ही परीक्षणों की आवश्यकता है।"

पेपर के लेखकों ने एक महत्वपूर्ण प्रश्न पूछा: क्या यह स्मार्ट कैलकुलेटर हमेशा सही होता है?

उन्होंने पाया कि जब सूप "ठीक-ठाक" (मध्यम भेदभाव/मॉडरेट डिस्क्रिमिनेशन) होता है, तो कैलकुलेटर बहुत अच्छा काम करता है। लेकिन जब सूप अत्यंत स्वादिष्ट (उच्च भेदभाव/हाई डिस्क्रिमिनेशन, जिसका अर्थ है कि सामग्रियां परिणाम को बहुत स्पष्ट बनाती हैं) होता है, तो कैलकुलेटर झूठ बोलने लगता है। यह आपको बताता है, "आपको केवल कुछ ही परीक्षणों की आवश्यकता है!" जबकि वास्तव में, आपको बहुत अधिक परीक्षणों की आवश्यकता होती है।

"परफेक्ट स्टॉर्म" की उपमा

इसे घास के ढेर में सुई खोजने की कोशिश करने जैसा समझें।

कम भेदभाव (लो डिस्क्रिमिनेशन): सुई एक विशाल घास के ढेर में गहराई में दबी हुई है। इसे ढूंढना कठिन है। कैलकुलेटर कहता है, "आपको खोजने के लिए बहुत समय चाहिए।" यह सही है।
उच्च भेदभाव (हाई डिस्क्रिमिनेशन): सुमिली चमक रही है और घास के ऊपर ही रखी है। इसे देखना बहुत आसान है। कैलकुलेटर इसे देखता है और कहता है, "वाह, यह तो बहुत आसान है! आपको केवल 5 सेकंड चाहिए।"

यहाँ समस्या है: सिर्फ इसलिए कि सुई चमक रही है, इसका मतलब यह नहीं है कि आप 5 सेकंड के बाद खोजना बंद कर सकते हैं। यदि आप बहुत जल्दी रुक जाते हैं, तो हो सकता है कि आप सुई का सटीक स्थान भूल जाएं, या आपको लग सकता है कि आपने उसे ढूंढ लिया है जबकि आपने वास्तव में केवल एक चमकदार एल्युमीनियम का टुकटा देखा था।

सांख्यिकी (स्टैटिस्टिक्स) की दुनिया में, जब कोई मॉडल परिणाम की भविष्यवाणी करने में "बहुत अच्छा" होता है, तो गणित अस्थिर हो जाता है। कैलकुलेटर मानता है कि गणित सहज और आसान है, लेकिन वास्तव में, संख्याएँ अनियंत्रित होने लगती हैं (एक घटना जिसे सेपरेशन कहा जाता है)। मॉडल लगभग हर किसी के लिए "100% प्यार की संभावना" या "0% प्यार की संभावना" की भविष्यवाणी करने लगता है। यह कागज पर बहुत अच्छा दिखता है, लेकिन वास्तव में यह एक संकेत है कि रेसिपी अस्थिर है और नए ग्राहकों पर परीक्षण करने पर विफल हो जाएगी।

लेखकों ने क्या किया

लेखकों ने इस परीक्षण के लिए एक विशाल कंप्यूटर सिमुलेशन ("वर्चुअल किचन") चलाया।

उन्होंने अलग-अलग "स्वादिष्टता" (भेदभाव) के स्तरों वाले हजारों नकली सूप बनाए।
उन्होंने कैलकुलेटर से पूछा कि कितने स्वाद परीक्षणों की आवश्यकता थी।
फिर उन्होंने वास्तव में यह देखने के लिए परीक्षण किए कि एक स्थिर, विश्वसनीय रेसिपी प्राप्त करने के लिए वास्तव में कितने परीक्षणों की आवश्यकता थी।

परिणाम:

मध्यम सूप: कैलकुलेटर सही था।
अत्यंत स्वादिष्ट सूप: कैलकुलेटर बहुत अधिक आशावादी था। इसने ऐसे सैंपल साइज का सुझाव दिया जो 20% से 40% तक कम थे। यदि शोधकर्ताओं ने इन "परफेक्ट" सूपों के लिए कैलकुलेटर की सलाह मानी होती, तो उनके मॉडल अस्थिर होते और उनके जोखिम की भविष्यवाणियां खतरनाक रूप से गलत होतीं।

सिस्टम में "ग्लिच" (खराबी)

कैलकुलेटर क्यों विफल होता है? लेखकों ने पाया कि जब मॉडल बहुत अच्छा होता है, तो कंप्यूटर के अंदर का गणित गड़बड़ाने लगता है। यह एक GPS की तरह है जो बहुत तेज़ गति से गाड़ी चलाने पर भ्रमित हो जाता है; यह सोचता है कि इसे रास्ता पूरी तरह से पता है, लेकिन वास्तव में यह गोल-गोल घूम रहा होता है।

उनके सिमुलेशन में, उन्होंने देखा कि जिन सैंपल साइज की सिफारिश कैलकुलेटर ने की थी, वहां कंप्यूटर मॉडल अक्सर "चरम" परिणाम (99.999% निश्चितता की भविष्यवाणी करना) देने लगे। भले ही कंप्यूटर ने कहा "मैं समाप्त हुआ, मैंने उत्तर पा लिया है," वह उत्तर वास्तव में एक संयोग (फ्लूक) था। मॉडल ने पैटर्न को वास्तव में सीखा नहीं था; उसने केवल शोर (नॉइज़) को याद कर लिया था।

शेफ्स (शोधकर्ताओं) के लिए सीख

पेपर यह नहीं कहता कि "कैलकुलेटर फेंक दें।" यह कहता है: कैलकुलेटर को एक शुरुआती बिंदु के रूप में उपयोग करें, लेकिन जब सूप बहुत अधिक परफेक्ट हो, तो उस पर आँख मूंदकर भरोसा न करें।

यदि आप एक ऐसा मॉडल बना रहे हैं जिसके बारे में आपको उम्मीद है कि वह बहुत सटीक होगा (उच्च भेदभाव), तो आपको:

एक "स्ट्रेस टेस्ट" चलाना चाहिए: अपना सारा डेटा एकत्र करने से पहले, एक छोटा सिमुलेशन चलाएं और देखें कि क्या मॉडल अजीब व्यवहार करने लगता है (बहुत अधिक बार 100% या 0% की भविष्यवाणी करना)।
अधिक डेटा प्राप्त करें: यदि स्ट्रेस टेस्ट दिखाता है कि मॉडल अस्थिर है, तो आपको कैलकुलेटर द्वारा सुझाए गए डेटा से अधिक डेटा एकत्र करने की आवश्यकता है।
एक सुरक्षा जाल (सेफ्टी नेट) का उपयोग करें: एक मानक रेसिपी के बजाय, एक "स्थिर" रेसिपी (जैसे रिज रिग्रेशन) का उपयोग करें जो मॉडल को बहुत उत्साहित होने और चरम भविष्यवाणियां करने से रोकता है।

सारांश

पेपर चेतावनी देता है कि जब कोई प्रेडिक्शन मॉडल भविष्य बताने में बहुत अच्छा होता है, तो अध्ययन की योजना बनाने के लिए उपयोग किया जाने वाला मानक गणित टूट जाता है। यह शोधकर्ताओं को सावधान रहने के लिए कहता है कि वे उच्च सटीकता से धोखा न खाएं; उन्हें यह सुनिश्चित करने के लिए कि उनका मॉडल वास्तव में विश्वसनीय है और केवल एक भाग्यशाली अनुमान नहीं है, अधिक डेटा और बेहतर जांच की आवश्यकता है।

तकनीकी सारांश: उच्च-विभेदन वाले लॉजिस्टिक प्रेडिक्शन मॉडल में सेपरेशन-जैसी अनियमितता और सैंपल साइज का आशावाद (Optimism)

समस्या विवरण
नैदानिक भविष्यवाणी मॉडल (clinical prediction models) का विकास, विशेष रूप से लॉजिस्टिक रिग्रेशन का उपयोग करते समय, स्थिर अंशांकन (calibration) सुनिश्चित करने और ओवरफिटिंग से बचने के लिए पर्याप्त सैंपल साइज पर निर्भर करता है। हालांकि रिले फ्रेमवर्क (जिसे pmsampsize R पैकेज के माध्यम से लागू किया गया है) वैश्विक श्रिंकेज लक्ष्यों (global shrinkage targets) के आधार पर न्यूनतम सैंपल साइज निर्धारित करने के लिए व्यापक रूप से उपयोग किए जाने वाले क्लोज्ड-फॉर्म मानदंडों के लिए मानक प्रदान करता है, हालिया मूल्यांकन बताते हैं कि ये सूत्र विशिष्ट डिज़ाइन व्यवस्थाओं में आशावादी (optimistic) हो सकते हैं। विशेष रूप से, यह चिंता है कि जब प्रत्याशित मॉडल विभेदन (AUC) उच्च होता है, तो क्लोज्ड-फॉर्म सिफारिशें अंशांकन स्थिरता बनाए रखने के लिए आवश्यक सैंपल साइज का कम अनुमान लगा सकती हैं। यह शोध $n_{Riley}$ के ऑपरेटिंग कैरेक्टर्स का अध्ययन करता है, जो एक अनुभवजन्य रूप से व्युत्पन्न सैंपल साइज आवश्यकता ( $n_{req}$ ) द्वारा परिभाषित है, जिसका मुख्य ध्यान उच्च-विभेदन सेटिंग्स पर है जहाँ "सेपरेशन-जैसी" (separation-like) संख्यात्मक अनियमितताएं हो सकती हैं।

कार्यप्रणाली (Methodology)
लेखकों ने फॉर्मूला-आधारित सिफारिशों की तुलना अनुभवजन्य आवश्यकताओं से करने के लिए एक व्यापक मोंटे कार्लो सिमुलेशन अध्ययन आयोजित किया।

सिमुलेशन डिज़ाइन: अध्ययन ने चार डिज़ाइन कारकों को क्रॉस करते हुए एक फैक्टोरियल ग्रिड का उपयोग किया:
- प्रेडिक्टर वितरण (Predictor Distributions): सामान्य (Normal), मानकीकृत तिरछा निरंतर (standardized skewed continuous/exponential), और बाइनरी (Bernoulli)।
- सिग्नल डेंसिटी (Signal Density): सघन (Dense - सिग्नल सभी $p=10$ प्रेडिक्टर्स में वितरित) बनाम विरल (Sparse - सिग्नल 3 प्रेडिक्टर्स में केंद्रित, 7 शोर वाले)।
- लक्ष्य विभेदन (Target Discrimination): $AUC_{target} \in \{0.70, 0.75, 0.80, 0.85, 0.90\}$ ।
- प्रचलन (Prevalence): $\phi_{target} \in \{0.05, 0.10, 0.20\}$ ।
डेटा जनरेशन: प्रत्येक परिदृश्य के लिए, मापदंडों ( $\alpha$ इंटरसेप्ट और $f$ सिग्नल स्ट्रेंथ) को एक बड़े सिंथेटिक जनसंख्या ( $N=1,000,000$ ) पर नेस्टेड रूट-फाइंडिंग के माध्यम से कैलिब्रेट किया गया ताकि यह सुनिश्चित हो सके कि उत्पन्न डेटा सटीक रूप से लक्षित प्रचलन और AUC से मेल खाता है।
बेंचमार्क ( $n_{Riley}$ ): $S \geq 0.90$ के वैश्विक श्रिंकेज लक्ष्य के साथ pmsampsize पैकेज का उपयोग करके गणना की गई।
अनुभवजन्य आवश्यकता ( $n_{req}$ ): इसे इस प्रकार परिभाषित किया गया कि बार-बार डेवलपमेंट सैंपलिंग के तहत:
1. अपेक्षित लॉजिट-स्केल अंशांकन ढलान $E(b_n) \geq 0.90$ हो।
2. गंभीर मिसकैलिब्रेशन की संभावना $Pr(b_n < 0.80) \leq 0.20$ हो।
- $n_{req}$ को एक बड़े, निश्चित वैलिडेशन कोवेरिएट सेट ( $N_{val}=50,000$ ) पर ट्रुथ-बेस्ड अंशांकन ढलानों का उपयोग करके एक एडेप्टिव बाइसेक्शन सर्च के माध्यम से निर्धारित किया गया ताकि आउटकम नॉइज़ को समाप्त किया जा सके।
मैकेनिज्म डायग्नोस्टिक्स: $n = n_{Riley}$ पर, अध्ययन ने नॉन-कन्वर्जेंस, सेपरेशन चेतावनियों (चरम फिटेड लॉग-ऑड्स या प्रोबेबिलिटीज़) और चरम फिटेड रिस्क की आवृत्तियों को रिकॉर्ड किया ताकि यह आकलन किया जा सके कि क्या संख्यात्मक विकृतियां (numerical pathologies) विसंगतियों की व्याख्या करती हैं।
अनुप्रयुक्त चित्रण (Applied Illustration): एक वास्तविक दुनिया के स्ट्रोक प्रेडिक्शन डेटासेट का उपयोग इन डायग्नोस्टिक्स के अनुप्रयोग और अनपेनलाइज्ड (unpenalized) बनाम रिज-पेनलाइज्ड (ridge-penalized) लॉजिस्टिक रिग्रेशन की तुलना को प्रदर्शित करने के लिए किया गया।

मुख्य परिणाम

विभेदन-निर्भर विचलन (Discrimination-Dependent Divergence): मध्यम विभेदन ( $AUC_{target} \leq 0.75$ ) पर, $n_{Riley}$ ने $n_{req}$ का बारीकी से अनुमान लगाया। हालांकि, जैसे-जैसे विभेदन बढ़ा, $n_{Riley}$ ने आवश्यक सैंपल साइज का कम अनुमान लगाना शुरू कर दिया। $AUC_{target} = 0.90$ पर, फॉर्मूला-आधारित सिफारिश अनुभवजन्य आवश्यकता से काफी कम थी (उदाहरण के लिए, प्रचलन के आधार पर -40.5% से -47.2% का सापेक्ष अंतर), जिससे ऐसे मॉडल प्राप्त हुए जिनका अंशांकन ढलान 0.90 के लक्ष्य से काफी नीचे था।
मजबूती (Robustness): उच्च विभेदन पर कम अनुमान लगाने का प्राथमिक पैटर्न विभिन्न प्रेडिक्टर वितरणों (सामान्य, तिरछा, बाइनरी) और सिग्नल डेंसिटी कॉन्फ़िगरेशन (सघन बनाम विरल) में सुसंगत रहा।
आशावाद का तंत्र (Mechanism of Optimism): उच्च-वि berhubungan सेटिंग्स में $n = n_{Riley}$ $n = n_{R i l ey}$ पर, मानक अनपेनलाइज्ड लॉजिस्टिक रिग्रेशन फिट अक्सर "सेपरेशन-जैसी" व्यवहार प्रदर्शित करते हैं, भले ही वे नाममात्र कन्वर्जेंस रिपोर्ट करते हों।
- हालांकि पूर्ण नॉन-कन्वर्जेंस दुर्लभ था, सेपरेशन चेतावनियों (चरम फिटेड रिस्क या लॉग-ऑड्स) की आवृत्ति AUC के साथ तेजी से बढ़ी (कम प्रचलन के लिए $AUC=0.90$ पर ~50% तक पहुँच गई)।
- यह सुझाव देता है कि रिले श्रिंकेज एप्रोक्सिमेशन में उपयोग किए जाने वाले लाइक्लीहुड-आधारित सूचना माप (जैसे $\Delta\chi^2$ ) लगभग नियत (near-deterministic) भविष्यवाणियों द्वारा अत्यधिक प्रभावित या विचलित हो जाते हैं, जिससे अत्यधिक आशावादी श्रिंकेज अनुमान और परिणामस्वरूप अपर्याप्त सैंपल साइज सिफारिशें होती हैं।
अनुप्रयुक्त चित्रण: स्ट्रोक डेटासेट उदाहरण में, फॉर्मूला-अनुशंसित सैंपल साइज के साथ विकसित एक अनपेनलाइज्ड मॉडल ने ओवरफिटिंग के संकेत दिखाए (अंशांकन ढलान 0.802), जबकि एक रिज-पेनलाइज्ड मॉडल ने बेहतर स्थिरता हासिल की (ढलान 1.013), हालांकि इसमें अंडरफिटिंग की ओर मामूली झुकाव देखा गया।

मुख्य योगदान

अनुभवजन्य मैपिंग: अध्ययन व्यवस्थित रूप से यह लक्षण वर्णन करता है कि कहाँ क्लोज्ड-फॉर्म सैंपल साइज सिफारिशें सिमुलेशन-आधारित आवश्यकताओं के साथ संरेखित होती हैं या उनसे विचलित होती हैं, जिससे उच्च-प्रदर्शन व्यवस्थाओं में लक्षित विभेदन (AUC) को आशावाद के प्राथमिक चालक के रूप में पहचाना गया है।
डायग्नोस्टिक प्रोटोकॉल: यह एक सेट के नैदानिक प्रोटोकॉल को संचालित करता है (जैसे चरम फिटेड रिस्क) जिसे अनुशंसित सैंपल साइज पर मूल्यांकन किया जाना चाहिए। ये डायग्नोस्टिक्स यह पता लगाने के लिए एक व्यावहारिक उपकरण के रूप में कार्य करते हैं कि कब लाइक्लीहुड-आधारित अनुमान दबाव में हैं।
व्यावहारिक मार्गदर्शन: लेखक एक वर्कफ़्लो का प्रस्ताव करते हैं जहाँ $n_{Riley}$ एक सिद्धांत-आधारित बेसलाइन के रूप में कार्य करता है, लेकिन इसे उच्च विभेदन की आशंका होने पर लक्षित सिमुलेशन स्ट्रेस टेस्ट और अस्थिरता डायग्नोस्टिक्स द्वारा बढ़ाया जाना चाहिए।

महत्व और दावे
यह पेपर दावा करता है कि फॉर्मूला-आधारित न्यूनतम सैंपल साइज सिफारिशों की सटीकता प्रत्याशित विभेदन का एक फलन (function) है। लेखक तर्क देते हैं कि जबकि रिले फ्रेमवर्क मध्यम विभेदन के लिए एक रक्षात्मक उपकरण बना हुआ है, उच्च-विभेदन सेटिंग्स में इसकी निर्भरता "सेपरेशन-जैसी" संख्यात्मक अनियमितताओं की व्यापकता के कारण टूट जाती है।

इसका महत्व इस बात में निहित है कि यह स्पष्ट करता है कि क्लोज्ड-फॉर्म मानदंड उच्च-विभेदन सेटिंग्स में क्यों आशावादी हो जाते हैं: फिट किया गया लाइक्लीहुड लगभग नियत भविष्यवाणियों द्वारा हावी हो जाता है, जिससे सूचना मापों और प्रभावी ओवरफिटिंग के बीच का संबंध कमजोर हो जाता है। फलस्वरूप, लेखक अनुशंसा करते हैं कि जिन शोधकर्ताओं को उच्च-विभेदन मॉडल की योजना बनानी है, उन्हें केवल क्लोज्ड-फॉर्म गणनाओं पर निर्भर नहीं रहना चाहिए, बल्कि उन्हें स्पष्ट अंशांकन स्थिरता और संख्यात्मक डायग्नोस्टिक्स के समर्थन के साथ सिमुलेशन-आधारित योजना या दंडित (penalized) अनुमान रणनीतियों का उपयोग करना चाहिए। अध्ययन रिले फ्रेमवर्क को पूरी तरह से अमान्य करने का दावा नहीं करता है, बल्कि इसके विश्वसनीयता की सीमाओं को परिभाषित करने और विशिष्ट उच्च-जोखिम वाली व्यवस्थाओं में इसकी सीमाओं को कम करने के लिए एक तंत्र-संचालित दृष्टिकोण प्रदान करने का प्रयास करता है।