📊 statistics

Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package

यह शोध पत्र एक नवीन, लचीले, सिमुलेशन-आधारित ढांचे और उसके साथ संलग्न ओपन-सोर्स आर पैकेज, pmsims को पेश करके क्लिनिकल प्रेडिक्शन मॉडल्स के लिए न्यूनतम नमूना आकार (सैंपल साइज) निर्धारित करने की महत्वपूर्ण चुनौती को संबोधित करता है, जो लर्निंग कर्व्स और गॉसियन प्रोसेस ऑप्टिमाइजेशन को एकीकृत करता है ताकि उच्च प्रायिकता के साथ लक्षित प्रदर्शन सुनिश्चित करने वाले कुशल, मॉडल-अज्ञेय (मॉडल-एग्नोस्टिक) समाधान प्रदान किए जा सकें।

मूल लेखक: Diana Shamsutdinova, Felix Zimmer, Oyebayo Ridwan Olaniran, Sarah Markham, Daniel Stahl, Gordon Forbes, Ewan Carr

प्रकाशित 2026-03-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Diana Shamsutdinova, Felix Zimmer, Oyebayo Ridwan Olaniran, Sarah Markham, Daniel Stahl, Gordon Forbes, Ewan Carr

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नए व्यंजन के लिए एकदम सही रेसिपी बनाने की कोशिश कर रहे हैं। आप यह सुनिश्चित करना चाहते हैं कि जब आप इस व्यंजन को हजारों लोगों को परोसें, तो यह हर बार बेहतरीन स्वाद दे। लेकिन यहाँ एक पेच है: आपको इस व्यंजन को पकाने का अभ्यास कितनी बार करना होगा ताकि आप आश्वस्त हो सकें कि यह काम करेगा?

यदि आप इसे केवल एक या दो बार पकाते हैं, तो हो सकता है कि आपकी किस्मत चमक जाए, या हो सकता है कि आप इसे जला दें। आपको यह पता नहीं चलेगा कि आपकी रेसिपी वास्तव में अच्छी है या यह सिर्फ एक इत्तेफाक था। यह बिल्कुल वही समस्या है जिसका सामना डॉक्टर और शोधकर्ता क्लिनिकल प्रेडिक्शन मॉडल्स (Clinical Prediction Models) बनाने के दौरान करते हैं। ये "रेसिपी" (गणितीय सूत्र) होते हैं जो भविष्यवाणी करते हैं कि क्या कोई मरीज बीमार होगा, ठीक होगा, या किसी उपचार पर प्रतिक्रिया देगा, जो उनके लक्षणों पर आधारित होता है।

यह पेपर इस रहस्य को सुलझाने के बारे में है कि "एक विश्वसनीय मेडिकल प्रेडिक्शन बनाने के लिए हमें कितने डेटा की आवश्यकता है?"

यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. समस्या: सामग्री की गलत मात्रा का अनुमान लगाना

वर्षों से, शोधकर्ता एक साधारण नियम का उपयोग करते आए हैं, जैसे यह कहना कि, "आपको 1 कप आटे के लिए 10 अंडे चाहिए।" चिकित्सा में, यह "10 इवेंट्स पर वेरिएबल" (10 Events Per Variable) का नियम था। यदि आप 10 लक्षणों को ट्रैक कर रहे हैं, तो आपको कम से कम 100 बीमार लोगों का डेटा चाहिए।

समस्या: यह नियम बहुत सरल है। यह ऐसा ही है जैसे कहना कि "सभी केक में चीनी की समान मात्रा होनी चाहिए।" कुछ रेसिपी जटिल होती हैं (जैसे एक बहु-परतीय वेडिंग केक), और कुछ सरल होती हैं (जैसे एक मग केक)। यदि आप एक जटिल मशीन-लर्निंग मॉडल (एक बहुत ही शानदार, जटिल रेसिपी) के लिए इस सरल नियम का उपयोग करते हैं, तो आपका "केक" खराब हो सकता है। मॉडल उन कुछ मरीजों को याद रख सकता है जिनका आपने अध्ययन किया था (ओवरफिटिंग), लेकिन नए मरीज के सामने वह पूरी तरह विफल हो सकता है।

2. सफलता को मापने के दो तरीके

पेपर बताता है कि शोधकर्ता गलत सवाल पूछ रहे थे। वे आमतौर पर पूछते हैं: "औसतन, क्या यह मॉडल काम करेगा?"

लेखक कहते हैं कि हमें अधिक सख्त सवाल पूछना चाहिए: "क्या हम गारंटी दे सकते हैं कि यह मॉडल ज्यादातर समय काम करेगा?"

"औसत" दृष्टिकोण (The "Average" Approach): कल्पना कीजिए कि आप 100 बार सिक्का उछालते हैं। औसतन, आपको 50 बार 'हेड्स' मिलता है। लेकिन यदि आप केवल 10 बार उछालते हैं, तो आपको 8 बार हेड्स मिल सकता है या 2 बार। यदि आप उस छोटे नमूने के आधार पर एक मॉडल बनाते हैं, तो वह केवल एक इत्तेफाक हो सकता है।
"आश्वासन" दृष्टिकोण (The "Assurance" Approach - नया तरीका): यह कहने जैसा है कि, "मैं 80% सुनिश्चित होना चाहता हूँ कि यदि मैं 100 बार सिक्का उछालता हूँ, तो मुझे 50 हेड्स के करीब परिणाम मिलेगा।" पेपर उस सैंपल साइज (नमूना आकार) की गणना करने के लिए एक विधि पेश करता है जिसकी आवश्यकता उस 80% आत्मविश्वास स्तर तक पहुँचने के लिए है। यह केवल औसत के बारे में नहीं है; यह यह सुनिश्चित करने के बारे में है कि मॉडल स्थिर और विश्वसनीय हो, न कि केवल भाग्यशाली।

3. समाधान: "pmsims" सिम्युलेटर

लेखकों ने एक नया टूल बनाया है जिसे pmsims कहा जाता है (जिसे आप एक "वर्चुअल कुकिंग सिम्युलेटर" मान सकते हैं)।

केवल एक फॉर्मूले के बजाय, यह टूल कंप्यूटर पर हजारों वर्चुअल प्रयोग चलाता है:

यह नकली मरीज बनाता है: यह असली मरीजों जैसे दिखने वाले हजारों काल्पनिक मेडिकल रिकॉर्ड तैयार करता है।
यह अलग-अलग ग्रुप साइज का परीक्षण करता है: यह 100 नकली मरीजों पर, फिर 500 पर, फिर 1,000 पर, और फिर 5,000 पर मॉडल को प्रशिक्षित करके देखता है।
यह एक "लर्निंग कर्व" (Learning Curve) खींचता है: कल्पना कीजिए कि एक ग्राफ है जहाँ X-अक्ष "हमारे पास कितना डेटा है" है और Y-अक्ष "मॉडल कितना अच्छा है" है। यह टूल उस वक्र (curve) को देखने के लिए इसे बनाता है कि रेखा कहाँ स्थिर होती है।
यह सही बिंदु (Sweet Spot) ढूंढता है: यह आपको ठीक वह संख्या बताता है जिसकी आवश्यकता है ताकि मॉडल अपने लक्ष्य प्रदर्शन तक उच्च विश्वास के साथ पहुँच सके।

यह क्यों शानदार है?

यह लचीला है: यह सरल गणितीय मॉडल और सुपर-कॉम्प्लेक्स AI मॉडल (जैसे कि वे जो सेल्फ-ड्राइविंग कारों में उपयोग किए जाते हैं) दोनों के लिए काम करता है।
यह कुशल है: लाखों धीमे सिमुलेशन चलाने के बजाय, यह वक्र का अनुमान लगाने और तेजी से उत्तर खोजने के लिए एक स्मार्ट "गौसियन प्रोसेस" (इसे एक स्मार्ट गेसर समझें) का उपयोग करता है।

4. उन्होंने क्या पाया (टेस्ट टेस्ट)

लेखकों ने तीन अलग-अलग "रेसिपी" (केस स्टडीज) का उपयोग करके अपने नए सिम्युलेटर का पुराने तरीकों के मुकाबले परीक्षण किया।

परिणाम: पुराने तरीकों ने बहुत अलग-अलग उत्तर दिए। एक ने कहा कि आपको 200 मरीजों की आवश्यकता है; दूसरे ने कहा 15,000!
वास्तविकता: नए pmsims टूल ने ऐसे उत्तर दिए जो बीच के थे लेकिन बहुत अधिक विश्वसनीय थे। इसने दिखाया कि जटिल AI मॉडल के लिए, आपको अक्सर पुराने सरल नियमों के सुझाव की तुलना में 5 से 10 गुना अधिक डेटा की आवश्यकता होती है।

5. भविष्य: क्या कमी है?

पेपर स्वीकार करता है कि हालांकि उनका टूल बेहतरीन है, लेकिन वास्तविक दुनिया अव्यवस्थित है।

लापता सामग्री (Missing Ingredients): वास्तविक मेडिकल डेटा में अक्सर कुछ हिस्से गायब होते हैं (जैसे किसी मरीज द्वारा फॉर्म भरना भूल जाना)। टूल को इसे संभालने में बेहतर होने की आवश्यकता है।
ग्रुप डायनेमिक्स: कभी-कभी मरीज आपस में संबंधित होते हैं (जैसे परिवार) या समय के साथ देखे जाते हैं। टूल को इन जटिल संबंधों को बेहतर ढंग से संभालने की आवश्यकता है।
निष्पक्षता (Fairness): टूल को यह सुनिश्चित करने की आवश्यकता है कि मॉडल सभी के लिए समान रूप से काम करे, चाहे उनकी पृष्ठभूमि कुछ भी हो, ताकि पक्षपात से बचा जा सके।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर चिकित्सा AI के लिए हमें कितने डेटा की आवश्यकता है, इसका अनुमान लगाने को रोकने का एक आह्वान है। यह एक स्मार्ट, लचीला सिम्युलेटर प्रदान करता है जो शोधकर्ताओं को उस सटीक मात्रा को जानने में मदद करता है जिसकी आवश्यकता एक ऐसे मॉडल के निर्माण के लिए है जो न केवल "औसतन ठीक" है, बल्कि वास्तविक मरीजों के लिए विश्वसनीय और भरोसेमंद भी है।

संक्षेप में: केवल एक बार केक बनाकर यह उम्मीद न करें कि यह काम करेगा। एक सिम्युलेटर का उपयोग करें ताकि आप यह जान सकें कि हर बार एक परफेक्ट केक सुनिश्चित करने के लिए आपको कितने अभ्यास की आवश्यकता है।

यहाँ शम्सतुद्दीनोवा और अन्य द्वारा लिखित शोध पत्र "Sample Size Calculations for Developing Clinical Prediction Models: Overview and pmsims R package" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

क्लिनिकल प्रेडिक्शन मॉडल्स (CPMs) का विकास स्वास्थ्य सेवा संबंधी निर्णय लेने के लिए महत्वपूर्ण है, फिर भी मॉडल विकास के लिए उपयुक्त न्यूनतम नमूना आकार (minimum sample size) निर्धारित करना एक महत्वपूर्ण, अनसुलझी चुनौती बनी हुई है।

अपर्याप्त नमूना आकारों के परिणाम: अपर्याप्त डेटा ओवरफिटिंग (overfitting), खराब सामान्यीकरण (poor generalizability), पक्षपाती भविष्यवाणियों (biased predictions) और अस्थिर व्यक्तिगत जोखिम अनुमानों की ओर ले जाता है।
मौजूदा विधियों की सीमाएँ:
- अनुमानी नियम (जैसे, 10-20 Events Per Variable): ये अत्यधिक सरलीकृत हैं, जो प्रेडिक्टर की शक्ति, सहसंबंधों (correlations) और मॉडल की जटिलता को अनदेखा करते हैं।
- क्लोज्ड-फॉर्म एनालिटिक फॉर्मूला (जैसे, Riley et al., pmsampsize): ये तेज़ और व्याख्या योग्य हैं लेकिन सख्त वितरण संबंधी धारणाओं (जैसे, लीनियर/लॉजिस्टिक रिग्रेशन) पर निर्भर करते हैं और जटिल डेटा संरचनाओं, गैर-रैखिकता (non-linearities) और मशीन लर्निंग (ML) मॉडल्स के साथ संघर्ष करते हैं।
- सिमुलेशन-आधारित दृष्टिकोण: ये जटिल डेटा और ML के लिए लचीलापन प्रदान करते हैं लेकिन अक्सर गणनात्मक रूप से महंगे होते हैं और इनमें उपयोगकर्ता के अनुकूल, मानकीकृत सॉफ्टवेयर कार्यान्वयन का अभाव होता है।
"मीन बनाम एश्योरेंस" अंतराल (The "Mean vs. Assurance" Gap): अधिकांश मौजूदा विधियाँ औसत (mean) अपेक्षित प्रदर्शन के आधार पर नमूना आकार की गणना करती हैं। वे विभिन्न विकास डेटासेट्स में प्रदर्शन की परिवर्तनशीलता (variability) को ध्यान में रखने में विफल रहती हैं, जिसका अर्थ है कि एक मॉडल औसतन प्रदर्शन लक्ष्यों को प्राप्त कर सकता है लेकिन विशिष्ट मामलों में विफल हो सकता है। ऐसे उपकरणों की कमी है जो उच्च संभावना के साथ प्रदर्शन की गारंटी देते हैं (एश्योरेंस/assurance)।

2. कार्यप्रणाली (Methodology)

लेखक इन अंतरालों को दूर करने के लिए एक वैचारिक ढांचा और एक नया सॉफ्टवेयर टूल, pmsims प्रस्तावित करते हैं।

A. वैचारिक ढांचा (Conceptual Framework)

यह शोध पत्र नमूना आकार निर्धारण के लिए दो मानदंडों के बीच अंतर करता है:

मीन-आधारित मानदंड (Mean-based Criterion): वह सबसे छोटा $n$ खोजता है जहाँ अपेक्षित प्रदर्शन एक लक्ष्य ( $M^*$ ) से अधिक हो।
$\min n: E_{D_n}[E(M|D_n)] > M^*$
एश्योरेंस मानदंड (Assurance Criterion): एक सख्त प्रारूप जिसमें यह आवश्यकता होती है कि प्रदर्शन $M^*$ $M^{*}$ से उच्च संभावना (जैसे, 80%) के साथ अधिक हो। यह $n$ $n$ आकार के विभिन्न यादृच्छिक नमूनों के माध्यम से मॉडल प्रदर्शन की परिवर्तनशीलता को ध्यान में रखता है।
$\min n: P_{D_n}(E(M|D_n) > M^*) > \delta$
- महत्व: एश्योरेंस मानदंड यह सुनिश्चित करता है कि मॉडल अधिकांश विकास परिदृश्यों में लक्ष्य प्रदर्शन प्राप्त करेगा, न कि केवल औसतन। यह अस्थिर मॉडल्स (जैसे, डीप न्यूरल नेटवर्क) के लिए महत्वपूर्ण है जहाँ डेटा में छोटे बदलाव प्रदर्शन में बड़े उतार-चढ़ाव ला सकते हैं।

B. pmsims दृष्टिकोण (The pmsims Approach)

pmsims R पैकेज एक सिमुलेशन-आधारित, मॉडल-एग्नोस्टिक (model-agnostic) वर्कफ़्लो लागू करता है जो तीन प्रमुख घटकों को एकीकृत करता है:

डेटा जनरेशन (Data Generation): उपयोगकर्ता लक्षित जनसंख्या की विशेषताओं (प्रचलन, सहसंबंध, शोर) को दर्शाने वाले प्रेडिक्टर्स और आउटकम्स (बाइनरी, निरंतर, टाइम-टू-इवेंट) को सिम्युलेट करने के लिए एक डेटा जनरेटर (मानक या कस्टम) को परिभाषित करता है।
लर्निंग कर्व एस्टीमेशन (Learning Curve Estimation): पैकेज विभिन्न आकारों ( $n$ ) के डेटासेट्स को पुनरावृत्ति (iteratively) के रूप में सिम्युलेट करता है, उपयोगकर्ता-परिभाषित मॉडल (लॉजिस्टिक्स रिग्रेशन, ML, आदि) फिट करता है, और स्वतंत्र टेस्ट सेट्स पर प्रदर्शन का मूल्यांकन करता है।
गौसियन प्रोसेस (GP) ऑप्टिमाइज़ेशन: गणना के बोझ को कम करने के लिए, pmsims लर्निंग कर्व ($Performance = g(n)$) को अनुमानित करने के लिए GP सरोगेट मॉडलिंग का उपयोग करता है। यह कुशलतापूर्वक उस न्यूनतम $n$ की खोज करता है जहाँ प्रदर्शन वितरण का 20वां पर्सेंटाइल (जो 80% एश्योरेंस का प्रतिनिधित्व करता है) लक्ष्य थ्रेशोल्ड से अधिक हो जाता है।

वर्कफ़्लो चरण:

परिदृश्य (Scenario) परिभाषित करें: आउटकम प्रकार, प्रेडिक्टर्स, मॉडल क्लास, प्रदर्शन मीट्रिक (जैसे, AUC, कैलिब्रेशन स्लोप), और स्वीकार्य विचलन के साथ लक्ष्य प्रदर्शन ( $M_{ideal}$ ) निर्दिष्ट करें।
जनरेटर को ट्यून करें: यह सुनिश्चित करने के लिए डेटा जनरेटर को कैलिब्रेट करें कि मॉडल बड़े नमूना आकारों पर लक्ष्य प्रदर्शन प्राप्त करे।
वक्र (Curve) का अनुमान लगाएं: सिंथेटिक डेटा उत्पन्न करें, मॉडल फिट करें, और लर्निंग कर्व को इंटरपोलेट करने के लिए GP रिग्रेशन का उपयोग करें।
$n$ निर्धारित करें: वह सबसे छोटा नमूना आकार पहचानें जहाँ कॉन्फिडेंस इंटरवल का निचला स्तर (एश्योरेंस) लक्ष्य को पूरा करता है।

3. मुख्य योगदान (Key Contributions)

नवीन ढांचा: यह मीन-आधारित और एश्योरेंस-आधारित नमूना आकार गणनाओं के बीच अंतर को औपचारिक रूप देता है, और मजबूती सुनिश्चित करने के लिए एश्योरेंस का समर्थन करता है।
pmsims सॉफ्टवेयर: एक ओपन-सोर्स, मॉडल-एग्नोस्टिक R पैकेज पेश करता है जो सिमुलेशन, लर्निंग कर्व्स और GP ऑप्टिमाइज़ेशन को जोड़ता है। यह समर्थन करता है:
- कोई भी प्रेडिक्शन मॉडल (लॉजिस्टिक्स रिग्रेशन से लेकर रैंडम फॉरेस्ट और न्यूरल नेटवर्क तक)।
- उपयोगकर्ता-परिभाषित प्रदर्शन मीट्रिक्स।
- कस्टम डेटा जनरेटर्स।
तुलनात्मक विश्लेषण: यह मौजूदा विधियों (अनुमानी, एनालिटिक, सिमुलेशन) की व्यापक समीक्षा और उनकी शक्तियों एवं सीमाओं का वर्गीकरण (तालिका 1) प्रदान करता है।

4. परिणाम (Results)

लेखकों ने तीन केस स्टडीज के माध्यम से pmsims की तुलना अन्य टूल्स (pmsampsize, samplesizedev, Silvey & Liu का Shiny ऐप, और विभिन्न अनुभवजन्य सूत्र) से करके दृष्टिकोण को मान्य किया।

अनुमानों में परिवर्तनशीलता: विभिन्न विधियों के बीच नमूना आकार के अनुमान काफी भिन्न थे।
- लॉजिस्टिक्स रिग्रेशन: विधि के आधार पर अनुमान 200 से 6,000 के बीच रहे।
- मशीन लर्निंग: ML मॉडल्स को रिग्रेशन की तुलना में काफी बड़े डेटासेट्स (5-10 गुना अधिक) की आवश्यकता होती है और विधियों के बीच अधिक परिवर्तनशीलता दिखाई देती है।
मिस्पेसिफिकेशन (Misspecification) का प्रभाव: जब प्रेडिक्शन मॉडल डेटा-जनरेटिंग मैकेनिज्म से मेल नहीं खाता था (जैसे, गैर-रेखीय डेटा पर लीनियर रिग्रेशन का उपयोग करना), तो आवश्यक नमूना आकार नाटकीय रूप से बढ़ गया (जैसे, >20,000)।
pmsims का प्रदर्शन:
- pimsms के अनुमान (जैसे, केस 1 के लिए 3,510) अन्य विधियों द्वारा दिए गए रेंज के मध्य में थे।
- महत्वपूर्ण रूप से, pmsims ने एश्योरेंस-आधारित अनुमान प्रदान किए (80% मामलों में प्रदर्शन की गारंटी), जबकि कई अन्य उपकरण केवल मीन-आधारित अनुमान प्रदान करते थे।
- पैकेज ने विविध मीट्रिक्स (AUC, कैलिब्रेशन स्लोप, MAPE) और मॉडल प्रकारों को संभालने में लचीलापन प्रदर्शित किया।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

व्यावहारिक प्रभाव: pmsims सैद्धांतिक नमूना आकार पद्धति और व्यावहारिक अनुप्रयोग के बीच के अंतर को पाटता है, जो शोधकर्ताओं को शास्त्रीय सांख्यिकी और आधुनिक ML दोनों के लिए मजबूत अध्ययन डिजाइन करने हेतु एक उपकरण प्रदान करता है।
ओवरफिटिंग को संबोधित करना: औसत प्रदर्शन के बजाय एश्योरेंस को प्राथमिकता देकर, यह टूल उन मॉडल्स को तैनात करने से रोकने में मदद करता है जो औसतन सफल दिखते हैं लेकिन डेटा परिवर्तनशीलता के कारण व्यवहार में विफल हो जाते हैं।
भविष्य का कार्य: लेखक विस्तार के लिए कई क्षेत्रों की पहचान करते हैं:
- पदानुक्रमित (Hierarchical), क्लस्टर्ड और अनुदैर्ध्य (Longitudinal) डेटा को संभालना (जो स्वास्थ्य रिकॉर्ड में सामान्य है)।
- नमूना आकार गणना में लुप्त डेटा (Missing Data) तंत्र को एकीकृत करना।
- उप-समूहों में न्यायसंगत प्रदर्शन सुनिश्चित करने के लिए फेयरनेस (Fairness) और स्थिरता (Stability) मेट्रिक्स को शामिल करना।
- जटिल वास्तविक दुनिया के क्लिनिकल डेटा की बेहतर नकल करने के लिए अधिक परिष्कृत डेटा जनरेटर्स (जैसे, GANs) विकसित करना।

निष्कर्षतः, यह शोध पत्र क्लिनिकल प्रेडिक्शन मॉडलिंग के क्षेत्र को सरल अनुमानी नियमों और कठोर सूत्रों से आगे बढ़ाकर एक लचीले, सिमुलेशन-संचालित ढांचे की ओर ले जाता है जो एश्योरेंस मानदंड के माध्यम से भविष्य कहने वाले मॉडल्स की विश्वसनीयता और सामान्यीकरण को प्राथमिकता देता है।