Formalising Sample Size Calculations for the Development of Risk Prediction Models: The Importance of Accounting for Performance Variability

कल्पना कीजिए कि आप एक शेफ हैं जो एक नए व्यंजन के लिए एक आदर्श रेसिपी बनाने की कोशिश कर रहे हैं। आपके पास सामग्रियों (प्रेडिक्टर्स) की एक सूची है और आप एक रेसिपी (एक मॉडल) बनाना चाहते हैं जिसका स्वाद हर उस व्यक्ति के लिए बिल्कुल सही हो जो इसे चखे। चिकित्सा की दुनिया में, इन "रेसिपी" को रिस्क प्रेडिक्शन मॉडल कहा जाता है। वे डॉक्टरों को यह अनुमान लगाने में मदद करते हैं कि किसी मरीज को किसी विशिष्ट स्वास्थ्य घटना, जैसे कि दिल का दौरा या संक्रमण होने की कितनी संभावना है, जो उनकी उम्र, वजन और मेडिकल हिस्ट्री जैसी चीजों पर आधारित होती है। लेकिन पेचीदा हिस्सा यह है: सिर्फ इसलिए कि एक रेसिपी आपकी अपनी रसोई में लाजवाब लगती है, इसका मतलब यह नहीं है कि वह हर दूसरी रसोई में भी वैसी ही लगेगी। यदि आप अपनी रेसिपी का परीक्षण करने के लिए केवल कुछ ही बैच बनाते हैं, तो हो सकता है कि आप संयोग से सही स्वाद पा लें, या केवल इसलिए कि आपने पर्याप्त सामग्री नहीं मिलाई, आपको एक अजीब, नमकीन बैच मिल जाए। यह "वेरिएबिलिटी" (परिवर्तनीयता) की समस्या है। वैज्ञानिकों को यह जानने की आवश्यकता है कि उन्हें यह सुनिश्चित करने के लिए कितने बैच (या मरीजों) का परीक्षण करने की आवश्यकता है कि उनकी रेसिपी विश्वसनीय है, न कि केवल एक भाग्यशाली संयोग।

लंबे समय तक, यह निर्धारित करने का मानक तरीका कि कितने मरीजों की आवश्यकता है, एक "औसत" आदर्श परिणाम प्राप्त करने पर केंद्रित था। यह ऐसा था जैसे कहना, "यदि हम 1,000 बैच बनाते हैं, तो औसत स्वाद स्वादिष्ट होना चाहिए।" लेकिन इस पेपर के लेखक, मेनलेओस पावलू, रुमाना जे. उमर और गैरेथ एम्बलर ने महसूस किया कि केवल औसत पर ध्यान देना पर्याप्त नहीं है। कभी-कभी, भले ही औसत शानदार हो, लेकिन केवल खराब किस्मत के कारण आपको एक पूरी तरह से खाने योग्य न होने वाला बैच मिल सकता है। वे तर्क देते हैं कि हमें अपना लक्ष्य बदलने की आवश्यकता है: केवल यह उम्मीद करने के बजाय कि औसत अच्छा होगा, हमें यह सुनिश्चित करने का लक्ष्य रखना चाहिए कि हमारे द्वारा बनाए गए अधिकांश बैच वास्तव में अच्छे हों। वे इसे "प्रोबेबिलिटी ऑफ एक्सेप्टेबल परफॉर्मेंस" (स्वीकार्य प्रदर्शन की संभावना) कहते हैं। यह ऐसा है जैसे कहना: "हमें पर्याप्त बैच पकाने की आवश्यकता है ताकि इस बात की 80% संभावना हो कि हमारे द्वारा निकाला गया कोई भी एकल बैच बेहतरीन स्वाद वाला होगा," बजाय इसके कि केवल यह उम्मीद करें कि सभी बैचों का औसत अच्छा होगा।

पेपर सुझाव देता है कि पुराने तरीके से सैंपल साइज (नमूना आकार) की गणना करने से अक्सर ऐसे मॉडल बनते हैं जो अस्थिर होते हैं, विशेष रूप से जब मॉडल में बहुत कम सामग्रियां (प्रेडिक्टर्स) होती हैं। यदि आप केवल दो सामग्रियों के साथ केक बनाने की कोशिश करते हैं, तो आपको यह सुनिश्चित करने के लिए कि आप केवल मिश्रण में भाग्यशाली नहीं थे, एक बहुत बड़े किचन (अधिक डेटा) की आवश्यकता होगी। लेखकों ने कंप्यूटर सिमुलेशन का उपयोग करके दिखाया है कि जब आप इस "वेरिएबिलिटी" को अनदेखा करते हैं, तो आपके पास एक ऐसा मॉडल हो सकता है जो कागज पर तो अच्छा दिखता है लेकिन वास्तविक दुनिया में विफल हो जाता है। वे एक नया तरीका प्रस्तावित करते हैं जो इस जोखिम को ध्यान में रखता है, जिसमें अक्सर बड़े सैंपल साइज की आवश्यकता होती है ताकि मॉडल मजबूत (robust) हो सके। उन्होंने "श्रिंकेज" नामक एक तकनीक को भी देखा, जो कि आपकी रेसिपी को थोड़ा अधिक रूढ़िवादी (conservative) बनाने जैसा है, और पाया कि हालांकि यह मदद करता है, लेकिन यह समस्या को पूरी तरह से ठीक नहीं करता है यदि आपके पास शुरुआत में पर्याप्त डेटा न हो।

एक विश्वसनीय भविष्यवाणी की रेसिपी

मेडिकल प्रेडिक्शन मॉडल बनाना एक रोबोट को तस्वीरों में बिल्लियों को पहचानना सिखाने जैसा है। आप रोबोट को हजारों तस्वीरें दिखाते हैं, और वह पैटर्न सीखता है। यदि आप उसे केवल दस तस्वीरें दिखाते हैं, तो वह उन विशिष्ट दस बिल्लियों को पूरी तरह से याद कर सकता है लेकिन एक नई बिल्ली देखते ही पूरी तरह विफल हो सकता है। इसे "ओवरफिटिंग" कहा जाता है, और यह अच्छी भविष्यवाणी का दुश्मन है। इससे बचने के लिए, वैज्ञानिकों को यह जानने की आवश्यकता है कि रोबोट को कितनी तस्वीरें (मरीज) दिखानी हैं।

पेपर यह समझाते हुए शुरू होता है कि कितने मरीजों की आवश्यकता है, यह तय करने वाला वर्तमान नियम पुस्तिका एक्सपेक्टेड वैल्यू (अपेक्षित मूल्य) पर ध्यान केंद्रित करती है। कल्पना कीजिए कि आप एक पासा (डाई) फेंक रहे हैं। "एक्सपेक्टेड वैल्यू" वह औसत है जो आपको दस लाख बार पासा फेंकने पर मिलता है (जो कि 3.5 है)। पुराना तरीका कहता है, "आइए हम पासे को इतनी बार फेंकें कि औसत 3.5 हो।" लेकिन लेखक बताते हैं कि इसमें एक दोष है: यदि आप पासा केवल दस बार फेंकते हैं, तो आपको हर बार 6 मिल सकता है, या हर बार 1 मिल सकता है। लंबे समय में औसत 3.5 हो सकता है, लेकिन आपका विशिष्ट दस रोल एक आपदा हो सकता है। चिकित्सा के संदर्भ में, इसका अर्थ है कि एक मॉडल कई अध्ययनों में औसतन तो बेहतरीन दिख सकता है, लेकिन आपके अस्पताल के लिए बनाया गया विशिष्ट मॉडल बेहद गलत हो सकता है।

लेखक एक नया शब्द पेश करते हैं जिसे PrAP (प्रोबेबिलिटी ऑफ एक्सेप्टेबल परफॉर्मेंस) कहा जाता है। केवल औसत की परवाह करने के बजाय, PrAP पूछता है: "इस बात की क्या संभावना है कि हम अभी जो मॉडल बना रहे हैं वह पर्याप्त अच्छा होगा?" वे एक "पर्याप्त अच्छा" रेंज परिभाषित करते हैं, जैसे कि 0.85 और 1.15 के बीच का कैलिब्रेशन स्लोप (जहाँ 1 पूर्ण है)। लक्ष्य एक ऐसा सैंपल साइज चुनना है ताकि इस बात की, मान लीजिए, 80% संभावना हो कि मॉडल इस "अच्छे" क्षेत्र में आता है।

द सिमुलेशन किचन

अपने विचार का परीक्षण करने के लिए, लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने हजारों कंप्यूटर सिमुलेशन चलाए। उन्होंने अलग-अलग संख्या में "सामग्रियों" (प्रेडिक्टर्स) के साथ नकली मरीज डेटा बनाया, जो 4 से 28 तक थी। उन्होंने दो तरीकों की तुलना की कि कितने मरीजों का उपयोग करने का निर्णय लिया जाए:

1. मानक तरीका: उस आकार की गणना करना ताकि औसत प्रदर्शन 0.9 (पूर्णता के करीब) हो।
2. नया तरीका: उस आकार की गणना करना ताकि प्रदर्शन के 0.85 और 1.15 के बीच होने की 80% संभावना हो।

परिणाम आंखें खोल देने वाले थे। जब मॉडलों में कम संख्या में प्रेडिक्टर्स (जैसे 4 या 5) थे, तो मानक तरीका अपेक्षाकृत छोटा सैंपल साइज सुझाता था। हालांकि, जब उन्होंने वास्तव में सिमुलेशन चलाया, तो उन्होंने पाया कि इस छोटे सैंपल के साथ बनाए गए मॉडल बहुत ही अनिश्चित थे। कभी वे बहुत अच्छे थे, तो अक्सर वे बहुत खराब थे। एक "अच्छा" मॉडल मिलने की संभावना केवल लगभग 54% थी—मूलतः एक सिक्के का उछाल (हेड्स या टेल्स)!

इसके विपरीत, नए तरीके ने बहुत बड़े सैंपल साइज की मांग की। केवल 4 प्रेडिक्टर्स वाले मॉडल के लिए, नए तरीके को मानक तरीके की तुलना में 2.7 गुना अधिक मरीजों की आवश्यकता थी। लेकिन इसका प्रतिफल बहुत बड़ा था: इस बड़े सैंपल के साथ, एक अच्छा मॉडल मिलने की संभावना बढ़कर लक्षित 80% हो गई। लेखकों ने पाया कि कई प्रेडिक्टर्स (जैसे 18 या अधिक) वाले मॉडलों के लिए, दोनों तरीके समान सैंपल साइज सुझाते हैं, लेकिन छोटे, सरल मॉडलों के लिए, अंतर बहुत बड़ा था।

"श्रिंकेज" का शॉर्टकट?

पेपर ने श्रिंकेज नामक एक लोकप्रिय तकनीक की भी जांच की। कल्पना कीजिए कि आपने एक केक बनाया और वह थोड़ा ज्यादा मीठा था। श्रिंकेज एक केक में थोड़ी चीनी कम करने जैसा है ताकि उसे सुरक्षित बनाया जा सके। सांख्यिकी (स्टैटिस्टिक्स) में, इसमें मॉडल के भविष्यवाणियों की ताकत को थोड़ा कम करना शामिल है ताकि अति-आत्मविश्वास को रोका जा सके।

लेखकों ने परीक्षण किया कि क्या श्रिंकेज का उपयोग करके शोधकर्ता छोटे सैंपल साइज के साथ काम चला सकते हैं। उन्होंने पाया कि श्रिंकेज ने औसत प्रदर्शन को बेहतर बनाने में मदद की, जिससे मॉडल पूर्णता के करीब आए। हालांकि, इसने एक नए प्रकार का उतार-चढ़ाव भी पैदा किया। क्योंकि आपको यह अनुमान लगाना होता है कि कितना श्रिंक करना है, वह अनुमान अपने आप में अनिश्चितता पैदा करता है। सिमुलेशन ने दिखाया कि जबकि श्रिंकेज ने एक अच्छे मॉडल की संभावना में सुधार किया, लेकिन यदि सैंपल साइज बहुत छोटा था, तो इसने समस्या को पूरी तरह से हल नहीं किया। वास्तव में, बहुत छोटे मॉडलों (6 से कम प्रेडिक्टर्स) के लिए, श्रिंकेज से होने वाली अतिरिक्त अनिश्चितता के कारण, एक अच्छे मॉडल की संभावना में बहुत अधिक सुधार नहीं हुआ। लेखक सुझाव देते हैं कि श्रिंकेज एक सहायक उपकरण है, लेकिन इसे पर्याप्त डेटा एकत्र करने से बचने के लिए एक जादू की छड़ी के रूप में उपयोग नहीं किया जाना चाहिए।

वास्तविक दुनिया का परीक्षण: हार्ट वाल्व सर्जरी

अपने सिद्धांत को यह साबित करने के लिए कि यह केवल एक कंप्यूटर कल्पना नहीं है, लेखकों ने 16,679 मरीजों के वास्तविक डेटासेट पर अपने तरीकों को लागू किया, जिन्होंने हार्ट वाल्व सर्जरी करवाई थी। वे अस्पताल में मृत्यु के जोखिम की भविष्यवाणी करने के लिए एक मॉडल बनाना चाहते थे।

मानक पद्धति का उपयोग करते हुए, उन्होंने गणना की कि उन्हें 2,250 मरीजों की आवश्यकता थी। उनके नए PrAP पद्धति का उपयोग करते हुए, उन्होंने गणना की कि उन्हें 2,740 मरीजों की आवश्यकता थी। फिर उन्होंने एक सिमुलेशन चलाया जहाँ उन्होंने वास्तविक डेटा से इन समूहों को बार-बार लेकर देखा कि क्या होता है।

परिणामों ने उनके संदेह की पुष्टि की। 2,250 मरीजों वाले समूह (मानक) का मीडियन प्रदर्शन अच्छा था, लेकिन मॉडलों में बहुत अधिक भिन्नता थी। कुछ बहुत अच्छे थे, कुछ बहुत खराब। 2,740 मरीजों वाला समूह (नया) बहुत अधिक सुसंगत था। उस बड़े समूह से बनाए गए लगभग सभी मॉडल "स्वीकार्य" सीमा में आते थे। इसके अलावा, जब उन्होंने मिश्रण में श्रिंकेज जोड़ा, तो बड़े समूह (2,740) ने विश्वसनीयता में स्पष्ट सुधार देखा, जबकि छोटे समूह को बहुत अधिक लाभ नहीं हुआ।

निष्कर्ष

इस पेपर का मुख्य संदेश "औसत" परिणामों के प्रति बहुत सहज होने के खिलाफ एक चेतावनी है। चिकित्सा भविष्यवाणी की उच्च-दांव वाली दुनिया में, एक औसत सफलता दर पर्याप्त नहीं है यदि व्यक्तिगत मॉडल नाटकीय रूप से विफल हो सकते हैं। लेखक सुझाव देते हैं कि वास्तव में विश्वसनीय रिस्क मॉडल बनाने के लिए, विशेष रूप से कम सामग्रियों वाले मॉडलों के लिए, शोधकर्ताओं को अधिक डेटा एकत्र करने के लिए तैयार रहने की आवश्यकता है। वे सैंपल साइज की गणना करने का एक नया तरीका प्रस्तावित करते है जो औसत सफलता के बजाय सफलता की संभावना को प्राथमिकता देता है।

हालांकि इसका मतलब पहले की तुलना में अधिक मरीजों को इकट्ठा करना हो सकता है, लेकिन इसका मुकाबला एक स्थिर और भरोसेमंद मॉडल है। जैसा कि लेखक कहते हैं, यदि आप 80% सुनिश्चित होना चाहते हैं कि आपका मॉडल काम करता है, तो आप केवल औसत का लक्ष्य नहीं रख सकते; आपको सुरक्षा मार्जिन (सेफ्टी मार्जिन) का लक्ष्य रखना होगा। उनका कार्य ठीक ऐसा करने के लिए गणितीय उपकरण प्रदान करता है, यह सुनिश्चित करता है कि जब कोई डॉक्टर भविष्यवाणी मॉडल पर भरोसा करता है, तो वह केवल एक भाग्यशाली अनुमान नहीं, बल्कि एक अच्छी तरह से परीक्षित रेसिपी है।