Position: Stop Chasing the C-index when Evaluating Survival Analysis Models
यह शोध पत्र तर्क देता है कि सर्वाइवल एनालिसिस (survival analysis) समुदाय सी-इंडेक्स (C-index) जैसे गलत संरेखित मेट्रिक्स पर अत्यधिक निर्भर रहा है, और शोधकर्ताओं से यह आग्रह करता है कि वे भ्रामक निष्कर्षों से बचने के लिए उन मूल्यांकन प्रथाओं को अपनाएं जो सेंसरिंग धारणाओं (censoring assumptions) को स्पष्ट रूप से ध्यान में रखती हैं और विशिष्ट मॉडलिंग उद्देश्यों के साथ संरेखित होती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कोच हैं जो मैराथन के लिए एक नए प्रशिक्षण कार्यक्रम का मूल्यांकन करने की कोशिश कर रहे हैं। आपके पास दो लक्ष्य हैं:
- रैंकिंग (Ranking): आप जानना चाहते हैं कि कौन से धावक सबसे तेज़ हैं (कौन पहले, दूसरे और तीसरे स्थान पर आएगा)।
- समय (Timing): आप यह भी जानना चाहते हैं कि प्रत्येक धावक वास्तव में कब फिनिश लाइन को पार करेगा (जैसे, 3 घंटे, 4 घंटे)।
अब, कल्पना कीजिए कि दौड़ के दौरान, कुछ धावक घायल हो जाते हैं या ट्रैक को समय से पहले छोड़ देते हैं। सांख्यिकी (statistics) में, इसे सेंसिंग (censoring) कहा जाता है। आपको उनका अंतिम समय नहीं पता, केवल यह पता है कि वे उस समय तक नहीं पहुंचे जब उन्होंने ट्रैक छोड़ा था।
यह शोध पत्र तर्क देता है कि वैज्ञानिक समुदाय वर्तमान में सर्वाइवल मॉडल्स (survival models - वे "प्रशिक्षण कार्यक्रम" जो यह भविष्यवाणी करते हैं कि घटनाएं कब होंगी, जैसे बीमारी का बढ़ना या मशीन का खराब होना) का मूल्यांकन करने में एक बहुत बड़ी गलती कर रहा है। वे गलत "स्टॉपवॉच" और गलत "स्कोरकार्ड" का उपयोग कर रहे हैं।
यहाँ इस शोध पत्र के तर्क का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. समस्या: गलत स्कोरकार्ड
पत्र का दावा है कि अधिकांश शोधकर्ता एक मीट्रिक के प्रति जुनूनी हैं जिसे C-index कहा जाता है।
- उपमा: C-index एक ऐसे जज की तरह है जिसे केवल इस बात से फर्क पड़ता है कि धावक किस क्रम (order) में फिनिश करते हैं। यदि धावक A, धावक B से पहले फिनिश करता है, तो जज उच्च स्कोर देता है।
- दोष: C-index इस बात की परवाह नहीं करता कि धावक A ने 2 घंटे में फिनिश किया या 100 घंटों में, जब तक कि वह B से तेज़ था।
- मेल की कमी (Mismatch): कई शोधकर्ता दावा करते हैं कि उनका मॉडल सटीक समय (जैसे, "यह रोगी 6 महीने में बीमार होगा") की भविष्यवाणी करने में उत्कृष्ट है। लेकिन वे इसे साबित करने के लिए केवल C-index स्कोर दिखाते हैं। यह एक शेफ के दावा करने जैसा है कि उसका सूप एकदम सही तापमान पर है, लेकिन वह प्रमाण के रूप में केवल यह बताता है कि उसका सूप दूसरे सूप की तुलना में "अधिक नमकीन" है। यहाँ स्कोरकार्ड दावे से मेल नहीं खाता।
2. छिपा हुआ जाल: "रैंडम" धारणा (The "Random" Assumption)
पत्र एक दूसरी, अधिक खतरनाक समस्या पर प्रकाश डालता है: सेंसिंग धारणाएं (Censoring Assumptions)।
- उपमा: कल्पना कीजिए कि आप मैराथन का निर्णय ले रहे हैं, लेकिन कुछ धावक ट्रैक छोड़ देते हैं।
- रैंडम सेंसिंग (Random Censoring): धावक इसलिए ट्रैक छोड़ देते हैं क्योंकि उन्हें एक बस लेने आई थी, जिसका उनकी थकान से कोई संबंध नहीं है। (यह "आसान" परिदृश्य है)।
- डिपेंडेंट सेंसिंग (Dependent Censoring): धावक इसलिए छोड़ देते हैं क्योंकि वे थक गए हैं या घायल हो गए हैं। उनके छोड़ने का कारण सीधे उनके प्रदर्शन से जुड़ा है। (यह "कठिन" परिदृश्य है)।
- गलती: अधिकांश शोधकर्ता इस तरह व्यवहार करते हैं जैसे कि सभी धावक यादृच्छिक (random) कारणों से (जैसे बस के कारण) ट्रैक छोड़ देते हैं। वे मानक सूत्रों का उपयोग करते हैं जो इस "रैंडमनेस" को मानते हैं।
- वास्तविकता: वास्तविक दुनिया में, लोग अक्सर अध्ययन इसलिए छोड़ देते हैं क्योंकि वे बीमार हो रहे हैं या मशीनें जल्दी खराब हो रही हैं। यह डिपेंडेंट सेंसिंग है। जब शोधकर्ता "रैंडम" डेटा पर "रैंडम" सूत्र लागू करते हैं, तो उनके परिणाम ऐसे होते हैं जैसे कोई नक्शा कह रहा हो कि "उत्तर, दक्षिण है।" स्कोर अच्छे दिखते हैं, लेकिन वे झूठ बोल रहे होते हैं।
3. "डबल-हेलिक्स लैडर" (The "Double-Helix Ladder")
लेखक एक अवधारणा पेश करते हैं जिसे लैडर हाइपोथीसिस (Ladder Hypothesis) कहा जाता है।
- उपमा: एक सीढ़ी की कल्पना करें जहाँ इसके डंडे (rungs) उन कठिनाई स्तरों का प्रतिनिधित्व करते हैं कि लोग अध्ययन कैसे छोड़ते हैं।
- निचला डंडा: आसान ड्रॉपआउट (Random)।
- मध्यम डंडा: मध्यम ड्रॉपआउट (Independent)।
- ऊपरी डंडा: कठिन ड्रॉपआउट (Dependent)।
- ट्विस्ट: पत्र दिखाता है कि मॉडल्स (धावक) कठिन ड्रॉपआउट को संभालने के लिए सीढ़ी पर चढ़ना शुरू कर चुके हैं। लेकिन मीट्रिक्स (स्कोरकार्ड) अभी भी निचले डंडे पर अटके हुए हैं।
- परिणाम: आप एक ऐसे पर्वतारोही को मापने की कोशिश कर रहे हैं जो पहाड़ के बीच में है, लेकिन एक ऐसे रूलर (पैमाने) का उपयोग कर रहे हैं जो ज़मीन के स्तर के लिए बना है। वह माप बेकार है।
4. उन्होंने क्या पाया (साक्ष्य)
लेखकों ने 92 हालिया शोध पत्रों (2023-2025) को देखा और पाया:
- 72% "गलत संरेखित" (misaligned) थे। उन्होंने एक चीज़ करने का दावा किया (जैसे सटीक समय की भविष्यवाणी करना) लेकिन एक ऐसा स्कोरकार्ड इस्तेमाल किया जो कुछ और ही मापता था (जैसे केवल रैंकिंग)।
- उन्होंने "ड्रॉपआउट" नियमों की अनदेखी की। उन्होंने शायद ही कभी यह समझाया कि उन्होंने यह क्यों माना कि लोग रैंडम कारणों से बाहर निकले, भले ही डेटा इसके विपरीत संकेत दे रहा हो।
- C-index का अत्यधिक उपयोग किया गया है। यह "डिफ़ॉल्ट" विकल्प है, भले ही वह काम के लिए गलत उपकरण हो।
5. समाधान: एक नई चेकलिस्ट
पत्र केवल शिकायत नहीं करता; यह शोधकर्ताओं के लिए एक व्यावहारिक मार्गदर्शिका (एक "सीढ़ी") प्रदान करता है:
- अपने लक्ष्य को जानें: क्या आप लोगों को रैंक करने की कोशिश कर रहे हैं, सटीक समय की भविष्यवाणी करने की, या यह जांचने की कि संभावनाएँ (probabilities) कितनी सटीक हैं?
- सही उपकरण चुनें:
- यदि आप रैंकिंग (Ranking) चाहते हैं, तो C-index का उपयोग करें (लेकिन सावधान रहें!)।
- यदि आप सटीक समय (Exact Times) चाहते हैं, तो एरर मेट्रिक्स (जैसे MAE) का उपयोग करें।
- यदि आप संभावनाओं (Probabilities) चाहते हैं, तो कैलिब्रेशन मेट्रिक्स का उपयोग करें।
- "ड्रॉपआउट" नियमों की जाँच करें: इस बात के प्रति ईमानदार रहें कि डेटा क्यों गायब है। यदि लोग बीमार होने के कारण अध्ययन छोड़ रहे हैं (Dependent Censoring), तो आप मानक "रैंडम" स्कोरकार्ड का उपयोग नहीं कर सकते। आपको विशेष उपकरणों की आवश्यकता है जो इस पूर्वाग्रह (bias) को ध्यान में रखें।
सारांश
यह पत्र एक चेतावनी है: C-index के पीछे भागना बंद करें।
सिर्फ इसलिए कि किसी मॉडल का C-index पर उच्च स्कोर है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया के परिणामों की भविष्यवाणी करने में अच्छा है, खासकर जब लोग अपने स्वास्थ्य या मशीन की स्थिति से संबंधित कारणों से अध्ययन छोड़ देते हैं। शोधकर्ताओं को "टाइमिंग" समस्याओं के लिए "रैंकिंग" स्कोरकार्ड का उपयोग करना बंद करना होगा और यह मानना बंद करना होगा कि ड्रॉपआउट हमेशा रैंडम होते हैं। यदि वे ऐसा नहीं करते हैं, तो वैज्ञानिक समुदाय ताश के पत्तों का एक ऐसा घर बना रहा है जो प्रभावशाली तो दिखता है लेकिन वास्तविक दुनिया के दबाव में ढह जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।