Does cross-wave validation overestimate screening performance? An ID-isolated evaluation of model complexity for possible sarcopenia in CHARLS

कल्पना कीजिए कि आप एक जासूस हैं जो बुजुर्ग पड़ोसियों के बारे में एक रहस्य सुलझाने की कोशिश कर रहे हैं। आप एक "बीमारी का पता लगाने वाला यंत्र" (sickness detector) बनाना चाहते हैं जो सारकोपेनिया (sarcopenia) नामक स्थिति को पहचान सके। सारकोपेनिया को एक धीमे, चालाक चोर के रूप में सोचें जो बुजुर्गों से मांसपेशियों की ताकत और शारीरिक शक्ति चुरा लेता है, जिससे उनके गिरने या अपनी स्वतंत्रता खोने की संभावना बढ़ जाती है। इस चोर को जल्दी पकड़ने के लिए, डॉक्टर सरल "स्क्रीनिंग" उपकरणों का उपयोग करते हैं—जैसे कि यह पूछना कि किसी की पकड़ कितनी मजबूत है या वे पांच बार कुर्सी से कितनी तेजी से खड़े हो सकते हैं। ये उपकरण हवाई अड्डे पर मेटल डिटेक्टर की तरह हैं—वे एकदम सटीक नहीं होते, लेकिन वे उन लोगों को चिह्नित करने के लिए डिज़ाइन किए गए हैं जिन्हें बारीकी से देखने की आवश्यकता हो सकती है।

हालांकि, जासूसी के काम में एक पेचीदा समस्या है: डेटा लीकेज (data leakage)। कल्पना कीजिए कि आप अपने मेटल डिटेक्टर को सिक्कों के एक ऐसे बैग से प्रशिक्षित करते हैं जिसमें वे ही कुछ सिक्के शामिल हैं जिनका आप बाद में परीक्षण करने जा रहे हैं। यदि डिटेक्टर ने पहले ही उन विशिष्ट सिक्कों को देख लिया है, तो वह वास्तव में सीखने के बजाय केवल उन्हें "याद" कर रहा होगा। विज्ञान में, ऐसा तब होता है जब शोधकर्ता लोगों के एक समूह का उपयोग करके एक मॉडल बनाते हैं और फिर उसे लोगों के एक ऐसे समूह पर परीक्षण करते हैं जिसमें अभी भी उन्हीं लोगों में से कुछ शामिल हैं। परिणाम अद्भुत दिखते हैं, लेकिन यह केवल याददाश्त का एक छल हो सकता है। यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: यदि हम "प्रशिक्षकों" (trainers) और "परीक्षकों" (testers) को सख्ती से अलग करते हैं, तो क्या हमारा डिटेक्टर अभी भी काम करता है? और क्या अधिक जटिल गैजेट्स (जैसे ऊंचाई और वजन मापना) को जोड़ने से हमारा डिटेक्टर स्मार्ट बनता है, या यह केवल शोर (noise) जोड़ रहा है?

---

द ग्रेट सारकोपेनिया डिटेक्टिव टेस्ट (The Great Sarcopenia Detective Test)

शंघाई यूनिवर्सिटी ऑफ स्पोर्ट के दो शोधकर्ताओं, यू यू (Yu Yue) और चुनहुआ झांग (Chunhua Zhang) ने इस विचार को परखने का निर्णय लिया और इसके लिए 'CHARLS' नामक एक विशाल डेटाबेस का उपयोग किया, जो चीनी वयस्कों के जीवन का ट्रैक रखता है। वे यह देखना चाहते थे कि क्या वे बिना धोखाधड़ी किए, बुजुर्गों (60 वर्ष और उससे अधिक आयु के) में "संभावित सारकोपेनिया" का पता लगाने के लिए एक कंप्यूटर प्रोग्राम बना सकते हैं।

सेटअप: "धोखाधड़ी न करने" का नियम
आमतौर पर, जब वैज्ञानिक एक मॉडल बनाते हैं, तो वे 2011 के सर्वेक्षण के डेटा का उपयोग कंप्यूटर को सिखाने के लिए कर सकते हैं, और फिर 2015 के सर्वेक्षण पर उसका परीक्षण कर सकते हैं। लेकिन यहाँ एक पेंच है: 2011 और 2015 दोनों में कई एक ही लोग दिखाई दिए। यदि कंप्यूटर ने 2011 में "दादी ली" को देखा और फिर 2015 में उन्हें फिर से देखा, तो वह मांसपेशियों के नुकसान के संकेतों को सीखने के बजाय केवल उनके चेहरे को पहचान रहा होगा।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक सख्त "आईडी आइसोलेशन" (ID Isolation) का खेल खेला। उन्होंने 2015 की सूची ली और उस प्रत्येक व्यक्ति को बाहर कर दिया जो 2011 की सूची में दिखाई दिया था। इससे उनके पास "वास्तव में अनदेखे" प्रतिभागियों का एक समूह बचा—ऐसे लोग जिनसे कंप्यूटर पहले कभी नहीं मिला था। यह एक नए सुरक्षा गार्ड का परीक्षण करने जैसा है जो भीड़ के बीच अजनबियों पर नज़र रखता है, न कि उन लोगों पर जिन्हें वह पिछली शिफ्ट से पहले से जानता है।

प्रतिद्वंद्वी: सरल बनाम जटिल
शोधकर्ताओं ने मामले को सुलझाने के लिए दो अलग-अलग जासूसों को तैयार किया:

1. सरल जासूस (लॉजिस्टिक्स रिग्रेशन - Logistic Regression): इस मॉडल ने बुनियादी जानकारी का उपयोग किया जिसे हर कोई जानता है: आयु, लिंग, वे कहाँ रहते हैं, शिक्षा, और क्या उन्हें उच्च रक्तचाप या मधुमेह जैसी सामान्य स्वास्थ्य समस्याएं हैं। यह एक ऐसे जासूस की तरह है जो केवल सबसे स्पष्ट सुरागों को देखता है।
2. फैंसी जासूस (XGBoost): यह मॉडल "सुपरचार्ज्ड" संस्करण था। इसने सभी बुनियादी सुरागों के साथ-साथ अतिरिक्त माप भी लिए: ऊंचाई, वजन, बॉडी मास इंडेक्स (BMI), और कमर की परिधि। यह एक ऐसे जासूस की तरह है जो अपराध स्थल पर लेजर स्कैनर और 3D मैप लेकर आता है, इस उम्मीद में कि अतिरिक्त डेटा समाधान को अधिक स्पष्ट बना देगा।

बड़ा खुलासा: क्या "फैंसी" जीतता है?
जब शोधकर्ताओं ने अपने इन जासूसों को "वास्तव में अनदेखी" 2015 की भीड़ पर छोड़ा, तो परिणाम आश्चर्यजनक थे।

• स्कोर: सरल जासूस ने 0.6798 का स्कोर किया (एक ऐसे पैमाने पर जहाँ 1.0 पूर्ण है और 0.5 एक सिक्के के उछाल की तरह है)। फैंसी जासूस का स्कोर थोड़ा कम 0.6656 रहा।
• फैसला: दोनों के बीच का अंतर बहुत कम (लग लगभग 0.01) था, इसलिए यह लगभग एक बराबरी का मुकाबला था। अतिरिक्त माप (ऊंचाई, वजन आदि) ने मॉडल को महत्वपूर्ण रूप से बेहतर नहीं बनाया। वास्तव में, अतिरिक्त जटिलता ने बिल्कुल भी मदद नहीं की। शोधकर्ताओं ने पाया कि फैंसी मॉडल ने अपने निर्णय लेने की शक्ति के लिए उन अतिरिक्त शारीरिक मापों का केवल 9.2% उपयोग किया; बाकी अभी भी बुनियादी सुरागों द्वारा संचालित था।

"सटीकता" का जाल (The "Accuracy" Trap)
यहाँ कहानी थोड़ी पेचीदा हो जाती है। यदि आप जासूसों से पूछते, "आप कितनी बार सही थे?" मानक सेटिंग (0.50 थ्रेशोल्ड) पर, वे कहेंगे, "लगभग 71% समय!" यह बहुत अच्छा लगता है, है ना?

लेकिन शोधकर्ताओं ने गहराई से जांच की और एक छिपी हुई समस्या पाई। जबकि वे कुल मिलाकर 71% बार सही थे, वे बीमार लोगों को पहचानने में विफल रहे।

• मानक सेटिंग पर, मॉडल केवल उन लोगों में से लगभग 30% को ही पकड़ पाए जिन्हें वास्तव में संभावित सारकोपेनिया था।
• यह एक ऐसे मेटल डिटेक्टर की तरह है जो गुजरने वाले 71% लोगों के लिए बीप करता है, लेकिन वास्तव में हथियार ले जाने वाले 10 में से 7 लोगों को मिस कर देता है।

इसे ठीक करने के लिए, शोधकर्ताओं ने संवेदनशीलता (sensitivity) के डायल को ऊपर घुमाने की कोशिश की। उन्होंने अधिक मामलों को पकड़ने के लिए थ्रेशोल्ड को कम किया। अचानक, मॉडल ने बीमार लोगों के लगभग 75% मामलों को पकड़ लिया! लेकिन इसकी एक कीमत थी: वे स्वस्थ लोगों को भी बीमार के रूप में चिह्नित करने लगे, जिससे स्वस्थ लोगों पर उनकी सटीकता गिरकर लगभग 47% रह गई। यह एक समझौता है: आप अधिक चोरों को पकड़ सकते हैं, लेकिन आप कुछ निर्दोष राहगीरों को भी गिरफ्तार कर सकते हैं।

"ओवरलैप" का भ्रम (The "Overlap" Illusion)
अंत में, शोधकर्ताओं ने देखा कि क्या होता है जब आप "नो चीटिंग" गेम नहीं खेलते हैं। जब उन्होंने मॉडल का परीक्षण मूल 2015 समूह पर किया (जिसमें 2011 के लोग भी शामिल थे), तो उनके स्कोर बहुत बेहतर दिखे, जो 0.70 के आसपास थे।

लेकिन जब उन्होंने "ओवरलैप" समूह (पहले देखे गए लोग) की तुलना "अनसीन" समूह (नए लोग) से की, तो उन्हें पता चला कि अंतर केवल याददाश्त के बारे में नहीं था। "ओवरलैप" समूह संयोग से अधिक उम्र का था और उसमें इस स्थिति की दर भी अधिक थी। शोधकर्ताओं ने निष्कर्ष निकाला कि आप बेहतर स्कोर के लिए केवल "ओवरलैप" को दोष नहीं दे सकते; समूह शुरू से ही अलग थे। इसका मतलब है कि यदि आप समूहों को अलग नहीं करते हैं, तो आप सोच सकते हैं कि आपका मॉडल एक जीनियस है, जबकि वास्तव में यह केवल एक अलग भीड़ को देख रहा है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र हमें भविष्य के चिकित्सा जासूसी कार्य के लिए कुछ महत्वपूर्ण सबक सिखाता है:

1. सरल रखें: अधिक जटिल माप (जैसे कमर का आकार) जोड़ने से मॉडल बेहतर नहीं हुआ। सरल, कम लागत वाले सुराग भी फैंसी वाले के समान ही अच्छे थे।
2. "सटीकता" संख्या पर भरोसा न करें: एक मॉडल कागज पर बहुत अच्छा दिख सकता है (71% सटीकता), लेकिन वह अपने मुख्य काम में विफल हो सकता है (70% बीमार लोगों को मिस करना)।
3. अपने समूहों को अलग करें: यदि आप जानना चाहते हैं कि क्या कोई मॉडल वास्तव में काम करता है, तो आपको इसका परीक्षण उन लोगों पर करना चाहिए जिनसे वह कभी नहीं मिला है। अन्यथा, आप केवल उसकी याददाश्त का परीक्षण कर रहे होंगे।

अंत में, शोधकर्ता सुझाव देते हैं कि सामुदायिक स्क्रीनिंग के लिए, हमें कुछ गलत अलार्म (स्वस्थ लोगों को चिह्नित करना) को स्वीकार करने की आवश्यकता हो सकती है ताकि हम उन लोगों को न चूकें जिन्हें वास्तव में मदद की जरूरत है। लेकिन हमें इस बात के बारे में ईमानदार होने की आवश्यकता है कि हमारे उपकरण वास्तव में कितने अच्छी तरह काम कर रहे हैं, खासकर जब हम डेटा के साथ "चीटिंग" करना बंद कर देते हैं।