Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

तकनीकी सारांश: प्राथमिक-देखभाल अवसाद स्क्रीनिंग के लिए ट्राइएज गेट के रूप में चयनात्मक भविष्यवाणी (Selective Prediction)

समस्या विवरण
चीन में प्राथमिक देखभाल में संरचित मानसिक स्वास्थ्य मूल्यांकन उपकरणों का अभाव है, और अवसाद की स्क्रीनिंग के लिए मौजूदा मशीन लर्निंग (ML) मॉडल अक्सर अत्यधिक चयनित नमूनों (samples) पर विकसित किए जाते हैं। लेखक तर्क देते हैं कि संचयी समावेशन और अपवर्जन मानदंड (inclusion and exclusion criteria), जिन्हें आमतौर पर तटस्थ डेटा-सफाई चरणों के रूप में माना जाता है, एक "दोहरा विरूपण" (dual distortion) उत्पन्न करते हैं:

1. महा epidemiological विरूपण (Epidemiological Distortion): चयन फनल (selection funnels) महामारी संबंधी संबंधों (जैसे, पुरानी बीमारियों और अवसाद के बीच संबंध) को संकुचित या परिवर्तित कर देते हैं, जिससे चयनित नमूनों से प्राप्त निष्कर्ष लक्षित जनसंख्या के लिए गैर-सामान्य (non-generalizable) हो सकते हैं।
2. मीट्रिक विरूपण (Metric Distortion): मशीन लर्निंग प्रदर्शन मेट्रिक्स, विशेष रूप से एरिया अंडर द कर्व (AUC), चयनित नमूनों में कम विषमता (heterogeneity) के कारण अक्सर बढ़ जाते हैं, जबकि अंशांकन त्रुटि (calibration error) घट सकती है। यह मॉडल की नैदानिक तैनाती (clinical deployment) के लिए तत्परता के बारे में एक भ्रामक धारणा बनाता है।

इसके अलावा, मानक मॉडल-अंतर्निहित अनिश्चितता संकेतक (uncertainty indicators) महामारी संबंधी डेटा में "आसान" और "कठिन" मामलों के बीच प्रभावी ढंग से अंतर करने में विफल रहते हैं, जिससे चयनात्मक भविष्यवाणी (रिजेक्ट विकल्प के साथ वर्गीकरण) की उपयोगिता सीमित हो जाती है।

कार्यप्रणाली
यह अध्ययन CHARLS 2011 बेसलाइन डेटासेट (n=17,705) का उपयोग करता है, जिसका टेम्पोरल एक्सटर्नल वैलिडेशन CHARLS 2018 वेव पर किया गया है। कार्यप्रणाली तीन उद्देश्यों के इर्द-गिर्द संरचित है:

1. चयन पूर्वाग्रह (Selection Bias) का परिमाणीकरण (The Funnel):

   • एक चार-स्तरीय चयन फनल (L0–L3) बनाया गया था ताकि मानक महामारी संबंधी अपवर्जन प्रक्रियाओं का अनुकरण किया जा सके।
     • L0: मल्टिपल इम्प्यूटेशन बाय चेन्ड इक्वेशंस (MICE) के बाद पूर्ण नमूना।
     • L1: आयु ≥60 तक सीमित।
     • L2: पूर्ण CES-D-10 प्रतिक्रियाओं की आवश्यकता।
     • L3: पूर्ण सामाजिक-जनसांख्यिकीय सहचरों (शिक्षा, बीमा, निवास) की आवश्यकता।
   • एसोसिएशन विश्लेषण: प्रत्येक स्तर पर ऑड्स रेश्यो (OR) के ड्रिफ्ट (drift) को ट्रैक करने के लिए लॉजिस्टिक रिग्रेशन मॉडल फिट किए गए थे।
   • प्रदर्शन विश्लेषण: नेस्टेड क्रॉस-वैलिडेशन और SMOTE का उपयोग करके पांच क्लासिफायर्स (लॉजिस्टिक रिग्रेशन, रैंडम फॉरेस्ट, XGBoost, LightGBM, ग्रेडिएंट बूस्टिंग) का विभिन्न स्तरों पर मूल्यांकन किया गया। पेज के एल टेस्ट (Page's L test) का उपयोग करके AUC, ब्रियर स्कोर (Brier score) और अपेक्षित अंशांकन त्रुटि (ECE) में मोनोटोनिक रुझानों का परीक्षण किया गया।

2. चयनात्मक भविष्यवाणी के माध्यम से पूर्वाग्रह को कम करना:

   • मॉडल-अंतर्निहित अनिश्चितता: अध्ययन ने परीक्षण किया कि क्या प्रत्येक मॉडल का आंतरिक अनिश्चितता स्कोर (जैसे, प्रेडिक्टिव एंट्रॉपी, ट्री वेरिएंस, क्वांटाइल रेसिडुअल इंटरवल) AUC में सुधार के लिए नमूनों को प्रभावी ढंग से फ़िल्टर कर सकता है।
   • डिकपल्ड प्रेडिक्टर-सेलेक्टर फ्रेमवर्क (Decoupled Predictor–Selector Framework): अंतर्निहित स्कोर की सीमाओं को दूर करने के लिए, लेखकों ने एक डिकपल्ड दृष्टिकोण प्रस्तावित किया जहाँ एक स्वतंत्र सेलेक्टर भविष्यवाणात्मक विश्वसनीयता का आकलन करता है। नौ उम्मीदवार सेलर्स का मूल्यांकन किया गया, और XGBoost क्रॉस-वैलिडेशन रेसिडुअल्स को इष्टतम बाहरी सेलेक्टर के रूप में पहचाना गया। इस सेलेक्टर को जनसंख्या के एक "विश्वसनीय" उपसमूह को निर्धारित करने के लिए सभी पांच प्रेडिक्टर्स पर लागू किया गया।

3. व्याख्या योग्य नियमों के माध्यम से नैदानिक तैनाती:

   • जोखिम स्तरीकरण (Risk Stratification): मजबूत रेसिडुअल्स (पांच हाइपरपैरामीटर कॉन्फ़िगरेशन का माध्यिका) के आधार पर अंतिम विश्लेषणात्मक सेट (L3) के नमूनों को निम्न, मध्यम और उच्च-जोखिम समूहों में वर्गीकृत किया गया।
   • CART नियम निष्कर्षण: विश्वसनीय भविष्यवाणी डोमेन की सीमाओं को परिभाषित करने वाले व्याख्या योग्य "व्हाइट-बॉक्स" नियमों को निकालने के लिए 15 नैदानिक विशेषताओं का उपयोग करके एक क्लासिफिकेशन एंड रिग्रेशन ट्री (CART) फिट किया गया।
   • स्थिरता जाँच: यह सुनिश्चित करने के लिए कि जोखिम स्तरीकरण डेटा का एक संरचनात्मक गुण है, मल्टी-पैरामीटर (5 कॉन्फ़िगरेशन) और मल्टी-सीड (10 सीड्स) स्थिरता विश्लेषण किए गए।

मुख्य परिणाम

• चयन पूर्वाग्रह विरूपण:

  • नमूना आकार 17,705 (L0) से घटकर 4,256 (L3) (24.0%) हो गया।
  • एसोसिएशन एटेन्यूएशन (Association Attenuation): कैंसर-अवसाद के लिए OR L0 पर 1.78 (95% CI 1.32–2.41) से घटकर L3 पर 1.39 (95% CI 0.74–2.63) हो गया, जिससे सांख्यिकीय महत्व समाप्त हो गया। अन्य जुड़ाव भी इसी तरह के संपीड़न को दर्शाते हैं।
  • मीट्रिक इन्फ्लेशन (Metric Inflation): सभी पांच मॉडलों के AUC में L0 से L3 तक दिशात्मक वृद्धि हुई (जैसे, XGBoost 0.775 से 0.783), लेकिन ये रुझान मल्टीपल-कंपैरिजन करेक्शन के बाद सांख्यिकीय रूप से महत्वपूर्ण नहीं थे। इसके विपरीत, जैसे-जैसे चयन सख्त हुआ, चार में से पांच मॉडलों के लिए अंशांकन त्रुटि (ECE) काफी बढ़ गई।

• चयनात्मक भविष्यवाणी प्रदर्शन:

  • अंतर्निहित अनिश्चितता: केवल XGBoost, जिसने एक कस्टम आउट-ऑफ-फोल्ड क्वांटाइल रेसिडुअल इंटरवल का उपयोग किया, ने महत्वपूर्ण चयनात्मक भविष्यवाणी लाभ (AUC ~0.83 @ ~52% कवरेज) प्राप्त किया। अन्य मॉडलों के अंतर्निहित संकेतक पूर्ण कवरेज से बेहतर AUC शिखर की पहचान करने में विफल रहे।
  • डिकपल्ड फ्रेमवर्क: जब सभी पांच मॉडलों के लिए बाहरी सेलेक्टर के रूप में XGBoost क्रॉस-वैलिडेशन रेसिडुअल्स का उपयोग किया गया, तो सभी क्लासिफायर्स ने निरंतर चयनात्मक भविष्यवाणी लाभ प्राप्त किया।
    • कवरेज: लगभग 20% नमूनों को विश्वसनीय के रूप में पहचाना गया।
    • प्रदर्शन: इस कवरेज पर सभी मॉडलों के लिए टेस्ट AUC 0.888 से 0.901 के बीच रहा। प्रिसिजन (Precision) ~0.85–0.86 और रिकॉल (Recall) ~0.89–0.90 था।
    • स्थिरता: 20% कवरेज थ्रेशोल्ड विभिन्न मॉडल आर्किटेक्चर में अत्यधिक सुसंगत था, जो दर्शाता है कि सेलेक्टर एक स्थिर "विश्वसनीय डोमेन" की पहचान करता है।

• व्याख्या योग्य ट्राइएज नियम:

  • CART विश्लेषण ने ट्राइएज के लिए चार प्रमुख चर पहचाने: स्व-रेटेड स्वास्थ्य (Self-rated health), शिक्षा, दर्द की गंभीरता (Pain severity), और वैवाहिक स्थिति।
  • लो-रेसिड्यूअल (विश्वसनीय) डोमेन: उच्च शिक्षा, विशिष्ट दर्द प्रोफाइल, या स्पष्ट दैहिक (somatic) चालकों के साथ खराब स्व-रेटेड स्वास्थ्य द्वारा विशेषता।
  • हाई-रेसिड्यूअल (अनिश्चित) डोमेन: निम्न शिक्षा, जटिल मनोवैज्ञानिक कारक और उच्च अवसाद व्यापकता (56.9%) द्वारा विशेषता, जहाँ मॉडल की भविष्यवाणियाँ अविश्वसनीय हैं।
  • एक्सटर्नल वैलिडेशन: 2011-व्युत्पन्न CART नियमों को 2018 कोहॉर्ट पर लागू करने पर स्थिर समूह-स्तरीय AUC मिले, जो ट्राइएज लॉजिक की टेम्पोरल मजबूती की पुष्टि करते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह ML-संचालित स्वास्थ्य स्क्रीनिंग में "ब्लैक-बॉक्स" समस्या को संबोधित करने वाला एक तैकाबिल प्राथमिक-देखभाल ट्राइएज पाथवे प्रदान करता है। इसका महत्व तीन क्षेत्रों में है:

1. पद्धतिगत सुधार: यह प्रदर्शित करता है कि संचयी चयन पूर्वाग्रह एक दोहरा विरूपण (संकुचित जुड़ाव और बढ़ी हुई मेट्रिक्स) उत्पन्न करता जिसे स्पष्ट रूप से रिपोर्ट किया जाना चाहिए। लेखक तर्क देते हैं कि प्रदर्शन मेट्रिक्स को हमेशा उनके चयन स्तर, कवरेज और अंशांकन प्रक्षेपवक्र (calibration trajectory) के साथ रिपोर्ट किया जाना चाहिए।
2. विश्वसनीयता के लिए फ्रेमवर्क: यह स्थापित करता है कि क्रॉस-वैलिडेशन रेसिडुअल्स का उपयोग करके डिकपल्ड चयनात्मक भविष्यवाणी एक उच्च-विश्वास वाले रोगी उपसमूह की पहचान करने का एक मजबूत तरीका है, जो उन मॉडल-अंतर्निहित अनिश्चितता संकेतकों से बेहतर प्रदर्शन करता है जो अक्सर महामारी विज्ञान के संदर्भ में विफल हो जाते हैं।
3. नैदानिक क्रियाशीलता (Clinical Actionability): जटिल ML अनिश्चितता को एक सरल, चार-चरणीय CART नियम में बदलकर, यह अध्ययन एक व्यावहारिक "ट्राइएज गेट" प्रदान करता है। यह सामान्य चिकित्सकों (GPs) को लगभग 20% रोगियों (विश्वसनीय डोमेन) को एल्गोरिदम-सहायता प्राप्त स्कोरिंग के लिए रूट करने और शेष 80% (अनिश्चित डोमेन) को मानव मूल्यांकन के लिए निर्देशित करने की अनुमति देता है, जिससे रोगी सुरक्षा सुनिश्चित होती है और संसाधन-सीमित सेटिंग्स में व्याख्यात्मकता बनी रहती है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण मॉडल अनिश्चितता निगरानी को एक सांख्यिकीय पोस्ट-प्रोसेसिंग चरण से बदलकर टियर्ड हेल्थकेयर सिस्टम के लिए एक नियमित गुणवत्ता-प्रबंधन चेकपॉइंट में बदल देता है।