Auditing missingness and input-outcome circularity in unsupervised clinical phenotyping: an empirical case study in hospitalized traumatic brain injury

कल्पना कीजिए कि आप एक जासूस हैं जो रहस्यमय बक्सों के एक बिखरे हुए ढेर को उनके अंदर की सामग्री के आधार पर व्यवस्थित समूहों में बांटने की कोशिश कर रहे हैं। चिकित्सा की दुनिया में, वैज्ञानिक अक्सर रोगी के डेटा के साथ यही करते हैं, जिसे "अनसुपरवाइज्ड फेनोटाइपिंग" (unsupervised phenotyping) कहा जाता है। यह अनुमान लगाने के बजाय कि कौन से रोगी एक जैसे हैं, वे कंप्यूटर का उपयोग नियमित जांच के स्कोर, जैसे कि रोगी चीजों को कितनी अच्छी तरह याद रखता है, वह भावनात्मक रूप से कैसा महसूस करता है, या वह कितनी आसानी से चल-फिर सकता है, में छिपे पैटर्न खोजने के लिए करते हैं। इसका लक्ष्य रोगियों के प्राकृतिक "उपसमूहों" (subgroups) की खोज करना है जिनका उपयोग डॉक्टर बेहतर, अधिक व्यक्तिगत देखभाल देने के लिए कर सकें।

हालाँकि, दो चालाक जाल हैं जो जासूसी के काम को बर्बाद कर सकते हैं। पहला, डेटा शायद ही कभी पूर्ण होता है; कुछ बक्सों में लेबल या सामग्री गायब होती है (इसे "मिसिंग डेटा" कहा जाता है)। यदि आप गायब चीज़ों का केवल अनुमान लगाते हैं, तो आप अनजाने में ऐसे समूह बना सकते हैं जो केवल आपके अनुमानों के कारण मौजूद हैं, न कि इसलिए कि रोगी वास्तव में अलग हैं। दूसरा, एक जाल है जिसे "सर्कुलैरिटी" (circularity) कहा जाता है। ऐसा तब होता है जब आप बक्सों को छांटने के लिए एक विशिष्ट सुराग का उपयोग करते हैं, और फिर इस बात पर आश्चर्यचकित होते हैं कि वही सुराग मुख्य कारण था जिससे बक्सों के बीच अंतर आया। यह ताश के पत्तों के एक डेक को रंग के आधार पर छांटने जैसा है, और फिर यह दावा करने जैसा है कि आपने एक नया जादुई नियम खोज लिया है कि "लाल कार्ड लाल होते हैं।"

शोधकर्ताओं की एक टीम ने यह परीक्षण करने का निर्णय लिया कि चिकित्सा के इन तरीकों का वास्तविक दुनिया के अस्पताल रिकॉर्ड पर लागू होने पर वे कितनी अच्छी तरह टिक पाते हैं, जो मस्तिष्क की चोट (TBI) वाले रोगियों के मामले में है। वे देखना चाहते थे कि कंप्यूटर द्वारा खोजे गए रोगियों के समूह वास्तविक, स्थिर और उपयोगी थे, या वे केवल गायब नंबरों और गोलाकार तर्क (circular logic) पर बने ताश के पत्तों के घर थे।

महान रोगी छंटनी प्रयोग

शोधकर्ताओं ने मस्तिष्क की चोट के कारण अस्पताल में भर्ती हुए 582 रोगियों का अध्ययन किया। प्रत्येक रोगी के लिए उनके पास पांच अलग-अलग "रिपोर्ट कार्ड" थे: याददाश्त और सोचने की क्षमता के परीक्षण (MMSE और MoCA), अवसाद के परीक्षण (GDS और Hamilton), और एक परीक्षण कि वे खाने और कपड़े पहनने जैसे दैनिक कार्यों को कितनी अच्छी तरह कर सकते हैं (Barthel ADL)।

एक आदर्श दुनिया में, प्रत्येक रोगी के पास प्रत्येक परीक्षण का एक स्कोर होता। लेकिन एक व्यस्त अस्पताल की अस्त-व्यस्त वास्तविकता में, डेटा गायब हो जाता है। इस अध्ययन में, केवल 17.7% रोगियों (582 में से 103) के पास सभी पांच स्कोर थे। डिप्रेशन टेस्ट और दैनिक जीवन का टेस्ट सबसे अधिक गायब होने की संभावना वाले थे, जो क्रमशः लगभग 40% और 30% रिकॉर्ड में अनुपस्थित थे।

टीम ने इन रोगियों को समूहों में वर्गीकृत करने के लिए एक मानक कंप्यूटर प्रोग्राम चलाया। उस प्रोग्राम ने, जो "मीडियन इम्प्यूटेशन" (median imputation) नामक एक विधि का उपयोग करता है (जो मूल रूप से मौजूदा डेटा के मध्य मान के साथ खाली स्थानों को भर देता है), यह तय किया कि सभी को पांच अलग-अलग समूहों में वर्गीकृत करना सबसे अच्छा तरीका है। इनमें से एक समूह विशेष रूप से दिलचस्प लग रहा था: एक "हैमिल्टन-एक्सट्रीम" (Hamilton-extreme) समूह, जिसमें बहुत अधिक अवसाद स्कोर वाले रोगी थे।

लेकिन फिर, शोधकर्ताओं ने यह देखने के लिए अपना "स्ट्रेस टेस्ट" शुरू किया कि क्या ये समूह वास्तविक थे या केवल एक भ्रम।

स्थिरता परीक्षण: क्या समूह एकजुट रहते हैं?
उन्होंने डेटा को बार-बार रोगियों को रैंडम तरीके से चुनकर (जिसे 'बूटस्ट्रैपिंग' तकनीक कहा जाता है) हिलाकर देखा। यदि समूह वास्तविक होते, तो वही रोगी हर बार उन्हीं समूहों में आते रहते। इसके बजाय, समूह गीली रेत के महल की तरह ढह गए। स्थिरता स्कोर बहुत कम (0.211 और 0.454 के बीच) थे, जो यह कहने के लिए आवश्यक 0.75 की सीमा से बहुत नीचे थे कि, "हाँ, यह एक ठोस समूह है।" जब उन्होंने अलग-अलग सॉर्टिंग एल्गोरिदम का उपयोग किया, तो परिणाम आपस में बहुत कम सहमत थे।

मिसिंग डेटा परीक्षण: खाली स्थानों को भरने का तरीका क्या मायने रखता है?
इसके बाद, उन्होंने "मल्टीपल इम्प्यूटेशन" (MICE) नामक एक अधिक जटिल विधि का उपयोग करके गायब स्कोर को भरने का प्रयास किया, जो गायब संख्याओं के विभिन्न अनुमानों के साथ डेटा के 20 अलग-अलग संस्करण बनाता है। जब उन्होंने इन 20 संस्करणों पर छंटनी चलाई, तो परिणामी समूह मूल पांच समूहों से लगभग पूरी तरह से अलग थे। सहमति स्कोर मात्र 0.157 था। यह सुझाव देता है कि मूल पांच समूह रोगियों के वास्तविक स्वभाव की खोज नहीं थे, बल्कि इस बात का प्रतिबिंब थे कि शोधकर्ताओं ने खाली स्थानों को कैसे भरा।

"कम्प्लीट केस" परीक्षण: क्या होगा यदि हम केवल पूर्ण डेटा को देखें?
उन्होंने केवल उन 103 रोगियों को छांटने का प्रयास किया जिनके पास सभी स्कोर थे। जब उन्होंने ऐसा किया, तो कंप्यूटर अब पांच समूह नहीं चाहता था; वह तीन समूहों को पसंद करता था। वह "हैमिल्टन-एक्सट्रीम" समूह, जो पूरे डेटासेट में इतना महत्वपूर्ण लग रहा था, या तो गायब हो गया या पूरी तरह से बदल गया। वास्तव में, इस छोटे समूह में, उच्च अवसाद स्कोर वाले रोगियों में वास्तव में बेहतर मेमोरी स्कोर थे, जो मूल विश्लेषण के बिल्कुल विपरीत था। शोधकर्ताओं ने निष्कर्ष निकाला कि यह विशिष्ट "डिप्रेस्ड" समूह संभवतः एक "आर्टिफैक्ट" (artifact) था—एक नकली पैटर्न जो डेटा को संभालने के तरीके से बना था।

सर्कुलैरिटी ट्रैप: क्या हमने आउटकम को इनपुट के रूप में उपयोग किया?
अंत में, उन्होंने "सर्कुलैरिटी" के मुद्दे का परीक्षण किया। मूल विश्लेषण में, उन्होंने रोगियों को छांटने में मदद करने के लिए "दैनिक जीवन" के स्कोर (Barthel ADL) का उपयोग किया था, और फिर उन्होंने यह जांचा कि क्या समूह "दैनिक जीवन" के स्कोर की भविष्यवाणी करने में अच्छे थे। स्वाभाविक रूप से, समूह इस मामले में बहुत अच्छे थे! सांख्यिकीय संबंध बहुत मजबूत था।

लेकिन फिर, उन्होंने छंटनी की प्रक्रिया से "दैनिक जीवन" के स्कोर को पूरी तरह से हटा दिया और केवल सोचने और मूड के परीक्षणों का उपयोग किया। जब उन्होंने इन नए समूहों का उपयोग करके "दैनिक जीवन" के स्कोर की भविष्यवाणी करने का प्रयास किया, तो वह लिंक गायब हो गया। सांख्यिकीय स्कोर 0.395 के मजबूत स्तर से गिरकर मात्र 0.005 रह गया। इसने साबित कर दिया कि जिस "मजबूत संबंध" को उन्होंने पाया था, वह इसलिए नहीं था क्योंकि समूह स्वाभाविक रूप से उनके कार्य करने के तरीके में भिन्न थे; बल्कि इसलिए था क्योंकि उन्होंने समूहों को बनाने के लिए फंक्शन स्कोर का ही उपयोग किया था। यह दर्पण में देखने और एक नया चेहरा खोजने का एक क्लासिक मामला था।

निष्कर्ष

अध्ययन यह निष्कर्ष निकालता है कि हालांकि अनसुपरवाइज्ड फेनोटाइपिंग रोगियों के नए उपप्रकारों को खोजने के लिए एक शक्तिशाली उपकरण लग सकता है, लेकिन यह अविश्वसनीय रूप से नाजुक है। इस विशिष्ट मामले में, ट्रॉमैटिक ब्रेन इंजरी के लिए, कंप्यूटर द्वारा खोजे गए "समूह" इस बात के प्रति अत्यधिक संवेदनशील थे कि गायब डेटा को कैसे संभाला गया और वे काफी हद तक एक भ्रम थे जो परिणाम (outcome) को इनपुट के रूप में उपयोग करने से पैदा हुआ था।

शोधकर्ता सुझाव देते हैं कि इससे पहले कि डॉक्टर इन कंप्यूटर-जनरेटेड समूहों का उपयोग नैदानिक निर्णय लेने के लिए करना शुरू करें, वैज्ञानिकों को एक कठोर ऑडिट करना चाहिए। उन्हें यह जांचना होगा कि क्या समूह डेटा को दोबारा सैंपल करने पर स्थिर रहते हैं, क्या वे खाली नंबरों को भरने के विभिन्न तरीकों में जीवित रहते हैं, और सबसे महत्वपूर्ण बात यह है कि उन्हें यह सुनिश्चित करना चाहिए कि वे अनजाने में परिणाम का उपयोग समूह को परिभाषित करने के लिए तो नहीं कर रहे हैं। जब तक ये जाँच नहीं की जाती, नियमित अस्पताल डेटा में पाए जाने वाले "उपप्रकारों" को जांच के लिए दिलचस्प परिकल्पनाओं के रूप में माना जाना चाहिए, न कि सिद्ध तथ्यों के रूप में।