Temporal Validation of a Structured Data Transformer Ensemble for 30-Day AMI Readmission Prediction

कल्पना कीजिए कि आप एक जासूस हैं जो किसी घटना के होने से पहले ही उसके रहस्य को सुलझाने की कोशिश कर रहे हैं। चिकित्सा की दुनिया में, सबसे बड़े रहस्यों में से एक यह पता लगाना है कि कौन से मरीज, अस्पताल से छुट्टी मिलने के बाद, दोबारा बीमार होने और 30 दिनों के भीतर वापस आने की सबसे अधिक संभावना रखते हैं। यह केवल पैसा बचाने के बारे में नहीं है; यह जीवन बचाने और यह सुनिश्चित करने के बारे में है कि यदि बहुत अधिक लोग वापस आते हैं तो अस्पताल सरकार के साथ मुश्किल में न पड़ें। आमतौर पर, जासूसों (डॉक्टरों और शोधकर्ताओं) के पास सुरागों से भरा एक विशाल टूलबॉक्स होता है: वे डॉक्टरों के हस्तलिखित नोट्स पढ़ सकते हैं, वे सटीक रूप से जानते हैं कि मरीज किस पड़ोस में रहता है, और वे उनके जीवन का पूरा इतिहास देख सकते हैं। लेकिन कभी-कभी, सुराग छिपे होते हैं। कल्पना कीजिए कि आपको इंडेक्स कार्डों का एक ढेर दिया गया है जिस पर केवल नंबर और कोड हैं—कोई नाम नहीं, कोई पता नहीं, कोई कहानी नहीं, केवल ठंडे, कठोर आंकड़े। यह कई बीमा कंपनियों और बड़े नियोक्ताओं की वास्तविकता है जो स्वास्थ्य योजनाओं का प्रबंधन करते हैं; उनके पास यह "डी-आइडेंटिफाइड" (पहचान रहित) डेटा है, लेकिन वे पूरी तस्वीर नहीं देख सकते। बड़ा सवाल यह है: क्या आप अभी भी इस सीमित, केवल नंबर वाले डेटा का उपयोग करके रहस्य को सुलझा सकते हैं और भविष्यवाणी कर सकते हैं कि कौन वापस आएगा?

यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं की एक टीम ने इस विशिष्ट पहेली को हल करने के लिए एक सुपर-स्मार्ट कंप्यूटर जासूस बनाने की कोशिश करने का निर्णय लिया। वे यह देखना चाहते थे कि क्या एक नए प्रकार का आर्टिफिशियल इंटेलिजेंस, जिसे "ट्रांसफॉर्मर" (वही तकनीक जो कंप्यूटर को भाषा समझने में मदद करती है) कहा जाता है, इन सीमित, केवल नंबर वाले मेडिकल रिकॉर्ड्स में पैटर्न को पहचानना सीख सकता है। वे केवल अनुमान नहीं लगा रहे थे; उन्होंने "मारकी इंडेक्स" (Marqi Index) नामक एक मॉडल बनाया और एक सख्त समयरेखा पर इसका परीक्षण किया, जिसमें भविष्य के डेटा पर काम करने के लिए पुराने डेटा का उपयोग किया गया ताकि यह देखा जा सके कि क्या यह वास्तव में काम करता है। उन्होंने पाया कि, आश्चर्यजनक रूप से, एआई काफी अच्छा काम कर सकता है, भले ही उसके पास कहानियों या पतों जैसे शानदार सुराग न हों। हालांकि, वे बहुत सावधानी से कहते हैं कि जबकि एआई जोखिम वाले लोगों को रैंक करने में अच्छा है, इसे वास्तविक दुनिया में अंतिम निर्णय लेने के लिए भरोसेमंद बनने से पहले कुछ सुधार (ट्यूनिंग) की आवश्यकता है।

लापता सुरागों का रहस्य

अस्पताल में दोबारा भर्ती होने (रीएडमिशन) की दुनिया में, लक्ष्य यह अनुमान लगाना है कि कौन से मरीज डिस्चार्ज होने के 30 दिनों के भीतर अस्पताल वापस आएंगे। ऐतिहासिक रूप से, शोधकर्ताओं ने HOSPITAL स्कोर या LACE इंडेक्स जैसे उपकरणों का उपयोग किया है। इन्हें पुराने जमाने के जासूसी मैनुअल की तरह समझें। वे तब अच्छी तरह काम करते हैं जब आपके पास सभी सुराग हों: डिस्चार्ज की सटीक तारीख, विशिष्ट अस्पताल का नाम, और डॉक्टर के विस्तृत नोट्स। लेकिन कई बीमा कंपनियों और स्वयं-वित्तपोषित नियोक्ताओं के लिए, वे सुराग गायब हैं। उनका डेटा "डी-आइडेंटिफाइड" है, जिसका अर्थ है कि गोपनीयता की रक्षा के लिए सभी नाम, पते और विशिष्ट तिथियां हटा दी गई हैं। यह एक अपराध को केवल फोन नंबरों और टाइमस्टैम्प की सूची का उपयोग करके सुलझाने की कोशिश करने जैसा है, बिना यह जाने कि किसने किसे कॉल किया या कहाँ से।

समस्या यह है कि पुराने जासूसी मैनुअल (HOSPITAL और LACE) इस तरह के कम जानकारी वाले डेटा के साथ काम नहीं कर सकते। उन्हें उन सुरागों की आवश्यकता होती है जो वहां मौजूद ही नहीं हैं। इसलिए, शोधकर्ताओं ने पूछा: क्या हम एक नया प्रकार का जासूस बना सकते जिसे पूरी कहानी की आवश्यकता न हो? क्या हम एक शक्तिशाली एआई का उपयोग कर सकते जो केवल नंबरों के पैटर्न से सीखता है?

नया जासूस: मारकी इंडेक्स

मारकी मेडिकल और कई विश्वविद्यालयों के शोधकर्ताओं के नेतृत्व में टीम ने एक नया एआई सिस्टम बनाया जिसे वे मारकी इंडेक्स कहते हैं। एक साधारण चेकलिस्ट के बजाय, उन्होंने एक "ट्रांसफॉर्मर एन्सेम्बल" का उपयोग किया। यदि एक ट्रांसफॉर्मर एक सुपर-रीडिंग मशीन की तरह है जो वाक्य में शब्दों के क्रम को समझती है, तो यह एआई मरीज के इतिहास में घटनाओं के क्रम को समझने के लिए उसी शक्ति का उपयोग करता है। यह लैब टेस्ट, निदान (डायग्नोसिस) और अस्पताल के दौरों के क्रम को एक कहानी की तरह देखता है, और उन मोड़ (प्लॉट ट्विक्स) को खोजने की कोशिश करता है जो दोबारा अस्पताल आने का कारण बनते हैं।

यह सुनिश्चित करने के लिए कि यह नया जासूस वास्तव में स्मार्ट है न कि केवल भाग्यशाली, उन्होंने टेम्पोरल वैलिडेशन (सामयिक सत्यापन) नामक एक बहुत ही सख्त परीक्षण पद्धति का उपयोग किया। कल्पना कीजिए कि आप एक छात्र को गणित की परीक्षा के लिए पढ़ा रहे हैं। आप उन्हें 2019 से 2023 तक के अभ्यास प्रश्न देते हैं। फिर, आप उन्हें 2024 का एक नया टेस्ट देते हैं जिसे उन्होंने पहले कभी नहीं देखा है। यदि वे 2024 के टेस्ट में पास हो जाते हैं, तो आप जानते हैं कि उन्होंने वास्तव में विषय को सीखा है, न कि केवल उत्तर रटे हैं। शोधकर्ताओं ने बिल्कुल यही किया: उन्होंने 2019 से 2023 के डेटा पर अपने एआई को प्रशिक्षित किया और फिर 2024 के डेटा पर इसका परीक्षण किया।

परिणाम: एक अच्छा स्कोर, लेकिन पूर्ण नहीं

परिणाम उत्साहजनक थे। जब एआई ने अपना 2024 का टेस्ट दिया, तो इसने 0.807 का AUROC स्कोर प्राप्त किया। भविष्यवाणी की दुनिया में, 0.5 का स्कोर सिक्के उछालने जैसा है और 1.0 पूर्ण (परफेक्ट) है। 0.807 का स्कोर बहुत अच्छा माना जाता है, विशेष रूप से इस प्रकार के सीमित डेटा के लिए। शोधकर्ताओं ने नोट किया कि केवल इस प्रकार के "नंबर-ओनली" डेटा का उपयोग करने वाला कोई अन्य प्रकाशित मॉडल हार्ट अटैक के मरीजों के लिए इतना उच्च स्कोर प्राप्त नहीं कर सका था।

हालांकि, एआई कोई भविष्य बताने वाला यंत्र (क्रिस्टल बॉल) नहीं है। यहाँ बताया गया है कि इसने नंबरों की वास्तविक दुनिया में कैसा प्रदर्शन किया:

• संवेदनशीलता (Sensitivity - 36.7%): इसका मतलब है कि एआई ने वास्तव में वापस आने वाले 10 में से केवल लगभग 3 मरीजों को ही पकड़ा। इसने कई बीमार मरीजों को मिस कर दिया।
• विशिष्टता (Specificity - 93.1%): यह इसकी सबसे बड़ी ताकत है। यदि एआई कहता है कि एक मरीज कम जोखिम वाला है, तो वह लगभग हमेशा सही होता है। यह किसी स्वस्थ व्यक्ति को अस्पताल जाने के लिए नहीं भेजता।
• पॉजिटिव प्रेडिक्टिव वैल्यू (Positive Predictive Value - 46.4%): जब एआई ने किसी मरीज को "उच्च जोखिम" के रूप में चिह्नित किया, तो इस बात की 46.4% संभावना थी कि वे वास्तव में वापस आएंगे। यह समूह के औसत जोखिम (जो केवल 11.8% था) से बहुत बेहतर है।

इसे हवाई अड्डे पर मेटल डिटेक्टर की तरह समझें। यह कुछ छोटी चाकूओं को मिस कर सकता है (कम संवेदनशीलता), लेकिन जब यह बीप करता है, तो इसकी बहुत अधिक संभावना है कि वहां कुछ धातु मौजूद है (उच्च विशिष्टता)। डॉक्टरों के लिए, इसका अर्थ है कि वे एआई का उपयोग यह तय करने के लिए कर सकते हैं कि किसे पहले कॉल करना है। 100 लोगों को कॉल करने और अपना समय उन 90 लोगों पर बर्बाद करने के बजाय जो ठीक हैं, वे उन 10 लोगों पर ध्यान केंद्रित कर सकते जिन्हें एआई ने चिह्नित किया है, यह जानते हुए कि उनमें से लगभग आधे वास्तव में जोखिम में हैं।

पकड़: कैलिब्रेशन और "एआई ग्लिच"

शोधकर्ता अपनी सीमाओं के बारे में बहुत ईमानदार थे। जबकि एआई मरीजों को रैंक करने में अच्छा था (यह जानने में कि कौन अधिक जोखिम में है), इसके द्वारा दिए गए "संभावना" के वास्तविक नंबर थोड़े गलत थे। "कैलिब्रेशन" (अंशांकन) पूर्ण नहीं था, जिसका अर्थ है कि यदि एआई कहता है कि किसी मरीज के वापस आने की 50% संभावना है, तो वास्तव में ऐसा 50% बार नहीं हो सकता है। इससे पहले कि इस उपकरण का उपयोग अस्पताल में किया जा सके, उन नंबरों को पुन: कैलिब्रेट करने की आवश्यकता है, जैसे रेडियो को स्पष्ट सिग्नल पाने के लिए ट्यून करना।

शायद इस शोध पत्र का सबसे दिलचस्प हिस्सा वह कहानी है कि कैसे इस एआई को बनाया गया था। टीम ने कंप्यूटर कोड लिखने में मदद के लिए एआई टूल्स का उपयोग किया। प्रक्रिया के दौरान, एआई सहायक ने एक गलती की: इसने अंतराल भरने के लिए गलती से नकली मरीज डेटा बना दिया, जिससे मॉडल का स्कोर अविश्वसनीय रूप से 0.937 दिखाई देने लगा। लेकिन शोधकर्ताओं ने एक विशेष "वेरिफिकेशन फ्रेमवर्क" (सत्यापन ढांचा) बनाया था—एक सुरक्षा जाल जिसने हर नंबर की वास्तविक लॉग्स के साथ जांच की। इस सुरक्षा जाल ने तुरंत नकली स्कोर को पकड़ लिया, और उन्होंने इसे ठीक कर दिया। यह दिखाता है कि एआई का उपयोग एआई बनाने के लिए करते समय भी, आपको काम की दोबारा जांच करने के लिए एक इंसान (या एक सख्त प्रणाली) की आवश्यकता होती है।

भविष्य के लिए इसका क्या अर्थ है

यह शोध पत्र सुझाव देता है कि हम शक्तिशाली चिकित्सा भविष्यवाणी उपकरण बना सकते हैं भले ही हमारे पास मरीज के नाम या पते जैसी सभी शानदार जानकारी न हो। "मारकी इंडेक्स" यह सिद्ध करता है कि सही प्रकार के एआई के साथ, हम डी-आइडेंटिफाइड डेटा के शोर के बीच से एक मजबूत संकेत प्राप्त कर सकते हैं।

हालांकि, लेखक इसे एक तैयार उत्पाद कहने में सावधान हैं। वे कहते हैं कि यह एक आंतरिक टेम्पोरल वैलिडेशन है, जिसका अर्थ है कि यह एक बहुत ही मजबूत परीक्षण है, लेकिन यह अभी भी विकास चरण का हिस्सा है। मॉडल को अन्य अस्पतालों के पूरी तरह से अलग, वास्तविक दुनिया के डेटा पर परीक्षण करने की आवश्यकता है ताकि यह साबित हो सके कि यह हर जगह काम करता है। वे यह भी नोट करते हैं कि सर्वोत्तम संभव प्रदर्शन डेटा की अपनी सीमाओं के कारण सीमित हो सकता है; मरीज की कहानी या सामाजिक विवरणों के बिना, भविष्यवाणी कितनी अच्छी हो सकती है, इसकी एक "सीमा" (सीलिंग) होती है।

संक्षेप में, यह दिखाने में एक बड़ा कदम है कि हम चिकित्सा डेटा के "बेयर बोन्स" (बुनियादी ढांचे) का उपयोग करके हार्ट अटैक के दोबारा भर्ती होने की भविष्यवाणी कर सकते हैं। यह एक ऐसा उपकरण है जो डॉक्टरों को अपना समय उन मरीजों पर केंद्रित करने में मदद करता है जिन्हें इसकी सबसे अधिक आवश्यकता है, लेकिन यह अभी कोई जादू की छड़ी नहीं है—इसे जीवन-मरण के निर्णय लेने से पहले और अधिक परीक्षण और ट्यूनिंग की आवश्यकता है।