Before the Model Comes the Endpoint: Stable-Extubation Adjudication for Cross- Database Prediction in Obstructive Airway Disease

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन अपराध स्थल एक अस्पताल का कंप्यूटर सिस्टम है, और "अपराध" एक मरीज का सांस लेने में संघर्ष करना है जब उसकी ब्रीदिंग मशीन (सांस लेने वाली मशीन) को बंद कर दिया जाता है। विज्ञान का यह क्षेत्र 'क्लिनिकल प्रेडिक्शन' (नैदानिक भविष्यवाणी) कहलाता है, जहाँ डॉक्टर और डेटा वैज्ञानिक डिजिटल क्रिस्टल बॉल (भविणीय गोले) बनाने की कोशिश करते हैं। ये क्रिस्टल बॉल पिछले मरीजों के डेटा का उपयोग यह अनुमान लगाने के लिए करते हैं कि मशीन बंद होने के बाद किन मरीजों को खुद से सांस लेने में कठिनाई हो सकती है। इसका मूल विचार सरल है: यदि हम खतरे को जल्दी पहचान सकें, तो हम मरीज के बिगड़ने से पहले उसकी मदद कर सकते हैं। लेकिन इसमें एक पेंच है। अस्पताल डेटा को अव्यवस्थित, मानवीय तरीकों से रिकॉर्ड करते हैं। कभी-कभी एक मरीज को सुरक्षा के लिए (जैसे कि सीटबेल्ट) बस थोड़ा सा सहारा मिलता है (जैसे मास्क से), और कभी-कभी वे वास्तव में विफल हो जाते हैं और उन्हें मशीन की दोबारा जरूरत पड़ती है। यदि कंप्यूटर "सुरक्षा प्रथम" और "आपातकालीन बचाव" के बीच अंतर नहीं कर पाता है, तो क्रिस्टल बॉल बेकार हो जाती है। यह एक तूफान की भविष्यवाणी करने के लिए मौसम के मानचित्र को देखने जैसा है जो एक मंद हवा और एक तूफान के बीच भ्रमित हो जाता है।

यह शोध पत्र, जिसे टियानयी यू (Tianyi Yu) ने लिखा है, ठीक इसी अव्यवस्था से निपटने का प्रयास करता है। लेखक एक महत्वपूर्ण प्रश्न पूछते हैं: क्या हम डेटा को साफ कर सकते हैं ताकि हमारे डिजिटल क्रिस्टल बॉल वास्तव में तब भी काम करें जब हम उन्हें एक अस्पताल के कंप्यूटर सिस्टम से दूसरे में ले जाते हैं? यह अध्ययन COPD और अस्थमा जैसी कठिन श्वसन स्थितियों वाले मरीजों पर केंद्रित है। शोधकर्ताओं ने पाया कि "विफलता" (failure) गिनने का सामान्य तरीका बहुत अधिक शोर भरा (noisy) था। उन्होंने एक नया, अधिक सख्त नियम बनाया जिससे यह तय हो सके कि वास्तविक विफलता किसे माना जाए। उन्होंने पाया कि हालांकि इस नए नियम ने डेटा को बहुत अधिक साफ और विभिन्न अस्पतालों के बीच सुसंगत बना दिया, फिर भी उनके द्वारा बनाए गए कंप्यूटर मॉडल अभी भी आज के वास्तविक मरीजों पर उपयोग के लिए पूरी तरह तैयार नहीं थे। मॉडल पैटर्न को पहचान तो सकते थे, लेकिन वे बिना और अधिक परीक्षण के बेडसाइड पर भरोसेमंद होने के लिए जोखिम का सटीक अनुमान नहीं लगा सकते थे।

शोर भरे सिग्नल की कहानी

अस्पताल के इलेक्ट्रॉनिक हेल्थ रिकॉर्ड (EHR) को एक विशाल, अराजक रिकॉर्डिंग स्टूडियो के रूप में सोचें। हर बार जब कोई नर्स मरीज की जांच करती है, कोई डॉक्टर टेस्ट का आदेश देता है, या कोई मशीन बीप करती है, तो गाने में एक नया नोट जुड़ जाता है। ब्रीदिंग मशीनों (वेंटिलेटर) पर मौजूद मरीजों के मामले में, यह गाना हमें यह बताने के लिए होना चाहिए कि वे कब अपने आप गाने (सांस लेने) के लिए तैयार हैं। लेकिन रिकॉर्डिंग में बहुत सारा 'स्टैटिक' (शोर) है।

कभी-कभी, एक मरीज को मशीन से हटाया जाता है, वह कुछ समय तक ठीक से सांस लेता है, और फिर सुरक्षा के लिए उसे एक गैर-आक्रामक मास्क (जैसे हाई-फ्लो नेज़ल कैन्युला) से थोड़ा सहारा मिलता है। दूसरी ओर, वे मशीन हटाते हैं और तुरंत हांफने लगते हैं, जिससे उन्हें दोबारा ट्यूब की आवश्यकता होती है। अव्यवस्थित डेटा में, ये दोनों घटनाएं अक्सर एक जैसी दिखती हैं: "मरीज मशीन से हटा, फिर मदद मिली।" यदि आप मदद की हर बार की गई आवश्यकता को "विफलता" के रूप में गिनते हैं, तो आप सुरक्षात्मक उपायों को आपदा मान रहे हैं। यह एक शिक्षक द्वारा छात्र को विज्ञान प्रयोगशाला में सुरक्षा हेलमेट पहनने के लिए फेल करने जैसा है, भले ही छात्र केवल नियमों का पालन कर रहा था।

"स्टेबल एक्सट्यूबेशन" नियम: एक नया फिल्टर

लेखक, टियानयी यू ने इस शोर को साफ करने के लिए एक फिल्टर बनाने का निर्णय लिया। उन्होंने एक नया नियम प्रस्तावित किया, जिसे वे "स्टेबल-एक्सट्यूबेशन एडजुडिकेशन" (stable-extubation adjudication) कहते हैं। इसे डेटा के लिए एक "कूलिंग-ऑफ पीरियड" (ठंडा होने की अवधि) के रूप में समझें।

नियम कहता है: एक मरीज को तभी "विफलता" माना जाएगा यदि उसे मशीन से हटाया जाता है, वह 12 घंटे तक आराम से अपनी सांस खुद लेता है, और उसके बाद उसे परेशानी होती है। यदि उसे तुरंत परेशानी होती है, या यदि उसे केवल सुरक्षित रहने के लिए थोड़ा सहारा मिलता है, तो इस नए सिस्टम में इसे विफलता नहीं माना जाएगा। इसके अलावा, यदि उसे परेशानी होती भी है, तो विफलता कहलाने के लिए उसे कम से कम 2 घंटे तक ब्रीदिंग मशीन की आवश्यकता होनी चाहिए। यदि वह 48 घंटों के भीतर मृत्यु को प्राप्त होता है, तो उसे भी एक कठिन विफलता (hard failure) माना जाएगा।

यह नियम एक क्लब के बाउंसर की तरह है जो केवल उन लोगों को अंदर आने देता है जो 12 घंटे बाहर खड़े रहे हों और फिर अचानक भागने का फैसला करें। यह उन लोगों को छान देता है जो बस आसपास घूम रहे थे या जल्दी से ड्रिंक ले रहे थे (प्रोफिलेक्टिक सपोर्ट) और केवल उन्हीं को पकड़ता है जो वास्तव में घबराहट में भाग रहे हैं (वास्तविक विफलता)।

डेटा का महान आदान-प्रदान: MIMIC-IV बनाम eICU

यह परीक्षण करने के लिए कि क्या यह नियम काम करता है, लेखक ने दो विशाल डेटाबेस के साथ "म्यूजिकल चेयर्स" का खेल खेला: MIMIC-IV (बोस्टन के एक बड़े अस्पताल से) और eICU-CRD (अमेरिका के कई अलग-अलग अस्पतालों से)। ये डेटाबेस दो अलग-अलग पुस्तकालयों की तरह हैं। एक पुस्तकालय अपनी किताबें एक बहुत ही विशिष्ट, विस्तृत शैली में लिखता है, जबकि दूसरा पुस्तकालय अधिक ढीली, विविध शैली में लिखता है। आमतौर पर, यदि आप एक कंप्यूटर को लाइब्रेरी A को पढ़ना सिखाते हैं, तो लाइब्रेरी B को पढ़ते समय वह भ्रमित हो जाता है।

लेखक यह देखना चाहते थे कि क्या उनके नए "कूलिंग-ऑफ" नियम से दोनों पुस्तकालयों की किताबें एक जैसी दिखेंगी।

परिणाम:
नए नियम से पहले, डेटा बहुत अव्यवस्थित था। MIMIC-IV लाइब्रेरी में, 68.5% मरीजों ने ऐसा दिखाया जैसे वे विफल रहे हों। eICU लाइब्रेरी में, केवल 34.8% मरीज विफल होते दिखे। यह 33.7 प्रतिशत अंकों का एक बड़ा अंतर था। यह एक लाइब्रेरी द्वारा "अधिकांश लोग विफल होते हैं" कहने और दूसरी द्वारा "अधिकांश लोग सफल होते हैं" कहने जैसा था, भले ही वे समान मरीजों को देख रहे थे।

नया नियम लागू करने के बाद:

• MIMIC-IV में, विफलता दर गिरकर 25.2% हो गई।
• eICU-CRD में, यह गिरकर 12.5% हो गई।
• दोनों लाइब्रेरी के बीच का अंतर घटकर केवल 12.7 प्रतिशत अंक रह गया।

नियम काम कर गया! इसने डेटा को साफ किया और दोनों अलग-अलग अस्पतालों को एक जैसा बना दिया। इसने साबित कर दिया कि पुराने तरीके से गिनती करने पर विफलता को बढ़ा-चढ़ाकर बताया जा रहा था, जिसमें सुरक्षात्मक उपायों को आपदा समझ लिया गया था।

क्रिस्टल बॉल: पहचानने में अच्छी, भविष्यवाणी करने में कमजोर

अब जब डेटा साफ हो गया था, तो लेखक ने एक "क्रिस्टल बॉल" (प्रेडिक्शन मॉडल) बनाने की कोशिश की ताकि यह अनुमान लगाया जा सके कि कौन विफल होगा। उन्होंने एक लाइब्रेरी पर मॉडल को प्रशिक्षित किया और बिना कुछ बदले दूसरी लाइब्रेरी पर उसका परीक्षण किया।

परिणाम "बुरे नहीं हैं" और "पर्याप्त अच्छे नहीं हैं" का मिश्रण थे।

• मॉडल मरीजों के विफल होने और न होने के बीच के अंतर को रैंडम अनुमान लगाने से बेहतर बता सका। इस क्षमता (जिसे AUROC कहा जाता है) का स्कोर MIMIC से eICU जाने पर 0.679 था, और इसके विपरीत जाने पर 0.672 था।
• हालाँकि, मॉडल सटीक जोखिम का अनुमान लगाने में बहुत खराब था। यदि मॉडल कहता था कि किसी मरीज के विफल होने की 50% संभावना है, तो वह अक्सर गलत होता था। "ब्रायर स्कोर" (संभावना की सटीकता का एक माप) एक दिशा में 0.471 था, जो काफी अधिक है और इसका अर्थ है कि भविष्यवाणियाँ गलत थीं।

लेखक बताते हैं कि जबकि मॉडल समस्या के सामान्य आकार (डिस्क्रिमिनेशन) को देख सकता था, वह समस्या के सटीक माप (कैलिब्रेशन) को नहीं निकाल सका। यह एक ऐसे मौसम ऐप की तरह है जो जानता है कि बारिश होने वाली है, लेकिन यह कहता रहता है कि 90% संभावना है जबकि वास्तव में केवल 20% ही होती है।

भविष्य के लिए इसका क्या अर्थ है

सबसे महत्वपूर्ण बात यह है कि आप केवल लेंस को शानदार बनाकर टूटी हुई क्रिस्टल बॉल को ठीक नहीं कर सकते। लेखक का तर्क है कि सबसे बड़ी समस्या कंप्यूटर एल्गोरिदम (लेंस) नहीं थी; समस्या घटना की परिभाषा (देखी जाने वाली वस्तु) थी। "12-घंटे की स्थिरता" नियम के साथ परिभाषा को ठीक करके, उन्होंने डेटा को अनुसंधान के लिए उपयोगी बना दिया।

हालाँकि, पेपर बहुत स्पष्ट है: यह मॉडल अभी अस्पताल के बेडसाइड के लिए तैयार नहीं है। इसका उपयोग डॉक्टर को यह बताने के लिए नहीं किया जा सकता कि, "इस मरीज की ट्यूब मत निकालो।" भविष्यवाणियाँ मरीज के जीवन के साथ भरोसा करने के लिए पर्याप्त सटीक नहीं हैं। लेखक सुझाव देते हैं कि इससे पहले कि कोई अस्पताल इसका उपयोग करे, उन्हें इसे स्थानीय स्तर पर परीक्षण करने, अपने अस्पताल की शैली के अनुसार नंबरों को समायोजित करने और इसे सावधानी से देखने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि यह अपने रास्ते से भटक न जाए।

संक्षेप में, अध्ययन ने सांस लेने की विफलता की भविष्यवाणी करने की समस्या को हल नहीं किया, बल्कि इसने इसे परिभाषित करने की समस्या को हल किया। इसने हमें दिखाया कि किसी बेहतर कार को बनाने से पहले, हमें यह सुनिश्चित करना होगा कि हम सभी एक ही सड़क पर चल रहे हैं। सड़क अब अधिक स्पष्ट है, लेकिन कार को हाईवे पर सुरक्षित रूप से चलाने से पहले अभी भी कुछ और टेस्ट ड्राइव की आवश्यकता है।