Implementation Variability Makes Sepsis-3 an Inconsistent Measuring Model for Early AI Prediction on Clinical Data
यह शोध पत्र यह प्रदर्शित करता है कि सेप्सिस-3 (Sepsis-3) की परिभाषाओं में कार्यान्वयन संबंधी परिवर्तनशीलता, विशेष रूप से संदिग्ध संक्रमण के संबंध में, विशेषज्ञ-सत्यापित लेबल की तुलना में एआई (AI) मॉडलों की पुनरुत्पादकता और भविष्य कहनेवाला प्रदर्शन को महत्वपूर्ण रूप से कमजोर करती है, जिससे नैदानिक अनुसंधान में तुलनात्मकता सुनिश्चित करने के लिए माप प्रोटोकॉल की पारदर्शी रिपोर्टिंग आवश्यक हो जाती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटेंसिव केयर यूनिट (ICU) के उच्च-जोखिम वाले वातावरण में, समय अक्सर जीवन और मृत्यु के बीच का अंतर होता है। सेप्सिस (Sepsis), संक्रमण के प्रति एक खतरनाक प्रतिक्रिया जो अंगों के विफल होने का कारण बन सकती है, दुनिया भर के अस्पतालों में मृत्यु का एक प्रमुख कारण है। चूंकि यह स्थिति तेजी से बिगड़ सकती है, इसलिए डॉक्टर मरीजों के रिकॉर्ड को स्कैन करने और मरीज के गंभीर स्थिति में पहुँचने से पहले अलार्म बजाने के लिए आर्टिफिशियल इंटेलिजेंस (AI) पर भरोसा करते हैं। इन कंप्यूटर प्रणालियों को यह सिखाने के लिए कि उन्हें क्या देखना है, शोधकर्ताओं को पहले यह सिखाना होगा कि वास्तव में सेप्सिस क्या है। वे इसे इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स के कच्चे डेटा पर 'सेप्सिस-3' (Sepsis-3) नामक स्वीकृत चिकित्सा नियमों के एक सेट को लागू करके करते हैं। ये नियम एक मापने वाले पैमाने की तरह कार्य करते हैं, जो महत्वपूर्ण संकेतों (vital signs) और लैब परिणामों के जटिल प्रवाह को एक सरल लेबल में बदल देते हैं: सेपसिस या कोई सेप्सिस नहीं। यह उम्मीद रही है कि यदि हर कोई एक ही नियमों का उपयोग करेगा, तो परिणामी कंप्यूटर मॉडल विश्वसनीय और तुलनीय होंगे। हालांकि, एक नया अध्ययन बताता है कि यह मापने वाला पैमाना पहले की तुलना में बहुत कम सुसंगत है, जो इस बात पर गंभीर सवाल उठाता है कि हम उस आर्टिफिशियल इंटेलिजेंस को कैसे प्रशिक्षित कर रहे हैं जिसका उद्देश्य जीवन बचाना है।
हाइडेलबर्ग यूनिवर्सिटी के एक शोधकर्ता ने इन नियमों की विश्वसनीयता की जांच करने का निर्णय लिया, जिसमें उन्होंने सेप्सिस की परिभाषा को एक निश्चित तथ्य के रूप में नहीं, बल्कि एक मापने वाले मॉडल के रूप में देखा। उन्होंने देखा कि विभिन्न शोध टीमें, जो सभी एक ही सेप sisi-3 दिशानिर्देशों का पालन करने का दावा करती थीं, वास्तव में उन्हें रोगी डेटा पर कैसे लागू करती थीं। उन्होंने पाया कि दिशानिर्देशों में व्याख्या की काफी गुंजाइश है। उदाहरण के लिए, नियम कहते हैं कि "संदिग्ध संक्रमण" (suspected infection) की तलाश करें, लेकिन वे यह निर्दिष्ट नहीं करते हैं कि एंटीबायोटिक्स और लैब परीक्षणों का कौन सा सटीक संयोजन संदेह माना जाएगा। एक टीम यह तय कर सकती है कि एंटीबायोटिक्स की एक एकल खुराक ही पर्याप्त है, जबकि दूसरी टीम के लिए उपचार का एक पूरा सप्ताह आवश्यक हो सकता है। इसी तरह, "अंगों की शिथिलता" (organ dysfunction) की परिभाषा इस आधार पर भिन्न हो सकती है कि शोधकर्ता 'सोफा' (SOFA) नामक एक विशिष्ट स्कोर की गणना कैसे करते हैं, जो यह ट्रैक करता है कि रोगी के अंग कितनी अच्छी तरह काम कर रहे हैं। शोधकर्ता ने छह अलग-अलग क्षेत्रों की पहचान की जहाँ ये विकल्प लिए जा सकते थे, और जब उन्होंने सभी संभावित विविधताओं को मिलाया, तो उन्होंने पाया कि एक ही परिभाषा को लागू करने के दो हजार से अधिक विशिष्ट तरीके मौजूद थे।
यह देखने के लिए कि ये विकल्प कितने महत्वपूर्ण थे, टीम ने तीन अलग-अलग अस्पताल डेटाबेस के डेटा का उपयोग करके एक विशाल प्रयोग चलाया। उन्होंने बिल्कुल एक ही रोगी रिकॉर्ड लिए और उन पर सेप्सिस-3 के हर संभव संस्करण को लागू किया। परिणाम चौंकाने वाले थे। संदिग्ध संक्रमण को परिभाषित करने के विभिन्न तरीके असहमति का सबसे बड़ा स्रोत थे, इसके बाद यह कि शोधकर्ताओं ने ठीक कब सेप्सिस की शुरुआत तय की। कुछ मामलों में, नियमों के चुनाव ने रोगी के अंतिम लेबल को पूरी तरह से बदल दिया। शोधकर्ता ने पाया कि ये विविधताएं केवल मामूली तकनीकी विवरण नहीं थीं; इन्होंने एक स्तर की विसंगति पैदा की जिससे विभिन्न अध्ययनों के परिणामों की तुलना करना कठिन हो गया। एक मॉडल जिसे एक अस्पताल में नियमों के एक सेट के साथ प्रशिक्षित किया गया था, वह दूसरे अस्पताल में प्रशिक्षित मॉडल से मौलिक रूप से भिन्न हो सकता है, भले ही दोनों एक ही मानक का उपयोग करने का दावा करते हों।
अध्ययन ने वास्तविक, विशेषज्ञ डॉक्टरों के निर्णयों के विरुद्ध इन कंप्यूटर-जनित लेबलों की तुलना करके एक महत्वपूर्ण कदम उठाया। शोधकर्ता ने एक ऐसा डेटासेट उपयोग किया जहाँ वरिष्ठ चिकित्सकों ने मैन्युअल रूप से रोगी रिकॉर्ड की समीक्षा की थी और स्पष्ट रूप से चिह्नित किया था कि उनके अनुसार सेप्सिस कब शुरू हुआ था। जब उन्होंने विभिन्न कंप्यूटर संस्करणों (Sepsis-3) की मानव विशेषज्ञों के साथ तुलना की, तो कंप्यूटर मॉडल डॉक्टरों के साथ सहमत होने में संघर्ष करते दिखे। यह असहमति विशेष रूप से संवेदनशीलता (sensitivity) के क्षेत्र में गंभीर थी, जिसका अर्थ है कि कंप्यूटर नियम अक्सर उन सेप्सिस मामलों को पहचानने में विफल रहे जिन्हें डॉक्टरों ने स्पष्ट रूप से देखा था। सहमति की इस कमी का आर्टिफिशियल इंटेलिजेंस के प्रदर्शन पर सीधा प्रभाव पड़ा। विशेषज्ञों के लेबल पर प्रशिक्षित मॉडलों की तुलना में, कंप्यूटर-जनित सेप्सिस-3 लेबल पर प्रशिक्षित मॉडल काफी खराब प्रदर्शन करते थे। सबसे खराब मामलों में, कंप्यूटर-प्रशिक्षित मॉडल भविष्यवाणियों में अठारह प्रतिशत तक कम सटीक थे और सकारात्मक मामलों को सही ढंग से पहचानने की उनकी क्षमता में तेरह अंक की कमी थी।
शोधकर्ता ने पाया कि वे स्थानीय विशेषज्ञों के सोचने के विशिष्ट तरीके के साथ कंप्यूटर नियमों को सावधानीपूर्वक ट्यून करके इस प्रदर्शन अंतराल को कम कर सकते हैं। सेप्सिस की शुरुआत और संक्रमण की परिभाषा को विशेषज्ञ लेबल के साथ संरेखित करके, वे सटीकता के अंतर को केवल कुछ प्रतिशत तक कम करने में सक्षम रहे। हालांकि, इस समाधान के साथ एक शर्त भी जुड़ी थी। वे विशिष्ट नियम जो विशेषज्ञों के निर्णयों के साथ सबसे अच्छा मेल खाते थे, वे अक्सर वे थे जो टाइमलाइन में सेप्सिस को देरी से पहचानते थे, जो शुरुआती चेतावनी प्रणालियों (early warning systems) के लिए आवश्यक चीज़ के बिल्कुल विपरीत है। यह निष्कर्ष बताता है कि सेप्सिस की कोई एक एकल, पूर्ण संस्करण वाली परिभाषा नहीं है जो हर उद्देश्य के लिए काम करे। एक नियम सेट जो मृत्यु की भविष्यवाणी करने के लिए उत्कृष्ट है, वह बीमारी को जल्दी पकड़ने के लिए बहुत खराब हो सकता है, और एक नियम सेट जो एक अस्पताल के विशेषज्ञों से मेल खाता है, वह दूसरे अस्पताल में विफल हो सकता है।
अंततः, अध्ययन यह निष्कर्ष निकालता है कि इन नियमों को लागू करने में जो परिवर्तनशीलता है, वह आधुनिक चिकित्सा की एक संरचनात्मक विशेषता है, न कि कोई बग जिसे आसानी से ठीक किया जा सके। लेखक का तर्क है कि यह क्षेत्र इस विचार पर बहुत अधिक निर्भर रहा है कि एक सर्वसम्मत परिभाषा एक सुसंगत माप की गारंटी देती है। इसके बजाय, वे दिखाते हैं कि कोड में किए गए विकल्प डेटा की तरह ही महत्वपूर्ण हैं। स्वास्थ्य सेवा में आर्टिफिशियल इंटेलिजेंस के भरोसेमंद और पुनरुत्पादनीय (reproducible) होने के लिए, शोधकर्ताओं को सेप्सिस की परिभाषा को एक 'ब्लैक बॉक्स' के रूप में मानना बंद करना होगा। उन्हें इस बारे में पारदर्शी होने की आवश्यकता है कि उन्होंने नियमों का वास्तव में कौन सा संस्करण उपयोग किया और वे नियम स्थानीय नैदानिक वास्तविकता के साथ कैसे संरेखित हैं। इस स्पष्टता के बिना, बीमारी का शीघ्र पता लगाने के लिए AI का वादा इस अनिश्चितता के बादल में घिरा रहेगा कि स्वयं बीमारी को कैसे मापा जा रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।