EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses
यह शोध पत्र EarlyDx प्रस्तुत करता है, जो MIMIC-IV के केवल प्रवेश-आधारित (admission-only) डेटा का उपयोग करके ओपन-एंडेड, साक्ष्य-समर्थित आपातकालीन निदान के लिए एक बड़े पैमाने का बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान लार्ज लैंग्वेज मॉडल्स पोस्ट-ट्रेनिंग सुधारों के बावजूद सीमित प्रारंभिक साक्ष्यों से निदान का विश्वसनीय रूप से अनुमान लगाने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपको केवल पहले पांच मिनट के लिए अपराध स्थल को देखने की अनुमति है। आपके पास सुरागों से भरी एक नोटबुक है: एक कीचड़ वाला पदचिह्न, एक टूटी हुई खिड़की, और एक गवाह जो अभी भी कांप रहा है। आपका काम यह अनुमान लगाना है कि अभी क्या हुआ है, पुलिस के आने से पहले, लैब परीक्षणों के आने से पहले, और संदिग्ध के कबूल करने से पहले। यह एक इमरजेंसी रूम (ER) में डॉक्टरों की दैनिक वास्तविकता है। उन्हें एक "वर्किंग डायग्नोसिस" (working diagnosis)—यानी यह सबसे अच्छा अनुमान कि क्या गलत है—करना होता है, जिसमें केवल उस सीमित जानकारी का उपयोग किया जाता है जो मरीज के दरवाजे से अंदर आते ही उपलब्ध होती है।
लंबे समय से, वैज्ञानिक कंप्यूटर को यह काम सिखाने की कोशिश कर रहे हैं कि वे यह कैसे करें, जिसका उपयोग आर्टिफिशियल इंटेलिजेंस (AI) करता है। उन्होंने "बेंचमार्क" बनाए, जो AI के टेस्ट स्कोर की तरह हैं, यह देखने के लिए कि ये मशीनें कितनी स्मार्ट हैं। लेकिन इनमें से अधिकांश परीक्षण पक्षपाती थे। उन्होंने AI को मरीज के अस्पताल में रहने की पूरी कहानी (जिसमें दिनों बाद तक दिया गया अंतिम निदान भी शामिल था) दे दी और फिर उससे शुरुआत की भविष्यवाणी करने को कहा। यह एक जासूस को रहस्य का समाधान देने और फिर उनसे सुरागों का अनुमान लगाने के लिए कहने जैसा है। इसके अलावा, इन परीक्षणों ने AI को उत्तरों की एक छोटी, निश्चित सूची में से चुनने के लिए मजबूर किया, जैसे कि एक बहुविकल्पीय प्रश्न (multiple-choice quiz), न कि उन्हें अपनी भाषा में अपना उत्तर लिखने देने के बजाय। यह शोध पत्र, जिसे EarlyDx कहा जाता है, इस खेल को ठीक करने का निर्णय लेता है। यह एक नया, अधिक निष्पक्ष परीक्षण बनाता है जो AI को एक वास्तविक ER डॉक्टर की तरह कार्य करने के लिए मजबूर करता है: प्रवेश के सटीक क्षण पर उपलब्ध साक्ष्यों को देखना और मुक्त पाठ (free text) में एक निदान लिखना, बिल्कुल वैसे ही जैसे एक इंसान करेगा।
नया खेल: EarlyDx
शोधकर्ताओं ने EarlyDx नामक एक विशाल नया खेल मैदान बनाया, जो 1,54,000 से अधिक वास्तविक आपातकालीन कक्ष दौरों से बना है। एक मरीज की कहानियों के एक विशाल पुस्तकालय की कल्पना करें। इस पुस्तकालय में, उन्होंने हर कहानी को बहुत सावधानी से उस क्षण पर काट दिया जब मरीज को अस्पताल में भर्ती किया गया था। उन्होंने बाद में लिखी गई किसी भी नोट, अगले दिन आए किसी भी लैब परिणाम, या मरीज के पूरी तरह से इलाज के बाद दिए गए किसी भी अंतिम निदान को हटा दिया। उन्होंने केवल "प्रवेश-समय" के साक्ष्य रखे: मरीज की आयु, उनकी मुख्य शिकायत (क्या दर्द हो रहा है), उनके महत्वपूर्ण संकेत (vital signs), और कोई भी तत्काल परीक्षण जैसे एक्स-रे या हार्ट मॉनिटर जो उसी समय किए गए थे।
लेकिन पेचीदा हिस्सा यहाँ है: इस पुस्तकालय में "उत्तर" केवल अंतिम निदान नहीं हैं। शोधकर्ताओं ने प्रत्येक निदान की जांच करने के लिए एक विशेष AI "ऑडिटर" का उपयोग किया। उन्होंने पूछा: "क्या इस निदान को केवल प्रवेश के समय उपलब्ध साक्ष्यों द्वारा सिद्ध किया जा सकता है?"
- समर्थित (Supported): साक्ष्य वहीं मौजूद हैं (जैसे, एक एक्स-रे टूटी हुई हड्डी दिखाता है)।
- आंशिक रूप से समर्थित (Partially Supported): साक्ष्य एक संकेत हैं, लेकिन पक्का सबूत नहीं (जैसे, मरीज को मधुमेह का इतिहास है, लेकिन हमारे पास अभी रक्त परीक्षण नहीं है)।
- असमर्थित (Unsupported): निदान सत्य है, लेकिन हम इसे प्रवेश के समय नहीं जान सकते थे (जैसे, एक ब्लड कल्चर जिसे विकसित होने में तीन दिन लगते हैं)।
AI मॉडलों को केवल "समर्थित" और "आंशिक रूप से समर्थित" उत्तरों पर ग्रेड किया जाता है। यदि AI एक ऐसा निदान बताता है जिसके लिए ऐसी जानकारी की आवश्यकता है जो हमारे पास अभी नहीं थी, तो उसे कोई क्रेडिट नहीं मिलता। यह सुनिश्चित करता है कि परीक्षण वास्तविक तर्क (reasoning) को मापे, न कि केवल भाग्यशाली अनुमान या अंतिम उत्तर कुंजी को रटने को।
बड़ी आश्चर्यजनक बात: AI स्पष्ट पाठ पर निर्भर है
जब शोधकर्ताओं ने अपने परीक्षण चलाए, तो उन्होंने पाया कि कुछ आश्चर्यजनक था। उन्होंने दुनिया के सबसे स्मार्ट AI मॉडल, जिनमें बड़े सामान्य-उद्देश्य वाले और विशिष्ट चिकित्सा मॉडल शामिल थे, का परीक्षण किया। परिणामों ने दिखाया कि अधिकांश "जीरो-शॉट" (zero-shot) मॉडल (वे मॉडल जिन्हें इस नए परीक्षण के लिए विशेष रूप से प्रशिक्षित नहीं किया गया है) वास्तव में निदान का अनुमान (infer) लगाने में बहुत खराब हैं।
एक जासूस की तरह सोचने के बजाय, वे एक फोटोकॉपी करने वाली मशीन की तरह व्यवहार करते हैं। लगभग 43% बार, सही निदान मरीज के नोट्स में शब्दशः लिखा गया था (जैसे, नोट में "संदिग्ध निमोनिया" लिखा था, और AI ने बस "निमोनिया" को कॉपी किया)। जब AI को एक निदान का अनुमान लगाना पड़ा—अर्थात, उन बिंदुओं को जोड़ना जो स्पष्ट रूप से नहीं बताए गए थे—तो ये मॉडल विफल हो गए। वे केवल 3% से 31% छिपे हुए निदान ही खोज पाए। यह एक ऐसे छात्र की तरह है जो बोर्ड पर लिखे उत्तर को तो कॉपी कर सकता है लेकिन यदि उसे गणित का सवाल खुद हल करना पड़े, तो वह पूरी तरह से विफल हो जाता है।
यहाँ तक कि जब शोधकर्ताओं ने एक छोटे AI मॉडल को इस विशिष्ट कार्य पर "फाइन-ट्यून" (पुनः प्रशिक्षित) किया, तो यह बहुत बेहतर हो गया, लेकिन फिर भी यह एक मानव डॉक्टर के स्तर तक नहीं पहुँच सका। फाइन-ट्यून किया गया मॉडल छिपे हुए निदानों में से लगभग 56% को खोजने में सक्षम था, जो एक बड़ा सुधार है, लेकिन यह अभी भी कई महत्वपूर्ण मामलों को पीछे छोड़ देता है।
मानवीय कारक और "समय-महत्वपूर्ण" अंतराल
अध्ययन ने इन AI मॉडलों की तुलना एक वास्तविक मानव डॉक्टर से भी की, जिसने उन्हीं प्रवेश नोट्स को देखा था। मानव डॉक्टर छिपे हुए सुरागों को खोजने में बहुत बेहतर था, जो लगभग 68% समर्थित निदानों को पकड़ लेता है। हालाँकि, मानव डॉक्टर ने कई अधिक संभावनाओं को भी सूचीबद्ध किया, जिससे एक "डिफरेंशियल डायग्नोसिस" (differential diagnosis - उन चीजों की सूची जो यह हो सकती हैं) तैयार हुआ। AI मॉडल या तो बहुत कम चीजें सूचीबद्ध करते थे (खतरे को अनदेखा करना) या बहुत सारी यादृच्छिक चीजें (बहुत अस्पष्ट होना)।
सबसे चिंताजनक निष्कर्ष तब आया जब उन्होंने समय-महत्वपूर्ण स्थितियों (time-critical conditions) को देखा—जीवन-मरण की आपात स्थितियाँ जैसे दिल का दौरा, स्ट्रोक, या सेप्सिस। इन मामलों में, निदान चूक जाना एक गलत अलार्म लगाने से कहीं अधिक बुरा है। मानव डॉक्टर एक सावधानीपूर्वक संतुलन बनाता है: वे सुरक्षित रहने के लिए कई संभावित खतरों को चिह्नित करते हैं। AI मॉडल, हालांकि, इस संतुलन को बनाने में संघर्ष करते हैं। कुछ इतने सतर्क थे कि उन्होंने खतरे को मिस कर दिया; अन्य इतने लापरवाह थे कि उन्होंने सब कुछ फ्लैग कर दिया। अब तक परीक्षण किए गए किसी भी AI सिस्टम में मानव डॉक्टर की उस क्षमता से मेल खाने की क्षमता नहीं थी कि वह कह सके, "यह खतरनाक लग रहा है, आइए इसकी जाँच करें," सही स्तर के आत्मविश्वास के साथ।
निर्णय
शोध पत्र यह निष्कर्ष निकालता है कि हालांकि AI चिकित्सा नोट्स पढ़ने में बेहतर हो रहा है, लेकिन यह अभी भी आपातकालीन कक्ष में आवश्यक मानवीय जासूसी कार्य को बदलने के लिए तैयार नहीं है। वर्तमान मॉडल मुख्य रूप से एक्सट्रैक्शन (extraction) (जो पहले से लिखा है उसे खोजने) में अच्छे हैं लेकिन इन्फरेंस (inference) (जो निहित है उसे समझने) में खराब हैं। शोधकर्ता सुझाव देते हैं कि AI के वास्तव में उपयोगी होने के लिए, इसे अनिश्चितता के साथ तर्क करना सीखना होगा, यह स्वीकार करना होगा कि वह अनिश्चित है और संभावित खतरों को चिह्नित करना होगा, न कि केवल अंतिम उत्तर का अनुमान लगाने की कोशिश करनी होगी। तब तक, "प्रारंभिक निदान" का खेल एक मानवीय विशेषज्ञता बनी रहेगी, जहाँ AI एक सहायक लेकिन अपूर्ण सहायक के रूप में कार्य करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।