Evaluating Clinical Concept Extraction and Evidence-Bounded Terminology Linking: Multisite Model Comparison and Pilot Ablation Study
यह शोध पत्र एक मल्टीसाइट पायलट अध्ययन के माध्यम से नैदानिक अवधारणा निष्कर्षण (clinical concept extraction) और साक्ष्य-बद्ध शब्दावली लिंकिंग का मूल्यांकन करता है, जो यह प्रदर्शित करता है कि हालांकि निष्कर्षण प्रदर्शन मिलान मानदंडों के आधार पर काफी भिन्न होता है, प्राप्त साक्ष्यों की उपलब्धता लिंकिंग निर्णयों को महत्वपूर्ण रूप से प्रभावित करती है और प्रारंभिक अनमैच किए गए शब्द वास्तविक ऑन्टोलॉजी नवीनताओं के बजाय संभावित मौजूदा अवधारणाओं का प्रतिनिधित्व करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
अस्पताल निरंतर लिखित नोट्स का प्रवाह उत्पन्न करते हैं, जिनमें डॉक्टरों द्वारा रोगी के लक्षणों का वर्णन करने से लेकर नर्सों द्वारा दवा में बदलाव दर्ज करने तक सब कुछ शामिल होता है। ये वृत्तांत सूचनाओं से समृद्ध होते हैं, लेकिन वे मानवीय भाषा में लिखे जाते हैं, जो संक्षिप्ताक्षरों, स्थानीय बोलियों और विविध वाक्य संरचनाओं से भरे होते हैं। इस डेटा को अनुसंधान के लिए उपयोगी बनाने या कंप्यूटर को रोगी के इतिहास को समझने में मदद करने के लिए, इन नोट्स को एक मानकीकृत कोड में अनुवादित किया जाना चाहिए। इस प्रक्रिया में दो अलग-अलग चरण शामिल हैं। पहला, एक प्रणाली को पाठ में उन विशिष्ट वाक्यांशों को खोजना होगा जो महत्वपूर्ण हैं, जैसे कि किसी बीमारी का नाम या कोई प्रक्रिया। दूसरा, इसे उन वाक्यांशों को चिकित्सा शब्दों की एक मास्टर सूची से मिलाना होगा, ठीक वैसे ही जैसे एक लाइब्रेरियन किसी पुस्तक को एक विशिष्ट कॉल नंबर आवंटित करता है ताकि उसे फिर से खोजा जा सके। यदि प्रणाली गलत कोड का अनुमान लगाती है, या यदि वह किसी वाक्यांश को पूरी तरह से पहचानने में विफल रहती है, तो परिणामी डेटा त्रुटिपूर्ण हो सकता है, जिससे रोगी की देखभाल या उपचार के परिणामों के बारे में गलत निष्कर्ष निकल सकते हैं।
चुनौती यह है कि यह अनुवाद हमेशा सीधा नहीं होता है। अलग-अलग लोग एक चिकित्सा शब्द खोजने के लिए वाक्य के थोड़े अलग हिस्सों को हाइलाइट कर सकते हैं, और कंप्यूटर अक्सर यह तय करने में संघर्ष करते हैं कि क्या कोई वाक्यांश एक मानक कोड से मेल खाता है या यह कुछ पूरी तरह से नया है जिसे मास्टर सूची में जोड़ा जाना चाहिए। शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ मिलाया कि आधुनिक कंप्यूटर प्रणालियाँ इन कार्यों को कितनी अच्छी तरह से संभालती हैं, विशेष रूप से इस बात पर ध्यान केंद्रित किया कि क्या उत्तर की गुणवत्ता उस साक्ष्य पर निर्भर करती है जिसे कंप्यूटर को देखने की अनुमति दी जाती है। वे जानना चाहते थे कि क्या एक प्रणाली एक वाक्यांश को मानक कोड से विश्वसनीय रूप से जोड़ सकती है जब उसके पास सभी आवश्यक जानकारी उपलब्ध हो, और क्या होता है जब वह जानकारी छिपी हुई या अनुपलब्ध होती है।
शोधकर्ताओं ने इन समस्याओं को सुलझाने के लिए तीन अलग-अलग परीक्षण किए। पहले परीक्षण में, उन्होंने पांच अलग-अलग कंप्यूटर प्रोग्रामों को साठ-छह वास्तविक, गुमनाम अस्पताल के नोट्स को स्कैन करने और चिकित्सा वाक्यांशों को निकालने के लिए कहा। उन्होंने कंप्यूटर के कार्य की तुलना दो मानव विशेषज्ञों द्वारा लिखे गए नोट्स के विरुद्ध की। परिणामों ने दिखाया कि आपकी सफलता को मापने का तरीका पूरी कहानी बदल देता है। यदि आप कंप्यूटर से मानव के समान ही शब्दों को हाइलाइट करने की मांग करते हैं, तो कंप्यूटर बहुत खराब प्रदर्शन करते हैं, और एक-पंचवें हिस्से से भी कम बार मिलान करते हैं। हालांकि, जब शोधकर्ताओं ने एक ऐसी विधि का उपयोग किया जो उन वाक्यांशों को देखती थी जिनका अर्थ समान था, भले ही शब्द थोड़े अलग हों, तो सहमति काफी बढ़ गई। इस परीक्षण में सबसे अच्छे कंप्यूटर सिस्टम ने सही अर्थ लगभग आधी बार खोजा, जबकि मनुष्यों ने भी सटीक शब्दों के मामले में केवल एक-तिहाई समय ही सहमति व्यक्त की। इससे यह संकेत मिला कि कंप्यूटर अनिवार्य रूप से पाठ को समझने में विफल नहीं हो रहे थे, बल्कि "मैच" के लिए सख्त नियम बहुत कठोर थे।
दूसरे भाग में, शोधकर्ताओं ने निर्णय लेने की प्रक्रिया पर ध्यान केंद्रित किया। उन्होंने बावन विशिष्ट चिकित्सा वाक्यांशों को लिया और एक शक्तिशाली भाषा मॉडल (language model) को तीन अलग-अलग स्थितियों के तहत उन्हें मानक कोड से जोड़ने के लिए कहा। पहली स्थिति में, मॉडल को संभावित मिलानों की एक पूर्ण सूची दी गई, जिसमें सही विकल्प भी शामिल था। दूसरी स्थिति में, सही मिलान को गुप्त रूप से सूची से हटा दिया गया, जिससे मॉडल के पास केवल समान लेकिन गलत विकल्प बचे। तीसरी स्थिति में, मॉडल को कोई सूची नहीं दी गई और उसे अपनी आंतरिक स्मृति पर निर्भर रहना पड़ा। जब सही मिलान दृश्यमान था, तो मॉडल ने प्रत्येक वाक्यांश को सही ढंग से लिंक किया। जब सही मिलान छिपा हुआ था, तो मॉडल ने अनुमान लगाने से इनकार कर दिया, और सही ढंग से पहचान लिया कि उसके पास लिंक बनाने के लिए पर्याप्त साक्ष्य नहीं हैं। जब मॉडल के पास परामर्श करने के लिए कोई सूची नहीं थी, तब भी उसने अधिकांश वाक्यांशों को सही ढंग से लिंक किया, लेकिन उसने कुछ आत्मविश्वासी त्रुटियां कीं, बिना किसी सहायक साक्ष्य के वाक्यांशों को कोड से जोड़ दिया। इसने सिद्ध किया कि सही लिंक बनाने की प्रणाली की क्षमता पूरी तरह से इस बात पर निर्भर थी कि उसे क्या साक्ष्य प्रस्तुत किए गए।
अंतिम परीक्षण उन वाक्यांशों पर केंद्रित था जो पहले किसी मानक कोड से मेल खाने में विफल रहे थे। शोधकर्ताओं ने इन "अनमैच्ड" (unmatched) शब्दों में से चौरासी (84) शब्दों को लिया और उन्हें छिपे हुए कनेक्शन खोजने के लिए डिज़ाइन की गई एक प्रणाली के माध्यम से चलाया। इस तथ्य के बावजूद कि इन शब्दों को मानक डेटाबेस द्वारा खारिज कर दिया गया था, प्रणाली ने प्रत्येक के लिए एक संभावित मौजूदा मिलान खोज निकाला। इनमें से कोई भी शब्द नए विचार के रूप में चिह्नित नहीं किया गया जिसे चिकित्सा शब्दकोश में जोड़ा जाना आवश्यक हो। यह निष्कर्ष बताता है कि जब कोई कंप्यूटर शुरू में मिलान खोजने में विफल रहता है, तो इसका मतलब यह नहीं है कि अवधारणा नई या अद्वितीय है; इसका मतलब अक्सर यह होता है कि प्रणाली को अधिक मेहनत करने या किसी अलग खोज पद्धति का उपयोग करने की आवश्यकता है।
अध्ययन यह निष्कर्ष निकालता है कि चिकित्सा नोट्स को समझने के लिए एक विश्वसनीय प्रणाली बनाने के लिए प्रत्येक चरण को एक अलग चुनौती के रूप में देखना आवश्यक है। एक वाक्यांश को खोजने की क्षमता, सही साक्ष्य प्राप्त करने की क्षमता, और लिंक करने या रुकने का निर्णय लेने की क्षमता, सभी अलग-अलग कौशल हैं। एक प्रणाली जो एक क्षेत्र में अच्छा प्रदर्शन करती है, वह दूसरे क्षेत्र में विफल हो सकती है यदि स्थितियां बदल जाती हैं। शोधकर्ताओं ने पाया कि जब कंप्यूटर को पूर्ण साक्ष्य दिए जाते हैं, तो वे उच्च सटीकता के साथ शब्दों को लिंक कर सकते हैं, लेकिन जब साक्ष्य गायब होते हैं, तो वे अनुमान लगाने के बजाय रुकना पसंद करते हैं, जो कि एक सुरक्षित दृष्टिकोण है। उन्होंने यह भी पाया कि जिन्हें नया माना जाता है, उनमें से कई वास्तव में केवल ढूंढने में कठिन होते हैं, और प्रारंभिक मिलान की विफलताएं यह सिद्ध नहीं करती हैं कि कोई अवधारणा नवीन है। इन कार्यों को अलग करके और साक्ष्य निर्णयों को कैसे प्रभावित करते हैं इसे समझकर, डेवलपर्स ऐसी प्रणालियाँ बना सकते हैं जो अधिक पारदर्शी हों और महत्वपूर्ण स्वास्थ्य सेवा परिवेशों में आत्मविश्वासी गलतियाँ करने की संभावना कम हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।