Towards understanding the disease landscape of clinical trials in Germany: Ontology and embedding-based pipelines versus Large Language Models for ICD-10 Harmonization
यह अध्ययन प्रदर्शित करता है कि जबकि एक नियत ऑन्टोलॉजी (deterministic ontology) और एम्बेडिंग-आधारित पाइपलाइन जर्मनी में विषम क्लिनिकल ट्रायल कंडीशन डेटा को ICD-10 मानकों के साथ आंशिक रूप से सामंजस्यपूर्ण बना सकती है, लार्ज लैंग्वेज मॉडल्स (विशेष रूप से GPT-4o) विशेषज्ञ मानव कोडिंग के साथ लगभग पूर्ण सहमति प्राप्त करके इसमें काफी बेहतर प्रदर्शन करते हैं, जिससे वे क्रॉस-रजिस्ट्री रोग परिदृश्य विश्लेषण के लिए एक श्रेष्ठ समाधान प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय को व्यवस्थित करने की कोशिश कर रहे हैं जहाँ हर किताब अलग भाषा में लिखी गई है, अलग वर्णमाला का उपयोग करती है, और कभी-कभी शीर्षक के बजाय केवल एक स्टिकी नोट होता है जिस पर लिखा होता है "किसी बीमार व्यक्ति के बारे में कुछ" । क्लिनिकल ट्रायल डेटा की वर्तमान स्थिति यही है। वैज्ञानिक नई दवाओं के परीक्षण के लिए हजारों प्रयोग करते हैं, लेकिन वे इन ट्रायल्स को दुनिया भर के विभिन्न डेटाबेस में पंजीकृत करते हैं। कुछ सख्त मेडिकल कोड का उपयोग करते हैं, कुछ शानदार मेडिकल डिक्शनरी का, और कुछ बस इसे सामान्य अंग्रेजी या जर्मन में लिख देते हैं। यह बिल्कुल वैसा ही है जैसे यह गिनने की कोशिश करना कि कितने लोग "हृदय की समस्याओं" (heart problems) का अध्ययन कर रहे हैं जब एक डेटाबेस कहता है "कार्डिएक इश्यूज" (cardiac issues), दूसरा कहता है "हार्ट ट्रबल" (heart trouble), और तीसरा बस कहता है "ओह, मेरे सीने में दर्द हो रहा है" (ouch, my chest hurts)। इन सभी अलग-अलग विवरणों को एक सामान्य भाषा में अनुवाद करने का कोई तरीका न होने के कारण, यह देखना अविश्वसनीय रूप से कठिन हो जाता है कि वैज्ञानिक वास्तव में किन बीमारियों का अध्ययन कर रहे हैं और कहाँ कमियाँ हैं।
इसे हल करने के लिए, शोधकर्ताओं को एक अनुवादक की आवश्यकता है। चिकित्सा जगत में, बीमारियों के लिए "सार्व通用 भाषा" ICD-10 कहलाती है, जो कोडों की एक विशाल सूची है जो हर ज्ञात स्वास्थ्य स्थिति को वर्गीकृत करती है। चुनौती यह है कि ट्रायल रजिस्ट्रियों के इन अस्त-व्यस्त, मिश्रित विवरणों को स्वचालित रूप से सही ICD-10 कोड में कैसे बदला जाए। लंबे समय तक, वैज्ञानिकों ने ऐसे कंप्यूटर प्रोग्राम बनाने की कोशिश की है जो सख्त पुस्तकालयाध्यक्षों (librarians) की तरह काम करते हैं, जो शब्दों को कोड से मिलाने के लिए एक कठोर नियम पुस्तिका का पालन करते हैं। हाल ही में, एक नया प्रकार का सुपर-स्मार्ट कंप्यूटर दिमाग जिसे 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है, चर्चा में आया है। ये मॉडल भारी मात्रा में टेक्स्ट पर प्रशिक्षित होते हैं और संदर्भ (context) और बारीकियों को समझने में माहिर होते हैं, लगभग एक इंसान की तरह जो शब्दों के पीछे के अर्थ को पढ़ सकता है। बड़ा सवाल यह है: क्या ये AI दिमाग, पुराने नियम-आधारित सिस्टम की तुलना में ट्रायल विवरणों को अनुवादित करने में बेहतर काम कर सकते हैं?
यह शोध पत्र इसी प्रश्न की गहराई में जाता है और जर्मनी के चार प्रमुख रजिस्ट्रियों से क्लिनिकल ट्रायल विवरणों को मानक ICD-10 कोड में अनुवादित करने के लिए एक हाई-टेक पाइपलाइन का निर्माण करता है। शोधकर्ताओं ने एक "डिटरमिनिस्टिक पाइपलाइन" (deterministic pipeline) बनाई है, जो एक फैंसी तरीका है एक बहु-चरणीय रोबोट प्रक्रिया का। पहले, रोबोट बीमारी के उल्लेखों (disease mentions) को निकालता है। फिर, यह उन्हें एक सख्त मेडिकल डिक्शनरी (ऑन्टोलॉजी) और एक स्मार्ट सर्च इंजन का उपयोग करके मिलाने की कोशिश करता है जो समान अर्थों की तलाश करता है (एम्बेडिंग्स)। उन्होंने एक दूसरा संस्करण भी जोड़ा जो शीर्ष अनुमानों को फिर से रैंक (re-ranks) करता है ताकि यह देखा जा सके कि क्या वह सही विकल्प ढूंढ सकता है। लेकिन वे यहीं नहीं रुके। उन्होंने एक शक्तिशाली लार्ज लैंग्वेज मॉडल (GPT-4o) का भी परीक्षण किया, लेकिन एक ट्विस्ट के साथ: उन्होंने AI को ठीक उसी चरण-दर-चरण तर्क और नियमों का पालन करने के लिए मजबूर किया जिसका उपयोग मानव विशेषज्ञ करते हैं, सिर्फ यह देखने के लिए कि क्या AI एक बेहतर "लाइब्रेरियन" बन सकता है।
परिणाम पुराने-स्कूल के दृष्टिकोण के लिए एक झटके की तरह थे। जब उन्होंने अपने नियम-आधारित रोबोट पाइपलाइन का परीक्षण मानव चिकित्सा विशेषज्ञों द्वारा लिखे गए कोड के "गोल्ड स्टैंडर्ड" के विरुद्ध किया, तो वह विशिष्ट तीन-अक्षर वाले कोड को खोजने में केवल लगभग 49% बार ही सही था। वह सामान्य श्रेणी (जैसे "हृदय रोग" बनाम "फेफड़ों का रोग") का अनुमान लगाने में सक्षम था, जो लगभग 59% सही था, लेकिन वह विवरणों में संघर्ष कर रहा था। रोबोट अक्सर समान-ध्वनि वाली बीमारियों से भ्रमित हो जाता था या अपनी डिक्शनरी में सही कोड नहीं ढूंढ पाता था।
हालाँकि, लार्ज लैंग्वेज मॉडल एक पूरी तरह से अलग लीग में था। जब उसी AI को वही नियम और वही काम दिया गया, तो इसने 96.7% की आश्चर्यजनक सटीकता हासिल की। यह मानव विशेषज्ञों के साथ लगभग पूरी तरह से मेल खाता था। शोध पत्र सुझाव देता है कि AI की सुपरपावर केवल कोड जानना नहीं है, बल्कि वाक्य के संदर्भ (context) को समझने की इसकी क्षमता है। उदाहरण के लिए, यदि कोई ट्रायल "एडल्ट-ऑनसेट डायबिटीज" (adult-onset diabetes) का उल्लेख करता है, तो AI तुरंत समझ जाता है कि इसका अर्थ टाइप 2 डायबिटीज है, जबकि रोबोट सटीक शब्दों को मिलाने की कोशिश में अटक सकता है। AI उन लगभग 82% उल्लेखों के लिए भी तर्कसंगत कोड असाइन करने में सफल रहा जिन्हें रोबोट ने छोड़ दिया और खारिज कर दिया था।
लेखकों ने पाया कि रोबोट की मुख्य विफलता कोडिंग को रैंक करने में नहीं, बल्कि शुरुआत में ही सही कोड खोजने में थी। यदि सही कोड उसके प्रारंभिक उम्मीदवारों की सूची में नहीं था, तो कोई भी री-रैंकिंग उसे बचा नहीं सकती थी। दूसरी ओर, AI यह समझने में बहुत बेहतर था कि सही कोड क्या होना चाहिए, भले ही टेक्स्ट अव्यवस्थित या अस्पष्ट क्यों न हो। अध्ययन निष्कर्ष निकालता है कि जबकि पुराने नियम-आधारित सिस्टम बीमारी के रुझानों का एक मोटा अंदाजा लगाने के लिए ठीक हैं, लार्ज लैंग्वेज मॉडल्स विवरणों को सटीक रूप से प्राप्त करने के लिए स्पष्ट विजेता हैं। वे सुझाव देते हैं कि क्लिनिकल ट्रायल्स के परिदृश्य को देखने वाले भविष्य के अध्ययनों को इन AI उपकरणों का उपयोग करना चाहिए ताकि बीमारियों के बारे में अधिक स्पष्ट और सटीक तस्वीर प्राप्त की जा सके, जिससे यह सुनिश्चित करने में मदद मिले कि अनुसंधान प्रयास वास्तव में उन स्वास्थ्य आवश्यकताओं पर केंद्रित हैं जो सबसे अधिक मायने रखती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।