Harnessing Large Language Models for Precision Querying and Retrieval-Augmented Knowledge Extraction in Clinical Data Science
यह अध्ययन एक नवीन सिंथेटिक मूल्यांकन ढांचे के माध्यम से स्वास्थ्य सेवा कार्यप्रवाहों में सटीक विश्लेषण और सटीक ज्ञान प्राप्ति का समर्थन करने की उनकी क्षमता को प्रदर्शित करते हुए, MIMIC-III नैदानिक डेटा पर संरचित डेटा क्वेरी करने और रिट्रीवल-ऑगमेंटेड जनरेशन-आधारित सूचना निष्कर्षण करने में लार्ज लैंग्वेज मॉडल्स की प्रभावकारिता का मूल्यांकन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक अस्पताल के कंप्यूटर सिस्टम को एक विशाल, दो भागों वाली लाइब्रेरी (पुस्तकालय) के रूप में देखा जा सकता है। इसका एक हिस्सा एक विशाल स्प्रेडशीट है जो नंबरों और कोड से भरी है (जैसे मरीजों की उम्र, दवाओं के नाम और डायग्नोसिस कोड)। दूसरा हिस्सा डॉक्टरों के हस्तलिखित नोट्स का ढेर है, जो कहानियों, टिप्पणियों और बिखरे हुए टेक्स्ट से भरा है।
यह शोध पत्र एक बहुत ही स्मार्ट रोबोट (जिसे लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) को इस विशिष्ट लाइब्रेरी के लिए एक लाइब्रेरियन बनने के लिए सिखाने के बारे में है। शोधकर्ता यह देखना चाहते थे कि क्या रोबोट दो बहुत अलग काम सटीक रूप से कर सकता है:
- स्प्रेडशीट वाला काम: कंप्यूटर कोड लिखकर नंबरों का हिसाब लगाने के लिए सवालों के जवाब देना।
- नोट्स लिखने वाला काम: लंबे, बिखरे हुए नोट्स के भीतर छिपे विशिष्ट तथ्यों को खोजना।
यहाँ उन्होंने कुछ सरल उपमाओं (analogies) का उपयोग करके रोबोट का परीक्षण किया:
जॉब 1: द स्प्रेडशीट डिटेक्टिव (स्ट्रक्चर्ड डेटा)
चुनौती:
रोबोट से स्प्रेडशीट देखकर यह पूछना कि "महिला मरीज कितनी उम्र की हैं?" काफी कठिन है। रोबोट केवल पंक्तियों (rows) को "देख" नहीं सकता; उसे कंप्यूटर के पालन करने के लिए निर्देशों का एक सेट (कोड) लिखना होगा, जैसे कि कोई रेसिपी (विधि)।
परीक्षण:
शोधकर्ताओं ने रोबोट को 101 मरीजों के एक छोटे समूह के बारे में 30 अलग-अलग सवाल दिए। उन्होंने रोबोट से उस "रेसिपी" (पायथन कोड) को लिखने के लिए कहा जिससे उत्तर प्राप्त किया जा सके।
- उपयोग किए गए रोबोट: उन्होंने एक छोटे, स्थानीय रोबोट (Llama 3) और एक शक्तिशाली, क्लाउड-आधारित रोबोट (GPT-4o Mini) का परीक्षण किया।
- परिणाम:
- क्लाउड रोबोट एक सीनियर डिटेक्टिव की तरह था। उसे 50% बार सही उत्तर मिला और उसने 73% बार एक सटीक रेसिपी लिखी।
- लोकल रोबोट एक जूनियर डिटेक्टिव की तरह था। उसे केवल 3% बार सटीक उत्तर मिला। उसने अक्सर ऐसी रेसिपी लिखीं जो "लगभग सही" थीं या पूरी तरह से गलत थीं।
- सबक: रोबोट गणित की समस्याओं को हल करने के लिए कोड लिखना सीख सकता है, लेकिन आप आँख मूंदकर उस पर भरोसा नहीं कर सकते। आपको उसके काम की जाँच करनी होगी, खासकर यदि आप एक छोटे या कम शक्तिशाली रोबलेट का उपयोग कर रहे हैं।
जॉब 2: द नोट-टेकर (अनस्ट्रक्चर्ड टेक्स्ट)
चुनौती:
डॉक्टरों के नोट्स बिखरे हुए होते हैं। एक नोट कह सकता है, "मरीज को शारीरिक परीक्षण (physical exam) नहीं दिया गया क्योंकि वे सो रहे थे।" यदि रोबोट सावधान नहीं रहा, तो वह "नहीं" शब्द को भूल सकता है और यह मान सकता है कि परीक्षण किया गया था। इसे "हैलुसिनेशन" (Hallucinating - मनगढ़ंत बातें बनाना) कहा जाता है।
परीक्षण:
रोबोट को मनगढ़ंत बातें बनाने से रोकने के लिए, शोधकर्ताओं ने उसे RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) नामक एक विशेष टूल दिया।
- उपमा: कल्पना कीजिए कि रोबोट एक परीक्षा दे रहा है। अपनी याददाश्त (जो दोषपूर्ण हो सकती है) पर भरोसा करने के बजाय, परीक्षा के नियम कहते हैं: "आपको एक विशिष्ट पुस्तक खोलनी होगी, उस सटीक पैराग्राफ को खोजना होगा जो प्रश्न का उत्तर देता है, और फिर केवल उसी पैराग्राफ के आधार पर अपना उत्तर लिखना होगा।"
- प्रक्रिया: उन्होंने डॉक्टर के नोट्स को छोटे-छोटे टुकड़ों (जैसे एक लंबी कहानी को पहेली के टुकड़ों में काटना) में विभाजित किया। जब कोई प्रश्न पूछा जाता, तो सिस्टम सही पहेली का टुकड़ा खोज लेता और रोबोट को उत्तर देने से पहले उसे पढ़ने के लिए सौंप देता।
- परिणाम:
- दोनों रोबोटों (एक विशेष टेक्स्ट रोबोट जिसे Flan-T5 कहा जाता है और क्लाउड रोबोट) ने अच्छा काम किया। उनके लगभग 76% से 78% उत्तर नोट्स के आधार पर तथ्यात्मक रूप से सही थे।
- हालाँकि, शोधकर्ताओं ने पाया कि मानक कंप्यूटर स्कोरिंग टूल्स (जो केवल शब्दों के मिलान की गिनती करते हैं) इन उत्तरों का आकलन करने में खराब थे। वे अक्सर उन उत्तरों को उच्च स्कोर देते थे जो सुनने में समान लगते थे लेकिन वास्तव में गलत थे।
- सबक: जब इंसानों ने उत्तरों की जाँच की, तो उन्होंने पाया कि रोबोट काफी सटीक थे यदि उन्हें पहले स्रोत टेक्स्ट (source text) को पढ़ने के लिए मजबूर किया गया था। लेकिन आप साधारण कंप्यूटर स्कोर पर भरोसा नहीं कर सकते कि उत्तर चिकित्सकीय रूप से सही है या नहीं; इसके लिए एक इंसान को दोबारा जाँच करनी होगी।
मुख्य निष्कर्ष (The Big Takeaway)
यह शोध पत्र निष्कर्ष निकालता है कि ये स्मार्ट रोबोट अस्पताल के डेटा के लिए आशाजनक उपकरण हैं, लेकिन वे अभी तक जादुई छड़ी नहीं बने हैं।
- नंबरों के लिए: वे गणित करने के लिए कोड लिख सकते हैं, लेकिन आपको एक शक्तिशाली रोबोट चुनना होगा और उनके गणित की जाँच करनी होगी।
- कहानियों के लिए: वे नोट्स में तथ्य खोज सकते हैं यदि आप उन्हें पढ़ने के लिए एक "स्रोत पुस्तक" (RAG) दें, लेकिन आपको उत्तरों को सत्यापित करने के लिए इंसानों की आवश्यकता होगी क्योंकि कंप्यूटर सूक्ष्म चिकित्सा त्रुटियों को पहचानने में सक्षम नहीं होते हैं।
शोधकर्ताओं ने यह साबित करने के लिए एक "टेस्ट लैब" बनाया कि ये रोबोट काम कर सकते हैं, लेकिन वे इस बात पर जोर देते हैं कि वास्तविक दुनिया में, मरीजों को सुरक्षित रखने के लिए आपको सही उपकरणों, सही रोबोट और एक मानव पर्यवेक्षक (human supervisor) के मिश्रण की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।