Towards guideline-grounded clinical decision-making: a multi-scale study of retrieval augmented generation based large language model agents
यह अध्ययन प्रदर्शित करता है कि क्लिनिकल गाइडलाइन्स के साथ रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) को एकीकृत करने से विविध चिकित्सा परिदृश्यों में लार्ज लैंग्वेज मॉडल एजेंटों की नैदानिक सटीकता, उपचार संरेखण और पारदर्शिता में महत्वपूर्ण वृद्धि होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक अस्पताल में, एक डॉक्टर का मस्तिष्क निदान के लिए एक शक्तिशाली इंजन है, लेकिन यह अचूक नहीं है। इसे रोगी के इतिहास, लैब परिणामों और इमेजिंग स्कैन की एक अराजक धारा के माध्यम से, अक्सर समय के दबाव में, सही उत्तर खोजने के लिए छँटनी करनी पड़ती है। हाल के वर्षों में, एक नए प्रकार का आर्टिफिशियल इंटेलिजेंस उभरा है जिसे 'लार्ज लैंग्वेज मॉडल' कहा जाता है, जो चिकित्सा संबंधी विशाल मात्रा में टेक्स्ट को पढ़ने और जटिल प्रश्नों के उत्तर देने में सक्षम है। ये मॉडल लाखों दस्तावेजों पर प्रशिक्षित होते हैं, जो प्रभावी रूप से चिकित्सा ज्ञान के एक पुस्तकालय को याद कर लेते हैं। हालाँकि, इस स्मृति में एक दोष है: मॉडल हमेशा यह अंतर नहीं कर पाता कि उसने क्या सीखा है और वर्तमान में किसी विशिष्ट रोगी के लिए क्या सत्य है। यह आत्मविश्वास के साथ एक ऐसा तथ्य बता सकता है जो पुराना हो चुका है, या इससे भी बुरा, एक ऐसा विवरण बना सकता है जो कभी हुआ ही नहीं। इसे ठीक करने के लिए, शोधकर्ताओं ने 'रिट्रीवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक एक विधि विकसित की है। केवल अपनी आंतरिक स्मृति पर निर्भर रहने के बजाय, सिस्टम बोलने से पहले एक विश्वसनीय डेटाबेस से सबसे प्रासंगिक और अद्यतित दिशानिर्देशों को खोजने के लिए रुक जाता है। यह एक ऐसे डॉक्टर की तरह है जो, अंतिम निर्णय लेने से पहले, यह सुनिश्चित करने के लिए कि उसका तर्क वर्तमान साक्ष्यों पर आधारित है, नवीनतम आधिकारिक प्रोटोकॉल की त्वरित जाँच करता है।
नीदरलैंड में राडबॉड यूनिवर्सिटी मेडिकल सेंटर के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ आजमाया कि क्या यह "बोलने से पहले देखो" वाला दृष्टिकोण वास्तव में आर्टिफिशियल इंटेलिजेंस के नैदानिक निर्णय लेने के तरीके में सुधार कर सकता है। उन्होंने एआई से केवल "अपेंडिसाइटिस का उपचार क्या है?" जैसा सरल प्रश्न नहीं पूछा। इसके बजाय, उन्होंने एक जटिल सिमुलेशन बनाया जो आपातकालीन कक्ष में रोगी के निदान की वास्तविक, अव्यवस्थित प्रक्रिया की नकल करता है। तीव्र उदर पीड़ा (acute abdominal pain) से जुड़े 2,400 वास्तविक रोगी मामलों के डेटा का उपयोग करते हुए, उन्होंने एक एआई एजेंट को डॉक्टर के रूप में कार्य करने का कार्य सौंपा। एजेंट ने केवल रोगी की प्रारंभिक कहानी के साथ शुरुआत की और उसे चरण-दर-चरण निर्णय लेना था कि कौन सा शारीरिक परीक्षण करना है, कौन से रक्त परीक्षण करने हैं, और कौन से इमेजिंग स्कैन के लिए अनुरोध करना है। प्रत्येक परीक्षण के बाद, एजेंट को परिणाम प्राप्त होते थे और उसे तय करना होता था कि आगे क्या करना है, और अंततः वह तब तक रुकता था जब जब तक उसे लगता कि उसके पास बीमारी का नाम बताने और उपचार योजना निर्धारित करने के लिए पर्याप्त जानकारी है। शोधकर्ताओं ने आठ अलग-अलग संस्करणों वाले एआई का परीक्षण किया, जिसमें छोटे, तेज़ मॉडल से लेकर विशाल, अत्यधिक जटिल मॉडल तक शामिल थे, और तुलना की कि वे दिशानिर्देशों को देखने की क्षमता के साथ और बिना इसके कैसा प्रदर्शन करते हैं।
परिणामों ने दिखाया कि एआई को चिकित्सा दिशानिर्देशों के एक क्यूरेटेड पुस्तकालय तक पहुँच प्रदान करने से उसके प्रदर्शन में काफी सुधार हुआ। जब मॉडलों को निर्णय लेने की प्रक्रिया के हर चरण में प्रासंगिक दिशानिर्देशों को खोजने और पढ़ने की अनुमति दी गई, तो उनकी नैदानिक सटीकता औसत 55.64 प्रतिशत से बढ़कर 64.29 प्रतिशत हो गई। यह सुधार केवल सबसे बड़े या सबसे महंगे मॉडलों तक सीमित नहीं था; इसने परीक्षण किए गए प्रत्येक एआई संस्करण की मदद की, चाहे उसका आकार कुछ भी हो या उसके प्री-ट्रेनिंग में कितना भी चिकित्सा ज्ञान रहा हो। सिस्टम सही परीक्षणों का आदेश देने में बेहतर हो गया, जैसे कि पैन्क्रियाटाइटिस के लिए एक विशिष्ट एंजाइम परीक्षण का अनुरोध करना या पित्ताशय की समस्याओं के लिए अल्ट्रासाउंड का अनुरोध करना, और इसके सही अंतिम निदान और उपचार योजना तक पहुँचने की संभावना अधिक थी। अध्ययन में पाया गया कि एआई केवल बेहतर अनुमान नहीं लगा रहा था; वह एक अधिक तार्किक पथ का अनुसरण कर रहा था, सही क्रम में सही जानकारी मांग रहा था, ठीक वैसे ही जैसे एक कुशल चिकित्सक करता है।
हालाँकि, शोधकर्ताओं ने पाया कि केवल एआई में टेक्स्ट का पुस्तकालय जोड़ना सफलता की गारंटी के लिए पर्याप्त नहीं था। सूचना खोजने का तरीका उतना ही महत्वपूर्ण था जितना कि स्वयं सूचना। सबसे महत्वपूर्ण कारक वह चरण था जहाँ एआई को दिशानिर्देशों को खोजने से पहले पूरी रोगी कहानी को एक संक्षिप्त, केंद्रित खोज क्वेरी (search query) में फिर से लिखने के लिए मजबूर किया गया था। इस चरण के बिना, एआई रोगी के संपूर्ण, अव्यवस्थित इतिहास का उपयोग करके खोजने का प्रयास करता, जिससे अक्सर सर्च इंजन भ्रमित हो जाता और अप्रासंगिक दस्तावेज़ वापस मिल जाते। रोगी की कहानी को एक स्पष्ट, विशिष्ट प्रश्न में संकुचित करके, एआई उस सटीक दिशानिर्देश को खोज सका जिसकी उसे आवश्यकता थी। इसके अलावा, शोधकर्ताओं ने पाया कि खोज का समय भी महत्वपूर्ण था। यदि एआई ने एक भी शारीरिक परीक्षण या लैब परीक्षण करने से पहले ही दिशानिर्देश खोजने की कोशिश की, तो परिणाम कम सहायक थे। सिस्टम तब सबसे अच्छा काम करता था जब उसने पुस्तकालय से परामर्श करने से पहले कुछ प्रारंभिक तथ्य एकत्र कर लिए थे।
अध्ययन ने यह भी खुलासा किया कि दिशानिर्देशों की गुणवत्ता भी एक बड़ी भूमिका निभाती है। जब शोधकर्ताओं ने पुस्तकालय में अतिरिक्त दस्तावेज़ जोड़े जो समान लक्षणों वाली बीमारियों को कवर करते थे लेकिन विशिष्ट मामले का लक्ष्य नहीं थे, तो एआई का प्रदर्शन थोड़ा गिर गया, हालांकि यह अभी भी बिना किसी लाइब्रेरी के प्रदर्शन से बेहतर बना रहा। यह सुझाव देता है कि जबकि सिस्टम मजबूत है, यह "शोर" या भ्रमित करने वाली जानकारी के प्रति संवेदनशील है। शोधकर्ताओं ने निष्कर्ष निकाला कि अस्पताल में वास्तव में उपयोगी होने के लिए, आर्टिफिशियल इंटेलिजेंस को केवल एक स्मार्ट चैटबॉट नहीं होना चाहिए जो बहुत कुछ जानता हो। इसे एक संरचित एजेंट होना चाहिए जो जानता हो कि सही समय पर सही साक्ष्य कैसे खोजा जाए, अपने स्वयं के प्रश्नों को केंद्रित रखने के लिए उन्हें कैसे फिर से लिखा जाए, और अपने चरणों को विश्वसनीय स्रोतों के विरुद्ध सत्यापित किया जाए। हालाँकि यह तकनीक नैदानिक सटीकता में सुधार करने और निर्णय लेने की प्रक्रिया को अधिक पारदर्शी बनाने की बड़ी संभावना दिखाती है, लेखक चेतावनी देते हैं कि यह अभी मानव डॉक्टरों को बदलने के लिए तैयार नहीं है। सिस्टम को अभी भी मानवीय निगरानी की आवश्यकता है, और भविष्य के अध्ययनों को यह सिद्ध करना होगा कि क्या यह वास्तविक आपातकालीन विभाग के पूर्ण दबाव और जटिलता को सुरक्षित रूप से संभाल सकता है। फिलहाल, यह कार्य दर्शाता है कि जब आर्टिफिशियल इंटेलिजेंस को सत्यापित, बाहरी ज्ञान के आधार पर स्थापित किया जाता है, तो यह जीवन बचाने के कठिन कार्य में एक अधिक विश्वसनीय साथी बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।