Retrieval-Augmented Generation for Reducing Hallucinations in Drug-Related Question Answering Systems
यह शोध पत्र एक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) पाइपलाइन प्रस्तुत करता है जो एलएलएम (LLM) के उत्तरों को एक क्यूरेटेड फार्मास्युटिकल ज्ञान आधार में ग्राउंड करके, दवा संबंधी प्रश्नोत्तर में मतिभ्रम (hallucinations) को काफी कम करता है और तथ्यात्मक सटीकता में सुधार करता है, जिससे महत्वपूर्ण रोगी-सुरक्षा जोखिमों को कम किया जा सके।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, अविश्वसनीय रूप से बातूनी रोबोट है जिसने लगभग लिखी गई हर किताब पढ़ ली है। यह आपको कहानियाँ सुना सकता है, कविताएँ लिख सकता है और सेकंडों में जटिल विचारों को समझा सकता है। यह रोबोट एक "लार्ज लैंग्वेज मॉडल" (LLM) है। लेकिन यहाँ एक पेंच है: यह रोबोट एक शानदार कहानीकार की तरह है जो कभी-कभी कहानी को बेहतर बनाने के लिए तथ्य गढ़ देता है। चिकित्सा की दुनिया में, जहाँ किसी दवा के बारे में एक गलत तथ्य किसी को नुकसान पहुँचा सकता है, इस "मनगढ़ंत बातें बनाने" को हैलुसिनेशन (hallucination) कहा जाता है। यह कोई जादुई दृष्टि नहीं है; यह बस रोबोट का आत्मविश्वास के साथ कुछ ऐसा कहना है जो सच नहीं है। इसे ठीक करने के लिए, वैज्ञानिक रोबोट को एक "संदर्भ पत्र" (reference sheet) या एक लाइब्रेरी देने की कोशिश कर रहे हैं जिसे वह बोलने से पहले देख सके। इस पद्धति को रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। अपनी याददाश्त से केवल अनुमान लगाने के बजाय, रोबोट उस उत्तर को खोजने के लिए एक भरोसेमंद किताब की मदद लेता है और फिर आपको बताता है कि उसे क्या मिला। यह शोध पत्र एक सरल लेकिन जीवन रक्षक प्रश्न पूछता है: यदि हम एक चिकित्सा रोबोट को दवाओं के तथ्यों की एक लाइब्रेरी दें, तो क्या यह खतरनाक गलतियाँ करना बंद कर देगा?
इस शोध पत्र के लेखक, प्रतीक कुमार और रजत वर्मा ने इस विचार का परीक्षण विशेष रूप से दवाओं के बारे में प्रश्नों के लिए करने का निर्णय लिया। उन्होंने एक ऐसा सिस्टम बनाया जहाँ एक रोबोट (Llama 3.2 नामक मॉडल का उपयोग करते हुए) को वारफारिन (warfarin) या इबुप्रोफेन (ibuprofen) जैसी दवाओं के बारे में सवालों के जवाब देने होते हैं। लेकिन जवाब देने से पहले, उसे एक डिजिटल लाइब्रेरी में जाना पड़ता है, उस दवा के बारे में सटीक पन्ने खोजने पड़ते हैं, और उन्हें पढ़ना पड़ता है। उन्होंने इस "लाइब्रेरी-पढ़ने वाले रोबोट" की तुलना "केवल-याददाश्त वाले रोबोट" से की, जो केवल प्रशिक्षण के दौरान सीखी गई बातों के आधार पर अनुमान लगाता है।
परिणाम उन सभी लोगों के लिए बड़ी राहत लेकर आए जो AI सुरक्षा को लेकर चिंतित थे। केवल-याददाश्त वाला रोबोट थोड़ा समस्या पैदा करने वाला था: इसने 47.8% बार खतरनाक तथ्य गढ़े। इसका मतलब है कि लगभग आधे मामलों में, वह आत्मविश्वास के साथ गलत था। हालाँकि, एक बार जब उन्होंने लाइब्रेरी जोड़ दी (RAG सिस्टम), तो रोबोट की गलतियाँ नाटकीय रूप से गिरकर केवल 12.3% रह गईं। यह त्रुटियों में 74.3% की कमी है। रोबोट केवल थोड़ा बेहतर नहीं हुआ; यह बहुत अधिक विश्वसनीय हो गया। जब उसने कोई गलती की, तो वह आमतौर पर इसलिए थी क्योंकि उसे लाइब्रेरी में उत्तर नहीं मिला था (एक सुरक्षित प्रकार की त्रुटि), न कि इसलिए कि उसने कोई फर्जी तथ्य गढ़ा था (एक खतरनाक प्रकार की त्रुटि)।
यह साबित करने के लिए कि यह केवल एक इत्तेफाक नहीं था, शोधकर्ताओं ने सिस्टम का परीक्षण दस सामान्य दवाओं के बारे में 150 अलग-अलग प्रश्नों पर किया, जिसमें हृदय की दवाओं से लेकर दर्द निवारक तक सब कुछ शामिल था। उन्होंने पाया कि लाइब्रेरी-पढ़ने वाला रोबोट कहीं अधिक सटीक और ईमानदार था। उदाहरण के लिए, जब पूछा गया कि क्या वारफारिन (एक रक्त पतला करने वाली दवा) को इबुप्रोफेन (एक दर्द निवारक) के साथ मिलाना सुरक्षित है, तो केवल-याददाश्त वाले रोबोट ने एक खतरनाक "हाँ" दिया, यह कहते हुए कि दिन में दो बार 400 मिलीग्राम तक लेना सुरक्षित है। इससे जीवन के लिए खतरा पैदा करने वाला रक्तस्राव हो सकता था। हालाँकि, लाइब्रेरी-पढ़ने वाले रोबोट ने अपने स्रोतों की जाँच की और सही ढंग से कहा, "नहीं, यह खतरनाक है और इससे गंभीर रक्तस्राव हो सकता है," और आधिकारिक ड्रग लेबल का हवाला दिया।
यह शोध पत्र दिखाता है कि हालांकि लाइब्रेरी-पढ़ने वाला सिस्टम उत्तर देने में थोड़ा अधिक समय लेता है (1.1 के बजाय लगभग 3.2 सेकंड), लेकिन यह समझौता सार्थक है क्योंकि यह रोबोट को दवा के बारे में झूठ बोलने से रोकता है। शोधकर्ता स्वीकार करते हैं कि उनका सिस्टम अभी भी पूर्ण नहीं है—यह अभी भी कुछ गलतियाँ करता है, विशेष रूप से बहुत दुर्लभ दवा संयोजनों के साथ, और यह केवल अंग्रेजी टेक्स्ट के साथ काम करता है। लेकिन उनका काम यह सिद्ध करता है कि AI को अपने तथ्यों की जाँच करने के लिए एक भरोसेमंद स्रोत देना, उसे 'हैलुसिनेट' करने से रोकने का एक शक्तिशाली तरीका है, जिससे यह उन रोगियों के लिए बहुत अधिक सुरक्षित हो जाता है जो मदद के लिए उससे पूछ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।