BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
यह अध्ययन प्रदर्शित करता है कि जबकि बड़े भाषा मॉडल बंगाली मधुमेह प्रश्नोत्तर में महत्वपूर्ण मतिभ्रम (hallucination) दर प्रदर्शित करते हैं, रिट्रीवल-ऑगमेंटेड जनरेशन के माध्यम से स्थानीय रूप से तैनात मॉडल को बांग्लादेश के 'नेशनल गाइडलाइन ऑन डायबिटीज मेलिटस' के साथ ग्राउंड करने से चिकित्सा सटीकता और सुरक्षा में पर्याप्त सुधार होता है, हालांकि नैदानिक निरीक्षण आवश्यक बना हुआ है क्योंकि कोई भी कॉन्फ़िगरेशन पूरी तरह से त्रुटियों से मुक्त नहीं है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, लोग अपने स्वास्थ्य के बारे में उत्तर पाने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस की ओर मुड़ रहे हैं, इस उम्मीद में कि उन्हें त्वरित और विश्वसनीय मार्गदर्शन मिल सके। ये कंप्यूटर प्रोग्राम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) के रूप में जाना जाता है, विशाल मात्रा में टेक्स्ट पर प्रशिक्षित होते हैं और कई भाषाओं में धाराप्रवाह बोल सकते हैं, जिनमें बांग्ला भी शामिल है, जिसे करोड़ों लोग बोलते हैं। हालांकि, इन प्रणालियों में एक जानी-मानी खामी है: वे ऐसी बातें बताते हुए भी पूरी तरह से आत्मविश्वासी लग सकते हैं जो वास्तव में सच नहीं हैं। चिकित्सा के क्षेत्र में, जहाँ एक गलत शब्द खतरनाक निर्णयों की ओर ले जा सकता है, तथ्यों को गढ़ने की इस प्रवृत्ति को 'हैलुसिनेशन' (hallucination) कहा जाता है। यह बांग्ला जैसी भाषाओं में एक विशेष चिंता का विषय है, जहाँ इन कंप्यूटर प्रोग्रामों के लिए प्रशिक्षण डेटा अक्सर अंग्रेजी की तुलना में कम और कम विश्वसनीय होता है। बांग्लादेश में मधुमेह (डायबिटीज) के साथ जी रहे लाखों लोगों के लिए, अपनी भाषा में सटीक और सुरक्षित सलाह प्राप्त करना केवल एक सुविधा नहीं है; यह एक महत्वपूर्ण आवश्यकता है, विशेष रूप से तब जब स्थानीय अस्पताल अक्सर अत्यधिक व्यस्त रहते हैं और दूरस्थ परामर्श (remote consultations) सामान्य होते जा रहे हैं।
शोधकर्ताओं की एक टीम ने यह मापने के लिए प्रयास किया कि जब बांग्ला में मधुमेह के बारे में पूछा जाता है, तो ये कंप्यूटर प्रोग्राम कितनी बार चिकित्सा संबंधी तथ्य गढ़ते हैं, और यह देखने के लिए कि क्या उन्हें एक विश्वसनीय स्रोत से जोड़ने से त्रुटियों को रोका जा सकता है। उन्होंने चालीस सामान्य प्रश्न एकत्र किए जो मरीज पूछ सकते हैं, जिनमें आहार और दवा से लेकर गर्भावस्था या धार्मिक उपवास के दौरान बीमारी के प्रबंधन जैसे विषय शामिल थे। इसके बाद उन्होंने चार अलग-अलग ओपन-सोर्स कंप्यूटर मॉडल्स से इन प्रश्नों के उत्तर मांगे। ये मॉडल आकार और डिज़ाइन में भिन्न थे, जिनमें से कुछ सामान्य उद्देश्य वाले उपकरण थे और अन्य विशेष रूप से बांग्ला भाषा के लिए तैयार किए गए थे। शोधकर्ताओं ने एक विशेष प्रणाली भी बनाई जिसने एक मॉडल को बोलने से पहले बांग्लादेश के आधिकारिक 'नेशनल गाइडलाइन ऑन डायबिटीज मेलिटस' में उत्तर खोजने के लिए मजबूर किया, जिसे 'रिट्रिवल-ऑगमेंटेड जनरेशन' (retrieval-augmented generation) नामक विधि कहा जाता है। फिर दो डॉक्टरों ने प्रत्येक उत्तर को पढ़ा, सटीकता, सुरक्षा और स्पष्टता पर रेटिंग दी, और किसी भी ऐसे उत्तर को चिह्नित किया जिसमें कोई गलत या असमर्थित चिकित्सा दावा था, उसे 'हैलुसिनेशन' के रूप में माना।
परिणामों ने मॉडल्स के बीच एक चौंकाने वाला अंतर प्रकट किया। सबसे उन्नत सामान्य-उद्देश्य वाले मॉडल ने अपने केवल 2.5% उत्तरों में तथ्य गढ़े, जबकि बांग्ला के लिए विशेष रूप से डिज़ाइन किए गए एक मॉडल ने लगभग उतना ही अच्छा प्रदर्शन किया। हालांकि, सामान्य मॉडल्स में से एक, जो छोटा और कम विशिष्ट था, ने अपने 77.5% उत्तरों में आश्चर्यजनक रूप से तथ्य गढ़े। उसने ऐसे खाद्य पदार्थों का आविष्कार किया जो बांग्लादेश में अस्तित्व में ही नहीं हैं, दवाओं में खतरनाक बदलावों का सुझाव दिया, और ऐसी सलाह दी जो मरीज को नुकसान पहुँचा सकती थी। इससे यह स्पष्ट हुआ कि केवल एक ऐसा मॉडल होना जो भाषा बोल सके पर्याप्त नहीं है; मॉडल की अंतर्निहित बुद्धिमत्ता उतनी ही महत्वपूर्ण है जितना कि वह भाषा जिसका वह उपयोग करता है।
शोधकर्ताओं ने फिर यह परीक्षण किया कि क्या सबसे कमजोर मॉडल को आधिकारिक राष्ट्रीय दिशानिर्देशों से जोड़कर उसकी समस्याओं को ठीक किया जा सकता है। उन्होंने मॉडल को सही चिकित्सा नियमों तक पहुंच प्रदान की और उसे केवल उस टेक्स्ट से उत्तर देने का निर्देश दिया। सुधार नाटकीय था। हैलुसिनेशन की दर 77.5% से घटकर 11.3% हो गई। उत्तर बहुत अधिक सटीक, पूर्ण और सुरक्षित हो गए, और मॉडल का प्रदर्शन अधिकांश मानदंडों पर बांग्ला-अनुकूलित मॉडल के बराबर या उससे भी बेहतर हो गया, हालांकि सुरक्षा, पठनीयता और विश्वसनीयता के मामले में यह सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल से नीचे रहा। इस प्रणाली ने सफलतापूर्वक एक खतरनाक रूप से अविश्वसनीय उपकरण को मरीजों के लिए एक बहुत अधिक सुरक्षित सहायक में बदल दिया।
फिर भी, अध्ययन में यह भी पाया गया कि समाधान पूर्ण नहीं था। आधिकारिक दिशानिर्देशों के बावजूद, मॉडल ने लगभग हर नौ में से एक उत्तर में गलतियाँ कीं। ये शेष त्रुटियाँ विशेष रूप से चिंताजनक थीं क्योंकि वे स्पष्ट रूप से बेतुकी नहीं थीं। इसके बजाय, वे धाराप्रवाह, सुव्यवस्थित वाक्य थे जिनमें विशिष्ट, आत्मविश्वासी और संभावित रूप से हानिकारक सलाह शामिल थी, जैसे कि किसी मरीज को इंसुलिन लेना बंद करने या किसी गैर-मौजूद चिकित्सा उपकरण का उपयोग करने के लिए कहना। मॉडल ने कभी-कभी इन झूठे दावों का समर्थन करने के लिए आधिकारिक दिशानिर्देशों का भी हवाला दिया, जिससे त्रुटियों को पहचानना कठिन हो गया। यह सुझाव देता है कि हालांकि एक विश्वसनीय स्रोत से कंप्यूटर को जोड़ना बहुत मदद करता है, लेकिन यह जोखिम को पूरी तरह से समाप्त नहीं करता है। शोधकर्ताओं ने निष्कर्ष निकाला कि इन उपकरणों को मरीजों के लिए सुरक्षित होने के लिए, उन्हें एक मजबूत आधार मॉडल पर बनाया जाना चाहिए, आधिकारिक दिशानिर्देशों पर आधारित होना चाहिए, और चिकित्सा सलाह देने के लिए उपयोग किए जाने से पहले हमेशा एक मानव डॉक्टर द्वारा जांचा जाना चाहिए। यह कार्य उन स्वास्थ्य सहायकों को बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है जो लाखों बांग्ला भाषियों के लिए सुलभ और विश्वसनीय दोनों हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।