Development and Evaluation of HEAL A Bilingual English-Luganda RAG Chatbot for Disease Surveillance in Uganda

आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, अत्यंत बुद्धिमान पुस्तकालय के रूप में करें जहाँ एक रोबोट लाइब्रेरियन आपके द्वारा पूछे गए किसी भी प्रश्न का उत्तर दे सकता है। लेकिन यहाँ एक पेंच है: अधिकांश लाइब्रेरियन केवल अंग्रेजी बोलते हैं, और उन्हें दुनिया भर की किताबों पर प्रशिक्षित किया गया है, न कि किसी विशेष देश के डॉक्टरों द्वारा उपयोग किए जाने वाले विशिष्ट नियमपुस्तकों पर। यह "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) के लिए एक समस्या पैदा करता है। RAG को केवल एक ऐसे रोबोट के रूप में न देखें जो अपनी याददाश्त से उत्तरों का अनुमान लगाता है, बल्कि इसे एक ऐसे रोबोट के रूप में देखें जिसे एक विशिष्ट पाठ्यपुस्तक खोलने, सटीक पृष्ठ खोजने और बोलने से पहले उत्तर को ज़ोर से पढ़ने के लिए मजबूर किया जाता है। यह रोबोट को मनगढ़ंत बातें बनाने से रोकता है। फिर, "लार्ज लैंग्वेज मॉडल्स" (LLMs) का मुद्दा आता है, जो इन रोबोटों के पीछे का मस्तिष्क हैं। हालांकि वे बहुत प्रतिभाशाली हैं, लेकिन वे अक्सर उन भाषाओं के साथ संघर्ष करते हैं जिनमें लाखों डिजिटल पुस्तकें नहीं लिखी गई हैं, जैसे कि लुगांडा, जो युगांडा में लाखों लोगों द्वारा बोली जाने वाली भाषा है। यह क्यों मायने रखता है? क्योंकि जब बीमारी का प्रकोप होता है, तो स्वास्थ्य कर्मियों को जानना होता है कि उन्हें अभी क्या करना है। यदि एकमात्र मार्गदर्शिका एक मोटी, तकनीकी अंग्रेजी पुस्तक है जिसे वे जल्दी से नहीं पढ़ सकते, या यदि कोई रोबोट गलत उत्तर देता है क्योंकि वह युगांडा के विशिष्ट नियमों को नहीं जानता है, तो लोग बीमार हो सकते हैं या मर भी सकते हैं।

यह शोध पत्र HEAL (स्वास्थ्य समानता के लिए AI) नामक एक नए प्रोजेक्ट का परिचय देता है, जो एक द्विभाषी चैटबॉट है जिसे युगांडा के लिए वह आदर्श लाइब्रेरियन बनने के लिए डिज़ाइन किया गया है। टीम यह देखना चाहती थी कि क्या वे एक ऐसा रोबोट बना सकते हैं जो केवल अनुमान नहीं लगाता, बल्कि वास्तव में युगांडा के आधिकारिक रोग निगरानी दिशानिर्देशों (IDSR मैनुअल) को पढ़ता है और अंग्रेजी और लुगांडा दोनों में प्रश्नों के उत्तर देता है। उन्होंने आधिकारिक दिशानिर्देशों को लिया, जो सैकड़ों पृष्ठ लंबे हैं और जटिल अंग्रेजी में लिखे गए हैं, और उन्हें लुगांडा में अनुवादित किया। फिर, उन्होंने एक ऐसी प्रणाली बनाई जो एक शक्तिशाली AI मस्तिष्क (GPT-4-turbo) का उपयोग करके उन दिशानिर्देशों में सही पृष्ठ खोजती है और उत्तर उत्पन्न करती है, जबकि एक विशेष अनुवाद उपकरण यह सुनिश्चित करता है कि उत्तर लुगांडा में समझ में आए।

शोधकर्ताओं ने इस नए HEAL बॉट का परीक्षण तीन प्रसिद्ध वाणिज्यिक रोबोटों (GPT-4, GPT-3.5, और Gemini) के विरुद्ध किया, जिन्होंने युगांडा के स्वास्थ्य कर्मियों द्वारा उनके दैनिक कार्यों के दौरान वास्तव में पूछे गए 50 वास्तविक प्रश्नों का उपयोग किया था। स्वास्थ्य मंत्रालय और इन्फेक्शियस डिजीज इंस्टीट्यूट के छह विशेषज्ञों ने न्यायाधीश के रूप में कार्य किया, जिन्होंने उत्तरों को उनकी प्रासंगिकता, सूचना की पूर्णता और उनके लेखन की गुणवत्ता के आधार पर स्कोर दिया। परिणाम दर्शाते हैं कि HEAL स्पष्ट विजेता था। यह समग्र विश्लेषण में सभी वाणिज्यिक मॉडलों से अधिक स्कोर करता है, और विशेषज्ञों ने इसे सबसे लगातार उच्चतम रेटिंग दी। शोध पत्र सुझाव देता है कि AI को विशिष्ट राष्ट्रीय दिशानिर्देशों में स्थापित करने और एक स्थानीय भाषा का स्तर जोड़ने से यह सामान्य, 'ऑफ-द-शेल्फ' विकल्पों की तुलना में बहुत अधिक उपयोगी हो गया।

हालाँकि, यह कहानी कोई पूर्ण परी कथा नहीं है। जबकि विशेषज्ञों ने HEAL को पसंद किया, अंग्रेजी से लुगांडा में अनुवाद त्रुटिहीन नहीं था। टीम ने अनुवाद की गुणवत्ता को मापा और पाया कि हालांकि यह चिकित्सा तथ्यों को समझने के लिए पर्याप्त अच्छा था, लेकिन लुगांडा वाक्यांश कभी-कभी थोड़े अजीब या अप्राकृतिक लगते थे। शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि एक साधारण अंग्रेजी-केवल टूल इन श्रमिकों के लिए काम करेगा; उन्होंने पाया कि बिना लुगांडा परत के, यह टूल पहुंच की समस्या को हल करने में विफल रहता है। इसके अलावा, अध्ययन इस बात पर प्रकाश डालता है कि हालांकि AI स्मार्ट है, फिर भी यह इंटरनेट और क्लाउड सर्वर पर निर्भर है, जो खराब कनेक्टिविटी वाले ग्रामीण क्षेत्रों में स्वास्थ्य कर्मियों के लिए एक बाधा बन सकता है। लेखक सावधानी बरतते हुए कहते हैं कि हालांकि यह उपकरण आशाजनक और सटीक है, लेकिन अभी तक यह सिद्ध नहीं हुआ है कि यह वास्तव में प्रकोपों को रोकने या जीवन बचाने में सक्षम है; उन्होंने केवल यह मापा कि यह प्रश्नों का उत्तर कितनी अच्छी तरह देता है और श्रमिकों ने इसका उपयोग करने में कितना आनंद लिया।

अंत में, शोध पत्र सुझाव देता है कि युगांडा जैसी जगहों में स्वास्थ्य AI का भविष्य सबसे बड़े, सबसे महंगे मस्तिष्क के बारे में नहीं है, बल्कि एक ऐसे मस्तिष्क के बारे में है जो स्थानीय नियमों को जानता हो और स्थानीय भाषा बोलता हो। टीम ने पाया कि एक शक्तिशाली AI को विशिष्ट राष्ट्रीय दिशानिर्देशों और एक अनुवाद परत के साथ जोड़कर, वे एक वास्तविक दुनिया के परिवेश में बड़े वाणिज्यिक दिग्गजों से बेहतर प्रदर्शन करने वाला उपकरण बना सकते हैं। लेकिन वे यह भी चेतावनी देते हैं कि इससे पहले कि इसे हर जगह उपयोग किया जा सके, अनुवाद को अधिक सुचारू होना चाहिए, और सिस्टम को निरंतर इंटरनेट कनेक्शन की आवश्यकता के बिना काम करना चाहिए। यह एक सफल प्रोटोटाइप है जो आगे का रास्ता दिखाता है, लेकिन एक पूर्ण रूप से परिचालन, जीवन रक्षक उपकरण बनने की यात्रा अभी भी जारी है।