An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरी लाइब्रेरी है जहाँ कोई भी स्वास्थ्य के बारे में कोई तथ्य, अफवाह या जंगली अनुमान चिल्लाकर बता सकता है। कभी-कभी, किताबें सही होती हैं; अन्य समय में, वे निरर्थक बातों से भरी होती हैं जो लोगों को बीमार या डरा सकती हैं। हाल के वर्षों में, वैज्ञानिकों ने "स्मार्ट रोबोट" (जिन्हें AI कहा जाता है) बनाए हैं ताकि वे लाइब्रेरियन के रूप में कार्य कर सकें, इन आवाजों को पढ़ सकें और यह तय कर सकें कि वे सच हैं या झूठ। ये रोबोट एक विशेष प्रकार के मस्तिष्क का उपयोग करते हैं जिसे ट्रांसफॉर्मर (Transformer) कहा जाता है, जो मानव भाषा को समझने में बहुत कुशल है। लेकिन यहाँ एक पेंच है: ये रोबोट कभी-कभी मनगढ़ंत बातें बना लेते हैं क्योंकि वे केवल उसी पर निर्भर रहते हैं जो उन्हें अपने प्रशिक्षण से याद है, बजाय इसके कि वे किसी वास्तविक, विश्वसनीय विश्वकोश की जाँच करें। इसे ठीक करने के लिए, शोधकर्ताओं ने एक तरकीब ईजाद की जिसे रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) कहा जाता है। RAG को एक ऐसे रोबोट को एक बैकपैक देने के रूप में समझें जिसमें भरोसेमंद किताबें भरी हों। अपना उत्तर देने से पहले, रोबोट अपने बैकपैक में हाथ डालता है, सबसे प्रासंगिक पृष्ठ निकालता है, और यह सुनिश्चित करने के लिए उसे पढ़ता है कि उसका उत्तर वास्तविकता पर आधारित है।

यह बिल्कुल वही चुनौती है जिसे नाइजीरिया और रूस के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन में लक्षित किया गया है। वे विशेष रूप से नाइजीरिया में स्वास्थ्य संबंधी अफवाहों के लिए एक सुपर-स्मार्ट लाइब्रेरियन बनाने की कोशिश करना चाहते थे, जिसमें विश्व स्वास्थ्य संगठन (WHO) और नाइजीरियाي सेंटर फॉर डिजीज कंट्रोल एंड प्रिवेंशन (NCDC) जैसे विश्वसनीय स्रोतों का उपयोग किया गया हो। उन्होंने पूछा: "यदि हम अपने AI रोबोट को आधिकारिक नाइजीरियाई और वैश्विक स्वास्थ्य रिपोर्टों से भरा एक बैकपैक दें, तो क्या वह लासा फीवर, हैजा या मंकीपॉक्स जैसी बीमारियों के बारे में झूठ पकड़ने में बेहतर हो जाएगा?" जवाब, आश्चर्यजनक रूप से, एक साधारण "हाँ" नहीं था। हालांकि बैकपैक का विचार शानदार है, शोधकर्ताओं ने पाया कि उनके द्वारा बनाया गया बैकपैक बहुत छोटा और बहुत खाली था जिससे रोबोट को ज्यादा मदद नहीं मिल सकी। इसके बजाय, रोबोट की सफलता इस बात पर अधिक निर्भर थी कि उन्होंने किस विशिष्ट "मस्तिष्क" मॉडल का उपयोग किया और उसे कैसे सिखाया, न कि उन अतिरिक्त किताबों पर जो उन्होंने उसे दी थीं।

डिजिटल लाइब्रेरियन की कहानी

शोधकर्ताओं ने 67 स्वास्थ्य दावों का एक संग्रह एकत्र करके शुरुआत की जिन्हें नाइजीरिया में मानव तथ्य-जांचकर्ताओं (fact-checkers) द्वारा पहले ही जाँचा जा चुका था। ये दावे पांच प्रमुख बीमारियों को कवर करते थे: कोविड-19, लासा फीवर, हैजा, खसरा और मंकीपॉक्स। कुछ दावे सच थे, कुछ गलत थे, और कुछ भ्रामक थे (जैसे यह कहना कि किसी पेय पदार्थ के कारण प्रकोप हुआ जबकि वास्तव में यह उस पानी के कारण था जिसका उपयोग उसे बनाने के लिए किया गया था)। उन्होंने इन दावों को "सत्य" (True), "असत्य" (False), या "भ्रामक" (Misleading) के रूप में लेबल किया ताकि अपने AI के लिए एक परीक्षण तैयार किया जा सके।

इसके बाद, उन्होंने अपना "बैकपैक" बनाया। उन्होंने WHO और NCDC के आधिकारिक दस्तावेज़ों को लिया, उन्हें छोटे, आसानी से पढ़े जाने वाले टुकड़ों में विभाजित किया, और उन्हें एक डिजिटल लाइब्रेरी में बदल दिया। योजना यह थी कि AI एक अफवाह को देखेगा, इस लाइब्रेरी में सबसे सटीक मेल खाने वाले तथ्यों की खोज करेगा, और फिर उन तथ्यों का उपयोग यह तय करने के लिए करेगा कि अफवाह एक झूठ है या नहीं। उन्होंने तीन अलग-अलग प्रकार के AI मस्तिष्क का परीक्षण किया: BERT, RoBERTa, और DeBERTa। उन्होंने DeBERTa का एक विशेष संस्करण भी आज़माया जिसे उनकी लाइब्रेरी से तथ्य खोजने की अनुमति दी गई थी (RAG संस्करण)।

एक बड़ा आश्चर्य

यहाँ कहानी में एक मोड़ आता है। आप उम्मीद कर सकते हैं कि AI को भरोसेमंद तथ्यों का एक बैकपैक देने से वह जीनियस बन जाएगा। लेकिन परिणाम थोड़े निराशाजनक रहे।

शोधकर्ताओं ने पाया कि BERT मॉडल, बिना किसी बैकपैक की मदद के, वास्तव में सबसे अच्छा काम करता था। इसने 71% बार सही उत्तर दिया और इसका स्कोर 0.66 (एक माप कि यह सही होने और कुछ भी न छोड़ने के बीच कितना संतुलन बनाता है) था। यही विजेता था।

अन्य मॉडल, जिनमें फैंसी DeBERTa भी शामिल है, संघर्ष करते रहे। वास्तव में, जब उन्होंने De-berta को अधिक प्रशिक्षण उदाहरण देकर (एक तकनीक जिसे "ऑग्मेंटेशन" कहा जाता है) या उसे लाइब्रेरी में तथ्य खोजने की अनुमति देकर मदद करने की कोशिश की, तो वह बेहतर नहीं हुआ। वास्तव में, यह और भी खराब हो गया, और इसने लगभग हर चीज़ के लिए एक ही उत्तर का अनुमान लगाना शुरू कर दिया। यह एक ऐसे छात्र की तरह था जिसे, एक पाठ्यपुस्तक दिए जाने पर, उसने सोचना बंद कर दिया और भ्रमित होने के कारण हर सवाल के लिए "सत्य" लिख दिया।

बैकपैक क्यों विफल हुआ? शोधकर्ताओं ने महसूस किया कि उनकी लाइब्रेरी बहुत छोटी थी। विशेष रूप रूप से, जब सिस्टम मुख्य लाइब्रेरी में कोई सटीक मिलान नहीं ढूंढ पाता था, तो उसे केवल पाँच सामान्य रोग सारांशों (प्रत्येक बीमारी के लिए एक) वाले एक वैकल्पिक विकल्प (fallback option) पर निर्भर रहना पड़ता था। यह छोटा सा संग्रह इतना सामान्य था कि यह उन विशिष्ट विवरणों को प्रदान करने में असमर्थ था जो सत्य दावों को गलत दावों से अलग करने के लिए आवश्यक थे। जब AI पूछता, "क्या लागोस में यह विशिष्ट प्रकोप वास्तविक है?" तो बैकपैक के पास दिखाने के लिए वह विशिष्ट पृष्ठ नहीं था; उसके पास केवल एक अस्पष्ट सारांश था। क्योंकि लाइब्रेरी प्रभावी रूप से विशिष्ट साक्ष्यों से खाली थी, AI उस अतिरिक्त जानकारी का उपयोग बेहतर निर्णय लेने के लिए नहीं कर सका। यह एक घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश करने जैसा था, लेकिन उस घास के ढेर में केवल तीन तिनके ही थे।

इसका क्या अर्थ है

यह अध्ययन सुझाव देता है कि केवल एक "रिट्रीवल" विशेषता (बैकपैक) जोड़ना कोई जादू की छड़ी नहीं है। यदि आपके बैकपैक में रखी गई लाइब्रेरी पर्याप्त बड़ी और विस्तृत नहीं है, तो AI उसका उपयोग करना नहीं सीखेगा। शोधकर्ताओं ने निष्कर्ष निकाला कि इस विशिष्ट सेटअप के लिए, AI के प्रकार (BERT) का महत्व अतिरिक्त किताबों की तुलना में अधिक था। उन्होंने यह भी नोट किया कि उनका डेटासेट बहुत छोटा (केवल 67 दावे) था, जिससे AI के लिए एक सच्ची कहानी, एक झूठ और एक भ्रामक अर्ध-सत्य के बीच अंतर करना कठिन हो गया।

शोधकर्ता आशान्वित हैं, हालांकि। वे सुझाव देते हैं कि यदि वे हजारों विशिष्ट रिपोर्टों के साथ एक बहुत बड़ी, बेहतर-व्यवस्थित लाइब्रेरी बनाते हैं, तो बैकपैक अंततः अपना जादू चला सकेगा। फिलहाल, उन्होंने हमें दिखाया है कि AI तथ्य-जांच की दुनिया में, एक अच्छा मस्तिष्क होना महत्वपूर्ण है, लेकिन एक अच्छी लाइब्रेरी होना भी उतना ही महत्वपूर्ण है—और यदि लाइब्रेरी खाली है, तो मस्तिष्क अपना काम नहीं कर सकता।