Generative-AI Rewriting and the Robustness of Health Misinformation Detection: A Cross-Dataset Evaluation of Failure Mechanisms and Mitigation

डिजिटल युग में, स्वास्थ्य संबंधी जानकारी एक क्लिक की गति से यात्रा करती है, लेकिन गलत सूचना भी उसी गति से फैलती है। वर्षों से, वैज्ञानिकों ने ऐसे कंप्यूटर प्रोग्राम बनाए हैं जो द्वारपाल के रूप में कार्य करने के लिए डिज़ाइन किए गए हैं, जो विश्वसनीय चिकित्सा सलाह को खतरनाक झूठ से अलग करने के लिए ऑनलाइन टेक्स्ट को स्कैन करते हैं। ये प्रोग्राम अपने काम में काफी कुशल हो गए हैं जब टेक्स्ट वैसा ही दिखता है जैसा कि वह आमतौरता पर होता है, और अक्सर मानक परीक्षणों पर लगभग पूर्ण स्कोर प्राप्त करते हैं। हालाँकि, जनरेटिव आर्टिफिशियल इंटेलिजेंस (AI) के उदय से एक नई भेद्यता सामने आई है। ये शक्तिशाली उपकरण किसी विशिष्ट दावे को—चाहे वह सत्य हो या असत्य—पूरी तरह से फिर से लिख सकते हैं, शब्दों, वाक्य संरचना और लहजे को बदलते हुए भी मूल अर्थ को बिल्कुल समान रख सकते हैं। सूचना को "लॉन्डर" (launder) करने की यह क्षमता एक महत्वपूर्ण प्रश्न खड़ा करती है: यदि कोई कंप्यूटर प्रोग्राम इस आधार पर झूठ पकड़ने के लिए प्रशिक्षित है कि उसे कैसे लिखा गया है, तो क्या होगा जब एक परिष्कृत AI उस झूठ को एक भरोसेमंद, तटस्थ लेख की तरह दिखने के लिए फिर से लिख देता है? डिजिटल स्वास्थ्य उपकरणों की सुरक्षा इस प्रश्न का उत्तर देने पर निर्भर करती है, क्योंकि एक ऐसा सिस्टम जो पुनर्गठित झूठ को पहचानने में विफल रहता है, वह लोगों को हानिकारक सलाह के प्रति असुरक्षित छोड़ सकता है, जबकि एक ऐसा सिस्टम जो पुनर्गठठित सत्य को झूठ समझ लेता है, वह महत्वपूर्ण जानकारी को चुप करा सकता है।

मैनचेस्टर मेट्रोपॉलिटन यूनिवर्सिटी के एक शोधकर्ता ने एक नियंत्रित, कम्प्यूटेशनल प्रयोग का उपयोग करके ठीक इसी परिदृश्य का परीक्षण करने का निर्णय लिया। अध्ययन ने दो अलग-अलग स्वास्थ्य संकटों पर ध्यान केंद्रित किया: कोविड-19 महामारी और हालिया मंकीपॉक्स प्रकोप। शोधकर्ता ने इन विषयों के बारे में वास्तविक दुनिया के पोस्टों का एक बड़ा संग्रह लिया, जिनमें से कुछ को सत्य के रूप में सत्यापित किया गया था और अन्य को असत्य के रूप में पुष्ट किया गया था, और प्रत्येक पोस्ट के तीन अलग-अलग संस्करण बनाने के लिए एक जनरेटिव AI टूल का उपयोग किया। एक संस्करण को तटस्थ और पढ़ने में आसान बनाया गया, दूसरा को अधिक तार्किक और साक्ष्य-आधारित दिखने के लिए पुनर्गठित किया गया, और तीसरा को अधिक तत्काल या प्रेरक बनाने के लिए बदला गया, जबकि यह सुनिश्चित किया गया कि अंतर्निहित चिकित्सा दावा अपरिवर्तित रहे। इन पुनर्गठित संस्करणों को फिर नौ अलग-अलग प्रकार के डिटेक्शन सॉफ्टवेयर में डाला गया, जो सरल सांख्यिकीय मॉडल से लेकर जटिल न्यूरल नेटवर्क तक विस्तृत थे, यह देखने के लिए कि क्या वे अभी भी सच्चाई को पहचान सकते हैं।

परिणामों ने डिटेक्टरों की वर्तमान पीढ़ी में एक चौंकाने वाली भंगुरता का खुलासा किया। पुनर्गठन से पहले, सॉफ्टवेयर असाधारण रूप से अच्छा प्रदर्शन कर रहा था, लगभग हर मामले में सत्य और असत्य जानकारी की सही पहचान कर रहा था। लेकिन एक बार जब टेक्स्ट को AI द्वारा बदल दिया गया, तो अधिकांश प्रणालियों का प्रदर्शन ढह गया। कोविड-19 डेटासेट पर, डिटेक्टरों की औसत सटीकता 0.987 के लगभग पूर्ण स्कोर से गिरकर 0.428 और 0.479 के बीच रह गई। इसका अर्थ यह है कि टेक्स्ट को पुनर्गठित करने के बाद, सॉफ्टवेयर की अपनी मानक सेटिंग्स पर सही बाइनरी निर्णय लेने की क्षमता काफी कम हो गई, भले ही विश्वसनीय जानकारी को गलत सूचना से उच्च रैंक देने की उनकी अंतर्निlgende क्षमता अभी भी यादृच्छिक अनुमान (random guessing) से काफी बेहतर बनी रही। यह विफलता सभी प्रणालियों या सभी प्रकार के टेक्स्ट में एक समान नहीं थी। कोविड-19 परीक्षणों में, मुख्य समस्या यह थी कि सॉफ्टवेयर विश्वसनीय, सत्य जानकारी को खतरनाक दर से फर्जी के रूप में चिह्नित करने लगा, जिससे प्रभावी रूप से विश्वसनीय स्रोतों को चुप करा दिया गया। इसके विपरीत, मंकीपॉक्स डेटासेट पर, मुख्य विफलता इसके विपरीत थी: सॉफ्टवेयर ने झूठ को पकड़ना बंद कर दिया, जिससे पुनर्गठित गलत सूचनाएं सत्य की तरह निकल गईं।

अध्ययन ने यह भी देखा कि ये विफलताएं क्यों हुईं, यह जांचते हुए कि AI ने टेक्स्ट को कैसे बदला। इसने पाया कि डिटेक्टरों को विफल करने वाला सबसे महत्वपूर्ण कारक भावनात्मक लहजा या उपयोग किए गए विशिष्ट तर्क नहीं था, बल्कि लेखन में संरचनात्मक परिवर्तन थे। जब AI ने टेक्स्ट को छोटा किया या वाक्यों को अधिक जटिल और पढ़ने में कठिन बना दिया, तो डिटेक्टरों के गलती करने की संभावना काफी बढ़ गई। यह सुझाव देता है कि सॉफ्टवेयर मूल टेक्स्ट के लिखने के विशिष्ट सतही पैटर्न पर बहुत अधिक निर्भर था, न कि उसके भीतर मौजूद चिकित्सा तथ्यों को वास्तव में समझने पर। जब उन पैटर्न को बदल दिया गया, तो सॉफ्टवेयर अपना रास्ता भटक गया।

इस कमजोरी को दूर करने के लिए, शोधकर्ता ने एक रक्षात्मक रणनीति का परीक्षण किया: तैनाती से पहले ही डिटेक्टरों को इन पुनर्गठित संस्करणों पर प्रशिक्षित करना। सॉफ्टवेयर को मूल टेक्स्ट और AI-पुनर्गठित संस्करणों दोनों के उदाहरण देकर, लक्ष्य सिस्टम को यह सिखाना था कि वाक्यांश के तरीके के बावजूद सत्य को कैसे पहचाना जाए। यह दृष्टिकोण मंकीपॉक्स डेटा के लिए उल्लेखनीय रूप से प्रभावी रहा, जहाँ डिटेक्टरों ने पुनर्गठित झूठ को पकड़ने की अपनी क्षमता में उल्लेखनीय सुधार किया, जिसमें सभी नौ मॉडलों ने बेहतर प्रदर्शन दिखाया। हालाँकि, यह समाधान कोविड-19 डेटा के लिए लगातार काम नहीं आया, और इसने सॉफ्टवेयर को पूरी तरह से अलग बीमारी के विषय पर परीक्षण करने पर अच्छा प्रदर्शन करने में मदद नहीं की। यह इंगित करता है कि पुनर्गठित टेक्स्ट पर प्रशिक्षण एक विशिष्ट संदर्भ के भीतर सिस्टम को मजबूत बना सकता है, लेकिन यह अभी तक एक सार्वभौमिक ढाल नहीं बना पाया है जो सभी स्वास्थ्य विषयों या सभी प्रकार के AI पुनर्गठन पर काम करे।

अध्ययन निष्कर्ष निकालता है कि मानक परीक्षणों पर उच्च सटीकता अब यह गारंटी देने के लिए पर्याप्त नहीं है कि एक स्वास्थ्य गलत सूचना डिटेक्टर वास्तविक दुनिया के उपयोग के लिए सुरक्षित है। जनरेटिव AI की सामग्री को बिना अर्थ बदले फिर से लिखने की क्षमता वर्तमान प्रणालियों में एक गहरी भेद्यता को उजागर करती है, जिससे वे या तो खतरनाक झूठ को मिस कर देते हैं या सत्य तथ्यों को गलत तरीके से झूठा करार देते हैं। हालांकि डिटेक्टरों को इन पुनर्गठित उदाहरणों पर प्रशिक्षित करना लचीलापन सुधारने के लिए एक आशाजनक मार्ग प्रदान करता है, लेकिन समाधान अभी तक पूर्ण समाधान नहीं है। शोध का सुझाव है कि भविष्य के उपकरणों को न केवल मूल टेक्स्ट पर, बल्कि टेक्स्ट को बदलने के कई तरीकों पर भी परीक्षण किया जाना चाहिए, यह सुनिश्चित करते हुए कि सार्वजनिक स्वास्थ्य की रक्षा करने वाले डिजिटल सुरक्षा कवच प्रभावी बने रहें, भले ही गलत सूचना की भाषा विकसित होती रहे।