WhatsApp Vaccine Discourse (WhaVax): An Expert-Annotated Dataset and Benchmark for Health Misinformation Detection
यह शोध पत्र WhaVax प्रस्तुत करता है, जो ब्राजील के वैक्सीन-संबंधित व्हाट्सएप संदेशों का एक उच्च-गुणवत्ता वाला, विशेषज्ञ-एनोटेटेड डेटासेट है, साथ ही इसमें गलत सूचना पैटर्न का विस्तृत विश्लेषण और एन्क्रिप्टेड संचार वातावरण में स्वास्थ्य संबंधी गलत सूचना का पता लगाने के लिए विभिन्न भाषा मॉडलों का मूल्यांकन करने वाला एक बेंचमार्क भी शामिल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि व्हाट्सएप एक विशाल, एन्क्रिप्टेड लाइब्रेरी है जहाँ लाखों लोग निजी कमरों में एक-दूसरे को रहस्य फुसफुसा रहे हैं। क्योंकि दरवाज़े बंद हैं (एन्क्रिप्शन), इसलिए लाइब्रेरियन या शोधकर्ताओं के लिए यह देखना बहुत कठिन है कि क्या कहा जा रहा है। यह शोध पत्र एक नया टूल पेश करता है जिसे WhaVax कहा जाता है, जो "जासूसी चश्मे" के एक विशेष सेट की तरह है जो शोधकर्ताओं को इन कमरों के अंदर झाँकने की अनुमति देता है ताकि वे समझ सकें कि स्वास्थ्य संबंधी झूठी कहानियाँ, विशेष रूप से ब्राजील में टीकों (vaccines) के बारे में, कैसे फैलती हैं।
यहाँ शोधकर्ताओं द्वारा किए गए कार्यों का विवरण दिया गया है, जिसमें सरल उपमाओं (analogies) का उपयोग किया गया है:
1. संग्रह बनाना (डेटासेट)
शोधकर्ताओं ने केवल अनुमान नहीं लगाया कि लोग क्या कह रहे थे; उन्होंने एक विशाल, व्यवस्थित संग्रह बनाया।
- स्रोत: उन्होंने कई वर्षों (2020-2023) में ब्राजील के बड़े, सार्वजनिक व्हाट्सएप समूहों से 8-80,000 से अधिक संदेश एकत्र किए। इसे एक व्यस्त शहर के चौक से हाथ से लिखे गए हजारों नोट्स एकत्र करने के रूप में सोचें।
- सफाई (Cleanup): अध्ययन करने से पहले, उन्हें डेटा को साफ करना पड़ा। उन्होंने एक "सिमेंटिक फ़िल्टर" (एक स्मार्ट वैक्यूम क्लीनर की तरह) का उपयोग किया ताकि डुप्लिकेट नोट्स को हटाया जा सके और केवल उन्हीं संदेशों को रखा जा सके जो वास्तव में टीकों के बारे में बात कर रहे थे।
- विशेषज्ञ: यह सबसे महत्वपूर्ण हिस्सा है। कंप्यूटर को अनुमान लगाने देने के बजाय, उन्होंने चार मेडिकल डॉक्टरों को संदेशों को पढ़ने और लेबल करने के लिए काम पर रखा। वे न्यायाधीशों के एक पैनल की तरह थे जो तय कर रहे थे कि कौन सी कहानियाँ सच थीं और कौन सी झूठ।
- परिणाम: उन्होंने 950 संदेशों की एक "गोल्ड स्टैंडर्ड" सूची बनाई। लगभग 30% को गलत सूचना (झूठ) के रूप में लेबल किया गया था, और 70% सुरक्षित थे। डॉक्टर अधिकांश समय एक-दूसरे से सहमत थे, जिससे यह एक बहुत ही विश्वसनीय संदर्भ पुस्तक बन गई।
2. झूठ कैसा दिखता है (विश्लेषण)
शोधकर्ताओं ने "झूठे" संदेशों का बारीकी से अध्ययन किया ताकि वे देख सकें कि वे "सच्चे" संदेशों से कैसे अलग हैं। उन्हें कुछ दिलचस्प पैटर्न मिले:
- "लंबी कहानी" वाला तरीका: गलत सूचना वाले संदेश काफी लंबे थे। वे लंबी, भ्रामक भाषणों की तरह थे जिन्हें आपको विवरणों से अभिभूत करने के लिए डिज़ाइन किया गया था, ताकि झूठ अधिक विश्वसनीय लगे।
- "चिल्लाने" का कारक: झूठे संदेशों में विस्मयादिबोधक चिह्न (!) और प्रश्नवाचक चिह्न (?) का बहुत अधिक उपयोग किया गया था। वे उच्च भावना के साथ लिखे गए थे, जैसे कोई आपका ध्यान खींचने के लिए चिल्ला रहा हो।
- "ऑल-कैप्स" अलार्म: उन्होंने बड़े अक्षरों (capital letters) का बहुत अधिक उपयोग किया, जैसे कि लेखक टेक्स्ट को तत्काल दिखाने के लिए चिल्ला रहा हो।
- इमोजी बम: झूठे संदेशों में सच्चे संदेशों की तुलना में लगभग चार गुना अधिक इमोजी थे, जो तार्किक सोच के बजाय भावनात्मक प्रतिक्रियाओं को ट्रिगर करने के लिए रंगीन चित्रों का उपयोग करते थे।
- "इको चैम्बर्स" (Echo Chambers): उन्होंने पाया कि गलत सूचना समान रूप से नहीं फैली थी। कुछ विशिष्ट समूह "इको चैंबर" की तरह थे जहाँ लगभग हर एक संदेश गलत था, जबकि अन्य ज्यादातर सुरक्षित थे।
3. कंप्यूटर को झूठ पकड़ना सिखाना (प्रयोग)
शोधकर्ताओं ने अलग-अलग प्रकार के "कंप्यूटर दिमागों" को इन झूठों को स्वचालित रूप से पहचानने के लिए प्रशिक्षित करने की कोशिश की। उन्होंने तीन अलग-अलग "छात्रों" का परीक्षण किया:
- पुराने स्कूल के छात्र (क्लासिकल मॉडल): ये पारंपरिक गणित-आधारित प्रोग्राम हैं। जब इन्हें टेक्स्ट के उच्च-गुणवत्ता वाले "विवरण" (embeddings) दिए गए, तो इन्होंने लगभग 79% सटीकता के साथ एक अच्छा काम किया।
- विशेषज्ञ छात्र (छोटे भाषा मॉडल): ये छोटे AI मॉडल हैं जिन्हें मेडिकल टेक्स्ट पर प्रशिक्षित किया गया है। उन्हें थोड़ा संघर्ष करना पड़ा क्योंकि व्हाट्सएप संदेशों में स्लैंग (बोलचाल की भाषा), टाइपो और अनौपचारिक भाषा भरी हुई थी जो उनके प्रशिक्षण से मेल नहीं खाती थी।
- सुपर-स्टूडेंट्स (लार्ज लैंग्वेज मॉडल्स): ये विशाल, आधुनिक AI (जैसे कि वे जिनसे आप चैट कर सकते हैं) हैं। शोधकर्ताओं को उन्हें डेटासेट के साथ "सिखाने" की भी आवश्यकता नहीं पड़ी; उन्होंने बस उन्हें कुछ उदाहरण दिए (एक तकनीक जिसे "फ्यू-शॉट लर्निंग" कहा जाता है)।
- विजेता: सबसे बड़े, सबसे उन्नत AI मॉडल (जैसे GPT-5) सबसे अच्छा प्रदर्शन करते हैं, जो बिना अतिरिक्त प्रशिक्षण के सबसे अच्छे पारंपरिक मॉडलों की सटीकता से मेल खाते हैं। वे झूठ पकड़ने में विशेष रूप से अच्छे थे, भले ही कभी-कभी वे बहुत अधिक "गलत चेतावनी" (false positives) दे देते थे।
4. पेचीदा हिस्से (सीमाएं)
पेपर स्वीकार करता है कि यह अभी तक कोई पूर्ण समाधान नहीं है:
- धुंधला क्षेत्र (Gray Area): लगभग 9% संदेश इतने भ्रमित करने वाले थे कि चारों डॉक्टर भी इस पर सहमत नहीं हो सके कि वे झूठ थे या नहीं। यह दर्शाता है कि स्वास्थ्य संबंधी गलत सूचना को पहचानना कठिन है क्योंकि भाषा अव्यवस्थित और सूक्ष्मताओं से भरी होती है।
- नमूना (Sample): डेटा ब्राजील के सार्वजनिक समूहों से आया था। यह एक विशिष्ट पड़ोस का अध्ययन करने जैसा है; यह हमें उस पड़ोस के बारे में बहुत कुछ बताता है, लेकिन हम 100% निश्चित नहीं हो सकते कि यह दुनिया के हर व्हाट्सएप समूह का प्रतिनिधित्व करता है।
- "चिल्लाने" का भ्रम: कंप्यूटर कभी-कभी गुस्से वाले, राजनीतिक भाषणों से भ्रमित हो जाते थे जो तकनीकी रूप से चिकित्सा संबंधी झूठ नहीं थे लेकिन सुनने में वैसे ही लगते थे। उन्हें "हेट स्पीच" (घृणास्पद भाषण) और "मेडिकल मिसइन्फॉर्मेशन" (चिकित्सा संबंधी गलत सूचना) के बीच अंतर करने में कठिनाई हुई।
सारांश
संक्षेप में, यह पेपर कहता है: "हमने व्हाट्सएप से टीकों के झूठ का एक उच्च-गुणवत्ता वाला, डॉक्टर-सत्यापित लाइब्रेरी बनाई है। हमने पाया कि झूठ, सच की तुलना में लंबे, अधिक शोर वाले और अधिक भावनात्मक होते हैं। और जबकि पुराने स्कूल के कंप्यूटर उन्हें पहचान सकते हैं, नवीनतम, विशाल AI मॉडल बिना सिखाए, केवल कुछ उदाहरण पढ़कर, उन्हें पहचानने में आश्चर्यजनक रूप से अच्छे हैं।"
यह शोधकर्ताओं को एक नया, विश्वसनीय उपकरण प्रदान करता है जिससे वे यह अध्ययन कर सकें कि निजी चैट में स्वास्थ्य संबंधी अफवाहें कैसे फैलती हैं, जो कि एक ऐसी जगह है जिसका अध्ययन करना अब तक बहुत कठिन रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।