Customized large language models can outperform Community Notes in correcting misinformation
यह शोध पत्र MUSE को प्रस्तुत करता है, जो एक अनुकूलित लार्ज लैंग्वेज मॉडल फ्रेमवर्क है जो विभिन्न प्रकार की सामग्री में गलत सूचनाओं की पहचान करने और उन्हें सुधारने में कम्युनिटी नोट्स (Community Notes) से बेहतर प्रदर्शन करने के लिए ट्रस्ट-अवेयर रिट्रीवल (trust-aware retrieval) और मल्टीमॉडल रीजनिंग (multimodal reasoning) को एकीकृत करता है, जिससे प्रतिक्रिया की गुणवत्ता और गलत सूचना के प्रति उपयोगकर्ता की पहचान दोनों में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल सार्वजनिक चौक एक निरंतर समस्या से भरा हुआ है: गलत सूचना जो सच्चाई से अधिक तेज़ी से फैलती है। सोशल मीडिया पर, एक अकेला भ्रामक पोस्ट लाखों लोगों तक पहुँच सकता है इससे पहले कि किसी को इसे सत्यापित करने का मौका मिले। वर्षों से, इसके विरुद्ध प्राथमिक बचाव मानवीय प्रयास रहा है। क्राउडसोर्स्ड सिस्टम, जहाँ स्वयंसेवक गलत दावों को सुधारने के लिए नोट्स लिखते हैं, प्लेटफार्मों के लिए एक मानक उपकरण बन गए हैं। ये नोट्स मूल्यवान हैं क्योंकि वे उन लोगों द्वारा लिखे जाते हैं जो संदर्भ और बारीकियों के साथ अपनी बात रख सकते हैं, लेकिन उनमें एक बड़ी कमजोरी है: वे धीमे हैं। जब तक कोई स्वयंसेवक सुधार लिखता है, तब तक भ्रामकी पोस्ट अपना नुकसान कर चुकी होती है। इसके अलावा, मानव स्वयंसेवक हर पोस्ट को कवर नहीं कर सकते, जिससे गलत सूचना का एक बड़ा हिस्सा बिना जांचे रह जाता है।
वैज्ञानिक लंबे समय से इस अंतर को भरने के लिए आर्टिफिशियल इंटेलिजेंस की ओर देख रहे हैं, इस उम्मीद में कि मशीनें झूठ को उतनी ही तेज़ी से पकड़ सकेंगी जितनी तेज़ी से वह फैलता है। हालाँकि, मानक एआई मॉडल अक्सर इस कार्य में संघर्ष करते हैं। उन्हें पुराने डेटा पर प्रशिक्षित किया जाता है और वे अभी हो रही घटनाओं को नहीं देख सकते। वे "हैलुसिनेट" (hallucinate) भी कर सकते हैं, यानी तथ्य बना सकते हैं या ऐसे स्रोतों का हवाला दे सकते हैं जो अस्तित्व में ही नहीं हैं। चुनौती केवल एक ऐसी मशीन बनाने की नहीं है जो पढ़ सके, बल्कि एक ऐसी मशीन बनाने की है जो सत्यापन कर सके, टेक्स्ट और इमेज जैसे विभिन्न प्रकार के मीडिया में तर्क कर सके, और ऐसा बिना नई त्रुटियों या पूर्वाग्रहों को पेश किए कर सके। लक्ष्य एक ऐसा सिस्टम बनाना है जो एक अथक, निष्पक्ष फैक्ट-चेकर की तरह कार्य करे, जो किसी भी संदिग्ध पोस्ट के आते ही प्रतिक्रिया देने के लिए तैयार हो।
वाशिंगटन विश्वविद्यालय के शोधकर्ताओं ने ठीक इसी समस्या से निपटने के लिए MUSE नामक एक नया सिस्टम विकसित किया है। MUSE एक अनुकूलित आर्टिफिशियल इंटेलिजेंस फ्रेमवर्क है जिसे वास्तविक समय में गलत सूचनाओं की पहचान करने और उन्हें सुधारने के लिए डिज़ाइन किया गया है। पुराने मॉडलों के विपरीत जो केवल अपने अतीत में सीखी गई बातों पर निर्भर करते हैं, MUSE को ताज़ा साक्ष्य खोजने के लिए लाइव वेब का उपयोग करने की क्षमता से लैस किया गया है। जब यह किसी सोशल मीडिया पोस्ट का सामना करता है, तो यह केवल अनुमान नहीं लगाता; यह सामग्री को टुकड़ों में तोड़ता है, दावों का समर्थन या खंडन करने के लिए विश्वसनीय जानकारी खोजता है, और फिर उस साक्ष्य के आधार पर एक सुधार लिखता है। सिस्टम को टेक्स्ट और इमेज के मिश्रण वाली जटिल पोस्ट को संभालने के लिए डिज़ाइन किया गया है, जिससे यह सुनिश्चित होता है कि वह कैप्शन से लेकर फोटोग्राफ तक सब कुछ सत्यापित कर सके।
यह परीक्षण करने के लिए कि क्या यह दृष्टिकोण वास्तव में काम करता है, शोधकर्ताओं ने MUSE की तुलना प्लेटफॉर्म X (पूर्व में ट्विटर) पर उपलब्ध सर्वश्रेष्ठ मानव-लिखित सुधारों से की। उन्होंने सैकड़ों वास्तविक पोस्ट एकत्र किए, जिनमें से कुछ स्पष्ट झूठ थे, कुछ सूक्ष्म भ्रामक विवरण थे, और कुछ पूरी तरह से सटीक थे। प्रत्येक पोस्ट के लिए, उन्होंने एआई की प्रतिक्रिया को मानव स्वयंसेकों द्वारा लिखे गए उच्च-गुणवत्ता वाले नोट्स और कम अनुभवी उपयोगकर्ताओं द्वारा लिखे गए औसत नोट्स के विरुद्ध रखा। मूल्यांकन कठोर था, जिसमें पेशेवर फैक्ट-चेकिंग विशेषज्ञों के एक पैनल ने तेरह अलग-अलग मानदंडों पर प्रतिक्रियाओं को स्कोर दिया। विशेषज्ञों ने देखा कि क्या सिस्टम ने गलत हिस्सों की सही पहचान की, क्या स्पष्टीकरण समझ में आने योग्य था, और क्या उद्धृत स्रोत विश्वसनीय और वास्तव में मौजूद थे।
परिणामों ने इस नए सिस्टम का स्पष्ट लाभ दिखाया। MUSE ने ऐसी प्रतिक्रियाएँ दीं जिन्हें विशेषज्ञों ने मानव-लिखित सर्वश्रेष्ठ नोट्स की तुलना में काफी उच्च गुणवत्ता वाला बताया। दस के पैमाने पर, एआई का औसत स्कोर 8.1 रहा, जबकि शीर्ष-रेटेड मानव नोट्स का औसत 6.3 था। यह अंतर केवल शैली का मामला नहीं था; एआई पोस्ट के विशिष्ट भ्रामक हिस्सों को पहचानने में अधिक सटीक था। जहाँ मानक एआई मॉडल अक्सर समस्या को पहचानने में विफल रहते हैं या तथ्य बना देते हैं, वहीं MUSE ने अपने लगभग 90 प्रतिशत जवाबों में अशुद्धियों की सही पहचान की और उन्हें समझाया। इसने ऐसे स्रोतों के लिंक भी प्रदान किए जो लगभग हमेशा सुलभ और प्रासंगिक थे, जबकि मानक मॉडल अक्सर टूटे हुए या फर्जी लिंक का हवाला देते हैं। सिस्टम ने राजनीति, स्वास्थ्य और वर्तमान घटनाओं से जुड़ी पोस्टों के मामले में समान कुशलता के साथ बेहतरीन प्रदर्शन किया, और इसमें वह राजनीतिक पूर्वाग्रह नहीं दिखा जो अक्सर अन्य एआई सिस्टमों में देखा जाता है।
शोधकर्ताओं यह भी जानना चाहते थे कि क्या लोग मशीन से मिलने वाले सुधार पर वास्तव में भरोसा करेंगे। उन्होंने लगभग एक हजार प्रतिभागियों के साथ एक अध्ययन किया, जिसमें उन्हें भ्रामक पोस्ट और एआई-जनित सुधार दिखाए गए। परिणाम उत्साहजनक थे: एआई के स्पष्टीकरण को पढ़ने के बाद, प्रतिभागी यह पहचानने में काफी बेहतर थे कि मूल पोस्ट भ्रामक थी। उनके झूठे दावे में विश्वास में कमी आई। हालाँकि, सुधारों ने प्रतिभागियों के सूचना साझा करने के इरादे को महत्वपूर्ण रूप से प्रभावित नहीं किया, जो आम तौर पर कम ही रहता है। दिलचस्प बात यह है कि लोगों को यह बताने से कि सुधार आर्टिफिशियल इंटेलिजेंस से आया है, उनके विश्वास में कोई कमी नहीं आई। सिस्टम की प्रभावशीलता उच्च बनी रही चाहे इसके स्रोत का खुलासा किया गया हो या नहीं, जिससे पता चलता है कि लेखक की पहचान से अधिक स्पष्टीकरण की गुणवत्ता मायने रखती है।
इस कार्य का एक सबसे महत्वपूर्ण पहलू यह है कि सिस्टम अज्ञात स्थितियों को कैसे संभालता है। शोधकर्ताओं ने पाया कि MUSE को अपना काम करने के लिए पूर्व-मौजूद फैक्ट-चेक पर निर्भर रहने की आवश्यकता नहीं है। यहाँ तक कि उन पोस्टों के लिए भी जिन्हें पहले कभी किसी ने चेक नहीं किया था, सिस्टम वेब पर ताज़ा साक्ष्य खोज सकता है और एक विश्वसनीय सुधार बना सकता है। इसने यह भी बहुत तेज़ी से किया, मानक कंप्यूटर हार्डवेयर पर लगभग दो मिनट में एक पूर्ण प्रतिक्रिया उत्पन्न की। सिस्टम चलाने की लागत भी कम है, जो प्रति पोस्ट लगभग 0.2 USD है, जो हर एक सामग्री की समीक्षा करने के लिए मानव स्वयंसेवकों को भुगतान करने की तुलना में बहुत सस्ता है।
इस अध्ययन की कुछ सीमाएँ भी हैं। सिस्टम वर्तमान में टेक्स्ट और इमेज के साथ काम करता है, लेकिन अभी तक वीडियो का विश्लेषण नहीं कर सकता। यह ऑनलाइन विश्वसनीय जानकारी के अस्तित्व पर भी निर्भर है; यदि कोई पोस्ट किसी ऐसी ब्रेकिंग न्यूज़ घटना के बारे में है जहाँ अभी तक किसी विश्वसनीय स्रोत ने रिपोर्टिंग नहीं की है, तो सिस्टम अनुमान लगाने के बजाय अनिश्चितता स्वीकार करने के लिए डिज़ाइन किया गया है। शोधकर्ताओं ने सिस्टम का परीक्षण एक एकल प्लेटफॉर्म पर किया, और हालांकि वह प्लेटफॉर्म व्यापक रूप से उपयोग किया जाता है, परिणाम अन्य स्थानों पर भिन्न हो सकते हैं। इन सीमाओं के बावजूद, निष्कर्ष एक आशाजनक मार्ग प्रदान करते हैं। मशीनों की गति को वास्तविक दुनिया के साक्ष्य खोजने और सत्यापित करने की क्षमता के साथ जोड़कर, MUSE यह प्रदर्शित करता है कि हम आधुनिक इंटरनेट की स्केल और गति के अनुरूप सत्य और असत्य के बीच अंतर करने में मदद करने वाले उपकरण बना सकते हैं। यह कार्य सुझाव देता है कि सूचना के प्रसार को रोकने का भविष्य मानव और मशीन के बीच चुनाव नहीं है, बल्कि एक ऐसा सिस्टम है जहाँ मशीनें सत्यापन का भारी काम संभालती हैं, जिससे मानवीय निर्णय सबसे जटिल मामलों पर ध्यान केंद्रित कर सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।