AI Fact-Checking in the Wild: A Field Evaluation of LLM-Written Community Notes on X
यह शोध पत्र X के कम्युनिटी नोट्स पर तैनात एक LLM-आधारित तथ्य-जांच प्रणाली का पहला फील्ड मूल्यांकन प्रस्तुत करता है, जो तीन महीने के अध्ययन के माध्यम से यह प्रदर्शित करता है कि प्लेटफॉर्म की गतिशीलता को नियंत्रित करने पर, मानव-लिखित नोट्स की तुलना में AI-लिखित नोट्स उच्च हेल्पफुलनेस स्कोर और व्यापक क्रॉस-पार्टिसन सर्वसम्मति प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि सोशल मीडिया एक विशाल, अराजक शहर का चौक है जहाँ हर कोई चिल्ला रहा है। कभी-कभी, लोग ऐसी चीजें चिल्लाते हैं जो सच नहीं होतीं। शहर को दंगे में बदलने से रोकने के लिए, शहर के पास स्वयंसेवकों का एक समूह है ("कम्युनिटी नोट्स" - X पर), जो संदर्भ जोड़ने के लिए बीच में आते हैं, जैसे कि एक लाइब्रेरियन फुसफुसाकर कहता है, "दरअसल, चंद्रमा पर उतरने वाली वह कहानी फर्जी है; यहाँ लॉन्च की एक फोटो है।"
लंबे समय से, वैज्ञानिक सोच रहे थे: क्या एक सुपर-स्मार्ट रोबोट लाइब्रेरियन यह काम इंसानी स्वयंसेवकों जितना अच्छा या उससे भी बेहतर कर सकता है?
पिछले अधिकांश परीक्षण ऐसे थे जैसे किसी रोबोट को एक शांत कक्षा में रखकर उससे क्विज़ (प्रश्नोत्तरी) हल करने के लिए कहना। रोबोट ने अच्छा प्रदर्शन किया, लेकिन हमें यह नहीं पता था कि क्या वह शोर, समय और वास्तविक शहर के चौक की अराजकता को संभाल पाएगा।
यह शोध पत्र पहली बार है जब शोधकर्ताओं ने एक रोबोट लाइब्रेरियन को वास्तविक शहर के चौक में भेजा ताकि यह देखा जा सके कि वह वास्तविक दुनिया में कैसा प्रदर्शन करता है।
प्रयोग: रोबोट बनाम इंसान
शोधकर्ताओं ने एक AI "लेखक" बनाया और उसे तीन महीने के लिए X (पूर्व में ट्विटर) पर खुला छोड़ दिया।
- काम: जब कोई पोस्ट संदिग्ध लगती थी, तो AI वेब पर खोज करता था, वीडियो की जाँच करता था, सच्चाई पाता था और उसे समझाने के लिए एक छोटा सा नोट लिखता था।
- प्रतियोगिता: इसने 1,614 नोट्स लिखे। उसी समय, वास्तविक मनुष्यों ने ठीक उन्हीं पोस्ट्स पर 1,332 नोट्स लिखे।
- जज (निर्णायक): 42,000 से अधिक वास्तविक उपयोगकर्ताओं ने वोट दिया कि क्या ये नोट्स "उपयोगी" (helpful) थे।
बड़ी समस्या: "देरी से आगमन" का दंड (The "Late Arrival" Penalty)
यहाँ पेचीदा बात यह है। शहर के चौक का एक अजीब नियम है: आप जितनी जल्दी पहुँचते हैं, उतने ही अधिक लोग आपको देखते हैं।
- इंसान झूठ देखते ही तुरंत हस्तक्षेप कर सकते थे।
- AI को इंतज़ार करना पड़ा। यह केवल तभी काम शुरू कर सकता था जब पर्याप्त मनुषियों ने पहले ही पोस्ट को "संदिग्ध" के रूप में चिह्नित कर दिया हो।
क्योंकि AI कुछ मिनटों की देरी से आता था, उसे कम वोट मिले। यह एक ऐसे कॉमेडियन की तरह है जो शो शुरू होने के 10 मिनट बाद मंच पर आता है; दर्शक पहले से ही जा रहे होते हैं, इसलिए वे उसका चुटकुला सुन ही नहीं पाते, भले ही चुटकुला कितना भी मजेदार क्यों न हो। शोधकर्ताओं ने महसूस किया कि यदि वे केवल अंतिम स्कोर की तुलना करते, तो AI केवल देरी से आने के कारण खराब दिखता, न कि इसलिए कि उसके नोट्स खराब थे।
समाधान: "फेयर प्ले" टेस्ट
इसे ठीक करने के लिए, शोधकर्ताओं ने दो चीजें कीं:
- "व्यक्तिगत वोट" की जाँच: उन्होंने प्रत्येक व्यक्ति को देखा जिसने वोट दिया। क्या वामपंथी विचारक ने AI नोट को पसंद किया? क्या दक्षिणपंथी विचारक ने इसे पसंद किया?
- "समान दर्शक" की जाँच: उन्होंने केवल उन दुर्लभ मामलों को देखा जहाँ ठीक उसी समूह के लोगों ने एक ही पोस्ट के लिए दोनों (मानव और AI) नोट्स पर वोट दिया। इससे "देरी से आगमन" का लाभ हट गया।
आश्चर्यजनक परिणाम
जब उन्होंने समय के लाभ को हटा दिया, तो रोबोट लाइब्रेरियन जीत गया।
- "ब्रिज" प्रभाव: कम्युनिटी नोट्स का लक्ष्य कुछ ऐसा लिखना है जिस पर वामपंथी, दक्षिणपंथी और मध्यमार्गी सभी सहमत हों कि वह उपयोगी है। AI इसमें आश्चर्यजनक रूप से अच्छा था। इसने ऐसे नोट्स लिखे जिन्हें पूरे राजनीतिक स्पेक्ट्रम के लोगों द्वारा अधिक बार "उपयोगी" माना गया, जबकि मानव नोट्स के मामले में ऐसा कम हुआ।
- "गोल्डिलॉक्स" ज़ोन: AI स्वास्थ्य, चिकित्सा और साजिश सिद्धांतों (conspiracy theories) के बारे में तथ्यों की जाँच करने में सुपरस्टार साबित हुआ। यह आधिकारिक स्रोतों (जैसे मेडिकल जर्नल या फैक्ट-चेकिंग साइटों) को तेज़ी से खोजने और उन्हें पूरी तरह से संश्लेषित करने में सक्षम था।
- कमज़ोर पक्ष: AI AI-जनित सामग्री (जैसे डीपफेक) से संबंधित पोस्टों के साथ थोड़ा संघर्ष करता है। यह थोड़ा विडंबनापूर्ण है: रोबोट दूसरे रोबोटों के काम को पहचानने में बहुत अच्छा नहीं था क्योंकि उसके पास अभी तक डीपफेक का पता लगाने के लिए विशेष उपकरण नहीं थे।
उन्होंने कैसे लिखा
- इंसानों ने अन्य ट्वीट्स और सोशल मीडिया पोस्ट (शहर के चौक की "गपशप") को लिंक करने की प्रवृत्ति दिखाई।
- AI ने प्रमुख समाचार आउटलेट्स, विकिपीडिया और आधिकारिक तथ्य-जांचकर्ताओं (विश्वकोशों) को लिंक करने की प्रवृत्ति दिखाई।
AI ने थोड़े लंबे और अधिक विस्तृत नोट्स भी लिखे।
निष्कर्ष
यह अध्ययन साबित करता है कि AI गलत सूचनाओं से लड़ने में एक शक्तिशाली साथी हो सकता है, लेकिन इसका उपयोग समझदारी से किया जाना चाहिए।
- AI इसमें माहिर है: तथ्यों को तेज़ी से इकट्ठा करने, विश्वसनीय डेटाबेस की जाँच करने और तटस्थ सारांश लिखने में जो किसी को भी नाराज न करे। यह एक अथक शोध सहायक की तरह है जो कभी थकता नहीं है।
- इंसान इसमें माहिर हैं: बिल्कुल नए, अजीब रुझानों को पहचानने, सांस्कृतिक संदर्भ को समझने और उन स्थितियों को संभालने में जहाँ नियम अभी तक लिखे नहीं गए हैं।
मुख्य बात यह है: हमें रोबोट और इंसान के बीच चुनाव करने की आवश्यकता नहीं है। सबसे अच्छा शहर का चौक वह है जहाँ रोबोट लाइब्रेरियन तथ्य-जाँच का भारी काम संभालता है, जिससे मानव स्वयंसेवकों को उन जटिल, सूक्ष्म मुद्दों पर ध्यान केंद्रित करने का मौका मिलता है जिनमें मानवीय स्पर्श की आवश्यकता होती है। जब वे मिलकर काम करते हैं, तो पूरा समुदाय बेहतर जानकारी प्राप्त करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।