Wisdom of the LLM Crowd: A Large Scale Benchmark of Multi-Label U.S. Election-Related Harmful Social Media Content
यह शोध पत्र USE24-XD को प्रस्तुत करता है, जो लगभग 100k अमेरिकी चुनाव संबंधी सोशल मीडिया पोस्ट का एक बड़े पैमाने का, मल्टी-लेबल डेटासेट है, जिसे छह LLMs के "विजडम-ऑफ-द-क्राउड" द्वारा एनोटेट किया गया है और मानव रेटर्स के विरुद्ध सत्यापित किया गया है ताकि हानिकारक सामग्री का स्केलेबल पता लगाने में सक्षम बनाया जा सके और लेबलिंग व्यवहारों में व्यवस्थित व्यक्तिपरकता को प्रकट किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि चुनाव के दौरान इंटरनेट एक विशाल, अराजक शहर के चौक की तरह है। हर कोई चिल्ला रहा है, पोस्टर लगा रहा है और कहानियाँ फैला रहा है। कुछ कहानियाँ सच हैं, कुछ मज़ाक हैं, कुछ डरावनी अफवाहें हैं, और कुछ तो सीधे झूठ हैं जिन्हें लोगों को गुस्सा दिलाने या डराने के लिए बनाया गया है।
इस शोध पत्र के शोधकर्ता इस शोर के बीच से छानने के लिए एक सुपर-स्मार्ट "फ़िल्टर" बनाना चाहते थे ताकि वे खतरनाक चीज़ों (जैसे झूठ, नफरत भरी भाषा, या डरावनी अफवाहों) को बहुत अधिक फैलने से पहले ही पहचान सकें। लेकिन 100,000 पोस्ट को हाथों से छाँटने के लिए लोगों की एक टीम को सालों लग जाएंगे। इसलिए, उन्होंने एक नया सवाल पूछा: क्या हम अपने लिए छँटाई करने के लिए आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग कर सकते हैं?
यहाँ बताया गया है कि उन्होंने इस सवाल का जवाब देने की कोशिश कैसे की, जिसे सरल भाषा में समझाया गया है:
1. समस्या: "घास के ढेर में सुई"
टीम ने 2024 के अमेरिकी चुनाव के दौरान X (पूर्व में ट्विटर) से लगभग 100,000 पोस्ट एकत्र किए। वे उन्हें खराब सामग्री के पांच विशिष्ट "बकेट" (वर्गों) में टैग करना चाहते थे:
- साजिश (Conspiracy): "चुनाव एलियंस द्वारा चुरा लिया गया था!" (गुप्त साजिशें)।
- सनसनीखेज (Sensationalism): "ब्रेकिंग न्यूज़: दुनिया कल खत्म होने वाली है!" (डरावना, अतिरंजित डर)।
- अनुमान (Speculation): "मुझे लगता है कि उम्मीदवार अगले हफ्ते पद छोड़ देगा।" (बिना सबूत के जंगली अंदाज़े)।
- नफरत भरी भाषा (Hate Speech): लोगों पर उनकी पहचान के आधार पर हमला करना।
- व्यंग्य (Satire): मज़ेदार चुटकुले जो समाचार जैसे दिखते हैं लेकिन नहीं होते (जैसे The Onion)।
2. प्रयोग: AI "बुक क्लब"
हर पोस्ट को पढ़ने के लिए एक व्यक्ति को काम पर रखने के बजाय, शोधकर्ताओं ने छह अलग-अलग AI मॉडल को काम पर रखा (इन्हें अलग-अलग व्यक्तित्व वाले छह अलग-अलग सुपर-स्मार्ट बुक क्लब सदस्यों के रूप में सोचें)।
- उन्होंने प्रत्येक AI को वही 1,000 पोस्ट दिए और पूछा: "क्या यह पोस्ट हमारे पाँचों 'खराब सामग्री' के बकेट में से किसी में फिट बैठता है?"
- उन्होंने 34 वास्तविक मनुष्यों को भी भी काम दिया (एक क्राउडसोर्सिंग वेबसाइट के माध्यम से), केवल यह देखने के लिए कि AI वास्तविक लोगों की तुलना में कैसा प्रदर्शन करता है।
3. बड़ा आश्चर्य: AI "भीड़" अधिक सुसंगत थी
आमतौर पर, हम सोचते हैं कि "यह एक मज़ाक है?" या "यह नफरत भरी भाषा है?" जैसी चीज़ों का निर्णय लेने के लिए इंसान ही सबसे सटीक मानक होते हैं क्योंकि इंसान बारीकियों को समझते हैं। लेकिन शोधकर्ताओं ने पाया कि कुछ दिलचस्प था:
- इंसान अव्यवस्थित थे: जब अलग-अलग इंसानों ने एक ही पोस्ट को देखा, तो वे अक्सर असहमत थे। एक व्यक्ति को वह पोस्ट एक "मज़ाक" (व्यंग्य) लग सकता था, जबकि दूसरे को वह "नफरत भरी भाषा" लग सकती थी। ऐसा इसलिए है क्योंकि इंसानों के अपने राजनीतिक पूर्वाग्रह और पृष्ठभूमि होती है।
- AI स्थिर था: छह AI एक-दूसरे के साथ बहुत अधिक सहमति रखते थे। वे एक अच्छी तरह से चलने वाली मशीन की तरह थे।
- "AI भीड़ की बुद्धिमत्ता" (Wisdom of the AI Crowd): शोधकर्ताओं ने महसूस किया कि यदि वे तीन सर्वश्रेष्ठ AIओं के बहुमत (majority vote) को लेते हैं, तो उन्हें एक ऐसा परिणाम मिलता है जो किसी भी एकल AI या किसी भी एकल मानव से भी बेहतर होता है। यह तीन विशेषज्ञों से उनकी राय माँगने और उस उत्तर को चुनने जैसा था जिस पर दो उनसे सहमत हों।
4. मानवीय कारक: राजनीति बदल देती है कि हम क्या देखते हैं
अध्ययन ने यह भी देखा कि मनुष्य क्यों असहमत थे। उन्होंने पाया कि आप कौन हैं, यह बदल देता है कि आप क्या देखते हैं।
- यदि एक मानव एनोटेटर (लेबल लगाने वाला) बहुत रूढ़िवादी (conservative) था, तो उनके द्वारा किसी पोस्ट को "नफरत भरी भाषा" के रूप में लेबल करने की संभावना अधिक थी।
- यदि वे एक "मध्यमार्गी" (Centrist) या स्वतंत्र व्यक्ति थे, तो उनके द्वारा इसे "अनुमान" (केवल एक जंगली अंदाज़ा) के रूप में लेबल करने की संभावना अधिक थी।
- रूपक (Metaphor): कल्पना कीजिए कि अलग-अलग रंग के चश्मे के माध्यम से एक पेंटिंग को देखना। लाल चश्मा पहने व्यक्ति को पूरी पेंटिंग लाल दिखती है; नीले चश्मा पहने व्यक्ति को वह नीली दिखती है। AI के पास रंगीन चश्मे नहीं थे, इसलिए उसने सामग्री के "आकार" को अधिक सुसंगत रूप से देखा, भले ही वह कुछ सूक्ष्म मानवीय संदर्भों को मिस कर गया हो।
5. परिणाम: भविष्य के लिए एक नया उपकरण
टीम ने एक विशाल, साफ डेटासेट बनाया जिसे USE24-XD कहा गया।
- उन्होंने क्या पाया: उनके द्वारा देखे गए चुनाव संबंधी पोस्टों में से लगभग 60% में कम से कम एक "खराब" लेबल था। इसका मतलब है कि हानिकारक सामग्री एक दुर्लभ घटना नहीं है; यह बातचीत का एक बड़ा हिस्सा है।
- जीत: उन्होंने साबित किया कि AI की एक "टीम" का उपयोग करना सोशल मीडिया को साफ़ करने का एक सस्ता, तेज़ और आश्चर्यजनक रूप से सटीक तरीका है। यह पूर्ण नहीं है (यह कभी-कभी सूक्ष्म चुटकुलों को मिस कर देता है), लेकिन यह सेनाओं की तरह लोगों को काम पर रखने की तुलना में बहुत तेज़ और सस्ता है।
मुख्य निष्कर्ष (The Takeaway)
इस अध्ययन को एक नए प्रकार के छलनी (sieve) के निर्माण के रूप में समझें।
अतीत में, हमने इंटरनेट के शोर को छोटी, हाथ से बनी छलनियों (इंसानों) से छानने की कोशिश की, जो धीमी और असंगत थी। यह शोध पत्र दिखाता है कि हम AI से बनी एक विशाल, स्वचालित छलनी बना सकते हैं। हालाँकि AI की छलनी पूर्ण नहीं है, लेकिन यदि आप कुछ अलग-अलग छलनियों का उपयोग करते हैं और बहुमत के वोट को लेते हैं, तो आप फल की टोकरी से लगभग सभी "खराब सेबों" को पकड़ लेते हैं बिना हजारों लोगों को काम पर रखे।
यह शोधकर्ताओं और प्लेटफार्मों को गलत सूचना (misinformation) को समझने और उससे लड़ने के लिए एक शक्तिशाली नया उपकरण प्रदान करता है, इससे पहले कि वह वास्तविक दुनिया में नुकसान पहुँचाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।