The Enforcement and Feasibility of Hate Speech Moderation on Twitter
ट्विटर के एक वैश्विक ऑडिट से पता चलता है कि मानव-एआई मॉडरेशन पाइपलाइनों के माध्यम से घृणास्पद भाषण (हेट स्पीच) को महत्वपूर्ण रूप से कम करने की तकनीकी और आर्थिक व्यवहार्यता के बावजूद, प्लेटफॉर्म का वर्तमान प्रवर्तन तकनीकी सीमाओं के बजाय संस्थागत संसाधन आवंटन संबंधी विकल्पों के कारण काफी अप्रभावी है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि ट्विटर (अब X) एक विशाल, हलचल भरे वैश्विक शहर के चौक की तरह है जहाँ अरबों लोग हर सेकंड चिल्लाते हैं, फुसफुसाते हैं, बहस करते हैं और समाचार साझा करते हैं। इस शहर में, एक गंभीर समस्या है: कुछ लोग नफरत भरे भाषण (hate speech) फैला रहे हैं—ऐसे मौखिक हमले जो मानसिक स्वास्थ्य को नुकसान पहुँचा सकते हैं और यहाँ तक कि वास्तविक दुनिया में हिंसा को भी भड़का सकते हैं।
सिटी काउंसिल (प्लेटफॉर्म) का एक नियम पुस्तिका है जिसमें लिखा है, "कोई भी नफरत भरा भाषण वर्जित है।" उनके पास सुरक्षा गार्डों (मॉडरेटर्स) की एक टीम और रोबोट पहरेदारों (AI) का एक बेड़ा है जो चौक पर नज़र रखते हैं और बुरे तत्वों को हटाते हैं।
लेकिन यहाँ वह बड़ा सवाल है जो यह शोध पत्र पूछता है: क्या गार्ड वास्तव में अपना काम कर रहे हैं, और क्या यह संभव भी है कि वे सभी को पकड़ सकें?
शोधकर्ताओं ने इस शहर के चौक की एक विशाल तस्वीर लेने का फैसला किया, जो पूरे 24 घंटों के लिए थी, जिसमें उन्होंने 37 करोड़ 50 लाख (375 मिलियन) ट्वीट्स का विश्लेषण किया। फिर उन्होंने 5,40,000 ट्वीट्स को पढ़ने के लिए विशेषज्ञों की एक बड़ी टीम को काम पर लगाया ताकि यह देखा जा सके कि उनमें से कौन से वास्तव में नफरत भरे भाषण थे। पाँच महीने बाद, वे यह देखने के लिए वापस गए कि उन विशिष्ट ट्वीट्स का क्या हुआ।
यहाँ उन्हें क्या मिला, जिसे सरल कहानियों में विभाजित किया गया है:
1. नफरत भरे भाषणों का "भूतिया शहर" (The "Ghost Town" of Hate Speech)
निष्कर्ष: पोस्ट किए जाने के पाँच महीने बाद भी, 80% नफरत भरे ट्वीट्स ऑनलाइन थे। यहाँ तक कि बहुत डरावने, हिंसक ट्वीट्स (जैसे विशिष्ट समूहों को मारने के आह्वान) भी ज्यादातर वहीं मौजूद थे।
उपमा: कल्पना कीजिए कि एक शहर के चौक में किसी ने दीवार पर स्वास्तिक बना दिया है। आप सिटी काउंसिल को बुलाते हैं, और वे कहते हैं, "हम इसे हटा देंगे।" पाँच महीने बाद, आप वापस आते हैं, और पेंट अभी भी वहीं है। वास्तव में, दीवार पहले वाले दिन जितनी ही गंदी है। अध्ययन में पाया गया कि नफरत भरे ट्वीट्स को हटाने की संभावना सामान्य, उबाऊ ट्वीट्स की तुलना में अधिक नहीं थी। इससे कोई फर्क नहीं पड़ता था कि ट्वीट हिंसक था या सिर्फ बुरा था; प्लेटफॉर्म ने उनके साथ लगभग एक जैसा ही व्यवहार किया।
2. रोबोट की दुविधा: बहुत अधिक गलत अलार्म (The Robot's Dilemma: Too Many False Alarms)
निष्कर्ष: शोधकर्ताओं ने "रोबोट पहरेदारों" (AI) का परीक्षण किया। उन्होंने पाया कि यदि आप रोबोट को हर नफरत भरे भाषण को पकड़ने के लिए कहते हैं, तो वह इतना भ्रमित हो जाता है कि वह निर्दोष लोगों को केवल "मूर्ख" या "बदतमीज" कहने के लिए भी गिरफ्तार करने लगता है। यदि आप रोबोट को बहुत सावधान रहने के लिए कहते हैं ताकि वह निर्दोष लोगों को गिरफ्तार न करे, तो वह लगभग सभी वास्तविक नफरत भरे भाषणों को अपने पास से गुजर जाने देता है।
उपमा: AI को हवाई अड्डे पर मेटल डिटेक्टर की तरह समझें।
- परिदृश्य A: आप मेटल डिटेक्टर को बहुत संवेदनशील सेट करते हैं। यह हर चीज़ के लिए बीप करता है—चाबियाँ, बेल्ट बकल, यहाँ तक कि सोडा कैन भी। आपको एक आतंकवादी को खोजने के लिए 10,000 निर्दोष लोगों को रोकना और उनकी तलाशी लेनी पड़ती है। यह बहुत धीमा और कष्टदायक है।
- परिदृश्य B: आप इसे केवल बड़ी बंदूकों के लिए बीप करने के लिए सेट करते हैं। यह जूतों में छिपी छोटी छुरियों और बमों को मिस कर देता है।
अध्ययन में पाया गया कि वर्तमान रोबोट इसी बीच के रास्ते में फंसे हुए हैं। वे बिना बहुत बड़ा हंगामा किए "नफरत भरे भाषण" और "अभद्र व्यवहार" के बीच अंतर नहीं कर सकते।
3. मानव गार्ड की शिफ्ट: हाथों की कमी (The Human Guard Shift: Not Enough Hands)
निष्कर्ष: शोधकर्ताओं ने एक ऐसी प्रणाली का अनुकरण (simulate) किया जहाँ रोबोट एक "ट्राइएज नर्स" (प्राथमिक उपचार करने वाला) के रूप में कार्य करते हैं। रोबोट ट्वीट्स को स्कैन करता है और कहता है, "हे, यह वाला खतरनाक लग रहा है, इसे एक इंसान देखने दे।" उन्होंने पाया कि रोबलों की मदद के बावजूद, मानव गार्डों की वर्तमान संख्या बहुत कम है जिससे बुरे तत्वों को पकड़ा जा सके।
उपमा: कल्पना कीजिए कि रोबोट एक क्लब का बाउंसर है जो मानव सुरक्षा टीम को एक "वीआईपी लिस्ट" सौंपता है। रोबोट कहता है, "ये 100 लोग संदिग्ध लग रहे हैं।" लेकिन मानव टीम के पास रात खत्म होने से पहले केवल 10 लोगों की जांच करने का पर्याप्त समय है। बाकी 90 संदिग्ध लोग आसानी से निकल जाते हैं। अध्ययन ने दिखाया कि प्लेटफॉर्म के पास उन सूचियों की समीक्षा करने के लिए पर्याप्त मानवीय आँखें नहीं हैं जो रोबोट द्वारा बनाई जाती हैं।
4. "पैसा बनाम सुरक्षा" का समीकरण (The "Money vs. Safety" Equation)
निष्कर्ष: यह सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने गणना की कि वास्तव में 80% नफरत भरे भाषणों को पकड़ने के लिए पर्याप्त मनुष्यों को काम पर रखने में कितना खर्च आएगा।
- लागत: इसमें ट्विटर के कुल वार्षिक राजस्व का लगभग 2.9% खर्च होगा।
- जुर्माना: यदि सरकार (जैसे यूरोपीय संघ या यूके) उन्हें विफल होने के लिए पकड़ लेती है, तो वे कंपनी पर उनके राजस्व का 6% से 10% तक जुर्माना लगा सकते हैं।
उपमा: कल्पना कीजिए कि एक दुकानदार जानता है कि उसकी दुकान चोरों से भरी है।
- पर्याप्त सुरक्षा गार्डों को काम पर रखने में मालिक को $3 खर्च करने होंगे।
- लेकिन अगर पुलिस उसे पकड़ लेती है, तो जुर्माना $10 होगा।
- तर्क कहता है: "मुझे गार्डों के लिए $3 खर्च कर देने चाहिए।"
- वास्तविकता: मालिक अभी भी गार्डों को काम पर न रखने का चुनाव कर रहा है।
अध्ययन निष्कर्ष निकालता है कि ऑनलाइन नफरत को नहीं रोका जा पा रहा है, इसका कारण तकनीक का असंभव होना नहीं है। यह तकनीकी रूप से असंभव या बहुत महंगा भी नहीं है। यह एक व्यावसायिक निर्णय है। प्लेटफॉर्म नफरत को रोकने के लिए आवश्यक संसाधनों के बजाय अन्य चीजों (जैसे उपयोगकर्ताओं को जोड़े रखने) को प्राथमिकता दे रहा है।
वे इसे ठीक कर सकते हैं यदि वे चाहें, और इसकी लागत उन जुर्माने से कम है जो वे भुगतान करने के जोखिम में उठाते हैं। लेकिन फिलहाल, वे दीवार पर लगे उस पेंट को वहीं रहने दे रहे हैं।
मुख्य निष्कर्ष (The Big Takeaway)
ऑनलाइन नफरत का बने रहना तकनीक का रहस्य नहीं है। यह इसलिए नहीं है कि रोबोट बहुत मूर्ख हैं या इंसान बहुत धीमे हैं। यह इसलिए है क्योंकि प्लेटफॉर्म नफरत को रोकने के लिए आवश्यक संसाधन आवंटित करने के बजाय एक व्यावसायिक निर्णय ले रहा है।
यदि वे चाहते हैं तो वे इसे ठीक कर सकते हैं, और इसकी लागत उन जुर्माने से कम है जो वे तब चुकाएंगे जब वे ऐसा नहीं करेंगे। लेकिन अभी, वे दीवार पर पेंट को वहीं रहने दे रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।