Vicarious Offense and Noise Audit of Offensive Speech Classifiers: Unifying Human and Machine Disagreement on What is Offensive
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक खेल के रेफरी हैं जहाँ भीड़ खिलाड़ियों पर टिप्पणियाँ चिल्ला रही है। आपका काम यह तय करना है कि कौन सी टिप्पणियाँ "अपमानजनक" हैं और उन्हें चुप कराने की आवश्यकता है।
यह शोध पत्र दो प्रकार के रेफरी के लिए एक रिपोर्ट कार्ड की तरह है: रोबोट (कंप्यूटर एल्गोरिदम) और इंसान (विभिन्न राजनीतिक विचारों वाले वास्तविक लोग)। शोधकर्ता यह देखना चाहते थे कि क्या ये रेफरी इस बात पर सहमत हैं कि अपमान को कैसे परिभाषित किया जाए, खासकर जब खेल अमेरिकी राजनीति के बारे में हो।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जो सरल उपमाओं का उपयोग करता है:
1. रोबोट रेफरी नियमों पर सहमत नहीं हो सकते
शोधकर्ताओं ने नौ अलग-अलग कंप्यूटर प्रोग्रामों ("मशीन मॉडरेटर्स") का नौ यूट्यूब न्यूज़ चैनलों के 30 लाख से अधिक कमेंट्स पर परीक्षण किया।
- उपमा: कल्पना कीजिए कि नौ अलग-अलग रेफरी एक ही प्ले को देख रहे हैं। एक फाउल के लिए सीटी बजाता है, दूसरा कहता है "कोई फाउल नहीं," और तीसरा कहता है, "खैर, यह फाउल है, लेकिन केवल तभी जब आपने नीले जूते पहने हों।"
- निष्कर्ष: रोबोटों के बीच भारी असहमति थी। कभी-कभी, एक कमेंट को केवल एक रोबोट द्वारा अपमानजनक के रूप में चिह्नित किया जाता था और अन्य आठों द्वारा अनदेखा कर दिया जाता था। वास्तव में, लगभग आधे कमेंट्स को सभी रोबोट्स द्वारा अनदेखा किया गया था, जबकि एक बहुत छोटे हिस्से को उन सभी द्वारा चिह्नित किया गया था। इसका मतलब है कि इस बारे में कि क्या अपमानजनक है, कोई एक एकल "रोबोट सत्य" नहीं है।
2. मानव रेफरी के पास अलग-अलग प्लेबुक होती है
शोधकर्ताओं ने फिर वास्तविक मनुष्यों (डेमोक्रेट्स, रिपब्लिकन्स और इंडिपेंडेंट्स) को उन्हीं कमेंट्स को रेट करने के लिए कहा। उन्होंने दो प्रश्न पूछे:
- व्यक्तिगत अपमान: "क्या इस टिप्पणी से आपको ठेस पहुँची?"
- परोक्ष अपमान (Vicarious Offense): "क्या आपको लगता है कि यह टिप्पणी दूसरी राजनीतिक टीम के किसी व्यक्ति को ठेस पहुँचाएगी?"
- उपमा: यह टीम A के प्रशंसक से पूछने जैसा है, "क्या इस अपमान से आपको चोट लगी?" और फिर टीम B के प्रशंसक से पूछना, "क्या आपको लगता है कि टीम B का प्रशंसक इससे आहत होगा?"
- निष्कर्ष:
- इंसान रोबोटों की तुलना में एक-दूसरे के साथ अधिक सहमति रखते हैं: डेमोक्रेट्स, रिपब्लिकन्स और इंडिपेंडेंट्स आम तौर पर एक-दूसरे को रोबोट्स की तुलना में बेहतर समझते थे।
- "एम्पैथी गैप" (सहानुभूति की कमी): हालाँकि, इंसान इस बात का अनुमान लगाने में बहुत खराब थे कि दूसरी पार्टी को क्या अपमानजनक लगेगा।
- रिपब्लिकन अंध बिंदु (Blind Spot): अध्ययन में पाया गया कि रिपब्लिकन्स, डेमोक्रेट्स या इंडिपेंडेंट्स को क्या अपमानजनक लगेगा, इसका अनुमान लगाने में सबसे खराब थे। इसके विपरीत, डेमोक्रेट्स और इंडिपेंडेंट्स भी रिपब्लिकन्स को क्या बुरा लग सकता है, इसे समझने में संघर्ष करते थे। यह दो समूहों के बीच चिल्लाने जैसा है, जिनमें से प्रत्येक को विश्वास है कि दूसरा गलत वॉल्यूम पर चिल्ला रहा है, जबकि वास्तव में वे पूरी तरह से अलग फ्रीक्वेंसी पर चिल्ला रहे हैं।
3. "परोक्ष अपमान" (Vicarious Offense) का प्रयोग
यह शोध पत्र एक नया शब्द पेश करता है जिसे परोक्ष अपमान कहा जाता है।
- अवधारणा: आमतौर पर, हमें केवल इस बात की परवाह होती है कि हमें कितना बुरा लगा। इस अध्ययन ने पूछा: "क्या आप खुद को दूसरे के जूतों में रखकर यह अनुमान लगा सकते हैं कि उन्हें क्या बुरा लगेगा?"
- परिणाम: शोधकर्ताओं ने पाया कि लोग इस मामले में आश्चर्यजनक रूप से खराब हैं। भले ही डेमोक्रेट्स और इंडिपेंडेंट्स इस बात पर सहमत थे कि रिपब्लिकन को क्या बुरा लग सकता है, वे अक्सर इस बारे में गलत थे कि वास्तव में रिपब्लिकन को क्या बुरा लगा था। वे सभी एक ही कमेंट को देख रहे थे लेकिन अलग-अलग चीजें देख रहे थे।
4. "संवेदनशील विषय" का जाल
शोधकर्ताओं ने गर्भपात (abortion) और बंदूक नियंत्रण (gun control) जैसे हॉट-बटन मुद्दों को देखा।
- उपमा: यदि खेल सामान्य खेलों के बारे में है, तो रेफरी नियमों पर सहमत हो सकते हैं। लेकिन यदि खेल धार्मिक या गहराई से व्यक्तिगत विषय के बारे में है, तो सीटी बजाने वाले के आधार पर नियम बदल जाते हैं।
- निष्कर्ष: इन विषयों पर असहमति और भी खराब हो गई।
- बंदूक (guns) के मुद्दे पर, डेमोक्रेट्स की तुलना में रिपब्लिकन्स अपमानजनक कमेंट्स के प्रति कम सहनशील थे।
- गर्भपात (abortion) पर, रिपब्लिकन्स की तुलना में डेमोक्रेट्स कम सहनशील थे।
- इंडिपेंडेंट्स (स्वतंत्र विचारक) आम तौर पर सबसे सहनशील समूह थे, जो दोनों चरम पक्षों की तुलना में अधिक कमेंट्स को जाने देने के लिए तैयार थे।
5. "बिग टेक" की दुविधा
यह शोध पत्र सोशल मीडिया कंपनियों के लिए एक भ्रमित करने वाली वास्तविकता को उजागर करता है:
- रोबोट: वे असंगत हैं। एक दिन वे एक कमेंट को हटा सकते हैं; अगले दिन, एक अलग रोबोट उसे रहने दे सकता है।
- इंसान: वे अपनी राजनीति से प्रभावित होते हैं। एक डेमोक्रेट एक ऐसा कमेंट हटा सकता है जिसे एक रिपब्लिकन ठीक मानता है, और इसके विपरीत भी।
- निष्कर्ष: अपमानजनक होने के लिए कोई "गोल्ड स्टैंडर्ड" (स्वर्ण मानक) नहीं है। आप जिससे भी पूछें—एक रोबोट, एक डेमोक्रेट या एक रिपब्लिकन—जवाब पूरी तरह से बदल जाता है।
सारांश
शोध पत्र यह निष्कर्ष निकालता है कि ऑनलाइन भाषण को नियंत्रित करना बेहद कठिन है क्योंकि अपमान देखने वाले की दृष्टि पर निर्भर करता है।
- रोबोट असंगत हैं और अक्सर बारीकियों को चूक जाते हैं।
- इंसान अपनी राजनीतिक टीमों के कारण पक्षपाती होते हैं और "दूसरी टीम" को क्या बुरा लगेगा, इसका अनुमान लगाने में खराब होते हैं।
- परिणाम: हम ऐसी स्थिति में फंसे हुए हैं जहाँ हम आसानी से इस बात पर सहमत नहीं हो सकते कि क्या "अपमानजनक" है, जिससे ऑनलाइन राजनीतिक बहसों को मॉडरेट करने के लिए निष्पक्ष प्रणाली बनाना बहुत कठिन हो जाता है।
लेखकों ने एक उन्नत AI (ChatGPT) का भी परीक्षण किया कि क्या वह दूसरे पक्ष को क्या अपमानजनक लगेगा, इसका अनुमान लगा सकता है, लेकिन वह भी इंसानों की तरह ही संघर्ष करता रहा, जिससे यह सिद्ध हुआ कि यह समस्या दिमागों और कंप्यूटरों दोनों के लिए एक बहुत कठिन चुनौती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।