IYKYK (But AI Doesn't): Automated Content Moderation Does Not Capture Communities' Heterogeneous Attitudes Towards Reclaimed Language
यह शोध पत्र यह प्रदर्शित करता है कि स्वचालित सामग्री मॉडरेशन उपकरण पुन: प्राप्त किए गए अपशब्दों (reclaimed slurs) के प्रति हाशिए पर स्थित समुदायों के विषम और व्यक्तिपरक दृष्टिकोणों को पकड़ने में विफल रहते हैं, जिससे संदर्भ की समझ की कमी और समूह के सदस्यों के बीच भी महत्वपूर्ण असहमति के कारण एकजुटता-संचालित भाषा को घृणास्पद भाषण (hate speech) के रूप में गलत वर्गीकृत किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: "एक ही आकार सबके लिए" वाला रोबोट बनाम जटिल मानव हृदय
कल्पना कीजिए कि आप एक रोबोट को मानव भाषा समझने के लिए सिखाने की कोशिश कर रहे हैं। आप रोबोट को "बुरे शब्दों" (गालियों/अपशब्दों) की एक सूची देते हैं और उसे निर्देश देते हैं: "यदि आप यह शब्द देखें, तो पोस्ट को तुरंत हटा दें क्योंकि यह घृणास्पद भाषण (hate speech) है।"
रोबोट बिल्कुल वही करता है जो आपने उससे कहा है। वह उन सभी पोस्ट को हटा देता है जिनमें वे शब्द मौजूद हैं।
लेकिन समस्या यह है: रोबोट संदर्भ (context), इतिहास या दोस्ती को नहीं समझता।
कई हाशिए पर रहने वाले समुदायों (जैसे अश्वेत लोग, LGBTQIA+ लोग और महिलाएं) के लिए, इन्हीं "बुरे शब्दों" को वापस अपनाया गया है और दोस्तों के बीच प्यार, एकजुटता और गर्व दिखाने के तरीके के रूप में इस्तेमाल किया जाता है। यह वैसा ही है जैसे दोस्तों का एक समूह किसी ऐसे उपनाम (nickname) का उपयोग करता है जो अगर कोई अजनबी इस्तेमाल करे तो अपमानजनक होगा, लेकिन अगर एक सबसे अच्छा दोस्त इस्तेमाल करे तो वह स्नेह का शब्द बन जाता है।
यह पेपर तर्क देता है कि वर्तमान AI मॉडरेशन टूल्स उस अनाड़ी रोबोट की तरह हैं। वे यह बताने में बहुत कमजोर हैं कि एक दोस्त मजाक कर रहा है या कोई अजनबी हमला कर रहा है। क्योंकि वे अंतर नहीं कर सकते, इसलिए वे अनजाने में उन्हीं लोगों को चुप करा देते हैं जिन्हें वे बचाने की कोशिश कर रहे होते हैं।
मुख्य प्रयोग: निर्णय के लिए समुदाय से पूछना
शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने इन समुदायों के सदस्यों को न्यायाधीश के रूप में कार्य करने के लिए कहा। उन्होंने "reclaimed slurs" (जैसे "n-word", "f-word" और "b-word") वाले लगभग 12,000 ट्वीट्स एकत्र किए और समुदाय के सदस्यों से उन्हें लेबल करने के लिए कहा।
उन्होंने कुछ प्रश्न पूछे जैसे:
- "क्या यह व्यक्ति शब्द का उपयोग बुरा बनने के लिए कर रहा है, या गर्व दिखाने के लिए?"
- "यदि लेखक हमारे समुदाय का हिस्सा है, तो क्या हमें इसे रिपोर्ट करना चाहिए?"
- "यदि लेखक हमारे समुदाय का हिस्सा नहीं है, तो क्या हमें इसे रिपोर्ट करना चाहिए?"
चौंका देने वाली खोज: "हम सब सहमत नहीं हैं"
शोधकर्ताओं को उम्मीद थी कि यदि वे एक ही समुदाय के लोगों से पूछेंगे, तो वे सभी सहमत होंगे। उन्होंने सोचा, "यदि हम अश्वेत लोगों से n-word के बारे में पूछेंगे, तो वे सब एक ही बात कहेंगे।"
वे गलत थे।
उपमा (Analogy): एक 'पोटलक डिनर' (potluck dinner) की कल्पना करें जहाँ हर कोई एक व्यंजन लेकर आता है। आप उम्मीद करते हैं कि हर कोई रेसिपी पर सहमत होगा। इसके बजाय, आप पाते हैं कि कुछ लोगों को लगता है कि यह व्यंजन एक स्वादिष्ट पारिवारिक परंपरा है, कुछ को लगता है कि यह एक मजेदार अंदरूनी मजाक है, और कुछ को लगता है कि यह वास्तव में बहुत खराब है।
अध्ययन में पाया गया कि एक ही समुदाय के भीतर भी भारी असहमति थी।
- एक व्यक्ति एक ट्वीट देख सकता है और सोच सकता, "यह हमारी पहचान को गर्व से अपनाने का तरीका है!"
- उसी समुदाय का दूसरा व्यक्ति उसी ट्वीट को देखकर सोच सकता है, "यह अभी भी हानिकारक है और इसे प्रतिबंधित किया जाना चाहिए।"
क्यों? क्योंकि हर किसी की अपनी अलग जीवन कहानी होती है।
- हो सकता है कि किसी व्यक्ति ने उस शब्द को केवल एक हथियार के रूप में इस्तेमाल होते हुए सुना हो, इसलिए वह उसे कहीं भी देखने के प्रति सहन नहीं कर सकता।
- हो सकता है कि किसी अन्य व्यक्ति ने उसे अपने चचेरे भाई-बहनों के बीच एक मजाक के रूप में सुना हो, इसलिए वह इसे उपयोग करना सुरक्षित महसूस करता है।
पेपर इसे "विषम दृष्टिकोण" (Heterogeneous Attitudes) कहता है। इसका अर्थ है: उसी समूह के भीतर भी इन शब्दों के बारे में महसूस करने का कोई एक "सही" तरीका नहीं है।
रोबोट बनाम इंसान
शोधकर्ताओं ने एक लोकप्रिय AI टूल जिसका नाम Perspective API है (जिसका उपयोग कई सोशल मीडिया साइटें करती हैं) का मानव न्यायाधीशों के विरुद्ध परीक्षण भी किया।
- AI का तर्क: "मुझे शब्द दिख रहा है। यह एक अपशब्द है। इसलिए, यह घृणास्पद भाषण है। इसे हटा दो।"
- इंसानों का तर्क: "मैं शब्द देख रहा हूँ। कहने वाला कौन है? किससे कहा गया? संदर्भ क्या है? क्या यह एक मजाक है? क्या यह एक उद्धरण (quote) है? क्या यह एक नया स्लैंग अर्थ है?"
परिणाम: AI अक्सर गलत था।
- इसने अक्सर मैत्रीपूर्ण, 'reclaimed' उपयोग को घृणास्पद भाषण के रूप में चिह्नित किया (False Positives)।
- यह समझने में विफल रहा कि वही शब्द स्वीकार्य हो सकता है यदि कोई अश्वेत व्यक्ति इसे कहे, लेकिन अस्वीकार्य हो सकता है यदि कोई श्वेत व्यक्ति इसे कहे।
- AI ने यह मान लिया था कि शब्द का उपयोग करने वाला हर व्यक्ति एक बाहरी व्यक्ति है जो बुरा बनने की कोशिश कर रहा है।
"B-Word" बनाम "N-Word" की तुलना
पेपर में पाया गया कि अलग-अलग शब्दों के साथ अलग तरह से व्यवहार किया जाता है, यहाँ तक कि एक ही लोगों द्वारा भी।
- "B-Word" (B*tch): यह शब्द फिल्मों, संगीत और मार्केटिंग में इतना आम हो गया है कि यह लगभग एक सामान्य संज्ञा (noun) की तरह है। AI और इंसान इस पर अधिक सहमत थे। यह एक ऐसे शब्द की तरह है जिसने अपनी तीक्ष्णता लगभग खो दी है।
- "N-Word": यह शब्द हिंसा और आघात (trauma) के भारी इतिहास को समेटे हुए है। यहाँ असहमति बहुत बड़ी थी। AI इसे फ्लैग करने में बहुत आक्रामक था, जिससे अक्सर उन अश्वेत उपयोगकर्ताओं को नुकसान पहुँचा जो आपस में इसका उपयोग कर रहे थे। इंसान बहुत अधिक सूक्ष्म (nuanced) थे, जो समझते थे कि संदर्भ ही सब कुछ है।
निष्कर्ष: हमें "Human-in-the-loop" की आवश्यकता है
पेपर इस निष्कर्ष पर पहुँचता है कि हम मॉडरेशन के लिए एक सरल "गोल्ड स्टैंडर्ड" (नियमों का एक एकल सेट) पर भरोसा नहीं कर सकते।
रूपक (Metaphor):
Reclaimed भाषा को एक साधारण AI के माध्यम से मॉडेरेट करने की कोशिश करना एक जटिल पारिवारिक बहस को केवल आवाजों के वॉल्यूम (तेजी) को देखकर आंकने जैसा है। आप लहजा, इतिहास और संबंध को भूल जाते हैं।
हमें क्या करना चाहिए?
- यह मानना बंद करें कि एक समुदाय के सभी लोग एक जैसा सोचते हैं। हमें यह स्वीकार करना होगा कि लोग असहमत होंगे, और यह असहमति सामान्य है।
- संदर्भ ही सर्वोपरि है (Context is King)। हमें ऐसे सिस्टम की आवश्यकता है जो केवल शब्दों को नहीं, बल्कि माहौल (room) को भी पढ़ सके।
- रोबोट को एकमात्र न्यायाधीश न बनने दें। हमें मानवीय सूक्ष्मता (human nuance) की आवश्यकता है, विशेष रूप से उन समुदायों से जो इससे प्रभावित हो रहे हैं, ताकि यह तय किया जा सके कि वास्तव में क्या हानिकारक है।
संक्षेप में: पेपर कहता है, "हे AI, तुम मानव भाषा के उन जटिल, अस्त-व्यset, सुंदर और दर्दनाक तरीकों को समझने में बुरा काम कर रहे हो जिनका उपयोग लोग जुड़ने के लिए करते हैं। तुम उन लोगों को चोट पहुँचा रहे हो जिन्हें तुम बचाने की कोशिश कर रहे हो। हमें बेहतर करने की जरूरत है।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।