Self-Explaining Hate Speech Detection with Moral Rationales
यह शोध पत्र सुपरवाइज्ड मोरल रैशनले अटेंशन (SMRA) प्रस्तुत करता है, जो एक नवीन स्व-व्याख्यात्मक ढांचा है जो ब्राज़ीलियाई पुर्तगाली में नए जारी किए गए HateBRMoralXplain डेटासेट द्वारा समर्थित, नैतिक आधारों के सिद्धांत (Moral Foundations Theory) पर आधारित विशेषज्ञ-एनोटेटेड नैतिक तर्कों के साथ मॉडल अटेंशन को संरेखित करता है ताकि घृणा भाषण (hate speech) का पता लगाने की मजबूती और व्याख्यात्मकता में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, शोर-शराबे वाले डिजिटल शहर के चौक में घूम रहे हैं जहाँ लोग चिल्ला रहे हैं, मज़ाक कर रहे हैं, बहस कर रहे हैं और कभी-कभी बहुत बुरी बातें भी कह रहे हैं। कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से 'नेचुरल लैंग्वेज प्रोसेसिंग' (NLP) नामक एक क्षेत्र में (जो केवल यह कहने का एक फैंसी तरीका है कि "कंप्यूटर को मानव भाषा समझने में सक्षम बनाना"), वैज्ञानिक 'डिजिटल बाउंसर' बनाने की कोशिश कर रहे हैं। ये बाउंसर एल्गोरिदम हैं जिन्हें "हेट स्पीच" (घृणास्पद भाषण) को पहचानने के लिए डिज़ाइन किया गया है—यानी वह बुरा, हानिकारक और खतरनाक शोर जो लोगों को उनकी पहचान के आधार पर निशाना बनाता है। लेकिन यहाँ पेचीदा बात यह है कि कंप्यूटर अक्सर यह समझने में बहुत खराब होते हैं कि कोई चीज़ बुरी क्यों है। वे उन बच्चों की तरह हैं जिन्होंने "बुरे शब्दों" की एक सूची रट ली है लेकिन वे दोस्तों के बीच एक चुलबुले अपमान और एक वास्तविक धमकी के बीच अंतर नहीं समझते। यदि कंप्यूटर केवल विशिष्ट बुरे शब्दों को देखता है, तो वह व्यंग्य, सांस्कृतिक चुटकुलों या चतुराई से छिपाई गई नफरत को समझने में भ्रमित हो सकता है। यह एक बड़ी समस्या है क्योंकि यदि डिजिटल बाउंसर गलतियाँ करता है, तो वह निर्दोष लोगों को चुप करा सकता है या खतरनाक नफरत को बिना रोक-तोक के निकल जाने दे सकता है। इसे ठीक करने के लिए, शोधकर्ता कंप्यूटर को केवल यह नहीं सिखाने की कोशिश कर रहे हैं कि क्या चिह्नित करना है, बल्कि यह भी कि वे इसे क्यों चिह्नित कर रहे हैं, जिसे "नैतिक तर्क" (moral reasoning) कहा जाता है—मूल रूप से कंप्यूटर को निष्पक्षता, हानि और वफादारी के बारे में सोचने के लिए कहना, ठीक वैसे ही जैसे एक इंसान करता है।
यहाँ एक नई शोध टीम आई जिसने अंदाज़ा लगाना छोड़ दिया और कंप्यूटर को एक नैतिक दार्शनिक की तरह सोचना सिखाने का निर्णय लिया। उन्होंने एक चतुर नई प्रणाली पेश की जिसे सुपरवाइज्ड मोरल रैशनेल अटेंशन (SMRA) कहा जाता है। SMRA को एक डिजिटल जासूस के प्रशिक्षण कार्यक्रम के रूप में समझें। जासूस को केवल बुरे शब्दों की सूची दिखाने के बजाय, प्रशिक्षक (मानव विशेषज्ञ) उन्हें विशिष्ट वाक्य दिखाते हैं और कहते हैं, "यहाँ देखो! यह हिस्सा बुरा है क्योंकि यह किसी की भावनाओं को ठेस पहुँचाता है," या "यह हिस्सा बुरा है क्योंकि यह निष्पक्षता के नियमों को तोड़ता है।" कंप्यूटर इन विशिष्ट "नैतिक संकेतों" पर ध्यान देना सीखता है, न कि केवल सतही कीवर्ड्स को स्कैन करता है। इस प्रशिक्षण को संभव बनाने के लिए, टीम ने उदाहरणों का एक विशाल नया पुस्तकालय भी बनाया जिसे HateBRMoralXplain कहा जाता है। यह केवल बुरे कमेंट्स की सूची नहीं है; यह ब्राजील के 7,000 वास्तविक इंस्टाग्राम कमेंट्स का एक संग्रह है, जिन्हें विशेषज्ञों द्वारा सावधानीपूर्वक लेबल किया गया है जिन्होंने विस्तार से समझाया कि कौन सा नैतिक नियम टूटा और क्यों। यह एक जासूस को एक ऐसी पाठ्यपुस्तक देने जैसा है जो वास्तविक जीवन के मामलों से भरी है और जिसके हाशिए पर विशेषज्ञ के हस्तलिखित नोट्स हैं।
जब उन्होंने इस नए जासूस को परखने के लिए लगाया, तो परिणाम उत्साहजनक थे। SMRA सिस्टम केवल हेट स्पीच को पहचानने में थोड़ा बेहतर नहीं हुआ; बल्कि यह पहचानने में बेहतर हुआ कि उसने इसे क्यों पहचाना। परीक्षणों में, सिस्टम ने हेट स्पीच खोजने में अपनी सटीकता में सुधार किया और इससे भी महत्वपूर्ण बात यह है कि हानिकारक बनाने वाले सटीक शब्दों की ओर इशारा करने की इसकी क्षमता में भी सुधार हुआ। शोध पत्र सुझाव देता है कि इन गहरे नैतिक कारणों पर ध्यान केंद्रित करके, कंप्यूटर 'स्प्यूरियस कोरिलेशन' (जैसे यह सोचना कि कोई शब्द बुरा है क्योंकि यह अक्सर अन्य बुरे शब्दों के पास दिखाई देता है) के झांसे में आने की संभावना कम हो जाती है और वास्तविक संदर्भ को समझने की अधिक संभावना होती है। दिलचस्प बात यह है कि टीम ने पाया कि जबकि कंप्यूटर "नैतिक" कारणों को खोजने में बेहतर हो गया, लेकिन वह हर मामले में अनिवार्य रूप से "अधिक निष्पक्ष" नहीं हुआ, जो यह दर्शाता है कि कंप्यूटर को नैतिक बनाना एक जटिल यात्रा है, कोई जादुई स्विच नहीं। उन्होंने इन कार्यों को करने के लिए विशाल, शक्तिशाली AI मॉडल (जैसे LLMs) का भी उपयोग किया, लेकिन पाया कि अत्यधिक स्मार्ट मॉडल भी तब तक नैतिक बारीकियों को नहीं समझ पाते जब तक कि उन्हें बहुत विशिष्ट निर्देश और सही संदर्भ न दिया जाए।
शोधकर्ताओं ने "क्यों" के बारे में भी एक दिलचस्प बात खोजी। जब उन्होंने अपने नैतिक-केंद्रित जासूस की तुलना उस जासूस से की जो केवल "नफरत" वाले शब्दों को देखता था, तो पाया कि नैतिक-केंद्रित वाला जासूस मानव निर्णय के साथ तालमेल बिठाने में बहुत बेहतर था। हालाँकि, उन्होंने नोट किया कि उनके स्पष्टीकरण अधिक संक्षिप्त—छोटे और प्रभावशाली—हो गए थे—जो कि अच्छा है, लेकिन इसका मतलब कभी-कभी यह भी होता था कि कंप्यूटर कुछ सूक्ष्म विवरणों को मिस कर देता था (एक मामूली गिरावट "व्यापकता" या comprehensiveness में)। शोध पत्र का सुझाव है कि यह समझौता (trade-off) सार्थक है क्योंकि उनके स्पष्टीकरण मॉडल की वास्तविक सोच प्रक्रिया के प्रति अधिक वफादार हैं। अंत में, टीम निष्कर्ष निकालती है कि हालांकि उनकी नई विधि कोई पूर्ण समाधान नहीं है जो सभी समस्याओं को हल कर देती है, फिर भी यह एक महत्वपूर्ण कदम है। यह दिखाता है कि यदि हम चाहते हैं कि कंप्यूटर अच्छे डिजिटल नागरिक बनें, तो हमें उन्हें केवल शब्दों को नहीं, बल्कि शब्दों के नैतिक भार को समझना सिखाना होगा। शोध पत्र एक चेतावनी के साथ समाप्त होता है: यह अभी शुरुआती शोध है, और हालांकि परिणाम उत्साहजनक हैं, फिर भी विभिन्न संस्कृतियों और भाषाओं में इन प्रणालियों को नए पूर्वाग्रहों को पेश किए बिना काम करने के लिए बनाना सीखने हेतु अभी बहुत कुछ बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।