Conditional Reliability of Toxicity Signals for Multilingual and Code-Mixed Abuse Detection

डिजिटल बाउंसर और भरोसेमंद साथी

कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक वैश्विक पार्टी की तरह है जहाँ लाखों लोग एक साथ बातें कर रहे हैं, चिल्ला रहे हैं और चुटकुले साझा कर रहे हैं। इस पार्टी को सुरक्षित रखने के लिए, सोशल मीडिया प्लेटफॉर्म "डिजिटल बाउंसर" (डिजिटल बाउंसर) का उपयोग करते हैं—ये ऐसे स्वचालित सिस्टम हैं जिन्हें अपमान, धमकी या घृणास्पद भाषण जैसे जहरीले व्यवहार को समस्या पैदा करने से पहले पहचानने के लिए डिज़ाइन किया गया है। हालाँकि, इन बाउंसरों के सामने एक पेचीदा समस्या है: यह पार्टी केवल एक भाषा में नहीं है। लोग अक्सर एक ही वाक्य में भाषाओं को मिलाते हैं (जैसे हिंदी और अंग्रेजी को एक साथ बोलना, जिसे "हिंग्लिश" कहा जाता है), स्लैंग (बोलचाल की भाषा) का उपयोग करते हैं, या इस तरह से लिखते हैं जो मानक टूल्स के लिए निरर्थक लग सकता है।

बाउंसरों की मदद करने के लिए, इंजीनियर अक्सर "साइडकिक्स" (साथी)—विशेष रूपized टूल्स—को लेकर आते हैं जो विशिष्ट भाषाओं में बुरे शब्दों को पहचानने में विशेषज्ञ होते हैं। चीजों को करने का पुराना तरीका बस इन साइडकिक्स की रिपोर्ट मुख्य बाउंसर को सौंप देना था और कहना था, "वे जो भी कहें, उस पर विश्वास करें।" लेकिन यहाँ एक पेंच है: एक साइडकिक अंग्रेजी के अपशब्दों को पहचानने में जीनियस हो सकता है, लेकिन वह पूरी तरह से अनभिज्ञ हो सकता है जब कोई रोमन लिपि में लिखा हिंदी अपमान का उपयोग करता है, या वे निर्दोष स्लैंग से भ्रमित हो सकते हैं जो अपमान जैसा दिखता है। यह शोध एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: इन साइडकिक्स पर आँख मूंदकर भरोसा करने के बजाय, क्या हम मुख्य बाउंसर को यह सिखा सकते हैं कि कब उनकी बात सुननी है और कब उन्हें अनदेखा करना है, संदेश के विशिष्ट संदर्भ के आधार पर?

ऑनलाइन सुरक्षा के लिए स्मार्ट "ट्रस्ट स्विच"

इस अध्ययन के पीछे के शोधकर्ताओं ने, भारतीय सोशल मीडिया के डेटा के साथ काम करते हुए, महसूस किया कि ऑनलाइन दुर्व्यवहार को रोकने का वर्तमान दृष्टिकोण एक ऐसे सुरक्षा गार्ड की तरह है जो अपना रेडियो कभी बंद नहीं करता, भले ही उसमें से केवल शोर (स्टैटिक) आ रहा हो। उन्होंने "कोड-मिक्सड" (मिश्रित कोड) टेक्स्ट पर ध्यान केंद्रित किया—ऐसे पोस्ट जहाँ लोग भाषाएं, लिपियाँ और स्लैंग मिलाते हैं, जो भारत जैसे स्थानों में बहुत आम है। मानक विधि में एक मुख्य AI मॉडल (बाउंसर) लेना और उसमें बाहरी विषाक्तता (toxicity) टूल्स (साइडकिक्स) के स्कोर को इस तरह से चिपका देना शामिल है जैसे वे हमेशा पूर्ण तथ्य हों।

टीम का तर्क है कि यह "नाइव" (भोला) दृष्टिकोण त्रुटिपूर्ण है क्योंकि बाहरी उपकरण हर स्थिति में समान रूप से विश्वसनीय नहीं होते हैं। एक अंग्रेजी विषाक्तता टूल सौ प्रतिशत निश्चित हो सकता है कि एक वाक्य जहरीला है, लेकिन यदि वह वाक्य वास्तव में किसी अन्य भाषा में दोस्तों के बीच किया गया एक मजाक है, तो टूल गलत है। शोधपत्र एक नई प्रणाली प्रस्तावित करता है जिसे ToxGate कहा जाता है। ToxGate को एक नया बाउंसर नहीं, बल्कि एक स्मार्ट "ट्रस्ट स्विच" या फिल्टर के रूप में सोचें। साइडकिक की रिपोर्ट को आँख मूंदकर स्वीकार करने के बजाय, ToxGate पहले टेक्स्ट को देखता है। यह पूछता है, "क्या यह विशिष्ट वाक्य उस तरह का है जिसे मेरा अंग्रेजी साइडकिक पहचानने में अच्छा है? या क्या यह कुछ ऐसा है जिसे मेरा हिंदी साइडकिक समझता है?" उस संदर्भ के आधार पर, यह मददगार साइडकिक्स की आवाज़ को बढ़ाने और उन लोगों की आवाज़ को कम करने (या म्यूट करने) के बारे में सीखता है जो गलत होने की संभावना रखते हैं।

उन्होंने क्या पाया: स्मार्ट फ़िल्टरिंग, न कि केवल अधिक शोर

शोधकर्ताओं ने तीन अलग-अलग डेटासेट्स के लघु टेक्स्ट पर इस विचार का परीक्षण किया, चार अलग-अलग प्रकार के AI "मस्तिष्क" (एनकोडर) का उपयोग किया और प्रयोग को सुनिश्चित करने के लिए इसे पांच बार चलाया। उन्होंने अपने नए "ट्रस्ट स्विच" सिस्टम की तुलना पुराने "ब्लाइंड ट्रस्ट" (अंधा विश्वास) तरीके और कुछ अन्य विविधताओं से की।

परिणाम बताते हैं कि स्मार्ट फ़िल्टरिंग ठीक वहीं सबसे अच्छा काम करती है जहाँ इसकी सबसे अधिक आवश्यकता होती है। 12 में से 10 मानक परीक्षणों में, ToxGate सिस्टम साधारण प्रणालियों की तुलना में दुर्व्यवहार को पकड़ने में बेहतर था। सबसे बड़े सुधार "उच्च-जोखिम" वाले क्षेत्रों में हुए:

• स्पष्ट अपशब्द (Explicit Slurs): जब टेक्स्ट में स्पष्ट, गंदे अपमान शामिल थे।
• हिंसक धमकियाँ (Violent Threats): जब टेक्स्ट में नुकसान पहुँचाने की धमकी दी गई थी।
• क्रॉस-डेटासेट ट्रांसफर: जब सिस्टम को एक प्रकार के टेक्स्ट से सीखी गई बात को पूरी तरह से अलग प्रकार के टेक्स्ट (जैसे एक सोशल मीडिया प्लेटफॉर्म की शैली से दूसरे पर जाना) पर लागू करना था।

इन उच्च-दांव वाली स्थितियों में, ToxGate ने दिखाया कि वह पुराने तरीकों की तुलना में वास्तविक खतरे और गलत अलार्म के बीच अंतर बहुत बेहतर तरीके से कर सकता है। उदाहरण के लिए, एक डेटासेट से दूसरे पर जाने पर, दुर्व्यवहार को पकड़ने की सिस्टम की क्षमता काफी बढ़ गई, जिसमें एक विशिष्ट मॉडल ने अपनी स्कोरिंग सटीकता में +0.286 का भारी सुधार दिखाया।

हालाँकि, शोधपत्र सावधानीपूर्वक यह नोट करता है कि यह सिस्टम क्या नहीं करता है। यह हर समस्या को हल नहीं करता है। शोधकर्ताओं ने पाया कि जबकि ToxGate स्पष्ट खतरों और अंग्रेजी अपशब्दों को संभालने में महान है, यह अभी भी "रोमनकृत हिंदी" (अंग्रेजी अक्षरों में लिखी गई हिंदी) और जटिल स्लैंग के साथ थोड़ा संघर्ष करता है। इन पेचीदा क्षेत्रों में, सिस्टम कभी-कभी अभी भी चूक जाता है, जो यह दर्शाता है कि एक स्मार्ट फिल्टर भी उस साइडकिक को ठीक नहीं कर सकता जो उस भाषा को पर्याप्त अच्छी तरह से नहीं समझता।

सबसे बड़ा सबक: विश्वास करें, लेकिन सत्यापन करें

इस अध्ययन का सबसे महत्वपूर्ण निष्कर्ष AI सुरक्षा उपकरणों के बारे में हमारी सोच में एक बदलाव है। लेखक सुझाव देते हैं कि हमें बाहरी विषाक्तता स्कोर को "ग्राउंड ट्रुथ" (परम सत्य)—ऐसे तथ्य जो कभी नहीं बदलते—के रूप में मानना बंद कर देना चाहिए। इसके बजाय, हमें उन्हें सशर्त साक्ष्य (conditional evidence) के रूप में मानना चाहिए।

कल्पना कीजिए कि आप एक जासूस हैं। यदि आपका पहला गवाह कहता है, "मैंने एक लाल कार देखी," और आपका दूसरा गवाह कहता है, "मैंने एक लाल कार देखी," तो आप उन पर विश्वास कर सकते हैं। लेकिन यदि पहला गवाह रंगहीन (colorblind) व्यक्ति है और दूसरा कारों का विशेषज्ञ है, तो आपको दूसरे पर अधिक भरोसा करना चाहिए। ToxGate AI को वही जासूस बनना सिखाता है। यह सीखता है कि एक अंग्रेजी विषाटता टूल अंग्रेजी अपशब्दों के लिए एक बेहतरीन गवाह है लेकिन हिंदी स्लैंग के लिए एक बुरा गवाह है। सही समय पर सही टूल पर भरोसा करके, सिस्टम अधिक सटीक हो जाता है, विशेष रूप से इंटरनेट की अव्यवस्थित, मिश्रित-भाषा की वास्तविकता से निपटने में।

हालाँकि यह कोई जादुई छड़ी नहीं है जो सभी ऑनलाइन दुर्व्यवहार को हल कर देती है, सिमुलेशन दिखाते हैं कि AI को सूचना के अपने स्रोतों को "गेट" (नियंत्रित) करने या फ़िल्टर करने की क्षमता देने से अधिक सुरक्षित, अधिक विश्वसनीय मॉडरेशन की ओर ले जाता है, विशेष रूप से सबसे खतरनाक प्रकार की पोस्ट के लिए। शोधपत्र निष्कर्ष निकालता है कि ऑनलाइन सुरक्षा के भविष्य के लिए, हमें ऐसे सिस्टम की आवश्यकता है जो जानते हों कि कब सुनना है और कब चुप रहना है, न कि ऐसे सिस्टम की जो केवल वही चिल्लाते हैं जो वे सुनते हैं।