'Ghaib in Translation' aka Unseen Harm: Measuring Cross-Script Safety Inconsistency with 'Missed-in-Urdu' Scores in LLM Hate Speech Detection
यह शोध पत्र प्रकट करता है कि विभिन्न लिपियों में उर्दू में घृणास्पद भाषण (हेट स्पीच) का पता लगाने के दौरान बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) महत्वपूर्ण सुरक्षा विसंगतियां और "मिस्ड-इन-उर्दू" दरें प्रदर्शित करते हैं, जो नौ वर्षों के प्रमुख एआई सुरक्षा अनुसंधान सम्मेलनों में उर्दू की पूर्ण अनुपस्थिति के कारण सामग्री मॉडरेशन विश्वसनीयता में एक गंभीर अंतराल को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट एक विशाल, शोर-शराबे वाला बाजार है जहाँ हर सेकंड अरबों लोग अपने विचार, चुटकुले और शिकायतें साझा करते हैं। इस स्थान को सुरक्षित रखने के लिए, प्रौद्योगिकी कंपनियाँ स्वचालित प्रणालियों (automated systems) पर भरोसा करती हैं जो डिजिटल द्वारपाल (gatekeepers) के रूप में कार्य करती हैं, और वास्तविक दुनिया में नुकसान पहुँचाने से पहले घृणास्पद भाषण (hate speech) और खतरों की पहचान करने के लिए पोस्ट को स्कैन करती हैं। ये प्रणालियाँ टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होती हैं, जिससे वे उन भाषाओं में दुरुपयोग के पैटर्न को पहचानना सीखती हैं जिन्हें वे सबसे अच्छी तरह जानती हैं। हालाँकि, दुनिया कई भाषाएँ बोलती है, और इन डिजिटल द्वारपालों की उन्हें समझने की क्षमता समान नहीं है। कुछ भाषाएँ, जैसे कि अंग्रेजी, उस डेटा में अच्छी तरह से प्रतिनिधित्व करती हैं जिनसे ये प्रणालियाँ सीखती हैं, जबकि अन्य अक्सर उपेक्षित रह जाती हैं। जब कोई प्रणाली किसी विशिष्ट भाषा में घृणास्पद भाषण को पहचानने में विफल रहती है, तो यह एक ऐसा 'ब्लाइंड स्पॉट' (अंधा क्षेत्र) बना देता है जहाँ नुकसान बिना किसी रोक-टोक के फैल सकता है, भले ही वही प्रणाली उसी नुकसान को ब्लॉक कर दे यदि वह किसी दूसरी भाषा में लिखा गया हो। यह अंतर केवल एक तकनीकी त्रुटि नहीं है; यह एक सुरक्षा विफलता है जो लाखों भाषियों को असुरक्षित छोड़ देती है।
ब्रुनल यूनिवर्सिटी लंदन और जर्मनी के हासो प्लैटनर इंस्टीट्यूट के शोधकर्ताओं द्वारा किया गया एक हालिया अध्ययन इन महत्वपूर्ण ब्लाइंड स्पॉट्स में से एक पर प्रकाश डालता है: उर्दू। उर्दू दुनिया की दसवीं सबसे अधिक बोली जाने वाली भाषा है, जिसके पाकिस्तान, भारत और यूनाइटेड किंगडम एवं संयुक्त राज्य अमेरिका के बड़े समुदायों में 246 मिलियन वक्ता हैं। उर्दू भाषी समुदायों में ऑनलाइन दुर्व्यवहार की उच्च मात्रा के बावजूद, शोधकर्ताओं ने पाया कि ऑनलाइन सुरक्षा अनुसंधान ने इसे लगभग पूरी तरह से अनदेखा कर दिया है। ऑनलाइन दुरुपयोग के लिए समर्पित नौ प्रमुख शैक्षणिक सम्मेलनों की एक व्यापक समीक्षा में, टीम ने पाया कि एक भी शोध पत्र उर्दू को समर्पित नहीं था। यह अनुपस्थिति चौंकाने वाली है, विशेष रूप से इसलिए क्योंकि 2022 में एक प्रमुख कार्यशाला (workshop) ने स्पष्ट रूप से इस भाषा पर अधिक कार्य करने का आह्वान किया था। शोधकर्ताओं ने यह देखने के लिए यह अध्ययन किया कि क्या ध्यान की इस कमी के वर्तमान में उपयोग किए जा रहे सुरक्षा उपकरणों के लिए मापने योग्य परिणाम हैं।
इसकी जाँच करने के लिए, टीम ने आज उपलब्ध पाँच सबसे उन्नत आर्टिफिशियल इंटेलिजेंस मॉडलों की परीक्षा की। उन्होंने इन मॉडलों को टेक्स्ट का एक बड़ा संग्रह दिया जिसमें घृणास्पद भाषण, खतरे और सामान्य बातचीत शामिल थी, लेकिन उन्होंने सामग्री को अलग-अलग तरीकों से प्रस्तुत किया। कुछ टेक्स्ट मूल उर्दू लिपि में था, जिसे नस्तलीक (Nastaliq) कहा जाता है, जो दाएं से बाएं बहती है। अन्य टेक्स्ट 'रोमन उर्दू' में लिखा गया था, जहाँ उर्दू शब्दों को अंग्रेजी अक्षरों का उपयोग करके लिखा जाता है, जो सोशल मीडिया पर एक आम अभ्यास है। शोधकर्ताओं ने उन्हीं संदेशों के अंग्रेजी अनुवाद भी प्रदान किए। विभिन्न प्रारूपों में एक ही संदेश के प्रति मॉडलों की प्रतिक्रिया की तुलना करके, वे देख सके कि क्या सुरक्षा प्रणालियाँ वास्तव में सामग्री को समझ रही हैं या वे केवल अक्षरों के आकार पर प्रतिक्रिया दे रही हैं।
परिणामों ने एक परेशान करने वाली विसंगति को उजागर किया। जब मॉडलों ने हानिकारक सामग्री को अंग्रेजी में पढ़ा, तो उन्होंने इसे सही ढंग से अपमानजनक के रूप में पहचाना। हालाँकि, जब वही संदेश मूल उर्दू लिपि में प्रस्तुत किया गया, तो मॉडल अक्सर इसे खतरनाक मानने में विफल रहे। विभिन्न मॉडलों के परीक्षण के दौरान औसतन, लगभग 18 प्रतिशत हानिकारक संदेशों को इस आधार पर अलग लेबल किया गया कि वे उर्दू या अंग्रेजी में थे। सरल शब्दों में कहें तो, यदि कोई व्यक्ति उर्दू में धमकी देता है, तो सिस्टम उसे एक सामान्य पोस्ट मानकर जाने दे सकता है, लेकिन यदि वही धमकी अंग्रेजी में अनुवादित की जाए, तो सिस्टम उसे तुरंत ब्लॉक कर देगा। यह "मिस्ड-इन-उर्दू" (missed-in-Urdu) दर, जहाँ हानिकारक सामग्री केवल अपनी लिपि के कारण पकड़ में नहीं आती, विशिष्ट मॉडल के आधार पर लगभग 2 प्रतिशत से लेकर लगभग 10 प्रतिशत तक रही।
अध्ययन ने यह भी रेखांकित किया कि सभी आर्टिफिशियल इंटेलिजेंस मॉडल इस समस्या के प्रति समान रूप से संवेदनशील नहीं हैं। सबसे उन्नत, बड़े पैमाने के मॉडल, जिन्हें अक्सर 'फ्रंटियर मॉडल्स' कहा जाता है, बेहतर निरंतरता दिखाते हैं, जिनमें त्रुटियाँ कम होती हैं। हालाँकि, छोटे, ओपन-सोर्स मॉडलों में विफलता की दर बहुत अधिक देखी गई, जो उर्दू में होने पर लगभग एक-तिहाई हानिकारक सामग्री को पहचानने में विफल रहे। यह सुझाव देता है कि इन प्रणालियों की सुरक्षा सुविधाएँ समान नहीं हैं; वे असमान रूप से वितरित हैं, जो कुछ भाषाओं के बोलने वालों को मजबूत सुरक्षा प्रदान करती हैं जबकि अन्य को असुरक्षित छोड़ देती हैं। शोधकर्ताओं ने उपलब्ध डेटा में एक संरचनात्मक अंतर भी नोट किया: घृणास्पद भाषण के लिए कोई समर्पित डेटासेट नहीं है जो उर्दू और अंग्रेजी को मिलाता हो, जो कि ऑनलाइन संचार का एक सामान्य तरीका है। इस विशिष्ट प्रकार के डेटा के बिना, यह पूरी तरह से परीक्षण करना असंभव है कि ये प्रणालियाँ आधुनिक सोशल मीडिया की जटिल, मिश्रित-भाषा वास्तविकता को कितनी अच्छी तरह संभालती हैं।
अंततः, यह कार्य दर्शाता है कि वर्तमान सुरक्षा उपकरण एक असमान ढाल प्रदान करते हैं। एक ऐसी प्रणाली जो अंग्रेजी में घृणास्पद भाषण को विश्वसनीय रूप से पहचान सकती है लेकिन उर्दू में उसी भाषण को पहचानने में विफल रहती है, वह उस भाषा को बोलने वाले लाखों लोगों के लिए वास्तव में सुरक्षित नहीं है। निष्कर्ष पुष्टि करते हैं कि सुरक्षा अनुसंधान में उर्दू की अनुपस्थिति केवल एक शैक्षणिक चूक नहीं है; इसके वास्तविक, मापने योग्य परिणाम कंटेंट मॉडरेशन (सामग्री नियंत्रण) के लिए हैं। जब तक इन अंतरालों को बेहतर डेटा और विभिन्न लिपियों के माध्यम से अधिक कठोर परीक्षण के साथ भरा नहीं जाता, तब तक दुनिया की आबादी का एक बड़ा हिस्सा उस नुकसान के प्रति असुरक्षित रहेगा जिसे देखने में वे प्रणालियाँ, जिन्हें उन्हें बचाने के लिए बनाया गया है, पूरी तरह असमर्थ हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।