Reliability of Urdu–Arabic Abusive Language Detection with Cross- Lingual Transformers and Explainable AI
यह अध्ययन उर्दू और अरबी में अपमानजनक भाषा का पता लगाने के लिए एक द्विभाषी XLM-RoBERTa मॉडल का मूल्यांकन करता है, जो यह प्रकट करता है कि जहाँ संयुक्त प्रशिक्षण उच्च सटीकता प्रदान करता है, वहीं प्रणाली में मजबूत क्रॉस-लिंगुअल ट्रांसफर और संदर्भ संवेदनशीलता की कमी है, जो केवल समग्र मेट्रिक्स के बजाय लक्षित विश्वसनीयता परीक्षणों की आवश्यकता को रेखांकित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सोशल मीडिया पर, हानिकारक भाषण की मात्रा मानव मॉडरेटर्स द्वारा इसे पढ़ने की क्षमता से कहीं अधिक तेजी से बढ़ी है। इसकी गति के साथ तालमेल बिठाने के लिए, शोधकर्ता ऐसे कंप्यूटर प्रोग्राम बना रहे हैं जो स्वचालित रूप से अपमानजनक भाषा का पता लगा सकें। वर्षों तक, ये उपकरण अंग्रेजी के लिए अच्छी तरह से काम करते रहे हैं, लेकिन वे उर्दू और अरबी जैसी भाषाओं के सामने अक्सर लड़खड़ा जाते हैं, जो करोड़ों लोगों द्वारा बोली जाती हैं। एक प्रमुख बाधा यह है कि ये भाषाएं दाएं-से-बाएं लिखी जाती हैं और इनमें जटिल लिपियाँ होती हैं, जिससे मानक सॉफ्टवेयर के लिए इन्हें समझना कठिन हो जाता है। इसके अलावा, भले ही कोई कंप्यूटर प्रोग्राम किसी खराब पोस्ट की सही पहचान कर ले, लेकिन वह आमतौर पर यह स्पष्टीकरण नहीं देता कि उसने वह चुनाव क्यों किया। पारदर्शिता की इस कमी के कारण मॉडरेटर्स के लिए उस टूल पर भरोसा करना या यह समझना मुश्किल हो जाता है कि क्या कंप्यूटर कुछ विशेष समूहों के प्रति पक्षपाती है। इस क्षेत्र में आधुनिक शोध का लक्ष्य केवल एक ऐसा डिटेक्टर बनाना नहीं है जो अधिकांश समय सही उत्तर दे सके, बल्कि एक ऐसा डिटेक्टर बनाना है जो अपने तर्क को समझा सके और विविध बोलियों में लिखे गए अव्यवस्थित टेक्स्ट के बावजूद विश्वसनीय बना रहे।
पाकिस्तान और सऊदी अरब के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने एक ही कंप्यूटर मॉडल बनाने के माध्यम से इन विशिष्ट समस्याओं को हल करने का प्रयास किया जो उर्दू और अरबी दोनों को समझने में सक्षम हो। उन्होंने अपने सिस्टम को सिखाने के लिए 65,000 से अधिक सोशल मीडिया पोस्टों का एक विशाल संग्रह एकत्र किया, जिन्हें सावधानीपूर्वक अपमानजनक या हानिरहित के रूप में लेबल किया गया था। पिछले प्रयासों के विपरीत, जिन्होंने प्रत्येक भाषा को अलग से माना था, उन्होंने अपने मॉडल को दोनों भाषाओं से एक साथ सीखने के लिए प्रशिक्षित किया। परिणामों ने दिखाया कि यह संयुक्त दृष्टिकोण अच्छा रहा: मॉडल ने दोनों भाषाओं के लिए लगभग 82 प्रतिशत मामलों में अपमानजनक सामग्री की सही पहचान की, और उर्दू एवं अरबी दोनों में लगभग समान दक्षता के साथ प्रदर्शन किया। हालांकि, जब उन्होंने यह परीक्षण किया कि क्या उनका मॉडल केवल एक भाषा पर प्रशिक्षित होने के बाद दूसरी भाषा को समझ सकता है, तो वह पूरी तरह विफल रहा, और केवल लगभग आधे समय ही सही अनुमान लगा पाया। इस निष्कर्ष ने एक महत्वपूर्ण सत्य को उजागर किया: मॉडल की सफलता किसी जादुई भाषाई अनुवाद की क्षमता से नहीं, बल्कि दोनों भाषाओं को एक साथ सीखने के विशिष्ट कार्य से आई थी।
यह सुनिश्चित करने के लिए कि मॉडल केवल अनुमान नहीं लगा रहा है, शोधकर्ताओं ने इसे उन विशिष्ट शब्दों की ओर इशारा करने के लिए कहा जिन्होंने इसके निर्णय को प्रेरित किया। उन्होंने यह जांचने के लिए दो अलग-अलग गणितीय विधियों का उपयोग किया कि कौन से शब्द सबसे अधिक महत्वपूर्ण थे और पाया कि ये विधियाँ केवल एक तिहाई समय ही एक-दूसरे से सहमत थीं। यह सुझाव देता है कि निर्णय के पीछे के "कारण" को खोजने के लिए कोई भी एकल विधि पूर्ण नहीं है। टीम ने फिर कंप्यूटर के तर्क को अधिक मानव-पठनीय बनाने की कोशिश की, जिसके लिए उन्होंने इसके निष्कर्षों को एक लार्ज लैंग्वेज मॉडल (LLM) में डाला, जिसने सरल अंग्रेजी में संक्षिप्त स्पष्टीकरण लिखे। हालांकि ये स्पष्टीकरण सुनने में अच्छे लगे और कई महत्वपूर्ण शब्दों को उद्धृत करते थे, लेकिन एक सख्त परीक्षण ने दिखाया कि वे कंप्यूटर के वास्तविक तर्क के प्रति हमेशा वफादार नहीं थे। जब शोधकर्ताओं ने कंप्यूटर द्वारा हाइलाइट किए गए शब्दों को हटाया, तो भविष्यवाणी काफी बदल गई, लेकिन जब उन्होंने उन शब्दों को हटाया जिन्हें कंप्यूटर के लिखित स्पष्टीकरण ने उद्धृत किया था, तो भविष्यवाणी अक्सर वैसी ही रही। इसका अर्थ यह है कि लिखित स्पष्टीकरण कभी-कभी केवल सही शब्दों को दोहरा रहे थे बिना कंप्यूटर के आंतरिक तर्क को वास्तव में पकड़े बिना।
अध्ययन में यह भी परीक्षण किया गया कि सिस्टम अपूर्ण टेक्स्ट के प्रति कितना मजबूत है, जो वास्तविक दुनिया के सोशल मीडिया में आम है। मॉडल ने गायब एक्सेंट (accents) और यादृच्छिक टाइपो (typos) को ठीक से संभाला, लेकिन जब उर्दू को लैटिन अक्षरों में लिखा गया—जो अनौपचारिक ऑनलाइन चैट में एक सामान्य अभ्यास है—तो उसे काफी कठिनाई हुई। प्रदर्शन में इस गिरावट ने प्रशिक्षण डेटा में एक अंतर को उजागर किया। शायद सबसे महत्वपूर्ण बात यह थी कि शोधकर्ताओं ने पाया कि मॉडल संदर्भ (context) से आसानी से भ्रमित हो जाता है। यह किसी वाक्य को केवल इसलिए अपमानजनक के रूप में चिह्नित कर देता था क्योंकि उसमें एक संवेदनशील शब्द शामिल था, भले ही वह वाक्य वास्तव में नैतिक सलाह दे रहा हो या उस शब्द का निर्दोष तरीके से उपयोग कर रहा हो। उदाहरण के लिए, यह अश्लील व्यवहार के बारे में चेतावनी देने को अपमान समझ सकता है। इन पेचीदा संदर्भों पर केंद्रित विशेष अतिरिक्त प्रशिक्षण जोड़कर, शोधकर्ताओं ने इस त्रुटि को ठीक किया, जिससे मॉडल अपमान और चेतावनी के बीच अंतर करने में सक्षम हुआ बिना अपनी समग्र सटीकता खोए।
इस कार्य का अंतिम परिणाम एक ऐसा सिस्टम है जो केवल खराब पोस्ट को चिह्नित करने से कहीं अधिक करता है; यह प्रत्येक निर्णय के लिए एक "रिलायबिलिटी कार्ड" (विश्वसनीयता कार्ड) प्रदान करता है। यह कार्ड भविष्यवाणी के आत्मविश्वास स्तर, अलर्ट को ट्रिगर करने वाले विशिष्ट शब्द, हमले के लक्ष्य और वर्गीकरण के कारण को सूचीबद्ध करता है। शोधकर्ता इस बात पर जोर देते हैं कि यह उपकरण मानव मॉडरेटर्स को बदलने के लिए नहीं, बल्कि उनकी सहायता करने के लिए डिज़ाइन किया गया है। यह दिखाकर कि कोई पोस्ट क्यों फ्लैग की गई है और यह स्वीकार करके कि वह कब अनिश्चित है, यह सिस्टम मनुष्यों को बेहतर अंतिम निर्णय लेने में मदद करता है। अध्ययन निष्कर्ष निकालता है कि बहुभाषी प्रणालियों के लिए वास्तव में विश्वसनीय होने के लिए, उन्हें केवल एक समग्र स्कोर देखने के बजाय, संदर्भ और लिपि विविधताओं जैसी विशिष्ट चुनौतियों के विरुद्ध परीक्षण किया जाना चाहिए। आगे का मार्ग इन उपकरणों को मानवीय भाषण की अव्यवस्थित वास्तविकता को संभालने के लिए परिष्कृत करने में निहित है, जबकि निष्पक्षता और सटीकता सुनिश्चित करने के लिए मानव को प्रक्रिया में शामिल रखना अनिवार्य है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।