ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification
यह शोध पत्र ArabicDialectSafety को प्रस्तुत करता है, जो छह अरबी विविधताओं में सुरक्षा के लिए एनोटेट किए गए 25,000 से अधिक प्रॉम्प्ट्स का एक मानव-क्यूरेटेड बेंचमार्क डेटासेट है, जो यह प्रकट करता है कि फाइन-ट्यून्ड MARBERTv2, डायलेक्ट-अवेयर (बोली-जागरूक) हानि का पता लगाने में फ्रंटियर LLMs से बेहतर प्रदर्शन करता है और साथ ही कम-संसाधन वाले मग्रेबी बोलियों में निरंतर चुनौतियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरी लाइब्रेरी में कदम रख रहे हैं जहाँ लाखों लोग बातें कर रहे हैं, बहस कर रहे हैं, चुटकुले सुना रहे हैं और कहानियाँ साझा कर रहे हैं। यह लाइब्रेरी इंटरनेट है, और बोली जाने वाली भाषा अरबी है। लेकिन यहाँ एक मोड़ है: अरबी केवल एक अकेली आवाज़ नहीं है। यह एक ऐसे समूह की तरह है जिसका संचालक भाषा के औपचारिक, परिष्कृत संस्करण (जिसे मॉडर्न स्टैंडर्ड अरबी कहा जाता है) में बोलता है जिसका उपयोग समाचारों और पुस्तकों के लिए किया जाता है, जबकि समूह के सदस्य दर्जनों अलग-अलग क्षेत्रीय बोलियाँ बोलते हैं—जैसे मिस्र की, सीरियाई, या मोरक्कन—जिनकी अपनी स्लैंग, लय और कहने का अनूठा तरीका है।
अब, कल्पना कीजिए कि लाइब्रेरी के पास एक बहुत ही सख्त सुरक्षा गार्ड है जिसका काम किसी भी ऐसे व्यक्ति को रोकना है जो कुछ बुरा, खतरनाक या हानिकारक बोल रहा हो। समस्या यह है कि उस गार्ड को केवल औपचारिक, परिष्कृत आवाज़ पर प्रशिक्षित किया गया था। जब मोरक्को का कोई बच्चा अपनी स्थानीय बोली में एक बुरा चुटकुला फुसफुसाने की कोशिश करता है, तो गार्ड शायद उन शब्दों या लहजे को समझ नहीं पाता, इसलिए वह उस हानिकारक टिप्पणी को अपने पास से फिसल जाने देता है। यह शोध पत्र एक नया, सुपर-स्मार्ट सुरक्षा तंत्र बनाने के बारे में है जो वास्तव में इन सभी अलग-अलग आवाजों को समझता है, न कि केवल औपचारिक एक को। यह गार्ड को हर बोली धाराप्रवाह बोलने के लिए सिखाने जैसा है ताकि वह मुसीबत को पहचान सके, चाहे वह कितनी भी धीमी आवाज में क्यों न फुसफुसाई गई हो।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व वजदी ज़ागुआनी और उनकी टीम ने किया, इन सुरक्षा गार्डों के लिए एक विशाल "प्रशिक्षण नियमावली" बनाने का निर्णय लिया। उन्होंने एक डेटासेट बनाया जिसे ARABICDIALECTSAFETY कहा जाता है, जो वास्तव में छह अलग-अलग अरबी विविधताओं: मॉडर्न स्टैंडर्ड अरबी, सीरियाई, मिस्र की, अल्जीरियाई, फिलिस्तीनी और मोरक्कन में लिखे गए 24,053 विभिन्न प्रॉम्प्ट्स (या प्रश्नों/कथनों) का एक संग्रह है। उन्होंने इन्हें केवल लिखा नहीं; उन्होंने इन्हें सात विशिष्ट प्रकार के "हानि" (harm) को कवर करने के लिए सावधानीपूर्वक तैयार किया, जिसमें बुलीइंग (धौंस दिखाना) और नफरत भरे भाषण से लेकर आत्म-क्षति और वयस्क सामग्री तक शामिल है। इसे एक विशाल, विविध टेस्ट बैंक के रूप में सोचें जहाँ प्रत्येक प्रश्न को ठीक से लेबल किया गया है कि वह किस बोली में है और वह किस तरह की परेशानी का प्रतिनिधित्व करता है।
एक बार जब उन्होंने यह टेस्ट बैंक बना लिया, तो उन्होंने सात अलग-अलग "सुरक्षा गार्ड" मॉडल्स को आजमाया। कुछ पुराने-ढंग के, नियम-आधारित सिस्टम थे, जबकि अन्य नवीनतम, सुपर-शक्तिशाली AI मॉडल्स (लार्ज लैंग्वेज मॉडल्स) थे जिनका लोग रोज़ाना उपयोग करते हैं। उन्होंने एक सरल प्रश्न पूछा: क्या ये मॉडल्स एक सुरक्षित वाक्य और एक असुरक्षित वाक्य के बीच अंतर बता सकते हैं, और क्या वे सभी छह बोलियों के लिए समान रूप से ऐसा कर सकते हैं?
परिणाम काफी खुलासा करने वाले थे। शो का असली सितारा सबसे बड़ा, चमक-धमक वाला AI मॉडल नहीं था। इसके बजाय, MARBERTv2 नामक एक मॉडल, जिसे विशेष रूप रूप से "फाइन-ट्यून" (जैसे कि एक छात्र जिसने प्रशिक्षण नियमावली का गहन अध्ययन किया हो) किया गया था, ने प्रतियोगिता को पछाड़ दिया। इसने बाइनरी कार्य (सुरक्षित बनाम असुरक्षित) को 95% बार सही बताया और अधिक विस्तृत कार्य (यह पहचानना कि किस प्रकार की हानि है) को 90% बार सही बताया। यह एक बड़ी जीत थी, विशेष रूप से इसलिए क्योंकि वे विशाल, सामान्य-उद्देश्य वाले AI मॉडल्स, जिनके बारे में लोग आमतौर पर बात करते हैं (फ्रंटियर मॉडल्स), वास्तव में थोड़ा संघर्ष कर रहे थे और काफी कम स्कोर कर रहे थे।
शोधकर्ताओं ने एक चतुर विचार का भी परीक्षण किया: क्या होगा यदि हम AI को बस यह कह दें, "हे, यह मिस्र की अरबी है!" वाक्य पढ़ने से पहले? शोधकर्ताओं ने पाया कि यह ट्रिक केवल उन विशिष्ट मॉडल्स (जैसे MARBERTv2) के लिए वास्तव में मददगार थी जिनके दिमाग में यह जानकारी गहराई से बसी हुई थी, न कि केवल वाक्य की शुरुआत में एक संकेत के रूप में फुसफुसाने के रूप में। यह एक शेफ को, "यह इतालवी भोजन है," बताने जैसा है, जो तब मदद करता है जब शेफ पहले से ही इतालवी खाना बनाना जानता हो, लेकिन अगर शेफ केवल लेबल के आधार पर अनुमान लगा रहा है, तो इससे ज्यादा मदद नहीं मिलती।
एक अन्य दिलचस्प खोज बोली (dialects) के बारे में थी। मॉडल्स मिस्र और सीरियाई अरबी को समझने में अद्भुत थे, लेकिन वे मोरक्कन अरबी के साथ थोड़ा लड़खड़ा गए। ऐसा लगता है कि बहुत अधिक डेटा होने के बावजूद, "मगरेबी" (उत्तरी अफ्रीकी) बोलियाँ अभी भी इन AI सिस्टमों के लिए एक रहस्य बनी हुई हैं, संभवतः इसलिए क्योंकि उन्होंने अपने प्रशिक्षण इतिहास में उनके पर्याप्त उदाहरण नहीं देखे हैं।
अंत में, टीम ने बड़े AI मॉडल्स से इन हानिकारक प्रॉम्प्ट्स का वास्तव में उत्तर देने के लिए कहा ताकि यह देखा जा सके कि क्या वे गलती से खराब सामग्री उत्पन्न करेंगे। आश्चर्यजनक रूप से, मॉडल्स ज्यादातर "नहीं" कहने या उत्तर देने से इनकार करने में अच्छे थे, जिसमें असुरक्षित प्रतिक्रियाएं 5% से भी कम बार हुईं। हालांकि, लेखकों ने चेतावनी दी है कि यह संख्या वास्तव में उससे भी कम हो सकती है जितनी दिख रही है क्योंकि मानव समीक्षकों ने पाया कि स्वचालित चेकर कभी-कभी सूक्ष्म त्रुटियों को पकड़ने में चूक जाते हैं।
संक्षेप में, यह शोध पत्र हमें दिखाता है कि अरबी बोलने वालों के लिए इंटरनेट को सुरक्षित रखने के लिए, हम केवल एक ही आकार के दृष्टिकोण (one-size-fits-all) का उपयोग नहीं कर सकते। हमें ऐसे सुरक्षा तंत्रों की आवश्यकता है जिन्हें विशेष रूप से अरबी बोलियों की समृद्ध, अव्यवस्थित और सुंदर विविधता को समझने के लिए प्रशिक्षित किया गया हो। हालांकि वर्तमान AI मॉडल्स बेहतर हो रहे हैं, लेकिन यह सुनिश्चित करने के लिए कि ट्यूनिस के मज़ाक को काहिरा के मज़ाक की तरह ही समझा जाए, और कोई हानिकारक सामग्री केवल इसलिए निकल न जाए क्योंकि वह एक अलग लहजे में बोली गई थी, अभी एक लंबा रास्ता तय करना बाकी है। लेखक नोट करते हैं कि कई अन्य बोलियाँ, जिनमें खाड़ी (Gulf), यमनी, सूडानी, ट्यूनीशियाई और लीबियाई शामिल हैं, इस अध्ययन में कवर नहीं की गई थीं, जिसका अर्थ है कि निष्कर्ष अभी तक उन पर लागू नहीं हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।