Evaluation of Adversarial Robustness in Arabic Language Models
यह अध्ययन वर्ण, शब्द और वाक्य-स्तर के हमलों के विरुद्ध पांच अत्याधुनिक अरबी भाषा मॉडलों की प्रतिकूल सुदृढ़ता (adversarial robustness) का मूल्यांकन करता है, जो विशेष रूप से दीक्रिटिक्स (diacritics), संयुग्मन हेरफेर (conjunction manipulation) और पैराफ्रेसिंग (paraphrasing) के प्रति महत्वपूर्ण कमजोरियों को प्रकट करता है, जबकि यह दर्शाता है कि प्रतिकूल प्रशिक्षण (adversarial training) आंशिक लेकिन अपूर्ण रक्षा प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ कंप्यूटरों ने मानव भाषा को पढ़ने, लिखने और समझने में पहले से कहीं अधिक निपुणता हासिल कर ली है। ये "लैंग्वेज मॉडल्स" (भाषा मॉडल) उन अत्यंत बुद्धिमान पुस्तकालयाध्यक्षों (लाइब्रेरियन) की तरह हैं जो किताबों का सारांश निकाल सकते हैं, सवालों के जवाब दे सकते हैं और यहाँ तक कि कहानियाँ भी लिख सकते हैं। लेकिन किसी भी बुद्धिमान व्यक्ति की तरह, उन्हें भी चकमा दिया जा सकता है। कंप्यूटर विज्ञान की दुनिया में, "एडवर्सरियल अटैक्स" (adversarial attacks) नामक एक क्षेत्र है, जो मूल रूप से इन कंप्यूटरों के साथ एक बहुत ही विशिष्ट प्रकार का मज़ाक करने की कला है। कल्पना कीजिए कि आप एक लाइब्रेरियन के कान में एक गुप्त कोड फुसफुसाते हैं जो सुनने में एक इंसान के लिए बिल्कुल सामान्य लगता है, लेकिन कंप्यूटर को यह सोचने पर मजबूर कर देता है कि "बेकिंग" (Baking) के बारे में लिखी गई किताब वास्तव में "बमबारी" (Bombing) के बारे में है। यह केवल एक साधारण खेल नहीं है; यह एक गंभीर सुरक्षा परीक्षण है। यदि हम इन मॉडल्स को धोखा देने में सफल होते हैं, तो इसका मतलब है कि वे वास्तविक जीवन में खतरनाक गलतियाँ कर सकते हैं, जैसे कि किसी मरीज का गलत निदान करना या फर्जी खबरें फैलाना। इसलिए, वैज्ञानिकों को यह पता लगाने की आवश्यकता है कि इन डिजिटल लाइब्रेरियनों को कैसे "मजबूत" बनाया जाए ताकि उन्हें ऐसे धोखों से न फँसाया जा सके।
यही वह काम है जिसे शोध पत्र "इवैल्यूएशन ऑफ एडवर्सरियल रोबस्टनेस इन अरबी लैंग्वेज मॉडल्स" (Evaluation of Adversarial Robustness in Arabic Language Models) करने का प्रयास करता है। शोधकर्ताओं ने खुद शरारती पात्र की भूमिका निभाने का निर्णय लिया ताकि यह देख सकें कि पाँच सबसे बुद्धिमान अरबी बोलने वाले कंप्यूटर मस्तिष्क धोखे का सामना कितनी अच्छी तरह कर पाते हैं। उन्होंने केवल रैंडम बड़बड़ाहट (gibberish) का उपयोग नहीं किया; उन्होंने अरबी की समझ को बिगाड़ने के लिए छह अलग-अलग, चतुर रणनीतियों का उपयोग किया, जिसमें सूक्ष्म बदलावों से लेकर पूरे वाक्यों का नया स्वरूप देने तक शामिल थे।
अरबी को "वॉयल मैजिक" (vowel magic) यानी 'दियाक्रिटिक्स' (diacritics) नामक एक गुप्त परत वाली भाषा के रूप में सोचें। ये अक्षरों के ऊपर या नीचे लगने वाले छोटे निशान होते हैं जो अर्थ को पूरी तरह से बदल देते हैं। शोधकर्ताओं ने परीक्षण किया कि यदि वे शब्दों में इन जादुई निशानों को चुपके से शामिल कर दें तो क्या होगा। परिणाम चौंकाने वाला था: एक मॉडल के लिए, इन छोटे निशानों को जोड़ने से इसकी सटीकता (accuracy) भारी 92% तक गिर गई। यह ऐसा है जैसे एक लाइब्रेरियन अचानक पढ़ना भूल जाए क्योंकि किसी ने एक अक्षर पर एक छोटा सा बिंदु लगा दिया, भले ही वाक्य इंसान के लिए बिल्कुल सही दिख रहा हो। एक अन्य तरकीब में उन अक्षरों को बदलना शामिल था जो लगभग एक जैसे दिखते हैं, जैसे अंग्रेजी में "b" को "p" से बदलना, लेकिन अरबी में, जहाँ कुछ अक्षर केवल एक बिंदु के अंतर से भिन्न होते हैं। जब उन्होंने ऐसा किया, तो 'अराबर्ट' (AraBERT) नामक मॉडल इतना भ्रमित हो गया कि उसकी सटीकता 0% तक गिर गई, जिसका अर्थ है कि वह पूरी तरह से विफल रहा।
शोधकर्ताओं ने भाषा के "गोंद" (glue) के साथ भी छेड़छाड़ करने की कोशिश की: संयुजक (conjunctions) (जैसे "और", "लेकिन", "या" जैसे शब्द)। उन्होंने इन शब्दों को उन पर्यायवाची शब्दों से बदल दिया जिनका अर्थ समान है लेकिन जो वाक्य के प्रवाह को बदल देते हैं। यह तरकीब आश्चर्यजनक रूप से प्रभावी रही, जिससे कुछ मॉडल्स ने अपनी सटीकता का 58% तक हिस्सा खो दिया। हालाँकि, सबसे शक्तिशाली तरकीब "पैराफ्रेसिंग" (paraphrasing) थी। यह वह जगह है जहाँ वे पूरे वाक्यों को बिल्कुल नए शब्दों और संरचना के साथ फिर से लिखते हैं ताकि वही बात कही जा सके। यह अंतिम परीक्षण था, और इसने अपना काम बखूबी किया, जिससे मॉडल्स के प्रदर्शन में औसतन 76% की कमी आई। यह ऐसा है जैसे आपने अपने दोस्त को एक कहानी सुनाई, लेकिन आपने हर शब्द और वाक्य की संरचना को बदल दिया, फिर भी कहानी वही रही। कंप्यूटर, आश्चर्यजनक रूप से, उस कहानी को पहचान ही नहीं सका।
शोधकर्ताओं ने "एडवर्सरियल ट्रेनिंग" (adversarial training) नामक एक "रक्षा" रणनीति का भी परीक्षण किया। यह एक लाइब्रेरियन को मज़ाक की उम्मीद करने के लिए सिखाने जैसा है। उन्होंने इन ट्रिकी उदाहरणों को बार-बार दिखाकर मॉडल्स को प्रशिक्षित किया। क्या यह काम आया? हाँ, लेकिन सीमाओं के साथ। मॉडल्स शब्द-बदलने और वाक्य-पुनर्गठन की तरकीपों के प्रति बहुत अधिक लचीले बन गए। उदाहरण के लिए, एक मॉडल, 'मारबर्ट' (MARBERT), संयुजक की तरकीपों के प्रति अविश्वसनीय रूप से लचीला हो गया, प्रशिक्षण के बाद उसे केवल 1.5% की सटीकता का नुकसान हुआ। हालाँकि, मॉडल्स अभी भी सूक्ष्म, कैरेक्टर-लेवल के प्रैंक्स (जैसे दियाक्रिटिक्स और विजुअल स्वैप्स) के साथ संघर्ष करते रहे। प्रशिक्षण के बाद भी, कुछ मॉडल्स दियाक्रिटिक्स के विरुद्ध 22% सटीकता तक गिर गए।
संक्षेप में, यह अध्ययन सुझाव देता है कि हालांकि हम अरबी भाषा मॉडल्स को अधिक मजबूत बना सकते हैं, फिर भी वे विशिष्ट प्रकार की चालों, विशेष रूप से सूक्ष्म वर्ण-स्तर के परिवर्तनों या जटिल वाक्य पुनर्गठन के सामने आश्चर्यजनक रूप से नाजुक हैं। शोधकर्ताओं ने पाया कि कोई भी एकल मॉडल पूर्ण नहीं है; कुछ बोलियों को संभालने में बेहतर हैं, जबकि अन्य सूक्ष्म परिवर्तनों को पकड़ने में बेहतर हैं। शोध पत्र निष्कर्ष निकालता है कि जबकि हमने प्रगति की है, लेकिन इससे पहले कि ये डिजिटल मस्तिष्क वास्तव में अटूट हो जाएं, अभी भी एक लंबा रास्ता तय करना बाकी है, विशेष रूप से अरबी जैसी समृद्ध और जटिल भाषा में। उन्होंने समस्या को हल नहीं किया, लेकिन उन्होंने हमें एक बहुत स्पष्ट मानचित्र दिया है कि कहाँ दरारें हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।