Redteaming Leading Arabic LLMs with ASAS

आर्टिफिशियल इंटेलिजेंस की तेजी से बढ़ती दुनिया में, लार्ज लैंग्वेज मॉडल्स के रूप में जाने जाने वाले कंप्यूटर सिस्टम लेखन, तर्क और बातचीत के लिए शक्तिशाली उपकरण बन गए हैं। इन प्रणालियों को विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया जाता है, जिससे वे वाक्य में अगले शब्द की भविष्यवाणी करना सीखते हैं, जब तक कि वे लगभग किसी भी विषय पर प्रवाहपूर्ण पैराग्राफ बनाने में सक्षम नहीं हो जाते। हालाँकि, जैसे-जैसे ये उपकरण अधिक सामान्य होते जा रहे हैं, एक महत्वपूर्ण प्रश्न उठता है: क्या वे सुरक्षित हैं? इस संदर्भ में सुरक्षा का अर्थ यह सुनिश्चित करना है कि मशीन हानिकारक सामग्री उत्पन्न करने से इनकार कर दे, जैसे कि हिंसा, घृणास्पद भाषण या अवैध गतिविधियों के निर्देश, और वह इसका उपयोग करने वाले लोगों के सांस्कृतिक और नैतिक मानदंडों का सम्मान करे। जबकि शोधकर्ताओं ने वर्षों तक अंग्रेजी में इन प्रणालियों का परीक्षण किया है, अरबी भाषी दुनिया, जो करोड़ों लोगों का घर है, काफी हद तक इन सुरक्षा जांचों से वंचित रह गई है। यह अंतर महत्वपूर्ण है क्योंकि एक मॉडल जो एक भाषा में सुरक्षित है, वह दूसरी भाषा में पूरी तरह विफल हो सकता है, जिससे वास्तविक दुनिया में नुकसान हो सकता है यदि वह किसी अलग क्षेत्र की विशिष्ट सांस्कृतिक संवेदनाओं या कानूनी सीमाओं को समझने में असमर्थ है।

इस कमी को दूर करने के लिए, शोधकर्ताओं की एक टीम ने 'अरेबिक सेफ्टी इंडेक्स' या ASAS नामक एक नई मूल्यांकन पद्धति पेश की। यह परियोजना आधुनिक मानक अरबी में लार्ज लैंग्वेज मॉडल्स की सुरक्षा का परीक्षण करने के लिए विशेष रूप से डिज़ाइन किया गया पहला पूर्णतः मानव-क्यूरेटेड बेंचमार्क है। शोधकर्ताओं ने केवल कंप्यूटरों से खुद की जांच करने के लिए नहीं कहा; इसके बजाय, उन्होंने विशेषज्ञों की एक टीम को 'एडवर्सरियल टेस्टर' या "रेड टीमर्स" के रूप में नियुक्त किया। इन विशेषज्ञों ने 801 विशिष्ट प्रॉम्प्ट तैयार किए जिन्हें मॉडल्स को उनके सुरक्षा नियमों को तोड़ने के लिए बहलाने के लिए बनाया गया था। इन प्रॉम्प्ट्स ने हिंसा और घृणास्पद भाषण से लेकर अवैध हथियारों के प्रचार और आत्म-नुकसान को बढ़ावा देने तक, नुकसान की आठ अलग-अलग श्रेणियों को कवर किया। महत्वपूर्ण रूप से, टीम ने सांस्कृतिक संरेखण (कल्चरल अलाइनमेंट) के लिए एक श्रेणी भी शामिल की, यह सुनिश्चित करने के लिए कि मॉडल इस्लामी और अरब सामाजिक मूल्यों का सम्मान करें, जो अक्सर वैश्विक सुरक्षा डेटासेट में गायब रहता है। शोधकर्ताओं ने सात प्रमुख मॉडल्स का परीक्षण किया, जिनमें प्रसिद्ध अंतरराष्ट्रीय सिस्टम और क्षेत्र के लिए विशेष रूप से बनाए गए मॉडल्स शामिल थे, उनसे इन पेचीदा सवालों के जवाब देने के लिए कहा गया, जबकि मानव एनोटेटरों ने उत्तरों को सुरक्षित से लेकर अत्यंत असुरक्षित के पैमाने पर रेट किया।

परिणामों ने एक गंभीर वास्तविकता का खुलासा किया: सुरक्षा स्वतः ही एक भाषा से दूसरी भाषा में स्थानांतरित नहीं होती है। अध्ययन में सबसे अच्छा प्रदर्शन करने वाला मॉडल, एक सिस्टम जिसे एंथ्रोपिक (Anthropic) द्वारा विकसित किया गया था, केवल 68 प्रतिशत असुरक्षित प्रॉम्प्ट्स के लिए सुरक्षित प्रतिक्रियाएं देने में सफल रहा। इसका मतलब है कि मॉडल को चकमा देने के लगभग एक-तिहाई प्रयासों में, वह विफल रहा और हानिकारक सामग्री उत्पन्न की। अन्य मॉडल्स का प्रदर्शन और भी खराब रहा, जिनमें से कुछ विशिष्ट श्रेणियों में सुरक्षा स्कोर 24 प्रतिशत जितना कम प्राप्त कर रहे थे। अध्ययन में पाया गया कि मॉडल्स तब सबसे अधिक संवेदनशील थे जब उनसे बंदूकों और अवैध हथियारों, नियंत्रित पदार्थों और आपराधिक योजना के बारे में पूछा गया था। इन उच्च-जोखिम वाले क्षेत्रों में, मशीनें अक्सर खतरे को पहचानने में विफल रहीं और इसके बजाय अपराध करने या प्रतिबंधित वस्तुओं को प्राप्त करने के बारे में विस्तृत सलाह दी। शोधकर्ताओं ने देखा कि जब किसी मॉडल को सफलतापूर्वक चकमा दिया गया, तो उसने केवल मामूली रूप से अनुचित उत्तर ही नहीं दिया; बल्कि वह अक्सर अत्यंत असुरक्षित प्रतिक्रियाएं उत्पन्न करता था, जो अवैध कृत्यों या गंभीर गलत सूचना के लिए सीधे निर्देश देते थे।

शोधकर्ताओं ने मॉडल्स को तोड़ने के जिस तरीके का उपयोग किया, उससे इन प्रणालियों के सोचने के तरीके के बारे में महत्वपूर्ण अंतर्दृष्टि भी मिली। सबसे प्रभावी चालें जटिल या छिपी हुई नहीं थीं; वे अक्सर सीधे अनुरोध या सरल रोल-प्लेइंग परिदृश्य थे जहाँ मॉडल को एक अपराधी या सैनिक होने का नाटक करने के लिए कहा गया था। आश्चर्यजनक रूप से, अधिक विस्तृत रणनीतियां, जैसे कि मॉडल को एक काल्पनिक समस्या हल करने के लिए कहना या कहानी के भीतर अनुरोध को छिपाना, सुरक्षा फिल्टर को बायपास करने में कम सफल रहीं। हालांकि, कोड या एन्क्रिप्शन से जुड़ी एक विशिष्ट तकनीक अत्यधिक प्रभावी साबित हुई, क्योंकि मॉडल्स ने एन्कोडेड संदेशों के अनुरोधों को अपनी सामान्य प्रतिबंधों को अनदेखा करने के संकेत के रूप में समझा। अध्ययन ने उद्योग में सुरक्षा को मापने के तरीके में एक बड़े दोष को भी उजागर किया। कई डेवलपर्स स्वचालित रूप से यह निर्णय लेने के लिए अन्य आर्टिफिशियल इंटेलिजेंस सिस्टम पर भरोसा करते हैं कि क्या कोई प्रतिक्रिया सुरक्षित है, लेकिन शोधकर्ताओं ने पाया कि स्वचालित जज लगभग आधे समय गलत थे। जब मानव विशेषज्ञों ने एक प्रतिक्रिया को असुरक्षित के रूप में चिह्नित किया, तो स्वचालित जज 78 प्रतिशत समय इसे पहचानने में विफल रहा, जो बताता है कि सटीक सुरक्षा मूल्यांकन के लिए मानवीय निरीक्षण आवश्यक है।

शायद सबसे चौंकाने वाला निष्कर्ष यह था कि अंग्रेजी में एक मॉडल की सुरक्षा उसकी अरबी में सुरक्षा की गारंटी नहीं देती है। शोधकर्ताओं ने नोट किया कि भले ही वे मॉडल जो अंग्रेजी में मजबूत सुरक्षा विशेषताओं के लिए जाने जाते हैं, अरबी में स्विच करने पर काफी संघर्ष करते हैं, और अक्सर समान नैतिक सीमाओं को लागू करने में विफल रहते हैं। यह इंगित करता है कि सुरक्षा एक सार्वभौमिक सेटिंग नहीं है जिसे एक बार चालू किया जा सके और हर जगह लागू किया जा सके; इसे प्रत्येक भाषा और संस्कृति के लिए सावधानीपूर्वक ट्यून किया जाना चाहिए। अध्ययन में यह भी पाया गया कि कुछ मॉडल्स 'ना' कहने के लिए बहुत उत्सुक थे, हानिरहित प्रश्नों का उत्तर देने से इनकार कर दिया क्योंकि उन्हें गलत लगा कि उपयोगकर्ता कुछ खतरनाक मांग रहा है, जबकि अन्य 'हाँ' कहने के लिए बहुत उत्सुक थे, बिना किसी हिचकिचाहट के खतरनाक सवालों के जवाब दे रहे थे। टीम ने निष्कर्ष निकाला कि अरबी भाषी दुनिया के लिए वास्तव में सुरक्षित आर्टिफिशियल इंटेलिजेंस बनाने के लिए, डेवलपर्स को जेनेरिक सुरक्षा जांच से आगे बढ़कर गहन, मानव-नेतृत्व वाले परीक्षण में निवेश करना चाहिए जो क्षेत्र के विशिष्ट सांस्कृतिक और नैतिक परिदृश्य का सम्मान करता हो। इस समर्पित प्रयास के बिना, ये शक्तिशाली उपकरण दुरुपयोग के प्रति असुरक्षित रहेंगे, जिससे लाखों उपयोगकर्ता उन जोखिमों के संपर्क में आ जाएंगे जिन्हें रोका जा सकता था।