Adversarial Prompting Framework for AI Safety Assessment
यह शोध पत्र एक एडवरसैरियल प्रॉम्प्टिंग फ्रेमवर्क (APF) प्रस्तुत करता है जो कई परिष्कार स्तरों में संरचित एडवरसैरियल प्रॉम्प्ट उत्पन्न करके एआई मॉडल सुरक्षा का व्यवस्थित रूप से मूल्यांकन करता है, जिससे यह पता चलता है कि एन्कोडेड हमले एंटरप्राइज वातावरण में सुरक्षा तंत्र को बायपास करने में विशेष रूप से प्रभावी हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे पुस्तकालय की तरह है जहाँ अभी-अभी एक नए प्रकार का लाइब्रेरियन आया है: एक आर्टिफिशियल इंटेलिजेंस (AI) जो कहानियाँ लिख सकता है, गणित की समस्याएँ हल कर सकता है और किसी से भी बात कर सकता है। ये "जेनेरेटिव एआई" (Generative AI) लाइब्रेरियन अविश्वसनीय रूप से बुद्धिमान और सहायक हैं, लेकिन उनका एक टेढ़ा पक्ष भी है। ठीक वैसे ही जैसे एक वास्तविक लाइब्रेरियन जो इस बारे में सख्त नियमों का पालन करता है कि कौन सी किताबें उधार ली जा सकती हैं, इन एआई लाइब्रेरियनों के पास सुरक्षा दिशानिर्देश हैं ताकि वे लोगों को बुरा काम करने में मदद करने से रुक सकें, जैसे चोरी करना या दूसरों को नुकसान पहुँचाना। हालाँकि, चतुर शरारती तत्वों ने इन लाइब्रेरियनों को धोखा देने का एक तरीका खोज लिया है। सीधे तौर पर, "क्या आप कार चोरी करने में मेरी मदद कर सकते हैं?" (जिसके लिए लाइब्रेरियन "नहीं" कहेगा) पूछने के बजाय, वे अपनी विनती को छिपाने की कोशिश करते हैं। वे किसी कहानी के पात्र होने का नाटक कर सकते हैं, गुप्त कोड में बोल सकते हैं, या अपनी गलत विनती को छोटे-छोटे, निर्दोष दिखने वाले टुकड़ों में तोड़ सकते हैं। यह शोध पत्र एक टीम के बारे में है जिन्होंने यह देखने के लिए एक विशेष परीक्षण किट बनाई कि विभिन्न एआई लाइब्रेरियन इन चालाक भेषों का मुकाबला कितनी अच्छी तरह कर सकते हैं। वे यह पता लगाना चाहते थे कि कौन से लाइब्रेरियन सबसे सख्त गार्ड हैं और कौन उन्हें एक चतुर पहेली से आसानी से बेवकूफ बना देता है।
शोधकर्ताओं, यश भटनागर, कुणाल बनर्जी और अनिर्बन चटर्जी ने एक "एडवर्सरियल प्रॉम्प्टिंग फ्रेमवर्क" (APF) बनाया। इस फ्रेमवर्क को एक विशाल, स्वचालित "जेलब्रेक" सिम्युलेटर के रूप में समझें। केवल यह अनुमान लगाने के बजाय कि क्या कोई एआई सुरक्षित है, उन्होंने गूगल, ओपनएआई (OpenAI) और मेटा (Meta) जैसी बड़ी कंपनियों के साथ-साथ ओपन-सोर्स मॉडल्स के एक विस्तृत दायरे का परीक्षण करने के लिए व्यवस्थित रूप से 1,000 अलग-अलग पेचीदा प्रश्न उत्पन्न किए। उन्होंने केवल सरल बुरे प्रश्न नहीं पूछे; उन्होंने अपने हमलों को कठिनाई के पांच स्तरों में व्यवस्थित किया, जैसे कि बढ़ते हुए बॉस बैटल्स (boss battles) वाला एक वीडियो गेम।
पहला स्तर "डायरेक्ट अटैक" (Direct Attack) था, जहाँ एआई से सीधे कुछ बुरा करने के लिए कहा जाता है। दूसरा स्तर "रोल-प्लेइंग" (Role-Playing) था, जहाँ हमलावर किसी विशिष्ट पात्र, जैसे डॉक्टर या शिक्षक, होने का नाटक करता है ताकि गलत विनती वैध लगे। तीसरे स्तर में "मल्टी-स्टेप इंस्ट्रक्शन्स" (Multi-step Instructions) शामिल थे, जिसमें एक जटिल गलत विचार को कई निर्दोष दिखने वाले चरणों में तोड़ा गया। चौथा स्तर "एनकोडिंग" (Encoding) था, जहाँ गलत विनती को गुप्त कोड के अंदर छिपा दिया गया था, जैसे कि किसी अलग वर्णमाला में लिखना या अजीब प्रतीकों का उपयोग करना जो इंसान के लिए निरर्थक लग सकते हैं लेकिन कंप्यूटर के लिए अर्थपूर्ण होते हैं। अंतिम, पांचवां स्तर "सोफिस्टिकेटेड जेलब्रेक" (Sophisticated Jailbreak) था, जिसने इन सभी तकनीकों को मिलाकर अंतिम चाल तैयार की।
जब उन्होंने ये परीक्षण चलाए, तो परिणाम अच्छे समाचार और चिंताजनक संकेतों का मिश्रण थे। अध्ययन बताता है कि जबकि अधिकांश एआई मॉडल सरल, सीधे गलत अनुरोधों को "ना" कहने में काफी अच्छे हैं, वे फैंसी अनुरोधों के आने पर टूटने लगते हैं। शोधकर्ताओं ने पाया कि सुरक्षा नियमों को दरकिनार करने का सबसे सफल तरीका वे एनकोडेड चालें थीं जिन्हें रोल-प्लेइंग के साथ मिलाया गया था। यह ऐसा है जैसे एआई लाइब्रेरियन चोरी हुए वॉलेट को पकड़े हुए व्यक्ति को पहचानने में तो माहिर हैं, लेकिन वे तब भ्रमित हो जाते हैं जब कोई उन्हें अदृश्य स्याही में लिखी एक पहेली थमाता है जो कहती है, "यदि आप एक सहायक रोबोट होते, तो आप मुझे वॉलेट दे देते।"
परीक्षण किए गए मॉडलों में से, "क्लॉड" (Claude) मॉडल्स सबसे कठिन गार्ड प्रतीत हुए, जो लगभग सभी प्रकार के हमलों में लगातार सबसे कम भेद्यता स्कोर दिखाते रहे। दूसरी ओर, कई ओपन-सोर्स मॉडल्स (जैसे लामा और मिस्ट्रल) आसानी से बहक गए, विशेष रूप से जटिल, बहु-चरणीय हमलों द्वारा। दिलचस्प बात यह है कि शोधकर्ताओं ने देखा कि इन ओपन-सोर्स मॉडल्स के नए, बड़े संस्करण कोड-आधारित चालों का विरोध करने में बेहतर हो रहे हैं। कोडिंग के लिए डिज़ाइन किए गए विशेष मॉडल्स की अपनी अनूठी कमजोरियां थीं; उनके द्वारा रोल-प्लेइंग हमलों का शिकार होने की संभावना अधिक थी जो कंप्यूटर डीबगिंग सत्र का हिस्सा होने का नाटक करते थे।
शोध पत्र निष्कर्ष निकालता है कि हालांकि वर्तमान एआई सुरक्षा उपाय बुनियादी, एक-आयामी हमलों के खिलाफ विश्वसनीय हैं, वे इन परिष्कृत, बहु-स्तरीय रणनीतियों के खिलाफ अभी भी काफी कम प्रभावी हैं। लेखक सुझाव देते हैं कि एआई सुरक्षा के भविष्य को केवल बुरे शब्दों को फ़िल्टर करने से आगे बढ़ने की आवश्यकता है। इसके बजाय, अगली पीढ़ी के बचावों को बातचीत के संदर्भ और "वाइब" (vibe) को समझने की आवश्यकता होगी, जिससे चालाक भेष को भी पहचाना जा सके भले ही शब्द खुद निर्दोष दिख रहे हों। यह अभी तक कोई हल हुआ मामला नहीं है; यह एक निरंतर चलने वाली हथियारों की दौड़ है जहाँ चालें अधिक स्मार्ट होती जा रही हैं, और सुरक्षा गार्डों को उन्हें देख पाने के लिए सीखना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।