`From Prompt to Perturbation': An Adaptive Framework for Voice-Based Jailbreaks on Audio LLMs
यह शोध पत्र एक अनुकूलनशील, फीडबैक-निर्देशित ढांचे का प्रस्ताव करता है जो ऑडियो-आधारित जेलब्रेक हमलों के प्रति कैस्केड स्पीच-टू-टेक्स्ट पाइपलाइनों और एंड-टू-एंड लार्ज ऑडियो-लैंग्वेज मॉडलों दोनों की संवेदनशीलता का व्यवस्थित रूप से मूल्यांकन और प्रदर्शन करता है, जो टेक्स्टुअल प्रॉम्प्ट्स और ऑडियो गड़बड़ी (पर्टर्बेशन) को एक साथ अनुकूलित करके मौजूदा तरीकों की तुलना में उच्च सफलता दर प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
पिछले कुछ वर्षों में, आर्टिफिशियल इंटेलिजेंस ने बोलना सीख लिया है। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स के रूप में जाना जाता है, टेक्स्ट को पढ़ने और लिखने से आगे बढ़कर मानवीय भाषा को समझने और उत्पन्न करने की क्षमता रखते हैं। वे हमारी कारों में वॉइस असिस्टेंट, हमारे फोन पर कस्टमर सर्विस बॉट्स और उन नए संवादात्मक एजेंटों को शक्ति प्रदान करते हैं जो एक कहानी सुन सकते हैं और उस पर आधारित प्रश्नों के उत्तर दे सकते हैं। इन मशीनों को सुरक्षित बनाने के लिए, डेवलपर्स डिजिटल गार्डरेल्स (सुरक्षा घेरे) बनाते हैं जो हानिकारक अनुरोधों को अस्वीकार करने के लिए डिज़ाइन किए गए हैं, जैसे कि हथियार बनाने के निर्देश या किसी को परेशान करने के तरीके। टेक्स्ट-आधारित सिस्टम के लिए, शोधकर्ता लंबे समय से जानते हैं कि चतुराई से शब्दों को घुमाकर पूछे गए प्रश्न इन गार्डरेल्स को उनके नियम तोड़ने के लिए मजबूर कर सकते हैं। हालाँकि, जैसे-जैसे इन मॉडल्स में सुनने और बोलने की क्षमता बढ़ रही है, एक नया प्रश्न उठता है: क्या केवल शब्दों के बजाय, एक आवाज़ भी इन्हीं सुरक्षा उपायों को दरकिनार कर सकती है?
सिडनी विश्वविद्यालय, शिकागो विश्वविद्यालय और सैन एंटोनियो स्थित टेक्सास विश्वविद्यालय के शोधकर्ताओं की एक टीम ने आधुनिक वॉयस-एनेबल्ड एआई (आवाज-सक्षम एआई) की सुरक्षा का परीक्षण करके इस प्रश्न का उत्तर देने का प्रयास किया। उन्होंने इन सिस्टम्स के निर्माण के दो अलग-अलग तरीकों पर ध्यान केंद्रित किया। पहला तरीका, जिसे 'कैस्केडेड पाइपलाइन' कहा जाता है, एक रिले रेस की तरह काम करता है: एक कंप्यूटर पहले आवाज को सुनता है और उसे टेक्स्ट के रूप में लिखता है, फिर एक अलग टेक्स्ट-आधारित मस्तिष्क उस टेक्स्ट को पढ़ता है और निर्णय लेता है कि क्या कहना है, और अंत में, एक वॉयस सिंथेसाइज़र उत्तर बोलता है। दूसरा तरीका, जिसे 'एंड-टू-एंड मॉडल' के रूप में जाना जाता है, बीच के चरण को पूरी तरह से छोड़ देता है। यह सीधे कच्ची ध्वनि तरंगों (raw sound waves) को सुनता है और अर्थ एवं आवाज को एक ही एकीकृत प्रणाली में प्रोसेस करता है। शोधकर्ता यह जानना चाहते थे कि क्या ये दोनों बहुत अलग आर्किटेक्चर, बोले जाने पर अपने सुरक्षा नियमों को अनदेखा करने के लिए ट्रिगर किए जा सकते हैं, और यदि ऐसा है, तो इसे बिना मानवीय सहायता के स्वचालित रूप से कैसे किया जाए।
शोधकर्ताओं ने एक नया परीक्षण ढांचा विकसित किया जो एक स्वचालित खोजकर्ता की तरह कार्य करता है। अलग-अलग सैकड़ों वॉयस कमांड मैन्युअल रूप से बनाने के बजाय, उन्होंने एक ऐसा सिस्टम बनाया जो अपनी गलतियों से सीखता है। यह प्रक्रिया हानिकारक प्रश्नों की एक सूची के साथ शुरू होती है जिन्हें एआई को कभी भी नहीं दोहराना चाहिए। सिस्टम पहले इन खतरनाक प्रश्नों को एक हानिरहित कहानी या रोल-प्लेइंग परिदृश्य के भीतर छिपा देता है, जिसे वे "फ्लैंकिंग अटैक" (flanking attack) कहते हैं। दैनिक जीवन या काल्पनिक फिल्म की कहानियों के निर्दोष प्रश्नों की एक लंबी सूची के भीतर हानिकारक अनुरोध को छिपाकर, सिस्टम एआई के बचाव को कम करने की उम्मीद करता है। एक बार टेक्स्ट तैयार हो जाने के बाद, सिस्टम एक मानक वॉयस सिंथेसाइज़र का उपयोग करके इसे भाषण में बदल देता है।
यहीं से वास्तविक प्रयोग शुरू होता है। सिस्टम केवल एक बार स्पीच नहीं चलाता। यह ऑडियो को लेता है और इसे विशेष तरीकों से जानबूझकर विकृत (distort) करता है ताकि यह देख सके कि एआई कैसे प्रतिक्रिया देता है। यह बैकग्राउंड शोर जोड़ता है, जैसे कि व्यस्त सड़क का शोर या हवा की आवाज। यह आवाज की गति को बदल देता है, जिससे वह थोड़ी तेज या धीमी हो जाती है। यह इसमें गूँज (echoes) भी जोड़ता है, जो एक बड़े कमरे में टकराकर वापस आने वाली आवाज का अनुकरण करता है। सिस्टम फिर इन विकृत ऑडियो क्लिप्स को लक्षित एआई को सुनाता है। यदि एआई उत्तर देने से मना कर देता है, तो सिस्टम इस विफलता को नोट करता है। यदि एआई गलती से हानिकारक अनुरोध को स्वीकार कर लेता है, तो सिस्टम सफलता को रिकॉर्ड करता है।
महत्वपूर्ण बात यह है कि सिस्टम इन परिणामों का उपयोग अपने अगले प्रयास को बेहतर बनाने के लिए करता है। यदि शोर जोड़ने से हमला सफल हुआ, तो सिस्टम अधिक शोर का उपयोग करना सीख जाता है। यदि आवाज की गति बदलना बेहतर रहा, तो वह उस पर ध्यान केंद्रित करता है। यह प्रश्न के टेक्स्ट को भी फिर से लिखता है, अर्थ बदले बिना उसे कहने के विभिन्न तरीकों को आजमाता है। परीक्षण, सीखने और सुधार का यह चक्र स्वचालित रूप से और बार-बार होता है। शोधकर्ताओं ने छह अलग-अलग वॉयस-एनेबल्ड एआई सिस्टम पर इस दृष्टिकोण का परीक्षण किया, जिनमें प्रसिद्ध व्यावसायिक उत्पाद से लेकर ओपन-सोर्स मॉडल तक शामिल थे। उन्होंने धोखाधड़ी से लेकर अवैध गतिविधियों तक, इक्कीस विभिन्न श्रेणियों के हानिकारक अनुरोधों को कवर करते हुए हजारों ऐसे स्वचालित परीक्षण चलाए।
परिणाम चौंकाने वाले थे। शोधकर्ताओं ने पाया कि दोनों प्रकार के सिस्टम—रिले-रेस शैली और एकीकृत एंड-टू-एंड शैली—इन वॉयस-आधारित हमलों के प्रति अत्यधिक संवेदनशील थे। स्वचालित फ्रेमवर्क अधिकांश मामलों में एआई को अपने सुरक्षा नियमों का उल्लंघन करने के लिए मजबूर करने में सक्षम रहा। सबसे कमजोर सिस्टम के लिए, हमला नब्बे प्रतिशत से अधिक बार सफल रहा। यहाँ तक कि जो सिस्टम अधिक मजबूत माने जाते थे, वे भी बहत्तर प्रतिशत से अधिक परीक्षणों में हमलों को रोकने में विफल रहे। अध्ययन ने दिखाया कि हानिकारक इरादे को कहानी में छिपाने और फिर आवाज को विकृत करने का संयोजन, केवल शब्दों या केवल ध्वनि के माध्यम से एआई को धोखा देने के प्रयास की तुलना में कहीं अधिक प्रभावी था।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है जब हमला किसी कंप्यूटर फाइल के माध्यम से नहीं, बल्कि एक वास्तविक कमरे में जोर से बोला जाता है और माइक्रोफोन द्वारा रिकॉर्ड किया जाता है। इसे 'ओवर-द-एयर अटैक' कहा जाता है, और यह बैकग्राउंड में बातचीत और माइक्रोफोन की गुणवत्ता जैसी वास्तविक दुनिया की समस्याओं को पेश करता है। इन अतिरिक्त बाधाओं के बावजूद, स्वचालित फ्रेमवर्क प्रभावी बना रहा। सिस्टम अभी भी चालों में फंस गया, सफलता दर उच्च बनी रही भले ही ऑडियो को हवा के माध्यम से यात्रा करनी पड़ी और किसी उपकरण द्वारा कैप्चर किया जाना था। यह सुझाव देता है कि यह भेद्यता केवल डिजिटल फाइलों का एक विचित्र पहलू नहीं है, बल्कि यह एक मौलिक कमजोरी है कि ये मॉडल बोले गए भाषा को कैसे प्रोसेस करते हैं।
अध्ययन ने यह भी देखा कि कौन सी विशिष्ट चालें सबसे अच्छा काम करती हैं। उन्होंने पाया कि सबसे सफल हमलों में अक्सर प्रश्न की शब्दावली को अधिक जटिल बनाना या यथार्थवादी बैकग्राउंड शोर जोड़ना शामिल था। आश्चर्यजनक रूप से, केवल आवाज को तेज या धीमा करना अपने आप में कम प्रभावी था, लेकिन अन्य परिवर्तनों के साथ मिलकर यह मददगार साबित हुआ। सिस्टम ने सीखा कि गार्डरेल्स को तोड़ने का सबसे अच्छा तरीका हानिकारक अर्थ को बरकरार रखते हुए ध्वनि और शब्दों को इतना अलग बनाना था कि सुरक्षा फिल्टर भ्रमित हो जाएं।
यह कार्य वॉयस एआई की वर्तमान सुरक्षा में एक महत्वपूर्ण अंतर को उजागर करता है। जबकि डेवलपर्स ने चतुर प्रॉम्प्ट्स के खिलाफ टेक्स्ट-आधारित सिस्टम को मजबूत करने में वर्षों बिताए हैं, आवाज के जुड़ने ने एक नया दरवाजा खोल दिया है जो काफी हद तक असुरक्षित है। शोधकर्ताओं ने प्रदर्शित किया कि एक स्वचालित प्रणाली बिना एआई के आंतरिक कोड को जाने, व्यवस्थित रूप से इन कमजोरियों को खोज सकती है और उनका फायदा उठा सकती है। उन्हें हर सिस्टम को तोड़ने वाला कोई एक 'जादुई समाधान' नहीं मिला, बल्कि उन्होंने दिखाया कि एक लचीला, सीखने वाला दृष्टिकोण वर्तमान सुरक्षा व्यवस्था को लगातार दरकिनार कर सकता है। निष्कर्ष यह है कि जैसे-जैसे वॉयस इंटरफेस अधिक सामान्य होते जा रहे हैं, इन सिस्टम्स के लिए सुरक्षा उपाय विकसित होने चाहिए ताकि वे न केवल इस बात को संभाल सकें कि क्या कहा जा रहा है, बल्कि यह भी कि इसे कैसे कहा जा रहा है और यह कैसा सुनाई दे रहा है। अध्ययन का समापन इस बात के साथ होता है कि इन सुधारों के बिना, सुरक्षित, संवादात्मक एआई का वादा अधूरा रह सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।