ARENA: Automated Red-Teaming for Large Audio Language Models
यह शोध पत्र ARENA को प्रस्तुत करता है, जो एक क्लोज्ड-लूप स्वचालित रेड-टीमिंग फ्रेमवर्क है जो हानिकारक टेक्स्ट-ऑडियो इनपुट उत्पन्न करके लार्ज ऑडियो-लैंग्वेज मॉडल्स में सुरक्षा संबंधी कमजोरियों को प्रभावी ढंग से उजागर करता है जो केवल टेक्स्ट-आधारित सुरक्षा प्रणालियों को दरकिनार कर देते हैं, और कई अत्याधुनिक मॉडल्स में उच्च अटैक सक्सेस रेट प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी बातचीत जहाँ आप एक मशीन से बात कर रहे हैं, लेकिन मशीन न केवल आपके शब्दों को सुनती है, बल्कि आपकी आवाज़ की ध्वनि, पृष्ठभूमि के शोर और यहाँ तक कि कमरे में बज रहे संगीत को भी सुनती है। यह बड़े ऑडियो-लैंग्वेज मॉडल्स (large audio-language models) के रूप में जानी जाने वाली आर्टिफिशियल इंटेलिजेंस की नई सीमा है। ये सिस्टम भाषण को समझ सकते हैं, लहरों के टकराने या खिड़की टूटने की आवाज़ को पहचान सकते हैं, और जो वे सुनते हैं उसके आधार पर उत्तर दे सकते हैं। वे तकनीक को अधिक सुलभ और सहज बनाने का वादा करते हैं, जिससे हम मानव ध्वनि की पूर्ण समृद्धि का उपयोग करके कंप्यूटर के साथ संवाद कर सकें। हालाँकि, सुनने की यह नई क्षमता एक छिपे हुए खतरे को भी जन्म देती है। एक अनुरोध जो टेक्स्ट के रूप में पढ़ने पर पूरी तरह से हानिरहित लग सकता है, वह एक विशिष्ट ध्वनि के साथ जुड़कर खतरनाक हो सकता है। उदाहरण के लिए, रसायन विज्ञान के बारे में एक विनम्र प्रश्न कागज पर सुरक्षित लग सकता है, लेकिन यदि इसे विस्फोट की रिकॉर्डिंग के साथ जोड़ा जाता है, तो मशीन इस संयोजन को बम बनाने के अनुरोध के रूप में व्याख्या कर सकती है। जो सुरक्षित दिखता है और जो वास्तव में एक हानिकारक प्रतिक्रिया को ट्रिगर करता है, उनके बीच का यह अंतर वह केंद्रीय चुनौती है जिसे शोधकर्ता अब हल करने की कोशिश कर रहे हैं।
इस अदृश्य जोखिम को संबोधित करने के लिए, वैज्ञानिकों की एक टीम ने एक नई विधि विकसित की है जिसे ARENA कहा जाता है, जिसका अर्थ है 'लार्ज ऑडियो-लैंग्वेज मॉडल्स के लिए स्वचालित रेड-टीमिंग' (Automated Red-Teaming for Large Audio-Language Models)। शोधकर्ताओं ने इस समस्या को बिल्ली और चूहे के खेल की तरह माना, लेकिन यह एक ऐसा खेल था जो पूरी तरह से मशीनों द्वारा खेला गया था। उनका लक्ष्य एक ऐसा सिस्टम बनाना था जो स्वचालित रूप से परीक्षण मामले (test cases) उत्पन्न कर सके ताकि यह देखा जा सके कि क्या ये ऑडियो-सचेत मशीनें अपने सुरक्षा नियमों को तोड़ती हैं। एक सफल परीक्षण में, सिस्टम इनपुट का एक जोड़ा बनाता है: एक टेक्स्ट प्रश्न जो अपने आप में पूरी तरह से सुरक्षित है, और एक साथ चलने वाली एक ऑडियो फ़ाइल। जब लक्षित मशीन दोनों को एक साथ सुनती है, तो आदर्श रूप से उसे उत्तर देने से मना कर देना चाहिए। यदि मशीन इसके बजाय खतरनाक निर्देश या हानिकारक जानकारी प्रदान करती है, तो शोधकर्ताओं के लिए यह एक सफल परीक्षण है, जो सिस्टम की सुरक्षा में एक भेद्यता (vulnerability) को प्रकट करता है।
शोधकर्ताओं ने इस खोज प्रक्रिया को स्वचालित करने के लिए एक क्लोज्ड-लूप फ्रेमवर्क बनाया। उन्होंने एक कंट्रोलर को प्रशिक्षित करके शुरुआत की, जो अनिवार्य रूप रूप से एक AI है जो यह सीखता है कि ऐसे पेचीदा परीक्षण जोड़े कैसे तैयार किए जाएं। इस कंट्रोलर को 2,000 उदाहरणों के डेटासेट पर प्रशिक्षित किया गया था, जहाँ इसने सीखा कि सुरक्षित टेक्स्ट को विशिष्ट ऑडियो प्रॉम्प्ट्स, जैसे कि विस्फोट की आवाज़ या एक भ्रामक आदेश देने वाली आवाज़ के साथ कैसे मिलाया जाए। कंट्रोलर को दो प्रकार के ऑडियो के बीच चयन करना सिखाया गया था: बोले गए शब्द या कार अलार्म या कांच टूटने जैसी पर्यावरणीय ध्वनियाँ। एक बार जब कंट्रोलर ने एक परीक्षण मामला उत्पन्न कर लिया, तो उसे लक्षित मशीन को भेजा गया यह देखने के लिए कि क्या होता है। यदि लक्षित मशीन ऑडियो को पहचानने में विफल रही या उत्तर देने से मना कर दिया, तो कंट्रोलर को फीडबैक प्राप्त हुआ। यह फीडबैक एक मार्गदर्शक के रूप में कार्य करता था, जो कंट्रोलर को बताता था कि वास्तव में क्या गलत हुआ। शायद आवाज़ बहुत धीमी थी, या टेक्स्ट बहुत सीधा था, या मशीन ने संदर्भ को गलत समझा। कंट्रोलर ने फिर अपने अगले प्रयास को परिष्कृत करने के लिए इस जानकारी का उपयोग किया, अपने अगले प्रयास के लिए ध्वनि या शब्दों को समायोजित किया।
परीक्षण, त्रुटि और परिशोधन की यह प्रक्रिया तब तक जारी रही जब तक कि सिस्टम लक्षित मशीन के बचाव को भेदने का एक तरीका खोजने में सफल नहीं हुआ। परिणामों को विश्वसनीय बनाने के लिए, शोधकर्ताओं ने एक सख्त दो-चरणीय मूल्यांकन का उपयोग किया। पहले, एक विशेष जज ने जाँच की कि क्या टेक्स्ट प्रश्न अपने आप में सुरक्षित था। फिर, एक अलग, स्वतंत्र मूल्यांकनकर्ता ने अंतिम परिणाम को देखा कि क्या मशीन ने वास्तव में हानिकारक सामग्री बनाई थी। महत्वपूर्ण रूप से, सीखने की प्रक्रिया के दौरान फीडबैक देने वाले सिस्टम को कभी भी अंतिम स्कोर देखने की अनुमति नहीं दी गई, जिससे यह रोका जा सका कि वह केवल मूल्यांकनकर्ता की प्राथमिकताओं को याद न कर ले। इसने यह सुनिश्चित किया कि खोजी गई कमजोरियाँ लक्षित मशीनों की वास्तविक कमियाँ थीं, न कि केवल एक विशिष्ट जज को धोखा देने के लिए किए गए छल।
टीम ने प्रमुख प्रौद्योगिकी कंपनियों और ओपन-सोर्स प्रोजेक्ट्स के चार अलग-अलग बड़े ऑडियो-लैंग्वेज मॉडल्स पर अपने तरीके का परीक्षण किया। उन्होंने 520 अलग-अलग हानिकारक उद्देश्यों का उपयोग किया, जिनमें हथियार बनाने के निर्देश से लेकर दुष्प्रचार (disinformation) बनाने के तरीके तक शामिल थे। परिणाम चौंकाने वाले थे। ARENA सिस्टम ने लक्षित मशीनों को धोखा देने के तरीके सफलतापूर्वक खोज लिए। शीर्ष प्रदर्शन करने वाले मॉडल, Audio Flamingo 3 के लिए, इसने 87.9 प्रतिशत की सफलता दर हासिल की, जबकि अन्य मॉडलों ने 68.1 से 75.4 प्रतिशत के बीच दर देखी। इसके विपरीत, पुरानी विधियाँ जो पूर्व-निर्मित हमलों की स्थिर सूचियों पर निर्भर थीं, अधिकांश कमजोरियों को खोजने में विफल रहीं। अध्ययन ने दिखाया कि फीडबैक के आधार पर हमले को अनुकूलित करने और परिष्कृत करने की क्षमता ही सफलता की कुंजी थी। जब शोधकर्ताओं ने परिशोधन प्रक्रिया को रोक दिया और केवल प्रारंभिक प्रयासों का उपयोग किया, तो सफलता दर काफी गिर गई, जिससे सिद्ध हुआ कि इन गहरी खामियों को उजागर करने के लिए पुनरावृत्ति शिक्षण प्रक्रिया (iterative learning process) आवश्यक थी।
शोध से यह भी पता चला कि ये कमजोरियाँ किसी एक मशीन तक सीमित नहीं थीं। जब शोधकर्ताओं ने एक मॉडल के खिलाफ पाया गया एक सफल हमला किसी दूसरे मॉडल पर बिना किसी बदलाव के आजमाया, तो वह अभी भी एक महत्वपूर्ण हिस्से में काम कर गया। यह सुझाव देता है कि कई ऑडियो-लैंग्वेज मॉडल टेक्स्ट और ध्वनि के संयोजन को संसाधित करने के तरीके में समान कमजोरियों को साझा करते हैं। इसके अलावा, अध्ययन में पाया गया कि ध्वनि कैसे उत्पन्न की जाती है, यह बहुत मायने रखता है। जब शोधकर्ताओं ने एक ही साउंड क्लिप के कई संस्करण बनाए, तो हमलों की सफलता दर नाटकीय रूप रूप से बढ़ गई। यह इंगsित करता है कि ध्वनि को संश्लेषित (synthesize) करने के तरीके में छोटे अंतर भी मशीन के बोध को बदल सकते हैं, जिससे साधारण फिल्टरों के माध्यम से इन हमलों की भविष्यवाणी करना और उन्हें रोकना कठिन हो जाता है।
अंततः, यह कार्य प्रदर्शित करता है कि इन उन्नत ऑडियो प्रणालियों की सुरक्षा केवल टेक्स्ट की जाँच करके सुनिश्चित नहीं की जा सकती है। शोधकर्ताओं ने दिखाया कि एक अनुरोध लिखित रूप में पूरी तरह से निर्दोष हो सकता है, लेकिन सही ध्वनि के साथ जुड़ने पर वह नुकसान पहुँचाने का एक उपकरण बन सकता है। इन संयोजनों को खोजने की प्रक्रिया को स्वचालित करके, टीम ने डेवलपर्स को इन सुरक्षा अंतराल को पहचानने और उन्हें सार्वजनिक रूप से जारी करने से पहले ठीक करने के लिए एक शक्तिशाली उपकरण प्रदान किया। अध्ययन निष्कर्ष निकालता है कि जैसे-जैसे ये मॉडल ध्वनि के माध्यम से दुनिया को समझने में अधिक सक्षम होते जा रहे हैं, उनके परीक्षण के तरीकों को भी केवल शब्दों को ही नहीं, बल्कि पूर्ण संदर्भ को सुनने के लिए विकसित होना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।