From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs
यह शोध पत्र इंटरमिटेंट लो-फ्रीक्वेंसी लॉकआउट (ILL) नामक एक अदृश्य रेड टीमिंग पद्धति प्रस्तुत करता है जो बड़े ऑडियो-लैंग्वेज मॉडल्स (LALMs) के प्रदर्शन को महत्वपूर्ण रूप से कम करने के लिए लो-फ्रीक्वेंसी संकेतों का लाभ उठाती है, और साथ ही ऐसे हमलों का पता लगाने और सिमेंटिक सटीकता को पुनः प्राप्त करने के लिए एक डिस्ट्रीब्यूशनल रिक्वेरी गार्ड (DRG) तंत्र का प्रस्ताव भी देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अत्यंत बुद्धिमान रोबोट से बात कर रहे हैं जो सब कुछ सुन सकता है: आपकी आवाज़, पत्तों की सरसराहट, रेफ्रिजरेटर की गूँज, और यहाँ तक कि बैकग्राउंड में बज रहे संगीत को भी। वैज्ञानिक इन्हें "लार्ज ऑडियो-लैंग्वेज मॉडल्स" (LALMs) कहते हैं। ये डिजिटल कानों और मस्तिष्क के संयोजन की तरह हैं, जिन्हें ध्वनि के माध्यम से दुनिया को समझने के लिए डिज़ाइन किया गया है। लेकिन यहाँ एक पेच है: ये रोबोट ऐसी आवाज़ें सुन सकते हैं जो मानवीय कानों के लिए नहीं हैं। जिस तरह एक कुत्ता एक उच्च-तीव्रता वाली सीटी सुन सकता है जो हमारे लिए शांत होती है, वैसे ही ये AI मॉडल उन ध्वनि तरंगों को प्रोसेस कर सकते हैं जो हमारे लिए बहुत कम या बहुत अधिक हैं। यह एक अजीब अंतर पैदा करता है: आपको लग सकता है कि आप एक सामान्य बातचीत कर रहे हैं, लेकिन रोबोट वास्तव में आपके शब्दों के नीचे एक गुप्त, अदृश्य शोर की परत सुन रहा है। यह शोध पत्र इस बात की पड़ताल करता है कि क्या होता है जब कोई जानबूझकर उस अदृश्य परत का उपयोग करके रोबोट को धोखा देने की कोशिश करता है।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व युआनहे झांग और उनकी टीम ने किया, "रेड टीमिंग" का एक खेल खेलने का निर्णय लिया, जो मूल रूप से एक फैंसी तरीका है यह कहने का कि उन्होंने सिस्टम को तोड़ने की कोशिश की ताकि इसकी कमजोरी का पता चल सके। उन्होंने इंटरमिटेंट लो-फ्रीक्वेंसी लॉकआउट (ILL) का उपयोग करके इन ऑडियो रोबोटों को भ्रमित करने का एक चालाकी भरा तरीका खोजा। इसे ऐसे समझें: कल्पना कीजिए कि आप अपने एक दोस्त की कहानी सुनने की कोशिश कर रहे हैं, लेकिन कोई मेज के नीचे बहुत धीमी, लयबद्ध थपथपाहट की आवाज़ बजा रहा है। आप थपथपाहट को बिल्कुल नहीं सुन सकते, लेकिन वह मेज को इतना कंपन कर रही है कि सामने बैठे व्यक्ति को आपके दोस्त की आवाज़ अस्पष्ट सुनाई दे रही है। वास्तव में ILL यही करता है। यह एक "यूनिवर्सल वेवफॉर्म" का उपयोग करता है—ध्वनि के निम्न-आवृत्ति (5 और 20 हर्ट्ज के बीच, जो मानव श्रवण सीमा से नीचे है) का एक विशिष्ट पैटर्न—जिसे उस ऑडियो में डाला जाता है जिसे रोबोट प्राप्त करता है।
टीम ने पाया कि यह अदृश्य शोर रोबोट के मस्तिष्क को खराब करने में अविश्वसनीय रूप से प्रभावी है। जब उन्होंने छह अलग-अलग ऑडियो-लैंग्वेज मॉडल्स पर इसका परीक्षण किया, तो रोबोट की भाषण समझने, भाषा अनुवाद करने या भावनाओं को पहचानने की क्षमता नाटकीय रूप से गिर गई। कुछ मामलों में, उनकी सटीकता 67 प्रतिशत अंक तक गिर गई। सबसे डरावनी बात क्या है? जो मनुष्य उस ऑडियो को सुन रहे थे, वे अंतर नहीं बता सके। शोधकर्ताओं ने लोगों से 1 से 7 के पैमाने पर ऑडियो के शोर को रेट करने के लिए कहा। साफ ऑडियो की रेटिंग 1.17 थी, और हमले वाले ऑडियो की रेटिंग 1.33 थी। यह "पूरी तरह से अदृश्य" होने से थोड़ा सा ही ऊपर था, फिर भी यह AI को लड़खड़ाने और गलत उत्तर देने के लिए पर्याप्त था।
यह शोध पत्र इस विचार के विरुद्ध भी तर्क देता है कि इन प्रणालियों को तोड़ने के लिए आपको तेज़, स्पष्ट शोर की आवश्यकता है। उन्होंने दिखाया कि आपको रोबोट पर स्टैटिक या तेज़ संगीत नहीं बरसाना पड़ता; एक छोटा, छिपा हुआ, निम्न-आवृत्ति वाला पल्स (स्पंदन) ही अराजकता पैदा करने के लिए पर्याप्त है। उन्होंने अन्य प्रकार के शोर हमलों के खिलाफ इनका परीक्षण किया और पाया कि हालांकि उनका तरीका हर एकल परिदृश्य में सबसे बुरा नहीं था, लेकिन यह लगातार बहुत मजबूत था और महत्वपूर्ण रूप से, मनुष्यों द्वारा पता लगाने में बहुत कठिन था।
लेकिन शोधकर्ता केवल चीज़ों को तोड़ना नहीं चाहते थे; वे उन्हें ठीक भी करना चाहते थे। उन्होंने डिस्ट्रीब्यूशनल रिक्वरी गार्ड (DRG) नामक एक रक्षा तंत्र प्रस्तावित किया। कल्पना कीजिए कि, हर बार जब आप किसी रोबोट से बात करते हैं और वह भ्रमित लगता है, तो रोबोट विनम्रता से कहता है, "हे, यह थोड़ा अजीब लगा। क्या आप इसे दोबारा कह सकते हैं?" DRG सिस्टम एक क्लब के बाउंसर की तरह काम करता है। यह ऑडियो को सुनता है और जाँच करता है कि क्या "स्पेक्ट्रल फिंगरप्रिंट" (आवृत्तियों का पैटर्न) संदिग्ध लग रहा है। यदि यह पता चलता है कि निम्न-आवृत्ति का हस्तक्षेप मिश्रण में छिपा हुआ है, तो यह उपयोगकर्ता को वाक्य को दूसरी बार रिकॉर्ड करने के लिए कहता है। पहले रिकॉर्डिंग (जो शायद बाधित हो सकती है) की तुलना दूसरी रिकॉर्डिंग (जो उम्मीद है कि साफ होगी) से करके, सिस्टम यह पता लगा सकता है कि उपयोगकर्ता का वास्तव में क्या अर्थ था। इस रक्षा प्रणाली ने अच्छा काम किया, रोबोट की सटीकता को 28.5% के निचले स्तर से वापस बढ़ाकर 46.1% कर दिया, जब एक साफ दूसरी रिकॉर्डिंग उपलब्ध थी।
अंत में, यह शोध पत्र भविष्य के लिए एक नए प्रकार के सुरक्षा जोखिम का सुझाव देता है। यह दिखाता है कि क्योंकि ये मॉडल हमारे मुकाबले ध्वनि की एक विस्तृत श्रृंखला सुनते हैं, इसलिए वे उन हमलों के प्रति संवेदनशील हैं जो हमारे लिए अदृश्य हैं। लेखक सुझाव देते हैं कि हमें अपने AI के लिए बेहतर "कान" बनाने की आवश्यकता है जो इन छिपी हुई आवृत्तियों को पहचान सकें और स्पष्टीकरण मांग सकें, जिससे यह सुनिश्चित हो सके कि रोबोट जो सुन रहा है वह वही है जो हमने वास्तव में कहना चाहा था। हालांकि प्रयोग एक नियंत्रित सिमुलेशन में किए गए थे न कि वास्तविक दुनिया में, परिणाम मानव धारणा और मशीन श्रवण के बीच एक वास्तविक अंतर को उजागर करते हैं जिसे हमें संबोधित करने की आवश्यकता है, इससे पहले कि ये ऑडियो सहायक हमारे दैनिक जीवन का हिस्सा बनें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।