Adversarial Prompts for Acceptance Collapse in Speculative Decoding
यह शोधपत्र ADSD को प्रस्तुत करता है, जो पहला प्रॉम्प्ट-सफिक्स हमला है जो एक सॉफ्ट-कोलैप्स सरोगेट का उपयोग करके प्रतिकूल सफिक्स (adversarial suffixes) उत्पन्न करने के माध्यम से स्पेक्युलेटिव डिकोडिंग में एक भेद्यता का लाभ उठाता है, जो कार्य की गुणवत्ता को बनाए रखते हुए इन्फरेंस लेटेंसी (inference latency) को काफी बढ़ा देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-स्पीड रेस्टोरेंट चला रहे हैं जहाँ एक मुख्य शेफ ("टारगेट मॉडल") हर एक व्यंजन को पूर्णता के साथ पकाने के लिए जिम्मेदार है। लेकिन शेफ धीमा है, और ग्राहक भूखे हैं। काम को तेज करने के लिए, रेस्टोरेंट एक फुर्तीले सहायक शेफ ("ड्राफ्ट मॉडल") को काम पर रखता है जो आगे दौड़ता है, सब्जियां काटता है और अनुमान लगाता है कि मुख्य शेफ अगला कदम क्या उठाएगा। यदि सहायक शेफ के अनुमान सही होते हैं, तो मुख्य शेफ बस सिर हिलाता है और भोजन तुरंत परोस देता है। यदि सहायक शेफ गलत होता है, तो मुख्य शेफ को रुकना पड़ता है, अनुमान को फेंकना पड़ता है, और सब कुछ फिर से शुरू से बनाना पड़ता है। यह "अनुमान-और-जांच" (guess-and-check) प्रणाली स्पेक्युलेटिव डिकोडिंग (speculative decoding) कहलाती है, और यह एआई चैटबॉट्स को उनकी बुद्धिमत्ता खोए बिना तेजी से बात करने में मदद करने के लिए इस्तेमाल की जाने वाली एक लोकप्रिय तकनीक है।
वर्षों तक, सभी ने माना कि यह प्रणाली तब तक सुरक्षित है जब तक कि एआई कुछ बुरा या अजीब न कहे। विचार यह था कि गति में वृद्धि केवल गणित की एक समस्या थी: यदि दोनों शेफ सहमत हैं, तो काम तेज होता है; यदि वे असहमत हैं, तो काम धीमा हो जाता है। लेकिन क्या होगा अगर कोई इस सिस्टम को हमेशा असहमत होने के लिए मजबूर कर सके, न कि एआई को खराब करके, बल्कि ग्राहक के ऑर्डर में एक छोटा, गुप्त कोड डालकर? यह वह सवाल है जिसका उत्तर देने के लिए क्लेमसन यूनिवर्सिटी और अन्य के शोधकर्ताओं की एक टीम ने प्रयास किया। वे जानना चाहते थे कि क्या एक चतुराई से तैयार किया गया वाक्य तेज़ एआई को रेंगने की गति तक धीमा कर सकता है, जिससे सेवा महंगी और निराशाजनक हो जाए, जबकि अंतिम उत्तर पूरी तरह से सामान्य ही दिखे।
शोधकर्ताओं ने पाया कि हाँ, यह संभव है। उन्होंने एक नए प्रकार का हमला बनाया जिसे ADSD (Acceptance Collapse के लिए Adversarial Prompts) कहा जाता है। इसे रेस्टोरेंट के वर्कफ़्लो के लिए एक "मैट्रिक्स में गड़बड़ी" (glitch in the matrix) की तरह समझें। हमलावर शेफ या रसोई को नहीं बदलता है; वे बस एक सामान्य अनुरोध के अंत में कुछ अदृश्य, विशेष शब्द जोड़ देते हैं। ये शब्द एक जादुई मंत्र की तरह काम करते हैं जो फुर्तीले सहायक शेफ को अविश्वसनीय रूप से अति-आत्मविश्वासी लेकिन लगातार गलत बना देते हैं। सहायक शेफ पूरी निश्चितता के साथ "अजीब" (bizarre) या "XX" जैसे अनुमान चिल्लाना शुरू कर देता है, लेकिन मुख्य शेफ जानता है कि ये गलत हैं और उन्हें तुरंत खारिज कर देता है।
क्योंकि मुख्य शेफ अनुमानों को अक्सर खारिज कर देता है, सिस्टम काम को फेंकने और फिर से शुरू करने के लूप में फंस जाता है। अपने परीक्षणों में, इस छोटे से नुस्खे ने एक तेज़ प्रतिक्रिया को एक धीमी प्रतिक्रिया में बदल दिया। GSM8K नामक गणित समस्या के डेटासेट पर, उत्तर प्राप्त करने का औसत समय 26.05 सेकंड से बढ़कर 42.29 सेकंड हो गया—यानी 62.3% की गिरावट। यह एक 10 मिनट की यात्रा के अचानक 16 मिनट की हो जाने जैसा है क्योंकि वहां एक अजीब ट्रैफिक सिग्नल है। और भी अधिक प्रभावशाली (और डरावना) बात यह है कि शोधकर्ताओं ने पाया कि ग्राहक को प्राप्त अंतिम उत्तर पहले की तरह ही लगभग उतना ही अच्छा था। गणित की समस्याओं को अभी भी सही ढंग से हल किया गया था, और कहानियाँ अभी भी तर्कसंगत थीं। हमले ने एआई के दिमाग को नहीं तोड़ा; इसने केवल उसकी गति को तोड़ दिया।
टीम ने दिखाया कि यह ट्रिक तब भी काम करती है जब रेस्टोरेंट अन्य, अधिक उन्नत खाना पकाने के तरीकों का उपयोग करता है। चाहे वे एक मानक "एक-एक करके" (one-by-one) जांच प्रणाली का उपयोग कर रहे हों या एक फैंसी "ब्लॉक-दर-ब्लॉक" (block-by-block) प्रणाली का, हमला अभी भी लगभग उतनी ही मात्रा में चीजों को धीमा कर देता है। उन्होंने Qwen परिवार से लेकर LLaMA परिवार तक विभिन्न प्रकार के एआई मॉडल पर भी इसका परीक्षण किया, और यह सुस्ती हर बार हुई। EAGLE-3 नामक एक विशिष्ट आर्किटेक्चर का उपयोग करते हुए एक चरम मामले में, गति में भारी 76.9% की गिरावट आई।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या यह "जादुई मंत्र" उन कार्यों पर काम कर सकता है जिनके लिए इसे विशेष रूप से प्रशिक्षित नहीं किया गया था। उन्होंने गणित की समस्याओं को धीमा करने के लिए बनाया गया एक मंत्र लिया और उसे कोडिंग कार्यों और समाचार सारांश (news summarization) पर लागू किया। यह काम कर गया! कोडिंग कार्यों पर, कोड जेनरेट करने का समय दोगुना से अधिक हो गया (141.8% की वृद्धि), और कोड में अधिक गलतियाँ होने लगीं। समाचार सारांश पर, इसने इसे 30.4% धीमा कर दिया। यह सुझाव देता है कि यह भेद्यता (vulnerability) केवल एक विशिष्ट गणित परीक्षण का इत्तेफाक नहीं है; यह इन तेज़ एआई सिस्टमों के अपने काम को जांचने के तरीके में एक मौलिक कमजोरी है।
पेपर निष्कर्ष निकालता है कि जबकि एआई के अंतिम उत्तर अभी भी एकदम सही लग सकते हैं, "लागत" को हाईजैक कर लिया गया है। यह हमला इसलिए गुप्त है क्योंकि यह बुरे शब्दों या अजीब आउटपुट को खोजने वाले सामान्य अलार्म को ट्रिगर नहीं करता है। यह एक "डेनायल ऑफ वॉलेट" (denial of wallet) हमला है, जहाँ हमलावर डेटा नहीं चुराता है बल्कि सेवा प्रदाता को एक सामान्य उत्तर देने के लिए महंगे कंप्यूटर पावर को जलाने के लिए मजबूर करता है। लेखक सुझाव देते हैं कि केवल इनपुट या अंतिम आउटपुट की जांच करना इसे रोकने के लिए पर्याप्त नहीं है; हमें प्रक्रिया को देखने की आवश्यकता है। यदि सिस्टम यह देखता है कि "अनुमान-और-जांच" लूप बहुत बार विफल हो रहा है, तो इसे पैसा बचाने के लिए अनुमान लगाना बंद कर देना चाहिए और बस धीरे-धीरे काम करना चाहिए। फिलहाल, यह खोज एक चेतावनी के रूप में कार्य करती है: सिर्फ इसलिए कि एक एआई तेज़ और सटीक है, इसका मतलब यह नहीं है कि वह कुछ चतुर शब्दों द्वारा धीमा होने से सुरक्षित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।