Adversarial Entropy Inflation Against Gumbel-Based Inference Verification

आर्टिफिशियल इंटेलिजेंस की तेजी से बढ़ती दुनिया में, बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) मूल्यवान बौद्धिक संपदा बन गए हैं, ठीक वैसे ही जैसे कोई गुप्त रेसिपी या कोई मालिकाना ब्लूप्रिंट। क्योंकि ये मॉडल इतने कीमती हैं, इसलिए यह डर बढ़ रहा है कि बुरे तत्व सामान्य उपयोग के दौरान सिस्टम को उसकी आंतरिक गणनाओं को प्रकट करने के लिए बहलाकर, उसके अंतर्निहित कोड (जिसे 'वेट्स' कहा जाता है) को चुरा सकते हैं। इसे रोकने के लिए, एक शोधकर्ता ने सत्यापन की एक विधि विकसित की है जो एक सुरक्षा चेकपॉइंट की तरह काम करती है। यह प्रणाली इस बात की जाँच करती है कि टेक्स्ट जेनरेट करते समय मॉडल द्वारा किए गए चुनाव एक विशिष्ट, साझा गुप्त कुंजी (सीक्रेट की) के साथ कितने सुसंगत हैं। यह प्रणाली प्राकृतिक त्रुटि की एक छोटी मात्रा की अनुमति देती है, यह स्वीकार करते हुए कि कंप्यूटर हार्डवेयर पूरी तरह से सटीक नहीं है और दो बहुत समान विकल्पों के बीच निर्णय लेते समय कभी-कभी मामूली, यादृच्छिक गलतियाँ कर सकता है। त्रुटि के लिए यह अंतर्निहित सहनशीलता एक सुरक्षा विशेषता के रूप में बनाई गई है, ताकि ईमानदार उपयोगकर्ताओं पर नियमों का उल्लंघन करने का झूठा आरोप न लगाया जा सके जब उनका कंप्यूटर केवल हिचकिचा रहा हो।

डेल्फ़्ट यूनिवर्सिटी ऑफ़ टेक्नोलॉजी के एक शोधकर्ता ने हाल ही में एक अधिक चतुर प्रकार के हमलावर के खिलाफ इस सुरक्षा चेकपॉइंट की मजबूती का परीक्षण किया। उन्होंने पाया कि सिस्टम का सुरक्षा जाल, जिसे मामूली हार्डवेयर गड़बड़ियों को माफ करने के लिए डिज़ाइन किया गया था, एक ऐसे विरोधी द्वारा व्यापक बनाया जा सकता है जो मॉडल को पूछे जाने वाले प्रश्नों में हेरफेर करना जानता है। शोधकर्ता ने पाया कि मॉडल को सामान्य भाषा के नियमों को तोड़ने और भ्रम पैदा करने के लिए डिज़ाइन किए गए प्रॉम्प्ट खिलाकर, एक हमलावर मॉडल को अपने अगले शब्द के बारे में अनिश्चित होने के लिए मजबूर कर सकता है। यह अनिश्चितता स्वीकार्य उत्तरों की सूची को विस्तृत कर देती है, जिससे सूचना चुराने के लिए एक संकीर्ण, सुरक्षित पथ प्रभावी रूप से एक चौड़े राजमार्ग में बदल जाता है। उनका कार्य बताता है कि वर्तमान रक्षा, जिसे सामान्य, रोजमर्रा की बातचीत के लिए कैलिब्रेट किया गया था, उस हमलावर को रोकने के लिए पर्याप्त मजबूत नहीं है जो मॉडल के अपने भ्रम का फायदा उठाना जानता है।

समस्या का मूल इस बात में निहित है कि सुरक्षा प्रणाली यह कैसे तय करती है कि क्या एक वैध गलती है और क्या एक चुराया गया रहस्य है। जब एक मॉडल टेक्स्ट जेनरेट करता है, तो वह हर संभावित अगले शब्द की संभावना की गणना करता है। आमतौर पर, एक शब्द स्पष्ट रूप से सबसे अच्छा विकल्प होता है, और सिस्टम उस पर टिक जाता है। हालाँकि, जब मॉडल अनिश्चित होता है, तो दो या अधिक शब्दों के स्कोर लगभग समान हो सकते हैं। अनिश्चितता के इन क्षणों में, कंप्यूटर हार्डवेयर के सूक्ष्म, यादृच्छिक उतार-चढ़ाव अंतिम चुनाव को एक शब्द से दूसरे शब्द में बदल सकते हैं। सुरक्षा प्रणाली को इन बदलावों को माफ करने के लिए बनाया गया था, यह मानते हुए कि वे केवल हानिरहित शोर (नॉइज़) हैं। शोधकर्ता ने महसूस किया कि यदि कोई हमलावर ऐसी स्थिति तैयार कर सके जहाँ मॉडल लगातार अनिश्चित रहे, तो वे सुरक्षा प्रणाली को परिणामों की एक बहुत विस्तृत श्रृंखला स्वीकार करने के लिए मजबूर कर सकते हैं। ऐसा करके, एक हमलावर छिपे हुए डेटा को शब्द के विशिष्ट चुनाव में एनकोड कर सकता है, और सिस्टम की त्रुटि के प्रति सहनशीलता का उपयोग जानकारी लीक करने के लिए एक गुप्त चैनल के रूपas कर सकता है।

इस सिद्धांत का परीक्षण करने के लिए, शोधकर्ता ने विभिन्न आकारों के छह अलग-अलग भाषा मॉडलों का उपयोग करके, जो 1-बिलियन-पैरामीटर वाले छोटे मॉडल से लेकर विशाल 32-बिलियन-पैरामीटर वाले सिस्टम तक फैले हुए हैं, प्रयोगों की एक श्रृंखला स्थापित की। उन्होंने 150 मानक, सौम्य प्रॉम्प्ट्स का उपयोग करके एक आधार रेखा (बेसलाइन) स्थापित करके शुरुआत की, जो एक चैटबॉट से सामान्य बातचीत में पूछे जाने वाले प्रश्नों के समान हैं। इन परिस्थितियों में, सुरक्षा प्रणाली अपने उद्देश्य के अनुसार काम करती है। स्वीकार्य शब्दों की सूची लगभग हमेशा केवल एक विकल्प होती है, जिसका अर्थ है कि मॉडल को नियत (डिटरमिनिस्टिक) होने के लिए मजबूर किया जाता है। इस अवस्था में, सिस्टम डेटा चोरी करने के किसी भी प्रयास को 200 गुना से अधिक के कारक से धीमा कर देता है, जिससे चोरी व्यावहारिक रूप से असंभव हो जाती है। इसने इस बात की पुष्टि की कि रक्षा उन निष्क्रिय हमलावरों के खिलाफ प्रभावी थी जो मॉडल का उपयोग उसके इच्छित तरीके से कर रहे थे।

शोधकर्ता ने फिर तीन अलग-अलग प्रकार के प्रतिकूल हमलों (एडवर्सरियल अटैक्स) को पेश किया, जिनमें से प्रत्येक को मॉडल की अगले शब्द की भविष्यवाणी करने की क्षमता को बाधित करने के लिए डिज़ाइन किया गया था। पहला प्रकार, जिसे "टर्श" (terse) कहा गया, बहुत छोटे, कम-संदर्भ वाले प्रॉम्प्ट का उपयोग करता था जो प्रतिक्रिया के पहले शब्द को अलग करता था। दूसरा प्रकार, "स्क्रैम्बल" (scramble), असंबंधित वस्तुओं और निर्देशों की सूचियों का उपयोग करता था जिसने सामान्य व्याकरणिक नियमों को तोड़ दिया। तीसरा और सबसे प्रभावी प्रकार, "साइफर" (cipher), था, जिसने विभिन्न लेखन प्रणालियों के वर्णों, संख्याओं और प्रतीकों के स्ट्रिंग्स का उपयोग किया जिनका आपस में कोई तार्किक संबंध नहीं था। ये प्रॉम्प्ट मॉडल की शब्दों के फिट होने के आंतरिक बोध को भ्रमित करने के लिए डिज़ाइन किए गए थे, जिससे उसे सीखे गए पैटर्न के बजाय यादृच्छिक संयोग पर निर्भर रहने के लिए मजबूर किया जा सके। शोधकर्ता ने प्रत्येक हमले के प्रकार के लिए 150 प्रतिकूल प्रॉम्प्ट जेनरेट किए और परिणामों को सुनिश्चित करने के लिए प्रत्येक मॉडल को तीन बार चलाया।

परिणामों ने सिस्टम के प्रदर्शन में एक नाटकीय बदलाव दिखाया। जब मॉडलों को "साइफर" प्रॉम्प्ट दिए गए, जिन्होंने व्यक्तिगत वर्णों और लिपियों के स्तर पर मॉडल को बाधित किया, तो सुरक्षा प्रणाली की त्रुटि के प्रति सहनशीलता विस्फोट की तरह बढ़ गई। केवल एक आइटम होने के बजाय, स्वीकार्य शब्दों की सूची काफी बड़ी हो गई। इस विस्तार ने हमलावर को सौम्य बेसलाइन की तुलना में प्रति शब्द लगभग दोगुना छिपा हुआ डेटा निकालने की अनुमति दी। फलस्वरूप, धीमा करने वाला कारक (स्लोडाउन फैक्टर), जो 200 गुना से अधिक का एक विशाल अवरोध था, विशिष्ट मॉडल के उपयोग के आधार पर 60 और 118 के बीच गिर गया। सबसे बड़े मॉडलों के लिए, रक्षा मूल रूप से सोची गई तुलना में लगभग तीन गुना कम प्रभावी हो गई। "स्क्रैम्बल" प्रॉम्प्ट्स ने भी महत्वपूर्ण सफलता दिखाई, जबकि "टर्श" प्रॉम्प्ट्स ने वास्तव में छोटे मॉडलों पर रक्षा को मजबूत किया, विडंबनापूर्ण रूप से उन्हें अधिक अनुमानित बना दिया और उसी अनिश्चितता के प्रति कम संवेदनशील बना दिया जिसे हमलावर पैदा करने की कोशिश कर रहा था।

ये निष्कर्ष संकेत देते हैं कि वर्तमान सत्यापन पद्धति बहुत कठोर है। यह इस बात के लिए एक स्थिर थ्रेशोल्ड (सीमा) पर निर्भर करती है कि क्या एक स्वीकार्य त्रुटि है, एक ऐसी सीमा जो इस आधार पर सेट की गई थी कि मॉडल सामान्य, विनम्र बातचीत के दौरान कैसे व्यवहार करता है। अध्ययन प्रदर्शित करता है कि यह दृष्टिकोण तब विफल हो जाता है जब इनपुट को मॉडल के भ्रम को अधिकतम करने के लिए इंजीनियर किया जाता है। शोधकर्ता निष्कर्ष निकालते हैं कि इस रक्षा को वास्तव में सुरक्षित होने के लिए, सिस्टम को गतिशील होना चाहिए। एक निश्चित नियम का उपयोग करने के बजाय, सत्यापनकर्ता को हर एक चरण पर यह मापना होगा कि मॉडल कितना अनिश्चित है और उसके अनुसार त्रुटि के लिए अपनी सहनशीलता को समायोजित करना होगा। यदि मॉडल भ्रमित है, तो सिस्टम को अपने नियम कड़े करने चाहिए; यदि मॉडल निश्चित है, तो वह उन्हें ढीला कर सकता है। बिना इस गतिशील समायोजन के, सुरक्षा चेकपॉइंट असुरक्षित रहता है, जो एक ऐसे हमलावर के लिए खुला है जो मॉडल के अपने भ्रम को हथियार बनाने के तरीके को जानता है।

इस कार्य के निहितार्थ केवल परीक्षण की गई विशिष्ट विधि तक ही सीमित नहीं हैं। यह आर्टिफिशियल इंटेलिजेंस को सुरक्षित करने में एक मौलिक तनाव को उजागर करता है: रक्षाएं जो सामान्य व्यवहार के लिए कैलिब्रेट की जाती हैं, अक्सर सक्रिय, बुद्धिमान विरोधियों के खिलाफ विफल हो जाती हैं जो धारणाओं को तोड़ने के लिए वातावरण में हेरफेर कर सकते हैं। शोधकर्ता ने यह दावा नहीं किया कि उन्होंने तकनीक को पूरी तरह से तोड़ दिया है, लेकिन उन्होंने यह दिखाया है कि सुरक्षा मार्जिन पहले की तुलना में बहुत कम है। उन्होंने सिद्ध किया कि केवल पूछे गए प्रश्नों की प्रकृति को बदलकर, एक हमलावर उस गति को दोगुना कर सकता है जिस गति से वे मॉडल के रहस्यों को चुरा सकते हैं। यह सुझाव देता है कि भविष्य के सुरक्षा डिजाइनों को इस धारणा पर भरोसा नहीं किया जा सकता है कि इनपुट सौम्य होंगे। उन्हें उस विशिष्ट, गणना किए गए अराजक (केओस) का सामना करने के लिए बनाया जाना चाहिए जिसे एक बुद्धिमान हमलावर पेश कर सकता है, यह सुनिश्चित करते हुए कि सिस्टम की त्रुटि के प्रति सहनशीलता वह चीज़ न बन जाए जो समझौता करने की अनुमति देती है।