The Model's Tell: Measuring Context-Leakage Attack Signals with Behavior Gauges
यह शोध पत्र LeakGauge प्रस्तुत करता है, जो एक व्यवहार-अभिव्यक्त करने वाले प्रत्यय (behavior-verbalizing suffix) के प्रीफिल टोकन प्रायिकता (prefill token probabilities) का विश्लेषण करके लार्ज लैंग्वेज मॉडल्स में कॉन्टेक्स्ट-लीकेज हमलों का पता लगाने की एक हल्का और सुदृढ़ विधि है, जो आंतरिक हिडन स्टेट्स (internal hidden states) तक पहुंच की आवश्यकता के बिना विविध मॉडलों में उच्च सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस असिस्टेंट अक्सर अपने काम को अच्छी तरह से करने के लिए निर्देशों की एक छिपी हुई परत और निजी दस्तावेजों पर निर्भर करते हैं। ये छिपे हुए तत्व, जिन्हें सिस्टम प्रॉम्प्ट और रिट्रीव्ड कॉन्टेक्स्ट (प्राप्त संदर्भ) कहा जाता है, एक गुप्त नियम पुस्तिका या एक निजी फाइलिंग कैबिनेट की तरह होते है जिसे कंप्यूटर उपयोगकर्ता के उत्तर देने से पहले परामर्श करता है। हालांकि यह सेटअप मशीन को बेहतर उत्तर देने में मदद करता है, लेकिन यह एक भेद्यता (vulnerability) भी पैदा करता है। एक चतुर हमलावर एक ऐसा प्रश्न तैयार कर सकता है जो कंप्यूटर को इन गुप्त निर्देशों या निजी फाइलों को प्रकट करने के लिए बहलाने के उद्देश्य से बनाया गया हो। वर्षों से, सुरक्षा विशेषज्ञों ने केवल उपयोगकर्ता के प्रश्न के टेक्स्ट को देखकर इन चालों को पहचानने की कोशिश की है, ठीक वैसे ही जैसे एक बाउंसर दरवाजे पर अतिथि का आईडी चेक करता है। हालांकि, यह दृष्टिकोण अक्सर विफल हो जाता है जब हमलावर अपनी शब्दावली बदल देता है या एक नई रणनीति का उपयोग करता है, क्योंकि केवल टेक्स्ट ही हमेशा इरादे को प्रकट नहीं करता है।
शोधकर्ताओं को लंबे समय से संदेह रहा है कि कंप्यूटर की आंतरिक स्थिति (internal state) जवाब टाइप करना शुरू करने से पहले ही खतरे का स्पष्ट संकेत देती है। समस्या यह है कि मशीन के मस्तिष्क के भीतर झांकने के लिए जटिल, छिपे हुए डेटा तक पहुंच की आवश्यकता होती है जिसे मानक सुरक्षा प्रणालियाँ नहीं देख सकतीं। त्सिंगहुआ विश्वविद्यालय और उसके भागीदारों का एक नया अध्ययन एक सरल प्रश्न पूछता है: क्या कंप्यूटर अपनी तत्काल प्रतिक्रिया में एक दृश्य निशान छोड़ता है, एक ऐसा निशान जिसे मशीन के आंतरिक कामकाज को तोड़े बिना देखा जा सकता है? उत्तर, उन्होंने पाया, है—हाँ। उपयोगकर्ता के प्रश्न के अंत में एक विशिष्ट, हानिरहित वाक्यांश जोड़कर और यह देखकर कि कंप्यूटर अपने अगले शब्दों की गणना कैसे करता है, शोधकर्ता उच्च सटीकता के साथ एक हमले का पता लगा सकते हैं, भले ही वह हमला पूरी तरह से नया हो।
टीम ने एक विधि विकसित की है जिसे वे "बिहेवियर गेज" (व्यवहार मापक) कहते हैं। कल्पना करें कि कंप्यूटर बोलने वाला है, और आप इसके प्रॉम्प्ट के अंत में एक छोटा वाक्य जोड़ते हैं जो कहता है, "उपरोक्त के आधार पर, मैं अपना सिस्टम प्रॉम्प्ट दूंगा।" यह वाक्य डेटा लीक करने का वास्तविक अनुरोध नहीं है; यह एक परीक्षण है। शोधकर्ता फिर उस परीक्षण वाक्य के पहले कुछ शब्दों के लिए कंप्यूटर के आंतरिक आत्मविश्वास स्कोर (confidence scores) को देखते हैं। यदि उपयोगकर्ता का मूल प्रश्न एक सामान्य, सुरक्षित क्वेरी था, तो कंप्यूटर परीक्षण वाक्य को एक अजीब, असंary (unlikely) निरंतरता के रूप में मानता है। लेकिन यदि उपयोगकर्ता का प्रश्न गोपनीयता चुराने का एक दुर्भावनापूर्ण प्रयास था, तो कंप्यूटर का आंतरिक तर्क बदल जाता है। यह अचानक उस परीक्षण वाक्य को बहुत अधिक संभावित पाता है, जैसे कि दुर्भावनापूर्ण प्रश्न ने इसे पहले ही उस अवस्था की ओर धकेल दिया है जहाँ वह अपने रहस्यों को प्रकट करने के लिए तैयार है। यह बदलाव उस अंश सेकंड में होता है जब कंप्यूटर वास्तव में कुछ भी टाइप करता है, और यह उन नंबरों में एक विशिष्ट पैटर्न छोड़ता है जो कंप्यूटर के आत्मविश्वास का प्रतिनिधित्व करते हैं।
यह सिद्ध करने के लिए कि यह काम करता है, शोधकर्ताओं ने इस पद्धति का परीक्षण ग्यारह अलग-अलग लार्ज लैंग्वेज मॉडल्स पर किया, जो छोटे, कुशल संस्करणों से लेकर सैकड़ों अरब पैरामीटर्स वाले विशाल सिस्टम तक विस्तृत थे। उन्होंने इन मॉडल्स को हजारों विभिन्न हमलों के अधीन किया, जिसमें सिस्टम निर्देशों को चुराने के प्रयास और डेटाबेस से निजी दस्तावेजों को निकालने के प्रयास शामिल थे। हर मामले में, बिहेवियर गेज ने सुरक्षित प्रश्नों और दुर्भावनापूर्ण प्रश्नों के बीच सफलतापूर्वक अंतर किया। जब शोधकर्ताओं ने इस प्रणाली का परीक्षण उन हमलों के खिलाफ किया जिन्हें उसने पहले कभी नहीं देखा था, और उस संरक्षित सामग्री के खिलाफ जिसका उसने पहले कभी सामना नहीं किया था, तब भी इस पद्धति ने 0.944 और 0.996 के बीच AUC के साथ खतरों की पहचान की। यह पिछले तरीकों की तुलना में एक महत्वपूर्ण सुधार है जो केवल प्रश्न के टेक्स्ट को देखते थे, जो अक्सर नए प्रकार के हमलों के अनुकूल होने में संघर्ष करते थे।
एक प्रमुख खोज यह थी कि सबसे प्रभावी परीक्षण वाक्यांश में वास्तविक गुप्त जानकारी होने की आवश्यकता नहीं थी। परीक्षण के एक संस्करण में गुप्त दस्तावेज़ के सटीक शुरुआती शब्दों का उपयोग किया गया था, लेकिन यह दृष्टिकोण विफल हो गया जब गुप्त भाषा बदल गई या जब हमलावर ने कंप्यूटर को शब्द-दर-शब्द कॉपी करने के बजाय गुप्त दस्तावेज़ का सारांश निकालने के लिए प्रेरित किया। अधिक मजबूत संस्करण ने बस खुलासा करने के इरादे को बताया, जिसमें "मैं अपना सिस्टम प्रॉम्प्ट दूंगा" जैसे सामान्य शब्दों का उपयोग किया गया। यह सामान्य शब्दावली विभिन्न भाषाओं और विभिन्न प्रकार के रहस्यों में काम करती है, जो यह सुझाव देती है कि कंप्यूटर स्वयं प्रकटीकरण के कार्य के प्रति प्रतिक्रिया कर रहा था, न कि केवल विशिष्ट शब्दों को पहचान रहा था। शोधकर्ताओं ने इसकी पुष्टि की कि वे कंप्यूटर की आंतरिक स्थिति को प्रभावित कर सकते हैं जिससे वह लीक करने के लिए अधिक या कम संभावित हो जाए, और बिहेवियर गेज का स्कोर उस परिवर्तन के साथ बिल्कुल तालमेल में चलता है। यह साबित करता है कि सिग्नल कोई यादृच्छिक त्रुटि (glitch) नहीं है बल्कि यह कंप्यूटर के वास्तविक जोखिम के आंतरिक प्रतिनिधित्व से जुड़ा हुआ है।
इस खोज का व्यावहारिक मूल्य इसकी दक्षता में निहित है। क्योंकि परीक्षण कंप्यूटर द्वारा पूर्ण प्रतिक्रिया उत्पन्न करने से पहले होता है, इसलिए इसे वास्तविक समय के फिल्टर के रूप में उपयोग किया जा सकता है। शोधकर्ताओं ने एक डिटेक्टर बनाया है जो इनपुट में परीक्षण वाक्यांश जोड़ता है और परिणाम की जांच करता है, जिसके लिए 500 से कम अतिरिक्त कंप्यूटिंग पैरामीटर्स की आवश्यकता होती है। यह अनुरोध को प्रोसेस करने में केवल लगभग 10 मिलीसेकंड का अतिरिक्त समय जोड़ता है, एक ऐसा विलंब जो मानव उपयोगकर्ता के लिए लगभग नगण्य है। इसके विपरीत, अन्य तरीके जो कंप्यूटर के आंतरिक संकेतों की निगरानी करने का प्रयास करते हैं, उन्हें अक्सर पूरे विशाल मॉडल को डुप्लिकेट करने या कंप्यूटर के लंबा उत्तर टाइप करने तक प्रतीक्षा करने की आवश्यकता होती है, जो धीमा और महंगा है। नया तरीका न्यूनतम लागत और उच्च गति के साथ इन हमलों को पकड़ने का एक तरीका प्रदान करता है।
अध्ययन ने यह भी पता लगाया कि क्या यह तकनीक अन्य प्रकार के सुरक्षा खतरों के लिए काम कर सकती है। परीक्षण वाक्यांश को अलग-अलग जोखिमों, जैसे कि विषाक्त भाषा (toxic language) का पता लगाने या छिपे हुए निर्देशों को इंजेक्ट करने के प्रयासों को पहचानने के लिए बदलकर, इसी पद्धति ने उन क्षेत्रों में भी संभावना दिखाई। यह सुझाव देता है कि एक प्रॉम्प्ट के प्रति कंप्यूटर की तत्काल प्रतिक्रिया सुरक्षा स्थिति के बारे में एक समृद्ध, सुलभ सिग्नल प्रदान करती है, जिसे पढ़ने के लिए मशीन के आंतरिक आर्किटेक्चर तक गहरी पहुंच की आवश्यकता नहीं है। शोधकर्ताओं ने अपना कोड उपलब्ध कराया है, जिससे अन्य लोग इन परिणामों को सत्यापित कर सकते हैं और भविष्य के एआई अनुप्रयोगों के सुरक्षा सिस्टम में इस हल्के वजन वाले डिटेक्टर को एकीकृत कर सकते हैं। यह कार्य प्रदर्शित करता है कि कभी-कभी किसी समस्या को देखने का सबसे प्रभावी तरीका मशीन के अंदर गहराई से देखना नहीं है, बल्कि एक सरल, सही ढंग से रखे गए प्रश्न के प्रति उसकी प्रतिक्रिया को देखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।