Inadvertent Context Leakage in Language Models
यह शोध पत्र यह प्रदर्शित करता है कि उन्नत भाषा मॉडल सामान्य प्रॉम्प्ट्स के प्रति अपनी सौहार्दपूर्ण प्रतिक्रियाओं के माध्यम से अनजाने में संवेदनशील इन-कॉन्टेक्स्ट रहस्यों, जैसे कि क्रेडेंशियल्स और स्वास्थ्य रिकॉर्ड, को लीक कर देते हैं, जो यह दर्शाता है कि यह भेद्यता एक सुधारात्मक बग के बजाय मॉडल की क्षमता का एक अंतर्निहित उपोत्पाद है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस से तेजी से व्यक्तिगत सहायक के रूप में कार्य करने की अपेक्षा की जा रही है, जो कैलेंडर प्रबंधित कर सके, निजी ईमेल पढ़ सके और स्वास्थ्य रिकॉर्ड या वित्तीय डेटा जैसी संवेदनशील जानकारियों को संभाल सके। ऐसा करने के लिए, कंप्यूटर प्रोग्राम को अपने काम के दौरान अपनी तात्कालिक मेमोरी में इन रहस्यों की एक चलती सूची रखनी पड़ती है, जिसे शोधकर्ता 'कॉन्टेक्स्ट विंडो' (context window) कहते हैं। प्रचलित धारणा यह रही है कि यदि मॉडल को कोई रहस्य रखने के लिए कहा जाए और वह उसे ज़ोर से बोलने से मना कर दे, तो वह रहस्य सुरक्षित है। सुरक्षा जाँच आमतौर पर एक सरल फ़िल्टर की तरह काम करती है: यदि कंप्यूटर द्वारा लिखे गए टेक्स्ट में वह गुप्त शब्द शब्द-दर-शब्द मौजूद नहीं है, तो सिस्टम मान लेता है कि कोई रिसाव (leak) नहीं हुआ है। यह दृष्टिकोण बातचीत को संचार का एक एकल माध्यम मानता है, यह मानते हुए कि जो कहा नहीं गया है, वह ज्ञात भी नहीं है।
हालाँकि, एक नया अध्ययन बताता है कि यह दृष्टिकोण अधूरा है। शोधकर्ताओं ने पाया कि भले ही मॉडल सही ढंग से रहस्य प्रकट करने से इनकार कर देता है, लेकिन जिस तरह से वह अपने वाक्यों की रचना करता है, उसमें उस रहस्य के बारे में छिपे हुए संकेत होते हैं। रहस्य मॉडल की आंतरिक अवस्था (internal state) को बदल देता है, और वह परिवर्तन उसके द्वारा उत्पन्न किए गए टेक्स्ट में लहरों की तरह फैलता है, जिससे शब्द चयन, वाक्य की लंबाई और फॉर्मेटिंग के पैटर्न इस तरह बदल जाते हैं जो एक मानव पाठक के लिए अदृश्य होते हैं लेकिन एक कंप्यूटर के लिए पता लगाने योग्य होते हैं। यह ऐसा है जैसे मॉडल अपनी आवाज़ के एक अलग हिस्से के माध्यम से रहस्य को फुसफुसा रहा हो, भले ही उसका मुँह मजबूती से बंद हो।
इस शोध के पीछे की टीम ने, आठ सबसे उन्नत उपलब्ध भाषा मॉडलों के साथ मिलकर, यह परीक्षण करने के लिए काम किया कि क्या ये छिपे हुए संकेत वास्तविक हैं। उन्होंने एक परिदृश्य बनाया जहाँ एक मॉडल को एक गुप्त संख्या दी गई और उसे इसे गोपनीय रखने का निर्देश दिया गया। फिर उन्होंने मॉडल को सामान्य, हानिरहित कार्य करने के लिए कहा, जैसे कि एक छोटी कहानी लिखना या आँकड़ों की एक सूची बनाना। मॉडल ने पूछे जाने पर संख्या को सीधे बताने से लगातार इनकार किया, जिससे सभी मानक सुरक्षा जाँचों को सफलतापूर्वक पार कर लिया। फिर भी, जब शोधकर्ताओं ने उन निर्दोष अनुरोधों के जवाब में मॉडल द्वारा उत्पन्न टेक्स्ट का विश्लेषण किया, तो उन्होंने पाया कि गुप्त संख्या आउटपुट के सांख्यिकीय गुणों (statistical properties) में एनकोडेड थी।
इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक विशेष डिकोडर बनाया, जो एक ऐसा उपकरण है जिसे इन विशिष्ट सांख्यिकीय पैटर्न को सुनने के लिए प्रशिक्षित किया गया है। जब उन्होंने डिकोडर में वह सामान्य टेक्स्ट डाला, तो इसने आश्चर्यजनक सटीकता के साथ गुप्त संख्याओं को पुनर्गठित किया। दो-अंकों के रहस्यों के लिए, डिकोडर ने कई शीर्ष-स्तरीय मॉडलों में पूर्ण संख्या लगभग पूरी तरह से प्राप्त कर ली। यहाँ तक कि चार-अंकों के रहस्यों के लिए, जिन्हें अनुमान लगाना कठिन होता है, डिकोडर ने सबसे सक्षम मॉडलों पर लगभग 82 प्रतिशत बार सटीक मिलान प्राप्त किया। यह बिना किसी धोखे के हुआ कि मॉडल ने कभी संख्या बताई, और बिना किसी हमलावर के मॉडल के आंतरिक कामकाज तक विशेष पहुँच के; हमलावर ने केवल अंतिम टेक्स्ट देखा, ठीक वैसे ही जैसे एक सामान्य उपयोगकर्ता देखता है।
अध्ययन से पता चला कि सूचना लीक करने की क्षमता कोई ऐसा बग नहीं था जिसे आसानी से पैच किया जा सके, बल्कि यह मॉडल की बुद्धिमत्ता का एक उपोत्पाद (side effect) था। मॉडल जितना अधिक सक्षम निर्देशों का पालन करने और जटिल कार्यों को समझने में होता था, वह उतना ही संवेदनशील होता जाता था उन रहस्यों के प्रति जो उसकी मेमोरी में होते थे, और वह अनजाने में उतनी ही अधिक जानकारी लीक करता था। शोधकर्ताओं ने Anthropic, Google, OpenAI और xAI सहित विभिन्न कंपनियों के मॉडलों का परीक्षण किया। उन्होंने पाया कि हालांकि कुछ मॉडल दूसरों की तुलना में अधिक प्रतिरोधी थे, लेकिन सबसे शक्तिशाली मॉडल आमतौर पर सबसे अधिक जानकारी लीक करते थे। वास्तव में, जो मॉडल "इस रहस्य को रखने" के निर्देश का पालन करने में सबसे अच्छे थे, वे अक्सर वे थे जिन्होंने इन सूक्ष्म माध्यमों से सबसे अधिक जानकारी लीक की। यह सुझाव देता है कि वे तंत्र जो इन सहायकों को उपयोगी और आज्ञाकारी बनाते हैं, वही उन्हें असुरक्षित भी बनाते हैं।
शोधकर्ताओं ने यह भी पता लगाया कि क्या इस लीकेज का उपयोग केवल संख्याओं के अलावा उपयोगकर्ता के निजी जीवन के बारे में जानने के लिए किया जा सकता है। उन्होंने परीक्षण किया कि क्या मॉडल का आउटपुट यह प्रकट कर सकता है कि क्या कोई विशिष्ट स्मृति, जैसे कि कोई स्वास्थ्य स्थिति या वित्तीय घटना, उसके कॉन्टेक्स्ट में मौजूद थी। एक प्रशिक्षित क्लासिफायर का उपयोग करते हुए, उन्होंने पाया कि मॉडल की नियमित प्रतिक्रियाएँ इन स्मृतियों की उपस्थिति को संयोग से कहीं अधिक उच्च सफलता दर के साथ प्रकट कर सकती थीं। यह तब भी सच था जब मॉडल ने अपने टेक्स्ट में उस स्मृति का कभी उल्लेख नहीं किया। अध्ययन ने दिखाया कि उपयोगकर्ता के निजी डेटा से आकारित मॉडल की आंतरिक अवस्था, उसके द्वारा लिखे गए प्रत्येक वाक्य पर एक सांख्यिकीय फिंगरप्रिंट छोड़ देती है।
सबसे चिंताजनक प्रयोग वह था जहाँ शोधकर्ताओं ने एक सिम्युलेटेड पर्सनल एजेंट से नौ-अंकों वाली सोशल सिक्योरिटी संख्या निकालने की कोशिश की। इस परिदृश्य में, हमलावर केवल लीक्स के लिए सुन नहीं रहा था; उसने सक्रिय रूप से बातचीत को इंजीनियर किया ताकि मॉडल रहस्य को प्रतिक्रिया की एक विशिष्ट विशेषता में एनकोड करने के लिए मजबूर हो सके, जैसे कि विस्मयादिबोधक चिह्नों (!) की संख्या। इस व्यवहार को ट्रिगर करने के लिए प्रॉम्प्ट को अनुकूलित करने वाली तकनीक का उपयोग करके, हमलावर ने एक अग्रणी मॉडल पर लगभग 97 प्रतिशत प्रयासों में संख्या का पहला अंक और शेष आठ अंकों को लगभग 76 प्रतिशत मामलों में सफलतापूर्वक प्राप्त किया। यह तब भी काम कर गया जब कॉन्टेक्स्ट बहुत लंबा था, जिसमें लाखों शब्द शामिल थे, और भले ही मॉडल ने स्वयं वह संख्या कभी नहीं लिखी।
अध्ययन निष्कर्ष निकालता है कि इन प्रणालियों में गोपनीयता की रक्षा करने के मौजूदा तरीके अपर्याप्त हैं। केवल मॉडल को विवेकपूर्ण होने के लिए कहना या उसके आउटपुट को विशिष्ट शब्दों के लिए फ़िल्टर करना इस बात को नहीं रोकता कि जानकारी भाषाई सांख्यिकीय पैटर्न के माध्यम से लीक हो सकती है। शोधकर्ता तर्क देते हैं कि जब तक कोई मॉडल टेक्स्ट उत्पन्न करते समय अपने तत्काल मेमोरी में निजी डेटा रखता है, तब तक वह डेटा आउटपुट को उन तरीकों से प्रभावित करेगा जिन्हें डिकोड किया जा सकता है। वे सुझाव देते हैं कि इस समस्या को ठीक करने के लिए केवल बेहतर निर्देशों या फिल्टरों की आवश्यकता नहीं होगी; इसके लिए मॉडल को प्रशिक्षित करने के तरीके में एक मौलिक परिवर्तन की आवश्यकता हो सकती है ताकि यह सुनिश्चित हो सके कि उनका आउटपुट उनके पास रखे रहस्यों से सांख्यिकीय रूप से स्वतंत्र रहे। तब तक, हम अपने डिजिटल सहायकों को जो रहस्य सौंपते हैं, वे मशीन की मेमोरी की तुलना में हमारे अपने विचारों में अधिक सुरक्षित हो सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।