PANOPTICON: A PII-Based Assemblage of Naturalistic Output Tokens for Investigating Privacy Leakage Within LLM Context Window
यह शोध पत्र PANOPTICON को प्रस्तुत करता है, जो गोपनीयता अनुसंधान के लिए प्रामाणिक PII डेटा की कमी को दूर करने के लिए डिज़ाइन किया गया पहला बेंचमार्क डेटासेट और पाइपलाइन है, जो बड़े भाषा मॉडल (LLMs) में प्रॉम्ट इनवर्जन हमलों (Prompt Inversion Attacks) को मापने और उनका मूल्यांकन करने के लिए 67,718 सिंथेटिक प्रॉम्ट उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट से बात कर रहे हैं जिसने इंटरनेट पर मौजूद लगभग सब कुछ पढ़ लिया है। यह रोबोट, जिसे लार्ज लैंग्वेज मॉडल (या LLM) कहा जाता है, आपके वाक्यों को पूरा करने, कहानियाँ लिखने और समस्याओं को हल करने में अद्भुत है। लेकिन इसमें एक पेंच है: अपना काम करने के लिए, आपको अक्सर इसे व्यक्तिगत विवरण देने पड़ते हैं, जैसे आपका नाम, आपका पता, या आपका क्रेडिट कार्ड नंबर। इन्हें "पर्सनली आइडेंटिफिएबल इंफॉर्मेशन" (PII) कहा जाता है।
बड़ी चिंता केवल यह नहीं है कि रोबोट गलती से आपके रहस्यों को अपनी ट्रेनिंग से याद रख सकता है (जैसे एक छात्र पाठ्यपुस्तक को याद करता है और उसे वापस सुना देता है)। नई आशंका यह है कि भले ही रोबोट आपके डेटा को याद न रखे, फिर भी वह आपके सवालों के जवाब देने के तरीके को देखकर आपके रहस्यों का अनुमान लगाने में सक्षम हो सकता है। यह एक जासूस की तरह है जो सिर्फ इस बात को सुनकर आपके घर का पता लगा सकता है कि आप अपनी सुबह की कॉफी का वर्णन कैसे करते हैं। इस रहस्य को सुलझाने के लिए, वैज्ञानिकों को इन रोबots को सुरक्षित रूप से टेस्ट करने के तरीके की आवश्यकता है। वे परीक्षण चलाने के लिए वास्तविक लोगों के निजी डेटा का उपयोग नहीं कर सकते—वह गोपनीयता के लिए एक आपदा होगी। इसलिए, उन्हें नकली-लेकिन-यथार्थवादी व्यक्तिगत कहानियों का एक विशाल पुस्तकालय बनाने के तरीके की आवश्यकता है ताकि वे देख सकें कि क्या रोबोट उनके रहस्यों को उजागर कर सकता है।
यही वह काम है जो टेनेसी टेक यूनिवर्सिटी के शोधकर्ताओं ने किया। उन्होंने PANOPTICON नामक एक नया टूल बनाया। इसे एक विशाल, डिजिटल "चूज़-योर-ओन-एडवेंचर" (अपनी पसंद का रोमांच चुनें) किताब के रूप में सोचें, लेकिन केवल पढ़ने के बजाय, आप इसका उपयोग यह परीक्षण करने के लिए करते हैं कि क्या किसी रोबोट को अपने रहस्य उगलने के लिए बहकाया जा सकता है।
टीम ने 9,674 नकली उपयोगकर्ता प्रोफाइल्स (जो एक पिछले प्रोजेक्ट PANORAMA द्वारा बनाए गए थे) के एक सेट के साथ शुरुआत की। इन प्रोफाइल्स में सब कुछ था: नकली नाम, नौकरियां, स्वास्थ्य संबंधी समस्याएं और बैंक विवरण। फिर उन्होंने इन प्रोफाइल्स के आधार पर 67,718 अलग-अलग प्रॉम्प्ट्स (प्रश्न या निर्देश) लिखने के लिए एक AI का उपयोग किया। उन्होंने यह सुनिश्चित किया कि ये प्रॉम्प्ट्स 18 अलग-अलग परिदृश्यों को कवर करें, जैसे कि "बजट सलाह मांगना" या "एक रिश्ते के बारे में बात करना," और इसमें स्वास्थ्य रिकॉर्ड से लेकर सरकारी आईडी तक छह अलग-अलग प्रकार की संवेदनशील जानकारी शामिल थी।
परिणामस्वरूप एक विशाल डेटासेट प्राप्त हुआ जो वास्तविक मानवीय बातचीत जैसा दिखता है और महसूस होता है, लेकिन यह पूरी तरह से सिंथेटिक (कृत्रिम) है। शोधकर्ताओं ने यह जांचा कि क्या नकली डेटा विविध था और क्या यह केवल एक ही वाक्यांश को बार-बार दोहरा नहीं रहा था। उन्होंने पाया कि शब्द विविध थे और उनके अर्थ इतने अलग थे कि वे एक यथार्थवादी परीक्षण बेड (test bed) बन सकें।
यह साबित करने के लिए कि यह नया डेटासेट वास्तव में काम करता है, टीम ने एक छोटा प्रयोग चलाया। उन्होंने प्रॉम्प्ट्स को "इनवर्ट" (उल्टा) करने की कोशिश की। कल्पना कीजिए कि आप रोबोट का उत्तर देखते हैं और ठीक वही अनुमान लगाने की कोशिश करते हैं जो उपयोगकर्ता ने टाइप किया था। इसे "प्रॉम्प्ट इनवर्जन अटैक" कहा जाता है। अपने परीक्षण में, उन्होंने रोबोट के आंतरिक संकेतों से मूल प्रॉम्प्ट को पुनर्गठित करने की कोशिश की।
परिणाम दिलचस्प थे। जब उन्होंने पूरे वाक्य को फिर से बनाने की कोशिश की, तो वे बहुत सफल नहीं हुए (केवल लगभग 2% सटीकता)। महत्वपूर्ण बात यह है कि जब उन्होंने विशेष रूप से संवेदनशील हिस्सों (PII) पर ध्यान केंद्रित किया, तो रिकवरी दर अत्यंत कम (लगभग 0.0242) थी। पेपर यह दावा नहीं करता है कि रोबोट ने इस परीक्षण में सफलतापूर्वक रहस्य लीक किए; इसके बजाय, यह इन परिणामों का उपयोग यह स्थापित करने के लिए करता है कि इन विशिष्ट, संसाधन-सीमित स्थितियों के तहत कितनी जानकारी संभावित रूप से रिकवर की जा सकती है, इसका एक "लोअर बाउंड" (निचली सीमा) प्रदान करने के लिए। इसका मतलब यह नहीं था कि हमला एकदम सही था या डेटा सुरक्षित था, बल्कि इसने यह साबित किया कि PANOPTICON एक उपयोगी उपकरण है। इसने दिखाया कि एक छोटे, कम शक्तिशाली रोबोट के साथ भी, आप सटीक रूप से माप सकते हैं कि जब कोई प्रॉम्प्ट टाइप करता है तो कितनी निजी जानकारी जोखिम में हो सकती है, जिससे भविष्य के अधिक शक्तिशाली हमलों के लिए एक आधार रेखा (baseline) मिलती है।
पेपर यह दावा नहीं करता है कि उसने गोपनीयता की समस्या को हल कर दिया है या एक अभेद्य रोबोट बना दिया है। इसके बजाय, यह सुझाव देता है कि PANOPTICON इन विशिष्ट प्रकार के गोपनीयता लीक का अध्ययन करने के लिए पहला "बेंचमार्क" (मानक परीक्षण) है। यह शोधकर्ताओं को वास्तविक लोगों के रहस्यों को खतरे में डाले बिना, इन विशिष्ट प्रकार के गोपनीयता लीक का अध्ययन करने के लिए एक सुरक्षित, नियंत्रित तरीका प्रदान करता है। लेखक आशा करते हैं कि यह भविष्य में बेहतर सुरक्षा बनाने में मदद करेगा, यह सुनिश्चित करते हुए कि जब हम अपने AI दोस्तों से बात करें, तो हमारे रहस्य हमारे ही रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।