Mind the Hook: Source-Level Auditing of Privacy Defenses in Retrieval-Augmented Generation
यह शोध पत्र एक सक्रिय-पथ ऑडिटिंग पद्धति प्रस्तावित करता है जो गोपनीयता सुरक्षा उपायों को उनके विशिष्ट स्रोत-स्तरीय पाइपलाइन हुक्स तक ट्रैक करती है, जिससे यह स्पष्ट होता है कि जहाँ DP-शैली की सुरक्षा उपाय पुनर्प्राप्ति स्कोर (retrieval scores) को संशोधित करते हैं लेकिन उत्पन्न टेक्स्ट को प्रभावी ढंग से सुरक्षित करने में विफल रहते हैं, वहीं एंड-टू-एंड LPRAG सुरक्षा उपाय जनरेशन चरण में हस्तक्षेप करके डेटा रिसाव को सफलतापूर्वक रोकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल चैट नहीं करते; उनके पास एक सुपरपावर है जिसे "रिट्रीवल-ऑगमेंटेड जनरेशन" (RAG) कहा जाता है। RAG को एक बहुत ही बुद्धिमान छात्र के रूप में सोचें जो एक खुली किताब वाली परीक्षा दे रहा है। केवल अपने मस्तिष्क में मौजूद जानकारी पर निर्भर रहने के बजाय, वे आपके प्रश्नों का उत्तर देने के लिए सटीक तथ्यों को खोजने के लिए दस्तावेजों के एक विशाल पुस्तकालय को तेज़ी से पलट सकते हैं। यह उन्हें अविश्वसनीय रूप से सहायक बनाता है, लेकिन यह एक छिपी हुई गोपनीयता समस्या भी पैदा करता है। यदि पुस्तकालय में गुप्त जानकारी है—जैसे कि किसी सीईओ का निजी ईमेल या किसी मरीज का मेडिकल इतिहास—तो छात्र अनजाने में उसे ज़ोर से बोल सकता है, जिससे वे रहस्य उजागर हो सकते हैं जिन्हें उन्हें साझा नहीं करना चाहिए था।
इसे रोकने के लिए, वैज्ञानिकों ने "प्राइवेसी डिफेंस" (गोपनीयता रक्षा) बनाए हैं। ये सुरक्षा गार्डों या फिल्टरों की तरह हैं जिन्हें बोलने से पहले रहस्यों को साफ करने के लिए डिज़ाइन किया गया है। लेकिन पेचीदा बात यह है कि हमें कैसे पता चलेगा कि गार्ड वास्तव में अपना काम कर रहा है? अतीत में, शोधकर्ता केवल पूछते थे, "क्या छात्र ने कम रहस्य प्रकट किए?" और उत्तर को सीधे सच मान लेते थे। उन्होंने पूरे सिस्टम को एक 'ब्लैक बॉक्स' की तरह माना, जो केवल अंतिम आउटपुट को देखता था। लेकिन क्या होगा अगर सुरक्षा गार्ड वास्तव में डेस्क पर सो रहा है, या केवल पुस्तकालय के दरवाजे की जांच कर रहा है और छात्र के मुंह को अनदेखा कर रहा है? यदि हम मशीन के अंदर नहीं देखते हैं, तो हम सोचते रह सकते हैं कि हम सुरक्षित हैं जबकि हम पूरी तरह खुले हुए हैं। यह वह पहेली थी जिसे शोधकर्ताओं की एक टीम ने हल करने का प्रयास किया: वे यह देखना चाहते थे कि ये गोपनीयता रक्षा तंत्र कहाँ और कैसे काम कर रहे हैं (या विफल हो रहे हैं)।
शोधकर्ताओं, यानहांग ली, झिचो फैन और ज़ेक्सिन ज़ुआंग ने अनुमान लगाना बंद करने और ऑडिट करना शुरू करने का निर्णय लिया। केवल अंतिम उत्तर को देखने के बजाय, उन्होंने एक विधि का आविष्कार किया जिसे "एक्टिव-पाथ ऑडिट" (सक्रिय-पथ ऑडिट) कहा जाता है। कल्पना कीजिए कि आप एक जादूगर के खेल की जांच करने वाले जासूस हैं। आप केवल यह नहीं देखते कि जादूगर टोपी से खरगोश निकालता है; आप टोपी, आस्तीन और मंच की जांच करते हैं ताकि यह देख सकें कि खरगोश वास्तव में कहाँ से आया था। टीम ने एक विशिष्ट कंप्यूटर सेटअप पर चल रहे छह अलग-अलग गोपनीयता रक्षा "स्क्रिप्ट्स" पर इस जासूसी कार्य को लागू किया। उन्होंने डेटा के मार्ग का पता लगाया यह देखने के लिए कि प्रक्रिया का कौन सा हिस्सा रक्षा को छू रहा था: क्या वह पुस्तकालय खोज परिणामों को बदल रहा था? क्या वह उस टेक्स्ट को फिर से लिख रहा था जो कंप्यूटर ने पाया था? या क्या वह बोलने से पहले अंतिम उत्तर को वास्तव में साफ कर रहा था?
उन्होंने जो पाया वह कुछ ऐसा था जैसे यह पता चलना कि उनके द्वारा नियुक्त किए गए छह में से तीन सुरक्षा गार्ड वास्तव में पुतले थे। उन्होंने पाया कि तीन गोपनीयता रक्षाएं (जो "डिफरेंशियल प्राइवेसी" पर आधारित थीं) केवल पुस्तकालय में खोज परिणामों को संशोधित कर रही थीं। वे प्रभावी रूप से कह रहे थे, "मैं गोपनीयता की रक्षा कर रहा हूँ!" क्योंकि वे कंप्यूटर को कौन सी किताबें देखनी चाहिए, इसे बदलकर, लेकिन फिर उनके कोड में एक "TODO" नोट था जिसमें लिखा था, "अंतिम उत्तर को न बदलें।" क्योंकि उन्होंने अंतिम टेक्स्ट को नहीं छुआ, कंप्यूटर अभी भी विशिष्ट नामों और विवरणों के बारे में उगल देता था, भले ही खोज परिणाम अलग दिखते थे। शोधकर्ताओं ने एक सख्त नामों और ईमेल की गिनती का उपयोग करके इसे मापा, जिससे पता चला कि जबकि इन रक्षाओं ने एक प्रकार के जोखिम स्कोर को कम किया, उन्होंने वास्तव में बातचीत में रहस्यों के लीक होने को रोकने के लिए कुछ भी नहीं किया।
हालाँकि, सभी गार्ड सो नहीं रहे थे। एक रक्षा, जिसे LPRAG कहा जाता था, एक वास्तविक सुपरहीरो था। इसने केवल खोज को नहीं बदला; इसने अंतिम उत्तर में गुप्त नामों को नकली नामों से सक्रिय रूप से बदल दिया। यह साबित करने के लिए कि यह केवल एक इत्तेफाक या स्कोरिंग सिस्टम की चाल नहीं थी, शोधकर्ताओं ने एक चतुर "कैनरी" परीक्षण का उपयोग किया। उन्होंने पुस्तकालय में 150 अद्वितीय, काल्पनिक ईमेल पते लगाए जिन्हें कोई भी रक्षा पहचान नहीं जानी चाहिए थी। जब कंप्यूटर बिना किसी रक्षा के चला, तो इसने 53 ऐसे नकली ईमेल लीक किए। लेकिन जब LPRB सक्रिय था? इसने शून्य लीक किए। गणित ने दिखाया कि यह केवल भाग्य नहीं था; यह एक ठोस, एंड-टू-एंड सुरक्षा थी।
अध्ययन ने कुछ अन्य विचित्रताओं पर भी प्रकाश डाला। एक रक्षा जिसने "रेजेक्स" (एक पैटर्न-मैचिंग टूल) का उपयोग किया था, वह ईमेल पते को रोकने में बहुत अच्छा था लेकिन लोगों के नाम लीक होने से रोकने में पूरी तरह विफल रहा। यह एक बाउंसर की तरह था जो आईडी की जांच करता है लेकिन टोपी पहने हर व्यक्ति को अंदर आने देता है। शोधकर्ताओं ने सावधानीपूर्वक बताया कि ये निष्कर्ष परीक्षण किए गए विशिष्ट कंप्यूटर सेटअप और कोड के लिए विशिष्ट हैं। वे यह नहीं कह रहे हैं कि ये गोपनीयता विधियाँ हमेशा के लिए बेकार हैं, बल्कि वे यह कह रहे हैं कि यदि आप यह नहीं देखते कि कोड वास्तव में कहाँ काम कर रहा है, तो आप यह सोचकर धोखा खा सकते हैं कि आप सुरक्षित हैं जबकि आप नहीं हैं।
अंत में, इस पेपर का सबसे बड़ा सबक सरल लेकिन महत्वपूर्ण है: किसी गोपनीयता कवच पर भरोसा करने से पहले, खुद से पूछें, "यह वास्तव में कहाँ कार्य कर रहा है?" यदि कोई रक्षा केवल खोज को बदलती है लेकिन अंतिम उत्तर को अछूता छोड़ देती है, तो यह सामने का दरवाजा लॉक करने और पीछे की खिड़की खुली छोड़ने जैसा है। शोधकर्ताओं ने दिखाया कि कोड के स्रोत को देखकर और सक्रिय पथों का पता लगाकर, हम इन "मौन विफलताओं" को पकड़ सकते हैं जिन्हें एक साधारण ब्लैक-बॉक्स परीक्षण मिस कर देगा। उनका काम यह रैंक नहीं करता है कि कौन सी रक्षा सभी के लिए सबसे अच्छी है, बल्कि यह हमें एक नया, अधिक सटीक आवर्धक लेंस देता है ताकि हम यह सुनिश्चित कर सकें कि जो रक्षाएं हम बना रहे हैं वे वास्तव में वही करती हैं जो वे वादा करती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।