Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models
यह शोध पत्र यह तर्क देता है कि ROC-AUC जैसे समग्र सदस्यता अनुमान मेट्रिक्स (aggregate membership inference metrics), ब्लैक-बॉक्स लैंग्वेज मॉडल्स से वर्बेटिम (verbatim) प्रशिक्षण-डेटा निष्कर्षण के गंभीर, क्षमता-निर्भर जोखिम को छिपाते हैं, यह प्रदर्शित करते हुए कि पहचानकर्ताओं या कोड वाले विशिष्ट दस्तावेज़ ब्लाइंड बेसलाइन या डीडुप्लिकेशन के बावजूद बार-बार लीक होते हैं, और "leakit" टूल के माध्यम से एक प्रति-दस्तावेज़ संभाव्य ऑडिट ढांचे (per-document probabilistic audit framework) का प्रस्ताव करता है ताकि इस गोपनीयता हानि को सटीक रूप से मापा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक विशाल, रहस्यमय केक बनाने के लिए एक विशिष्ट, गुप्त रेसिपी का उपयोग किया गया था। आप रसोई को देख नहीं सकते, और आप बेकर से सामग्री की सूची नहीं मांग सकते। आप केवल इतना कर सकते हैं कि पहले मिले एक छोटे से टुकड़े के आधार पर बेकर से केक के कुछ और स्लाइस बनाने के लिए कहें। यदि बेकर हर बार पूछने पर वही सटीक गुप्त सामग्री सूची देता रहता है, तो आप अनुमान लगा सकते हैं कि वह विशिष्ट रेसिपी वास्तव में उसकी याददाश्त में थी। यह "लैंग्वेज मॉडल्स" (Language Models) की दुनिया है—अति-बुद्धिमान कंप्यूटर प्रोग्राम जो इंटरनेट से भारी मात्रा में टेक्स्ट पढ़कर सीखते हैं। वे उन बेकर्स की तरह हैं, लेकिन केक के बजाय, वे वाक्य में अगले शब्द की भविष्यवाणी करते हैं।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या ये डिजिटल बेकर्स उन विशिष्ट किताबों को याद रखते हैं जिन्हें उन्होंने "खाया" (पढ़ा) है? इसे "मेंबरशिप इन्फरेंस" (Membership Inference) कहा जाता है। यदि कोई मॉडल किसी विशिष्ट दस्तावेज़ को याद रखता है, तो वह अनजाने में निजी विवरण उगल सकता है, जैसे कि किसी व्यक्ति का ईमेल पता या फ़ोन नंबर, जो उस दस्तावेज़ के भीतर छिपे हुए थे। लंबे समय तक, शोधकर्ताओं ने इसे मापने के लिए उनके परीक्षणों के "औसत" प्रदर्शन को देखने की कोशिश की। वे कहेंगे, "हे, हमारा परीक्षण 90% सटीक है!" लेकिन बिल्कुल एक मौसम पूर्वानुमान की तरह जो कहता है कि "ज्यादातर धूप खिली रहेगी" लेकिन अचानक आने वाले खतरनाक तूफान को मिस कर जाता है, ये औसत स्कोर इस तथ्य को छिपा सकते हैं कि मॉडल कुछ बदकिस्मत लोगों के लिए खतरनाक राज लीक कर रहा है।
"LEAK IT" नामक यह शोध पत्र, इन डिजिटल लीक्स (लीक होने) को पकड़ने के हमारे तरीके पर एक नया दृष्टिकोण प्रस्तुत करता है। लेखक, विक्टर मारिकाटो के नेतृत्व में, यह तर्क देते हैं कि गोपनीयता को मापने का पुराना तरीका भ्रामक है। उन्होंने पाया कि कई "स्मार्ट" परीक्षण, जो यह दावा करते थे कि कोई दस्तावेज़ प्रशिक्षण डेटा (training data) में शामिल था या नहीं, वास्तव में केवल टेक्स्ट की शैली के आधार पर अनुमान लगा रहे थे, न कि मॉडल की याददाश्त के आधार पर। यह केक के गुप्त नुस्खे का अनुमान लगाने के लिए उसके फ्रॉस्टिंग के रंग को देखने जैसा है, जबकि फ्रॉस्टिंग का रंग वास्तव में केवल एक संयोग है।
हालाँकि, शोध पत्र एक अधिक खतरनाक सच्चाई प्रकट करता है: जबकि "औसत" परीक्षण हानिरहित लग सकता है, मॉडल वास्तव में लीक कर रहा है, लेकिन केवल दस्तावेजों के एक बहुत ही विशिष्ट, छोटे समूह के लिए। शोधकर्ता ने पाया कि यदि आप मॉडल को कोड के टुकड़े या किसी ऐसे दस्तावेज़ से एक वाक्य पूरा करने के लिए कहते हैं जिसमें वास्तविक ईमेल पता हो, तो वह कभी-कभी उस सटीक, निजी जानकारी को हूबहू उगल देता है। यह बिल्कुल वैसा ही है जैसे, जब बेकर से किसी विशिष्ट, दुर्लभ मसाले के बारे में एक वाक्य पूरा करने के लिए कहा जाए, तो वह अचानक उस मसाले के सटीक ब्रांड और बैच नंबर को चिल्लाकर बता दे, भले ही वह आटे जैसी सामान्य सामग्री के लिए ऐसा न करे।
अध्ययन दिखाता है कि यह "वर्बेटिम एक्सट्रैक्शन" (हूबहू जानकारी निकालना) जैसे-जैसे मॉडल बड़े होते जाते हैं, वैसे-वैसे बदतर होता जाता है। 6.9 बिलियन पैरामीटर्स वाले मॉडल के लिए, वास्तविक पहचानकर्ताओं (जैसे ईमेल या फोन नंबर) वाले लगभग 16.6% दस्तावेज़ इस तरह से लीक हो गए थे। आश्चर्यजनक रूप से, लेखक ने पाया कि प्रशिक्षण डेटा से डुप्लिकेट टेक्स्ट को हटाना (जो एक सामान्य सुरक्षा कदम है) भी इसे रोकने में वास्तव में सफल नहीं रहा। उन्होंने यह भी दिखाया कि यह जोखिम समान रूप से वितरित नहीं है; यह सामान्य कहानियों या लेखों की तुलना में कंप्यूटर कोड के लिए बहुत अधिक है।
मुख्य निष्कर्ष यह है कि हमें "औसत" गोपनीयता स्कोर को देखना बंद करना चाहिए और इन विशिष्ट, उच्च-जोखिम वाले लीक्स की जांच शुरू करनी चाहिए। लेखक ने एक नया टूल "leakit" जारी किया है ताकि ऑडिटर्स उन सटीक क्षणों को ढूंढ सकें जहाँ मॉडल अनजाने में कोई निजी रहस्य प्रकट कर सकता है। वे सुझाव देते हैं कि केवल यह कहने के बजाय कि "मॉडल ज्यादातर सुरक्षित है," हमें यह स्वीकार करना चाहिए कि कुछ विशिष्ट दस्तावेजों के लिए, मॉडल एक बहुत ही प्रभावी मेमोरी लीक है, और हमें मजबूत सुरक्षा की आवश्यकता है, जैसे कि "डिफरेंशियल प्राइवेसी" (differential privacy) नामक एक विशेष गोपनीयता कवच।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।