What Does the Server See? Understanding Privacy Leakage from Large Language Models in Split Inference
यह शोध पत्र ActInv को पेश करके लार्ज लैंग्वेज मॉडल्स के लिए स्प्लिट इन्फरेंस में महत्वपूर्ण गोपनीयता कमजोरियों को उजागर करता है, जो सामान्य सुरक्षा उपायों के बावजूद मध्यवर्ती एक्टिवेशन्स (intermediate activations) से क्लाइंट इनपुट्स को पुनर्गठित करता है, और लीकेज जोखिमों का व्यवस्थित रूप से विश्लेषण करने तथा उन्हें कम करने के लिए पर्टर्बेशन एम्प्लीफिकेशन फैक्टर (PAF) मीट्रिक और प्राइपर्ट (PriPert) डिफेंस का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "What Does the Server See?" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
बड़ी तस्वीर: "विभाजन" की दुविधा (The "Split" Dilemma)
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विशाल रोबोटिक मस्तिष्क (एक लार्ज लैंग्वेज मॉडल या LLM) है जो एक शक्तिशाली क्लाउड सर्वर में रहता है। आपके पास एक छोटा, कमजोर स्मार्टफोन है जो इस विशाल मस्तिष्क को अपने आप चलाने में सक्षम नहीं है।
इसे हल करने के लिए, आप स्प्लिट इन्फरेंस (Split Inference) का उपयोग करते हैं। इसे एक रिले रेस (दौड़) की तरह समझें:
- आप (क्लाइंट): आप दौड़ के पहले कुछ मीटर भागते हैं। आप अपने गुप्त सवाल (जैसे, "मेरे घुटने में क्या समस्या है?") को लेते हैं और उसे बस इतना प्रोसेस करते हैं कि एक "बैटन" (मध्यवर्ती डेटा/intermediate data) तैयार हो सके।
- सर्वर: आप वह बैटन विशाल रोबलेट को सौंप देते हैं। वह दौड़ का बाकी हिस्सा पूरा करता है, उत्तर निकालता है, और उसे वापस आपके पास भेज देता है।
विचार यह है कि कच्चे सवाल के बजाय केवल "बैटन" भेजने से, आप अपने रहस्यों को सुरक्षित रखते हैं। पेपर पूछता है: क्या वह बैटन वास्तव में सुरक्षित है, या सर्वर सिर्फ उसे देखकर आपका मन पढ़ सकता है?
हमला: "ActInv" (मन पढ़ने वाला)
शोधकर्ताओं ने पाया कि "बैटन" सुरक्षित नहीं है। उन्होंने ActInv नामक एक टूल बनाया है जो एक हाई-टेक जासूस की तरह काम करता है।
- उपमा: कल्पना कीजिए कि आप सर्वर को अपने चेहरे की एक धुंधली, बिखरी हुई फोटो भेजते हैं (मध्यवर्ती डेटा)। एक सामान्य व्यक्ति सोच सकता है, "मैं पहचान नहीं सकता कि यह कौन है।" लेकिन ActInv एक अत्यंत परिष्कृत AI की तरह है जो एक खाली कैनवास लेता है और चेहरा बनाना शुरू कर देता है। यह पेंटिंग को तब तक एडजस्ट करता रहता है जब तक कि उसके द्वारा बनाई गई धुंधली फोटो आपके द्वारा भेजे गए बिखरे हुए फोटो से पूरी तरह मेल न खा जाए। एक बार मेल हो जाने पर, वह ठीक जानता है कि आपका मूल चेहरा (आपका गुप्त सवाल) कैसा दिखता था।
- परिणाम: पेपर दिखाता है कि ActInv डरावनी हद तक कुशल है। यह आपके मूल सवाल को 98% से अधिक सटीकता के साथ फिर से बना (reconstruct) सकता है, भले ही आप डेटा में 'स्टैटिक नॉइज़' या धुंधलापन जोड़कर इसे छिपाने की कोशिश करें। यह बर्फ के तूफान में संदेश छिपाने जैसा है, लेकिन जासूस के पास एक थर्मल कैमरा है जो बर्फ के पार भी देख सकता है।
ऐसा क्यों होता है? ("कमजोर कड़ी")
शोधकर्ता जानना चाहते थे कि सर्वर इतनी आसानी से मन कैसे पढ़ लेता है। उन्होंने PAF (पर्टर्बेशन एम्प्लीफिकेशन फैक्टर) नामक एक मीट्रिक का आविष्कार किया।
- उपमा: AI मॉडल को कई कमरों (लेयर्स) वाली एक लंबी सुरंग के रूप में सोचें। कुछ कमरे मोटी, साउंडप्रूफ कंक्रीट से बने होते हैं (उच्च PAF)। यदि आप वहां फुसफुसाते हैं, तो आपकी आवाज़ खत्म हो जाती है, और अंत में खड़ा व्यक्ति आपको नहीं सुन पाता। अन्य कमरे पतले कांच या एम्पलीफायर से बने होते हैं (कम PAF)। यदि आप वहां फुसफुसाते हैं, तो अंत तक पहुँचते-पहुँचते आपकी आवाज़ और तेज़ और स्पष्ट हो जाती है।
- खोज: उन्होंने पाया कि "कांच के कमरे" (विशेष रूप से वे एक्टिवेशन लेयर्स जहाँ AI निर्णय लेता है) आश्चर्यजनक रूप से कमजोर हैं। वे जानकारी को बिखेरते नहीं हैं; बल्कि, वे जासूस को मूल इनपुट को फिर से बनाने में मदद करते हैं। भले ही इन लेयर्स को AI को "स्मार्ट" बनाने के लिए बनाया गया हो, लेकिन वे अनजाने में "लीकी" (जानकारी लीक करने वाले) बन जाते हैं।
विफल बचाव (The Failed Defenses)
इस पेपर से पहले, लोगों को लगता था कि "नॉइज़" (जैसे रेडियो पर आने वाली खरखराहट) जोड़ना या "स्पर्सिफाइंग" (कुछ डेटा पॉइंट्स को छिपाना) जासूस को रोक देगा।
- वास्तविकता: पेपर दिखाता है कि ये बचाव एक तूफान को छाते से रोकने की कोशिश करने जैसा है। जासूस (ActInv) इतना स्मार्ट है कि वह शोर को फिल्टर कर सकता है और फिर भी मूल संदेश देख सकता है। इन तरीकों से इसे रोकने का एकमात्र तरीका इतना अधिक शोर जोड़ना है कि AI काम करना ही बंद कर दे, जिससे सेवा सभी के लिए खराब हो जाएगी।
समाधान: "PriPert" (स्मार्ट ढाल)
चूंकि साधारण शोर काम नहीं करता, इसलिए शोधकर्ताओं ने एक नया बचाव डिज़ाइन किया जिसे PriPert कहा जाता है।
- उपमा: जासूस की आँखों में रैंडम रेत फेंकने के बजाय, PriPert एक मार्शल आर्टिस्ट की तरह है जो जानता है कि सटीक प्रहार कहाँ करना है। यह डेटा में सबसे संवेदनशील दिशा की गणना करता है।
- कल्पना कीजिए कि डेटा एक गुब्बारे की तरह है। यदि आप इसे बेतरतीब ढंग से चुभाते हैं, तो यह शायद केवल डगमगाएगा। लेकिन यदि आप इसे उस सटीक स्थान पर चुभाते हैं जहाँ यह सबसे नाजुक है, तो यह फट जाएगा।
- PriPert डेटा के उस "नाजुक स्थान" को ढूंढता है और एक छोटा, लक्षित धक्का (push) देता है। यह जासूस के पुनर्निर्माण (reconstruction) को पटरी से उतार देता है, जिससे वह गलत सवाल का अनुमान लगाता है, जबकि गुब्बारा (AI का उत्तर) अभी भी इतना सुरक्षित रहता है कि वह उपयोगी बना रहे।
- परिणाम: PriPert पुराने तरीकों की तुलना में बहुत बेहतर है। यह जासूस को भ्रमित करने में सफल होता है, जिससे मूल सवाल का अनुमान लगाना असंभव हो जाता है, जबकि यह AI को एक उपयोगी उत्तर देने में सक्षम रहने देता है।
निष्कर्ष (Summary of Findings)
- जोखिम: स्प्लिट इन्फरेंस (सर्वर को आंशिक डेटा भेजना) वर्तमान में बहुत असुरक्षित है। एक जिज्ञासु सर्वर आपके निजी सवालों को आसानी से दोबारा बना सकता है।
- कारण: AI मॉडल के कुछ हिस्से एम्पलीफायर की तरह काम करते हैं, जिससे इनपुट को रिवर्स-इंजीनियर करना आसान हो जाता है।
- समाधान: साधारण शोर काम नहीं करता। आपको स्मार्ट, लक्षित शोर (PriPert) की आवश्यकता है जो विशेष रूप से मॉडल के कमजोर बिंदुओं को निशाना बनाता है ताकि AI की उत्तर देने की क्षमता को खराब किए बिना पुनर्निर्माण को तोड़ा जा सके।
संक्षेप में: यदि आप आज स्प्लिट इन्फरेंस का उपयोग कर रहे हैं, तो आपके रहस्य सर्वर के लिए दिखाई देने योग्य हैं। लेकिन हमारे पास उन्हें छिपाने का एक नया, स्मार्ट तरीका है जो सिस्टम को खराब नहीं करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।