Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models
यह शोध पत्र लार्ज लैंग्वेज मॉडल इन्फरेंस के लिए एक गोपनीयता-केंद्रित एज-क्लाउड सहयोगात्मक ढांचे का प्रस्ताव करता है जो विषम उपकरणों (heterogeneous devices) में उपयोगकर्ता की गोपनीयता को बनाए रखते हुए विलंबता (latency) और बैंडविड्थ के उपयोग को महत्वपूर्ण रूप से कम करने के लिए एंडपॉइंट-प्रमाणित KV कैश और एन्क्रिप्टेड डेटा ट्रांसमिशन का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है जो कहानियाँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और इंसान की तरह चैट कर सकता है। इसे हम 'लार्ज लैंग्वेज मॉडल' (LLM) कहते हैं। लेकिन यहाँ एक पेंच है: ये दिमाग इतने विशाल और बिजली के भूखे होते हैं कि वे आमतौर पर आपके फोन या लैपटॉप में फिट नहीं हो पाते। वे क्लाउड में स्थित विशाल, शक्तिशाली कंप्यूटरों में रहते हैं। इसलिए, जब आप अपने फोन से कोई सवाल पूछते हैं, तो उसे इंटरनेट के माध्यम से क्लाउड तक अपना सवाल चिल्लाकर भेजना पड़ता है, फिर उस विशाल दिमाग के सोचने का इंतज़ार करना पड़ता है, और फिर जवाब सुनने के लिए वापस सुनना पड़ता है। यह बहुत अच्छा काम करता है, लेकिन इसकी दो बड़ी समस्याएँ हैं। पहली, यह धीमा है क्योंकि इधर-उधर चिल्लाने में समय लगता है। दूसरी, यह जोखिम भरा है क्योंकि आपको क्लाउड को अपने गुप्त विचार, अपना निजी इतिहास और अपने सटीक शब्द बताने पड़ते हैं। यह अपनी डायरी की एंट्री किसी अजनबी को भेजने जैसा है ताकि बदले में एक जवाब मिल सके।
इसे ठीक करने के लिए, वैज्ञानिकों ने काम को विभाजित करने की कोशिश की: आपका फोन आसान हिस्से करे और कठिन हिस्से क्लाउड को भेज दे। लेकिन वह भी पेचीदा है। यदि आप बहुत अधिक डेटा भेजते हैं, तो यह धीमा हो जाता है। यदि आप बहुत कम भेजते हैं, तो क्लाउड भ्रमित हो जाता है। और यदि आप अपने कच्चे विचार (raw thoughts) भेजते हैं, तो आपकी गोपनीयता अभी भी जोखिम में रहती है। यह शोध पत्र आपके डेटा के साथ "लुका-छिपी" खेलने का एक नया तरीका बताता है। यह एक चतुर साझेदारी का प्रस्ताव देता है जहाँ आपका डिवाइस और क्लाउड एक जासूस और एक लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह मिलकर काम करते हैं। डिवाइस सबसे संवेदनशील सुरागों (जैसे आपका निजी इतिहास और विशिष्ट शब्दावली) को छिपा कर रखता है, जबकि क्लाउड किताबों को पढ़ने का भारी काम करता है। लक्ष्य यह है कि रोबोट दिमाग आपके साथ तुरंत चैट करने के लिए पर्याप्त तेज़ हो, लेकिन इतना निजी भी हो कि क्लाउड कभी भी आपके कच्चे रहस्य न देख सके।
जासूस और लाइब्रेरियन: AI के साथ चैट करने का एक नया तरीका
तो, यह नया सिस्टम वास्तव में कैसे काम करता है? इस पेपर के लेखक, कुनलुनमेटा (KunlunMeta) के यी ली, चेन ली और जिएक्सिओंग लियू ने एक ढांचा बनाया है जिसे वे "एज-क्लाउड कोलाबोरेटिव इन्फरेंस" (edge–cloud collaborative inference) कहते हैं। इसे "टेलीफोन" के एक उच्च-दांव वाले खेल के रूप में समझें जहाँ आप एक भीड़ भरे कमरे में संदेश भेजना चाहते हैं, लेकिन आप नहीं चाहते कि बीच वाला व्यक्ति (क्लाउड) यह जाने कि संदेश किस बारे में है, और आप यह भी नहीं चाहते कि वे उसे दोहराने में बहुत अधिक समय लें।
इस नए सेटअप में, आपका डिवाइस ("एज") एक स्मार्ट जासूस की तरह काम करता है, और क्लाउड एक विशाल, शक्तिशाली लाइब्रेरियन की तरह काम करता है। यहाँ जादू का कमाल है:
1. जासूस अपना होमवर्क करता है (निजता सर्वोपरि)
अपने कच्चे सवाल को क्लाउड तक चिल्लाने के बजाय, आपका डिवाइस पहले कुछ होमवर्क करता है। यह आपके शब्दों को एक गुप्त कोड (जिसे "एम्बेडिंग्स" कहा जाता है) में बदल देता है और यह तय करता है कि आपकी पिछली बातचीत का कितना हिस्सा क्लाउड देख सकता है। यह बिल्कुल वैसा ही है जैसे जासूस लाइब्रेरियन को केवल उन किताबों की सूची सौंपता है जिन्हें लाइब्रेरियन देखने की अनुमति है, बिना कभी जासूस के वास्तविक केस नोट्स बताए। डिवाइस एक विशेष "ड्राफ्ट" भी रखता है कि उसे क्या लगता है कि उत्तर क्या हो सकता है। इसे "स्पेक्टेटिव डिकोडिंग" (speculative decoding) कहा जाता है। यह जासूस द्वारा कहानी के अगले वाक्य का अनुमान लगाने जैसा है, इससे पहले कि लाइब्रेरियन वर्तमान पृष्ठ को पढ़ना भी समाप्त करे।
2. लाइब्रेरियन भारी काम करता है (लेकिन केवल आवश्यकतानुसार)
क्लाउड इस गुप्त कोड और "अनुमति पर्ची" (कैश ऑथोराइजेशन) को प्राप्त करता है। वह आपके कच्चे शब्द नहीं देखता; वह केवल गणित देखता है। वह अपने सुपर-पावरफुल दिमाग का उपयोग अधिकृत इतिहास को पढ़ने और सोचने के कठिन हिस्सों को प्रोसेस करने के लिए करता है। महत्वपूर्ण बात यह है कि क्लाउड एक ही बार में पूरा उत्तर नहीं निकालता है। वह केवल उत्तर का वह हिस्सा निकालता है जो जासूस ने पहले से अनुमान नहीं लगाया था। इसे "स्प्लिट वोकैबुलरी प्रोजेक्शन" (split vocabulary projection) कहा जाता है। कल्पना कीजिए कि क्लाउड को केवल वाक्य के अंतिम कुछ शब्द लिखने होते हैं, जबकि आपका डिवाइस अपने स्थानीय ज्ञान के आधार पर बाकी हिस्सा भरता है।
3. हैंडशेक (तेज़ और सुरक्षित)
एक बार जब क्लाउड अपना हिस्सा पूरा कर लेता है, तो वह आपके डिवाइस को उत्तर का एक छोटा, एन्क्रिप्टेड हिस्सा भेजता है। आपका डिवाइस फिर अपने अनुमान को क्लाउड के हिस्से के साथ जोड़कर अंतिम उत्तर बनाता है। क्योंकि वे मिलकर काम कर रहे हैं, उन्हें अगला शब्द लिखने से पहले पूरे वाक्य के पूरा होने का इंतज़ार नहीं करना पड़ता। वे समानांतर (parallel) में काम कर सकते हैं और अपने काम की जाँच कर सकते हैं। चीजों को सुरक्षित रखने के लिए, उनके बीच उड़ने वाला सारा डेटा एक विशेष लॉक (AES-GCM एन्क्रिप्शन) के साथ उलझा हुआ होता है, ताकि यदि कोई हैकर सुन भी रहा हो, तो उसे केवल बड़बड़ाहट (gibberish) ही सुनाई दे।
परिणाम: तेज़, छोटा और सुरक्षित
शोधकर्ताओं ने इस प्रणाली का एक प्रोटोटाइप बनाया और विभिन्न प्रकार के उपकरणों पर इसका परीक्षण किया: एक मानक कंप्यूटर जिसमें केवल CPU है (जैसे एक बुनियादी ऑफिस पीसी), एक शक्तिशाली कंप्यूटर जिसमें ग्राफिक्स कार्ड (GPU) है, और एक छोटा एम्बेडेड डिवाइस (जैसे एक स्मार्ट थर्मोस्टेट या कार कंप्यूटर)।
उन्होंने पाया कि यह जासूस-और-लाइब्रेरियन टीम पुराने तरीकों की तुलना में काफी तेज़ है।
- गति: एक "नेइव" (naive) स्प्लिट सिस्टम (जहाँ वे बिना किसी फैंसी प्राइवेसी ट्रिक के मॉडल को आधा कर देते हैं) की तुलना में, इस नए तरीके ने GPU उपकरणों पर प्रत्येक शब्द उत्पन्न करने में लगने वाले समय को 46.1% तक कम कर दिया। एक मानक CPU पर, यह अभी भी 29.4% तेज़ था।
- डेटा बचत: क्योंकि वे केवल उत्तर के उन हिस्सों को भेजते हैं जो सख्त रूप से आवश्यक हैं, क्लाउड से वापस भेजे जाने वाले डेटा की मात्रा अंग्रेजी (जो शब्दों के छोटे उपसमुच्चय का उपयोग करती है) में 67.4% तक गिर गई।
- गुणवत्ता: सबसे महत्वपूर्ण बात यह है कि उत्तर अभी भी उतने ही अच्छे हैं। सिस्टम ने ऐसे उत्तर दिए जो उस पूर्ण क्लाउड मॉडल के समान थे जो अकेले काम कर रहा होता, और वे 98.6% समान थे। मामूली अंतर मुख्य रूप से छोटे उपकरणों पर फिट होने के लिए गणित को थोड़ा सरल बनाने के कारण था।
यह सिस्टम क्या नहीं है
यह समझना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं कर रहा है। लेखक स्पष्ट रूप से कहते हैं कि यह कोई जादुई ढाल नहीं है जो क्लाउड को पूरी तरह से अंधा बना देती है। क्लाउड अभी भी "फीचर टेंसर" (गुप्त कोड) और "ड्राफ्ट टोकन" (अनुमान) देखता है। यदि कोई बहुत चतुर हैकर, जिसके पास बहुत अधिक अतिरिक्त ज्ञान है, गुप्त कोड को रिवर्स-इंजीनियर करने की कोशिश करता है, तो वह आपके इनपुट के बारे में कुछ सीख सकता है। पेपर स्पष्ट रूप से कहता है कि यह "डिफरेंशियल प्राइवेसी" (एक सख्त गणितीय परिभाषा) की औपचारिक गारंटी नहीं है। इसके बजाय, यह सुरक्षा की एक व्यावहारिक, सिस्टम-स्तरीय परत प्रदान करता है। यह क्लाउड के लिए आपके कच्चे डायरी को देखना बहुत कठिन बना देता है, लेकिन यह डायरी को एक सुपर-डिटेक्टिव के सामने अदृश्य नहीं बनाता।
साथ ही, पेपर इस विचार को खारिज करता है कि आप अपने फोन पर ही पूरा विशाल दिमाग चला सकते हैं। अधिकांश उपभोक्ता उपकरणों के लिए, गणित अभी भी बहुत भारी है। "एंडपॉइंट-ओनली" समाधान (जहाँ फोन सब कुछ करता है) तुलनात्मक दृष्टिकोण की तुलना में बहुत धीमा था और कम गुणवत्ता वाले उत्तर देता था।
यह क्यों मायने रखता है
यह पेपर सुझाव देता है कि हमें एक तेज़, स्मार्ट AI और एक निजी AI के बीच चुनाव करने की आवश्यकता नहीं है। डिवाइस और क्लाउड को एक ऐसी टीम के रूप में मानकर जहाँ डिवाइस बातचीत के सबसे संवेदनशील हिस्सों की चाबियाँ अपने पास रखता है, हम दोनों दुनिया का सर्वश्रेष्ठ प्राप्त कर सकते हैं। यह सिस्टम आपके पास मौजूद डिवाइस के अनुसार खुद को ढाल लेता है, चाहे वह एक शक्तिशाली गेमिंग पीसी हो या आपकी कार में लगा एक छोटा चिप, जिससे निजी, तेज़ AI चैट एक वास्तविक संभावना बन जाती है। लेखकों ने इन परिणामों को एक नियंत्रित लैब सेटिंग में मापा है, और हालांकि संख्याएँ आशाजनक दिखती हैं, असली परीक्षण यह होगा कि यह वास्तविक, अनिश्चित दुनिया में कितनी अच्छी तरह टिक पाता है। लेकिन फिलहाल, यह एक स्मार्ट सहायक होने की दिशा में एक बड़ा कदम है जो आपके रहस्यों का सम्मान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।