Privacy-Aware Split Inference with Speculative Decoding for Large Language Models over Wide-Area Networks
यह शोध पत्र वाइड-एरिया नेटवर्क पर लार्ज लैंग्वेज मॉडल्स के लिए एक प्राइवेसी-अवेयर स्प्लिट इन्फरेंस सिस्टम प्रस्तुत करता है जो रॉ टोकन्स को स्थानीय रखने के लिए एक एसिमेट्रिक लेयर स्प्लिट को स्पेकुलेटिव लुकअहेड डिकोडिंग के साथ जोड़ता है, जिससे टोकन-आइडेंटिकल आउटपुट, इनवर्जन हमलों के विरुद्ध ट्यूनेबल प्राइवेसी, और न्यूनतम स्थानीय VRAM आवश्यकताओं के साथ 12B पैरामीटर्स तक के मॉडल्स पर उच्च थ्रूपुट प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, शक्तिशाली रोबोट मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) है, जो क्लाउड में एक विशाल, सुरक्षित डेटा सेंटर में रहता है। आप इस मस्तिष्क का उपयोग ईमेल, कोड, या कानूनी दस्तावेज़ लिखने के लिए करना चाहते हैं, लेकिन आप एक ऐसे अत्यंत संवेदनशील क्षेत्र (जैसे स्वास्थ्य सेवा या कानून) में काम करते हैं जहाँ आप अपने कच्चे टेक्स्ट (raw text) को क्लाउड पर नहीं भेज सकते। यदि आप टेक्स्ट भेजते हैं, तो उसे चुराया या लीक किया जा सकता है।
आमतौर पर, आपके पास दो बुरे विकल्प होते हैं:
- टेक्स्ट को क्लाउड पर भेजें: तेज़ और शक्तिशाली, लेकिन गोपनीयता के लिए जोखिम भरा।
- अपने लैपटॉप पर मस्तिष्क को चलाएं: सुरक्षित, लेकिन आपका लैपटॉप सबसे स्मार्ट मॉडल्स को संभालने के लिए बहुत कमजोर है, इसलिए परिणाम साधारण होंगे।
यह पेपर एक चतुर तीसरा विकल्प प्रस्तुत करता है: एक "स्प्लिट ब्रेन" (विभाजित मस्तिष्क) प्रणाली, जो आपको क्लाм के शक्तिशाली मस्तिष्क का उपयोग करने देती है, लेकिन बिना आपके कच्चे शब्दों को क्लाउड पर भेजे।
यह कैसे काम करता है, सरल उपमाओं के माध्यम से यहाँ समझाया गया है:
1. "गुप्त हैंडशेक" (स्प्लिट इन्फरेंस)
कल्पना कीजिए कि आप अपने दोस्त के साथ "टेलीफोन" गेम खेल रहे हैं, लेकिन आप शुरुआती संदेश को गुप्त रखना चाहते हैं।
- पुराना तरीका: आप अपना पूरा संदेश अपने दोस्त के कान में फुसफुसाते हैं, जो फिर अगले व्यक्ति को फुसफुसाता है, और इसी तरह। यदि दोस्त अविश्वसनीय है, तो वह आपका रहस्य सुन लेता है।
- नया तरीका (स्प्लिट इन्फरेंस): आप संदेश के पहले कुछ कदम खुद लेते हैं। आप अपने गुप्त शब्दों को एक कोडेड, अमूर्त संकेत (abstract signal) में बदल देते हैं (जैसे "Apple" को एक विशिष्ट नीले रंग की छाया में बदलना)। आप क्लाउड को केवल वह नीला संकेत भेजते हैं। वे उस संकेत को प्रोसेस करते हैं, उसमें अपना जादू जोड़ते हैं, और बदले में एक अलग संकेत वापस भेजते हैं। आप अंतिम कुछ चरणों को पूरा करते हैं और अंतिम संकेत को वापस शब्दों में बदल देते हैं।
परिणाम: आपका दोस्त (क्लाउड) कभी भी "Apple" शब्द नहीं देख पाता। वह केवल एक तैरती हुई फ्लोटिंग पॉइंट संख्या (नीले रंग की एक छाया) देखता है। बिना उस "गुप्त डिकोडर रिंग" (एम्बेडिंग मैट्रिक्स) के जिसे आप अपने स्वयं के कंप्यूटर पर रखते हैं, वे मूल शब्द का पता नहीं लगा सकते।
2. "धीमे डाकिया" की समस्या (नेटवर्क लैग)
यहाँ एक पेंच है। हर बार जब आप क्लाउड को वह "नीला संकेत" भेजते हैं और उत्तर की प्रतीक्षा करते हैं, तो इसमें समय लगता है। इंटरनेट पर, इसे लैटेंसी (या पिंग) कहा जाता है।
- यदि आप एक संकेत भेजते हैं, प्रतीक्षा करते हैं, उत्तर प्राप्त करते हैं, और अगला संकेत भेजते हैं, तो आप इस बात से सीमित हैं कि डाकिया कितनी तेज़ी से दौड़ता है।
- वास्तविक दुनिया में, यह डाकिया धीमा है (प्रति यात्रा लगभग 80 मिलीसेकंड)। यदि आप एक बार में एक शब्द मांगते हैं, तो आप प्रति सेकंड केवल लगभग 8 शब्द ही प्राप्त कर सकते हैं। यह एक वास्तविक बातचीत के लिए बहुत धीमा है।
3. "क्रिस्टल बॉल" का कमाल (लुकअहेड डिकोडिंग)
यह इस पेपर का सबसे बड़ा नवाचार है। क्लाउड से एक बार में एक शब्द मांगने के बजाय, सिस्टम "लुकअहेड डिकोडिंग" नामक एक "क्रिस्टल बॉल" तकनीक का उपयोग करता है।
कल्पना कीजिए कि आप एक कहानी लिख रहे हैं। आप जानते हैं कि "The cat sat on the..." के बाद अगला शब्द लगभग निश्चित रूप से "mat" होगा।
- पुराना तरीका: आप क्लाउड से पूछते हैं, "अगला क्या है?" क्लाउड कहता है "mat।" आप पूछते हैं, "mat के बाद क्या है?" क्लाउड कहता है "।"
- नया तरीका (लुकअहेड): आप पैटर्न के आधार पर अगले 3 या 4 शब्दों का खुद अनुमान लगाते हैं ("...mat. The dog...")। आप अपना अनुमान क्लाउड को भेजते हैं। क्लाउड आपके अनुमान की जांच करता है।
- यदि आप सही थे (जो कोड या दोहराव वाले टेक्स्ट में अक्सर होता है), तो क्लाउड कहता है, "हाँ, आप सही हैं!" और आपको 1 यात्रा के बदले 3 शब्द मिलते हैं।
- यदि आप गलत थे, तो क्लाउड कहता है, "नहीं," और आप फिर से प्रयास करते हैं।
जादू: भले ही आप औसतन प्रति यात्रा केवल 1.3 शब्द ही सही पाते हैं, फिर भी आप पहले की तुलना में 40% तेज़ी से आगे बढ़ रहे हैं। आप "एमोर्टाइजिंग" (खर्चों को फैलाना) कर रहे हैं—यानी धीमे डाकिये की लागत को कई शब्दों पर फैला रहे हैं।
4. "गुप्त सुरंग" (इंजीनियरिंग)
लेखकों ने कुछ आश्चर्यजनक पाया: यह मायने नहीं रखता कि क्लाउड सर्वर भौतिक रूप से कितनी दूर है। मायने यह रखता है कि डाकिया पैकेज कैसे वितरित करता है।
- कुछ क्लाउड प्रदाता आपके डेटा को कई बिचौलों (जैसे प्रॉक्सी) के माध्यम से रूट करते हैं, जिससे यात्रा धीमी और उबड़-खाबड़ हो जाती है।
- अन्य आपको एक सीधा हाईवे (राजमार्ग) प्रदान करते हैं।
- पेपर दिखाता है कि एक विशेष "सुरंग" (SSH टनलिंग) बनाकर और सही प्रदाता चुनकर, आप सिस्टम को इतना तेज़ महसूस करा सकते हैं जैसे कि मस्तिष्क आपके अपने कंप्यूटर पर ही हो।
5. गोपनीयता की जाँच (क्या वे अभी भी अनुमान लगा सकते हैं?)
लेखकों ने परीक्षण किया कि क्या कोई हैकर "नीले संकेतों" को देखकर मूल शब्दों का अनुमान लगा सकता है।
- शैलो स्प्लिट (Shallow Split): यदि आप केवल 2 चरणों में गणित खुद करते हैं, तो एक हैकर आपके लगभग 59% शब्दों का अनुमान लगा सकता है।
- डीप स्प्लिट (Deep Split): यदि आप 8 चरणों में गणित खुद करते हैं, तो हैकर की सफलता घटकर 35% रह जाती है।
- ट्रेड-ऑफ (समझौता): अपने कंप्यूटर पर अधिक गणित करना आपको सुरक्षित बनाता है, लेकिन यह आपकी गति को थोड़ा धीमा कर देता है। लेखकों ने एक ऐसा "स्वीट स्पॉट" खोजा जहाँ आपको गति खोए बिना अच्छी गोपनीयता मिलती है।
सारांश: यह क्यों मायने रखता है
यह पेपर साबित करता है कि आपको गोपनीयता और शक्ति के बीच किसी एक को चुनने की आवश्यकता नहीं है।
- पहले: आपको स्मार्ट उत्तर प्राप्त करने के लिए अपने रहस्य क्लाउड को भेजने पड़ते थे, या एक साधारण स्थानीय मॉडल का उपयोग करना पड़ता था।
- अब: आप अपने रहस्य अपने स्वयं के डिवाइस पर रख सकते हैं, केवल अमूर्त "गणितीय संकेत" क्लाउड को भेज सकते हैं, और वास्तविक बातचीत करने के लिए तेज़ उत्तर पाने के लिए "क्रिस्टल बॉल" तकनीक का उपयोग कर सकते हैं।
यह "धीमे डाकिये" की समस्या को एक गैर-मुद्दा बना देता है, जिससे स्वास्थ्य सेवा, कानून और वित्त जैसे क्षेत्रों के संगठन अपने गोपनीय दस्तावेज़ों को सौंपे बिना दुनिया के सबसे स्मार्ट AI का उपयोग कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।