AEGIS: Scaling Long-Sequence Homomorphic Encrypted Transformer Inference via Hybrid Parallelism on Multi-GPU Systems
AEGIS एक हाइब्रिड पैरेललिज्म सिस्टम है जो सिफरटेक्स्ट डिपेंडेंसीज़ के आधार पर डिवाइस प्लेसमेंट को अनुकूलित करने और इंटर-जीपीयू कम्युनिकेशन एवं मेमोरी उपयोग को महत्वपूर्ण रूप से कम करने के लिए पॉलिनॉमियल ऑपरेटर्स को पुनर्व्यवस्थित करके, मल्टी-जीपीयू प्लेटफॉर्म्स पर लॉन्ग-सीक्वेंस फुली होमोमॉर्फिक एन्क्रिप्शन (FHE) ट्रांसफॉर्मर इन्फरेंस को स्केल करता है और उच्च स्केलिंग दक्षता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान AI असिस्टेंट से एक सवाल पूछना चाहते हैं, लेकिन आप डरे हुए हैं कि असिस्टेंट (या वह क्लाउड सर्वर जिस पर वह चल रहा है) आपके सवाल को झाँक सकता है या आपके निजी डेटा को चुरा सकता है।
इस समस्या को हल करने के लिए, आप एक जादू का नुस्खा इस्तेमाल करते हैं जिसे होमोमॉर्फिक एन्क्रिप्शन (Homomorphic Encryption) कहा जाता है। यह ऐसा है जैसे आप अपने सवाल को एक अटूट, बंद कांच के डिब्बे के अंदर रख देते हैं। AI उस डिब्बे पर गणना (जैसे जोड़ना या गुणा करना) कर सकता है, लेकिन वह इसे कभी खोल नहीं सकता और न ही इसके अंदर देख सकता है कि क्या है। जब वह अपना काम पूरा कर लेता है, तो वह डिब्बा आपको वापस कर देता है, और आप उसे खोलने के लिए अपनी चाबी का उपयोग करते हैं ताकि आप उत्तर देख सकें।
समस्या: डिब्बा बहुत भारी हो जाता है
यह पेपर बताता है कि हालांकि यह जादू का नुस्खा छोटे सवालों के लिए काम करता है, लेकिन यह लंबे सवालों (जैसे कि एक पूरा उपन्यास या एक लंबा ईमेल पढ़ना) के लिए विफल हो जाता है।
- वजन की समस्या: जब आप अपने डेटा को इस जादुई डिब्बे में बंद करते हैं, तो यह बहुत बड़ा हो जाता है। एक छोटा वाक्य एक बैकपैक में आ सकता है, लेकिन एक लंबा दस्तावेज़ एक विशाल पत्थर (बोल्डर) बन जाता है। एक कंप्यूटर की मेमोरी (RAM) एक छोटे बैकपैक की तरह है; यह एक लंबे एन्क्रिप्टेड दस्तावेज़ के "बोल्डर" को नहीं उठा सकती।
- ट्रैफिक जाम: इस समस्या को हल करने के लिए, लोगों ने कई कंप्यूटरों (GPUs) को एक साथ उपयोग करने की कोशिश की, जैसे कि मजदूरों की एक टीम। लेकिन इन डिब्बों को ले जाने के पुराने तरीके बहुत खराब थे।
- पुराना तरीका 1 (लिंब पैरेललिज्म - Limb Parallelism): कल्पना कीजिए कि आप एक विशाल पहेली को 10 मजदूरों के बीच बांट रहे हैं। लेकिन हर बार जब किसी मजदूर को एक टुकड़े को देखने की जरूरत होती है, तो उन्हें यह जांचने के लिए दूसरे छोर पर चिल्लाना पड़ता है कि क्या वह टुकड़ा दूसरों के टुकड़ों के साथ फिट बैठता है। वे इतना अधिक चिल्लाते (कम्युनिकेशन करते) हैं कि वे अपना 90% समय बात करने में और केवल 10% समय काम करने में बिताते हैं। यह अकेले काम करने वाले व्यक्ति की तुलना में धीमा है!
- पुराना तरीका 2 (टेंसर पैरेललिज्म - Tensor Parallelism): दूसरा दृष्टिकोण यह है कि हर मजदूर पूरी पहेली की एक पूरी कॉपी लेकर चलता है। इससे चिल्लाना तो बंद हो जाता है, लेकिन अब आपको 10 गुना अधिक ट्रक स्पेस की आवश्यकता होती है। ट्रक (कंप्यूटर मेमोरी) तुरंत जगह की कमी के कारण भर जाते हैं, और काम पूरा नहीं हो पाता।
समाधान: AEGIS (एक स्मार्ट टीम लीडर)
लेखकों ने AEGIS नामक एक नया सिस्टम बनाया है। AEGIS को एक बुद्धिमान टीम लीडर के रूप में सोचें जो दो चीजों को एक साथ समझता है:
- कहानी (एप्लीकेशन): AI वास्तव में क्या करने की कोशिश कर रहा है (जैसे, "इस ईमेल का सारांश दें")।
- लॉक (एन्क्रिप्शन): कैसे जादुई डिब्बे बनाए गए हैं और वे आपस में कैसे जुड़ते हैं।
यहाँ बताया गया है कि AEGIS इन समस्याओं को सरल उपमाओं का उपयोग करके कैसे ठीक करता है:
1. "को-लोकेशन" रणनीति (चिल्लाना बंद करें)
पुराने तरीकों में, टीम लीडर को यह पता नहीं था कि कुछ पहेली के टुकड़ों को एक साथ रहना ही होगा। वे एक ही "शब्द" को अलग-अलग मजदूरों के बीच बांट देते थे, जिससे उन्हें बार-बार टुकड़ों को इधर-उधर भेजने के लिए मजबूर होना पड़ता था।
AEGIS का समाधान: AEGIS पहेली को देखता है और कहता है, "हे, ये विशिष्ट टुकड़े एक ही शब्द के हिस्से हैं। चलिए इन्हें एक ही मजदूर की मेज पर रखते हैं।"
- उपमा: 10 श्रमिकों के बीच एक एकल ईंट को बार-बार इधर-उधर भेजने के बजाय, AEGIS प्रत्येक श्रमिक को दीवार का एक पूरा हिस्सा बनाने के लिए देता है। वे केवल तभी एक-दूसरे से बात करते हैं जब उन्हें दो अलग-अलग दीवारों को जोड़ने की आवश्यकता होती है। इससे "चिल्लाना" (कम्युनिकेशन) 81% तक कम हो जाता है।
2. "ओवरलैपिंग" रणनीति (इंतजार को छिपाना)
कम चिल्लाने के बावजूद, अभी भी कुछ प्रतीक्षा समय होता है। यदि किसी मजदूर को जोड़ने से पहले पड़ोसी से एक टुकड़ा आने का इंतजार करना पड़ता है, तो वह खाली खड़ा रहता है।
AEGIS का समाधान: AEGIS कार्यों को पुनर्व्यवस्थित करता है। "टुकड़े का इंतजार करें -> चिपकाएं" के बजाय, यह कहता है, "जब तक आप टुकड़े के आने का इंतजार कर रहे हैं, तब तक उस हिस्से को चिपकाना शुरू करें जो आपके पास पहले से ही है।"
- उपमा: कल्पना कीजिए कि एक शेफ टमाटर की डिलीवरी का इंतजार कर रहा है। स्थिर खड़े रहने के बजाय, शेफ टमाटर के सड़क पर होने के दौरान ही प्याज और मिर्च काटना शुरू कर देता है। जब तक टमाटर आते हैं, तब तक बाकी की तैयारी पूरी हो चुकी होती है। यह "इंतजार" के समय को "छिपा" देता है, जिससे पूरी प्रक्रिया तुरंत महसूस होती है।
3. "स्मार्ट पैकिंग" (बर्बाद स्थान नहीं)
पुराने सिस्टम एन्क्रिप्टेड डेटा को कंप्यूटर में ऐसे डालने की कोशिश करते थे जैसे किसी चौकोर छेद में गोल चीज फिट करना, जिससे बहुत सारा स्थान बर्बाद होता था।
AEGIS का समाधान: AEGIS डेटा को बिल्कुल सही ढंग से व्यवस्थित करता है, जैसे कि एक टेट्रिस मास्टर। यह सुनिश्चित करता है कि प्रत्येक कंप्यूटर अपना काम करने के लिए पर्याप्त डेटा ले, बिना पूरी पहेली की अतिरिक्त प्रतियां लिए।
- परिणाम: यह सिस्टम को उसी हार्डवेयर पर 4 गुना अधिक डेटा संभालने की अनुमति देता है बिना मेमोरी खत्म हुए।
परिणाम
जब टीम ने 4-GPU सिस्टम पर AEGIS का परीक्षण किया:
- गति: यह एक सिंगल कंप्यूटर का उपयोग करने की तुलना में लगभग 4 गुना तेज़ था, जबकि अन्य तरीके वास्तव में अधिक कंप्यूटर जोड़ने पर धीमे हो जाते थे।
- दक्षता (Efficiency): इसने कंप्यूटरों का लगभग पूरी तरह से (96% दक्षता) उपयोग किया, जिसका अर्थ है कि चिल्लाने या इंतजार करने में लगभग कोई समय बर्बाद नहीं हुआ।
- मेमोरी: इसने प्रति कंप्यूटर आवश्यक मेमोरी को 69% तक कम कर दिया, जिससे यह उन बहुत लंबे दस्तावेज़ों को संभाल सका जिनके कारण पहले कंप्यूटर क्रैश हो जाते थे।
संक्षेप में
AEGIS कई कंप्यूटरों पर निजी AI चलाने का एक नया तरीका है। यह कंप्यूटरों को आपस में बात करने में समय बर्बाद करने से रोकता है और यह सुनिश्चित करता है कि वे डेटा कहाँ रखता है और उसे कब मूव करता है, इसके बारे में स्मार्ट होकर मेमोरी खत्म न होने दे। यह लॉक किए गए बक्सों के एक अराजक, धीमे ढेर को एक सुचारू, तेज़ और निजी असेंबली लाइन में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।