AgenTEE: Confidential LLM Agent Execution on Edge Devices
AgenTEE एक सिस्टम है जो Arm कॉन्फिडेंशियल कंप्यूट आर्किटेक्चर (CCA) पर निर्मित है जो रनटाइम, इन्फरेंस इंजन और थर्ड-पार्टी एप्लिकेशन्स को स्वतंत्र रूप से प्रमाणित कॉन्फिडेंशियल वर्चुअल मशीनों के भीतर अलग करके एज डिवाइसेस पर लार्ज लैंग्वेज मॉडल एजेंट्स के सुरक्षित, कॉन्फिडेंशियल निष्पादन को सक्षम बनाता है, जिससे 5.15% से कम ओवरहेड के साथ लगभग नेटिव परफॉर्मेंस प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके फोन के अंदर एक बहुत ही बुद्धिमान, व्यक्तिगत सहायक (पर्सनल असिस्टेंट) रहता है। यह सिर्फ एक साधारण कैलेंडर ऐप नहीं है; यह एक AI एजेंट है। यह आपके ईमेल पढ़ सकता है, आपकी छुट्टियों की योजना बना सकता है, आपके बैंक खाते की जांच कर सकता है, और आपके लिए कोड भी लिख सकता है। ऐसा करने के लिए, इसे आपके फोन के ऑपरेटिंग सिस्टम, इंटरनेट और विभिन्न थर्ड-पार्टी ऐप्स से बात करने की आवश्यकता होती है।
समस्या क्या है? यह सहायक थोड़ा एक "कांच के घर" (glass house) जैसा है। क्योंकि यह इतना जुड़ा हुआ है, इसका "अटैक सरफेस" (attack surface) बहुत बड़ा है। यदि कोई हैकर इसमें घुस जाता है, तो वह:
- आपके रहस्य चुरा सकता है: जैसे आपके बैंक पासवर्ड या निजी ईमेल।
- सहायक का दिमाग चुरा सकता है: जिस कंपनी ने इस सहायक को बनाया है, उसने इसे प्रशिक्षित करने में लाखों खर्च किए हैं। वे नहीं चाहते कि उनका "सीक्रेट सॉस" (कोड और मॉडल वेट्स) चोरी हो जाए।
- सहायक को धोखा दे सकता है: एक हैकर AI को एक गुप्त कमांड दे सकता है, जिससे वह वे काम करने लगे जो उसे नहीं करने चाहिए थे, जैसे आपकी फाइलें डिलीट करना।
वर्तमान में, इनमें से अधिकांश सहायक क्लाउड (दूर स्थित बड़े सर्वरों) में रहते हैं। लेकिन लोग अब चाहते हैं कि वे उनके फोन पर (एज/edge पर) रहें ताकि गोपनीयता और गति बेहतर हो सके। चुनौती यह है कि फोन पर इन्हें चलाना जोखिम भरा है क्योंकि फोन सॉफ्टवेयर हमलों के प्रति संवेदनशील होते हैं, और फोन का अपना ऑपरेटिंग सिस्टम (जैसे एंड्रॉइड) अविश्वसनीय या समझौता किया हुआ (compromised) हो सकता है।
समाधान: AgenTEE (एक "सुरक्षित कांच का बॉक्स")
इस पेपर के लेखकों ने, AgenTEE, आपके फोन पर इन सहायकों को सुरक्षित रूप से चलाने का एक नया तरीका प्रस्तावित किया है। वे आधुनिक फोन की एक विशेष हार्डवेयर विशेषता का उपयोग करते हैं जिसे Arm Confidential Compute Architecture (CCA) कहा जाता है।
यहाँ वे इसे एक सरल उपमा (analogy) का उपयोग करके समझाते हैं:
उपमा: एक सुरक्षित बैंक वॉल्ट बनाम एक खुला कार्यालय
कल्पना कीजिए कि एक पारंपरिक कार्यालय भवन (आपका फोन) है।
- पुराना तरीका: AI सहायक, मॉडल (उसका दिमाग), और थर्ड-पार्टी ऐप्स (जैसे एक यात्रा बुकिंग टूल) सभी एक ही खुले कमरे में बैठे हैं। बिल्डिंग मैनेजर (ऑपरेटिंग सिस्टम) अंदर आ सकता है, हर किसी की मेल पढ़ सकता है, और उनके नोट्स बदल सकता है। यदि कोई चोर भवन में घुस जाता है, तो वह सब कुछ चुरा सकता है।
- AgenTEE का तरीका: लेखक उस भवन के भीतर तीन अलग-अलग, उच्च-सुरक्षा वाले कांच के वॉल्ट (vaults) बनाते हैं।
- वॉल्ट A: एजेंट (मैनेजर) को रखता है।
- वॉल्ट B: मॉडल (दिमाग) को रखता है।
- वॉल्ट C: थर्ड-पार्टी ऐप्स (टूल्स) को रखता है।
ये वॉल्ट एक विशेष सामग्री (हार्डवेयर) से बने हैं जिसे बिल्डिंग मैनेजर देख या छू नहीं सकता। भले ही बिल्डिंग मैनेजर एक जासूस हो या भवन में आग लगी हो, वॉल्ट के अंदर की चीजें सुरक्षित और गुप्त रहती हैं।
वे एक-दूसरे से कैसे बात करते हैं
आप सोच सकते हैं: "यदि वे अलग-अलग वॉल्ट में हैं, तो वे एक साथ कैसे काम करते हैं?"
लेखकों ने वॉल्ट के बीच एक सुरक्षित, अदृश्य सुरंग (invisible tunnel) बनाई है।
- वॉल्ट A में मौजूद एजेंट, वॉल्ट B में मौजूद मॉडल को एक अनुरोध भेज सकता है।
- मॉडल उसे प्रोसेस करता है और जवाब वापस भेजता है।
- फिर एजेंट वॉल्ट C में मौजूद ऐप से फ्लाइट बुक करने के लिए कहता है।
- महत्वपूर्ण बात: बिल्डिंग मैनेजर (फोन का OS) इन सुरंगों में झाँक नहीं सकता। वह केवल यह देख सकता है कि कुछ पास किया जा रहा है, लेकिन वह संदेश को पढ़ या बदल नहीं सकता।
"नोटरी" प्रणाली
यह सुनिश्चित करने के लिए कि कोई असली एजेंट या असली मॉडल होने का ढोंग न करे, सिस्टम एक डिजिटल नोटरी (जिसे "रिमोट अटेस्टेशन" कहा जाता है) का उपयोग करता है।
- एजेंट द्वारा मॉडल को वॉल्ट में प्रवेश देने से पहले, हार्डवेयर मॉडल के आईडी कार्ड की जांच करता है।
- यह सत्यापित करता है: "क्या यह वास्तव में कंपनी का आधिकारिक मॉडल है? क्या किसी ने इसके साथ छेड़छाड़ की है?"
- केवल तभी जब आईडी 100% वैध होती है, दरवाजा खुलता है। यह सुनिश्चित करता है कि यदि कोई हैकर मॉडल को नकली मॉडल से बदलने की कोशिश करता है, तो भी सिस्टम उसे अस्वीकार कर देगा।
उन्होंने क्या पाया (परिणाम)
शोधकर्ताओं ने एक विशेष डेवलपमेंट बोर्ड का उपयोग करके इस प्रणाली का एक प्रोटोटाइप बनाया (चूंकि इस विशिष्ट हार्डवेयर वाले अंतिम व्यावसायिक फोन अभी बाजार में नहीं आए हैं)। उन्होंने दो प्रकार के AI एजेंटों के साथ इसका परीक्षण किया:
- एक सरल चैटबॉट (सिर्फ सवालों के जवाब देना)।
- एक जटिल ट्रैवल प्लानर (गणित करना, शेड्यूल चेक करना और यात्रा बुक करना)।
फैसला:
उन्होंने पाया कि सब कुछ इन सुरक्षित वॉल्ट में रखने से यह सामान्य रूप से चलाने जितना ही तेज़ था।
- "सुरक्षित" संस्करण मानक, असुरक्षित संस्करण की तुलना में केवल लगभग 5% धीमा था।
- यह एक बड़ी जीत है क्योंकि इसका मतलब है कि आपको सुरक्षा से समझौता किए बिना शीर्ष स्तर की सुरक्षा मिलती है और आपका फोन धीमा महसूस नहीं होता या बैटरी तुरंत खत्म नहीं होती।
सारांश
AgenTEE आपके फोन के भीतर एक किला बनाने जैसा है। यह विभिन्न हिस्सों वाले एक स्मार्ट AI (दिमाग, मैनेजर और टूल्स) को सुरक्षित रूप से एक साथ काम करने की अनुमति देता है, भले ही वे एक-दूसरे पर भरोसा न करते हों, और भले ही फोन का अपना ऑपरेटिंग सिस्टम समझौता किया हुआ हो। यह साबित करता है कि हम अपनी गति या सुरक्षा से समझौता किए बिना अपने उपकरणों पर शक्तिशाली, निजी AI रख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।