Fail-Closed Authorization for Tool-Using AI Agents: A Capability Contract and Case Study
यह शोध पत्र एजेंट सुरक्षा अनुबंध (ASC) प्रस्तुत करता है, जो टूल-उपयोग करने वाले LLM एजेंटों के लिए एक 'डिनाय-बाय-डिफ़ॉल्ट' (deny-by-default) प्राधिकरण ढांचा है जो नीति-प्रतिबंधित टूल अलालिस्ट और अखंडता-जांचे गए साक्ष्य के माध्यम से प्री-एग्जीक्यूशन गेट्स को लागू करता है, और यह स्थिर ट्रेस मूल्यांकन के माध्यम से प्रदर्शित करता है कि अपडेट किए गए नीति संस्करण पिछले संस्करणों की तुलना में फाल्स पॉजिटिव को कम करते हुए प्रतिकूल हमलों को प्रभावी ढंग से रोकते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे डिजिटल सहायक की कल्पना करें जो केवल सवालों के जवाब देने से कहीं अधिक कर सकता है; यह वास्तव में आपके कंप्यूटर पर फाइलें खोल सकता है, ईमेल भेज सकता है और कमांड चला सकता है। यह आधुनिक एआई (AI) एजेंटों का वादा है, लेकिन यह एक खतरनाक नई वास्तविकता भी लाता है: यदि कोई हमलावर एआई को यह विश्वास दिलाने में सफल हो जाता है कि एक हानिकारक कमांड एक सहायक सुझाव है, तो एआई बिना किसी हिचकिचाहट के उसका पालन कर सकता है। मुख्य समस्या यह नहीं है कि एआई भ्रमित है, बल्कि यह है कि उसके पास हर एक क्रिया को होने से पहले जांचने के लिए एक विश्वसनीय गेटकीपर (द्वारपाल) की कमी है। कंप्यूटर सुरक्षा की दुनिया में, सबसे सुरक्षित दृष्टिकोण यह मानना है कि जब तक स्पष्ट रूप से अनुमति न दी जाए, तब तक कुछ भी अनुमत नहीं है, जो एक सिद्धांत है जिसे "फेल-क्लोज्ड" (fail-closed) कहा जाता है। यदि गेटकीपर किसी अनुरोध को सत्यापित नहीं कर पाता है, तो उसे गलती का जोखिम उठाने के बजाय—जिससे कोई हैकर डेटा चुरा सकता है या महत्वपूर्ण सिस्टम को हटा सकता है—सरल रूप से "ना" कहना चाहिए।
आंद्रे निकोलोव नामक एक शोधकर्ता ने 'एजेंट सिक्योरिटी कॉन्ट्रैक्ट' (Agent Security Contract) नामक एक प्रणाली बनाई है जो इस गेटकीपर के रूप में कार्य करती है। यह अनुमान लगाने या बातचीत के लहजे का विश्लेषण करने के बजाय, एक सख्त, प्री-एग्जीक्यूशन (पूर्व-निष्पादन) चेकपॉइंट के रूप में कार्य करता है। एआई को किसी टूल (उपकरण) को छूने की अनुमति देने से पहले, सिस्टम एक डिजिटल अनुबंध की जांच करता है जो यह सूचीबद्ध करता है कि कौन से टूल्स अनुमत हैं, वे कौन से तर्क (arguments) स्वीकार कर सकते हैं, और किन कार्यों के लिए पहले मानव की सहमति आवश्यक है। यह प्रणाली एआई द्वारा प्रस्तावित क्रिया की तुलना स्वीकृत टूल्स की एक स्थिर, अपरिवable सूची से करके काम करती है। यदि टूल सूची में नहीं है, या यदि तर्क संदिग्ध दिखते हैं, तो क्रिया को तुरंत रोक दिया जाता है। यदि क्रिया किसी खतरनाक चीज़ से जुड़ी है, जैसे फ़ाइल को हटाना या पैसे भेजना, तो सिस्टम रुक जाता है और मानव से 'आउट-ऑफ-बैंड' अनुमोदन की मांग करता है, यह सुनिश्चित करता है कि उच्च-दांव वाले निर्णय अकेले मशीन द्वारा नहीं लिए जाते हैं।
यह परीक्षण करने के लिए कि क्या यह दृष्टिकोण वास्तव में काम करता है, निकोलोव ने एक वास्तविक वातावरण में लाइव एआई नहीं चलाया, क्योंकि यह बहुत जोखिम भरा होता। इसके बजाय, उन्होंने रिकॉर्ड किए गए परिदृश्यों का एक संग्रह बनाया, जिसमें हानिरहित कार्य और सुरक्षा नियमों को दरकिनार करने के लिए डिज़ाइन किए गए परिष्कृत हमले दोनों शामिल थे। उन्होंने इन रिकॉर्ड किए गए परिदृश्यों को अपने सिस्टम के माध्यम से, संस्करण दर संस्करण चलाया, और यह देखते रहे कि गेटकीपर कैसे प्रतिक्रिया देता है। प्रारंभिक संस्करण में, सिस्टम ने अधिकांश स्पष्ट हमलों को रोका लेकिन कुछ चतुर चालों को मिस कर दिया, जैसे कि फ़ाइल पथों के भीतर दुर्भावनापूर्ण कमांड छिपाना या सुरक्षा नियमों से बचने के लिए विशेष वर्णों का उपयोग करना। इन कमियों को खोजने के बाद, शोधकर्ता ने नियमों को और कड़ा कर दिया। अपडेट किए गए सिस्टम ने इन विशिष्ट बाईपासों को पहचानना और रोकना सीख लिया, जैसे कि एआई को संवेदनशील पासवर्ड फ़ाइलों को पढ़ने या अपने अनुमत वर्कस्पेस से बाहर जाने के लिए शेल कमांड का उपयोग करने से रोकना।
परिणामों ने दिखाया कि सिस्टम अनधिकृत कार्यों को रोकने में अत्यधिक प्रभावी है, लेकिन इसके साथ एक समझौता भी आता है। सौ से अधिक रिकॉर्ड किए गए कार्यों वाले एक परीक्षण में, सख्त नए नियमों ने लगभग हर हमले के प्रयास को रोक दिया। हालाँकि, सिस्टम ने कई हानिरहित कार्यों को भी ब्लॉक कर दिया क्योंकि उनमें ऐसे तर्क (arguments) थे जिनकी सख्त नियम उम्मीद नहीं कर रहे थे। उदाहरण के लिए, यदि किसी कार्य ने बिना कोई फ़ाइल संलग्न किए ईमेल भेजने की कोशिश की, और सिस्टम को कॉन्फ़िगर किया गया था कि फ़ाइल आवश्यक है, तो कार्य को ब्लॉक कर दिया गया भले ही वह सुरक्षित था। शोधकर्ता ने पाया कि केवल अनुमत टूल्स के नाम सूचीबद्ध करना पर्याप्त नहीं था; सिस्टम को प्रत्येक तर्क के विवरण की जांच करने की आवश्यकता थी। फिर भी, जब नियमों को यह समझने के लिए समायोजित किया गया कि कौन से तर्क वैकल्पिक हैं, तो सिस्टम हानिरहित कार्यों को रोके बिना सुरक्षित और असुरक्षित कार्यों के बीच अंतर करने में सक्षम हो गया।
सबसे महत्वपूर्ण निष्कर्षों में से एक यह था कि हमलों को रोकने की सिस्टम की क्षमता पूरी तरह से इस बात पर निर्भर करती है कि नियम कितनी सावधानी से लिखे गए हैं। जब शोधकर्ता ने सिस्टम का परीक्षण एक अलग प्रोजेक्ट के वास्तविक दुनिया के हमले के लक्ष्यों के विरुद्ध किया, तो सिस्टम ने लगभग सभी को सफलतापूर्वक रोक दिया, लेकिन केवल इसलिए क्योंकि नियमों में किसी भी ऐसे कार्य के लिए मानव अनुमोदन आवश्यक था जो डेटा बदलता है या संदेश भेजता है। सिस्टम ने जादुई रूप से एक वैध ईमेल और एक फिशिंग प्रयास के बीच अंतर नहीं समझा; इसने केवल इस नियम को लागू किया कि ऐसे किसी भी कार्य के लिए मानव के "हाँ" कहने की आवश्यकता है। यह एक महत्वपूर्ण सीमा को रेखांकित करता: सिस्टम केवल उतना ही मजबूत है जितना कि वह अनुबंध जिसे वह लागू करता है। यदि अनुबंध बहुत ढीला है, तो एआई अभी भी नुकसान पहुँचा सकता है। यदि यह बहुत सख्त है, तो यह एआई को अपना काम करने से रोकता है।
अध्ययन ने यह भी मापा कि इस सुरक्षा जांच से प्रक्रिया में कितना समय जुड़ता है। सिस्टम अविश्वसनीय रूप से तेज़ है, किसी क्रिया को अनुमति देने या ब्लॉक करने का निर्णय लेने में एक सौवें से भी कम समय लेता है। इस गति का अर्थ है कि सुरक्षा जांच एआई के काम को धीमा नहीं करती है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन जाता है। हालाँकि, शोधकर्ता ने नोट किया कि सिस्टम एक पूर्ण समाधान नहीं है। यह एआई को एक अनुमत टूल का हानिकारक तरीके से उपयोग करने से नहीं रोकता है, जैसे कि एक सुरक्षित पते पर वायरस वाला संदेश भेजना। यह उस हैकर से भी नहीं बचा सकता जिसने एआई चलाने वाले कंप्यूटर पर पहले से कब्जा कर लिया हो। यह सिस्टम एक विशिष्ट कार्य के लिए एक विशिष्ट उपकरण है: यह सुनिश्चित करना कि प्रत्येक टूल कॉल एक पूर्व-अनुमोदित योजना से मेल खाता है।
अंततः, यह शोध पत्र प्रदर्शित करता है कि नियमों का एक सरल, कठोर सेट अनधिकृत कमांड निष्पादित करने वाले एआई को प्रभावी ढंग से रोक सकता है। यह प्रणाली तब कार्य करने से इनकार करके काम करती है जब वह अनिश्चित होती है, एक ऐसी रणनीति जो सुविधा के बजाय सुरक्षा को प्राथमिकता देती है। जबकि वर्तमान संस्करण के लिए सावधानीपूर्वक सेटअप की आवश्यकता होती है और यह कभी-कभी बहुत अधिक सतर्क हो सकता है, शोध से पता चलता है कि बेहतर नियमों और मानव निरीक्षण के साथ, एक एआई और उसके द्वारा नियंत्रित सिस्टम के बीच एक विश्वसनीय बाधा बनाना संभव है। यह कार्य सुझाव देता है कि सुरक्षित एआई एजेंटों का भविष्य स्मार्ट एआई में नहीं, बल्कि अधिक सख्त, सरल और पारदर्शी गेटकीपिंग में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।