Bounded Agents: Delegation Security for Multi-Agent AI Systems
यह शोध पत्र एजेंटिक प्रिंसिपल चेन (APC) को प्रस्तुत करता है, जो एक ऐसी सुरक्षा वास्तुकला है जो प्रॉम्प्ट इंजेक्शन शोषण, अनधिकृत प्रतिनिधिमंडल और निषिद्ध क्रिया संयोजनों को रोकने के लिए गतिशील, स्थिति-जागरूक प्राधिकरण जांच लागू करके LLM-आधारित मल्टी-एजेंट सिस्टम में जोखिमों को कम करती है, जिससे कम विलंबता बनाए रखते हुए डेटा एक्सफिल्ट्रेशन और हेरफेर को लगभग शून्य तक कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल कार्यस्थल में, एक नए प्रकार के कार्यकर्ता का उदय हुआ है: सॉफ्टवेयर एजेंट। ये वे प्रोग्राम हैं जो लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा संचालित होते हैं जो दस्तावेज़ पढ़ सकते हैं, ईमेल भेज सकते हैं, सिस्टम के बीच डेटा स्थानांतरित कर सकते हैं, और यहाँ तक कि काम पूरा करने के लिए अन्य प्रोग्रामों को कॉल भी कर सकते हैं। वे मानव कर्मचारियों की ओर से कार्य करते हैं, निर्देश लेते हैं और उन्हें कार्यों की एक श्रृंखला में बदलते हैं। इनका वादा अत्यधिक दक्षता का है, लेकिन जोखिम भी उतना ही अधिक है। यदि कोई मानव कर्मचारी किसी गुप्त फ़ाइल को गलत व्यक्ति को भेजने के लिए बहलाया जाता है, तो नुकसान केवल उस एक व्यक्ति के निर्णय तक सीमित रहता है। लेकिन जब एक सॉफ्टवेयर एजेंट को बहलाया जाता है, तो वह अपनी गलती को पूरी गति और उन सभी सिस्टमों में निष्पादित कर सकता है जिन्हें छूने की उसे अनुमति है। सुरक्षा विशेषज्ञों के लिए मुख्य चुनौती केवल इन एजेंटों को चालाकी से बचने के लिए स्मार्ट बनाना नहीं है, बल्कि एक ऐसा सिस्टम बनाना है जहाँ उनके बहलाए जाने से कोई फर्क न पड़े, क्योंकि होने वाला नुकसान भौतिक रूप से असंभव हो।
यह एक स्वतंत्र शोधकर्ता ज़ेबियर मुरुआगा (Xabier Muruaga) के एक नए अध्ययन द्वारा संबोधित किया गया केंद्रीय प्रश्न है, जो इन डिजिटल श्रमिकों को सुरक्षित करने के लिए एजेंट के 'मस्तिष्क' को अधिक मजबूत बनाने के बजाय, इस बात के नियम कड़े करने का प्रस्ताव देते हैं कि एजेंट को क्या करने की अनुमति है। शोध का तर्क है कि सॉफ्टवेयर एजेंट के हेरफेर का शिकार होने का खतरा मुख्य रूप रूप से 'परमिशन आर्किटेक्चर' (अनुमति संरचना) की समस्या है, न कि स्वयं आर्टिफिशियल इंटेलिजेंस मॉडल की समस्या। भले ही एक एजेंट चालाकी से बचने के लिए पूरी तरह सुरक्षित हो, फिर भी वह नुकसान पहुँचा सकता है यदि उसे हानिरहित कार्यों को एक खतरनाक परिणाम में संयोजित करने की बहुत अधिक स्वतंत्रता दी गई हो। उदाहरण के लिए, एक एजेंट को एक गोपनीय दस्तावेज़ पढ़ने की अनुमति हो सकती है और ईमेल भेजने की अनुमति हो सकती है। व्यक्तिगत रूप से, दोनों क्रियाएं सुरक्षित हैं। लेकिन यदि एजेंट को दस्तावेज़ पढ़ने और फिर तुरंत किसी बाहरी पते पर ईमेल भेजने के लिए बहलाया जाता है, तो यह संयोजन एक डेटा उल्लंघन (data breach) पैदा करता है जिसे अकेले किसी भी अनुमति का इरादा नहीं था।
इसे हल करने के लिए, मुरुआगा ने 'एजेंटिक प्रिंसिपल चेन' (Agentic Principal Chain) नामक एक प्रणाली विकसित की। एक कमांड चेन की कल्पना करें जहाँ एक मानव बॉस एक मैनेजर को कार्य सौंपता है, जो फिर उस कार्य का एक हिस्सा एक जूनियर असिस्टेंट को सौंप देता है। पारंपरिक सुरक्षा प्रणालियों में, एक बार जब बॉस अनुमति दे देता है, तो वह अनुमति बिना बदले नीचे जाती है। जूनियर असिस्टेंट के पास बॉस के समान व्यापक शक्तियाँ हो सकती हैं, जिससे एक बड़ा जोखिम पैदा होता है यदि वह असिस्टेंट समझौताग्रस्त (compromised) हो जाए। एजेंटिक प्रिंसिपल चेन इसे बदलकर यह सुनिश्चित करती है कि श्रृंखला में हर कदम के साथ, अनुमति छोटी और अधिक विशिष्ट होती जाती है। यह एक सख्त गेटकीपर की तरह कार्य करता है जो एजेंट की सोचने की प्रक्रिया के बाहर स्थित है। एजेंट द्वारा कोई भी कार्य करने से पहले, यह गेटकीपर न केवल यह जाँचता है कि क्या एजेंट के पास वह विशिष्ट कार्य करने का अधिकार है, बल्कि यह भी कि एजेंट ने इसी सत्र (session) के दौरान अतीत में क्या किया है।
यह प्रणाली "सेशन स्टेट" (session state) को ट्रैक करके काम करती है, जो एजेंट द्वारा की गई प्रत्येक क्रिया का एक चलता-रहने वाला लॉग है। यदि एक एजेंट को फ़ाइल पढ़ने और ईमेल भेजने के लिए अधिकृत किया गया है, तो सिस्टम इतिहास को देखता है। यदि एजेंट ने अभी-अभी एक गुप्त फ़ाइल पढ़ी है, तो सिस्टम ईमेल भेजने के अगले प्रयास को रोक देगा, भले ही ईमेल भेजना सामान्य रूप से अनुमत हो। यह एजेंट को दो सुरक्षित क्रियाओं को एक खतरनाक संयोजन में मिलाने से रोकता है। शोधकर्ता इसे "कंपोजिशन क्लोजर" (composition closure) कहते हैं। यह एक नियम है जो कहता है कि क्रियाओं के कुछ संयोजन वर्जित हैं, चाहे व्यक्तिगत चरण अनुमत हों या नहीं। यह प्रणाली किसी भी एकल एजेंट के "ब्लास्ट रेडियस" (प्रभाव क्षेत्र) को भी सीमित करती है। यदि एक सब-एजेंट समझौताग्रस्त हो जाता है, तो उसके द्वारा पहुँचाया जाने वाला नुकसान उन अनुमतियों द्वारा गणितीय रूप से सीमित होता जो उसे विरासत में मिली थीं, जो कि उसे बनाने वाले एजेंट की अनुमतियों से स्पष्ट रूप से छोटी हैं। यह सुनिश्चित करता है कि सिस्टम के एक हिस्से में हुआ उल्लंघन पूरे संगठन को नष्ट करने के लिए अनियंत्रित होकर न फैले।
यह दृष्टिकोण वास्तव में काम करता है या नहीं, इसका परीक्षण करने के लिए, शोधकर्ताओं ने इस प्रणाली का एक कामकाजी संस्करण बनाया और इसे कई कठोर परीक्षणों से गुजारा। उन्होंने स्थापित सुरक्षा बेंचमार्क का उपयोग करके हजारों सिम्युलेटेड हमलों के विरुद्ध इसका परीक्षण किया। डेटा चोरी करने के लिए डिज़ाइन किए गए 1,000 से अधिक परिदृश्यों वाले परीक्षणों के एक सेट में, सिस्टम ने हर एक प्रयास को रोका। एक अन्य सेट में जहाँ शोधकर्ताओं ने एक ऐसी स्थिति का अनुकरण किया जहाँ आर्टिफिशियल इंटेलिजेंस मॉडल स्वयं पूरी तरह से समझौताग्रस्त था और हमलावर के पूर्ण नियंत्रण में था, सिस्टम ने फिर भी हमलों को रोका। जब मॉडल ने चोरी किए गए डेटा को भेजने की कोशिश की, तो गेटकीपर ने अनुरोध को अस्वीकार कर दिया क्योंकि क्रियाओं का संयोजन सत्र के नियमों का उल्लंघन करता था। सिस्टम ने एजेंट को फ़ाइलें नष्ट करने या डेटा में हेरफेर करने से भी सफलतापूर्वक रोका जो मूल कार्य का हिस्सा नहीं थे, जिससे ऐसे हमलों की सफलता दर 90 प्रतिशत से अधिक से घटकर केवल 12 प्रतिशत रह गई।
अध्ययन ने यह भी मापा कि इस अतिरिक्त सुरक्षा परत ने एजेंटों की गति को कितना धीमा किया। परिणामों ने दिखाया कि यह प्रणाली अविश्वसनीय रूप से तेज़ है, जो निर्णय लेने में लगने वाले समय में एक चौथाई मिलीसेकंड से भी कम जोड़ती है। इसका अर्थ है कि सुरक्षा जाँच लगभग तुरंत होती है, जिससे उपयोगकर्ता के लिए कोई ध्यान देने योग्य देरी नहीं होती है। हालाँकि, शोधकर्ताओं ने पाया कि इसमें एक ट्रेड-ऑफ (समझौता) है। कुछ मामलों में, सख्त नियमों ने एजेंट को एक वैध कार्य पूरा करने से रोक दिया क्योंकि सिस्टम क्रियाओं के संयोजन को लेकर बहुत अधिक सतर्क था। अपने परीक्षणों में, जब सबसे सख्त नियम लागू किए गए, तो वैध कार्यों की सफलता दर लगभग 8.6 प्रतिशत अंक गिर गई। यह सुझाव देता है कि जबकि यह प्रणाली हमलों को रोकने में अत्यधिक प्रभावी है, इसके लिए सावधानीपूर्वक ट्यूनिंग की आवश्यकता है ताकि यह सुनिश्चित हो सके कि यह सामान्य कार्य में बाधा डालने के लिए बहुत अधिक प्रतिबंधात्मक न हो जाए।
शोधकर्ता इस बात को परिभाषित करने में सावधानी बरत रहे थे कि उनकी प्रणाली क्या करती है और क्या नहीं करती है। उन्होंने गणितीय रूप से सिद्ध किया कि यदि नियमों को सही ढंग से सेट किया जाता है, तो यह असंभव है कि एक एजेंट क्रियाओं के निषिद्ध संयोजन को निष्पादित करे। उन्होंने यह भी सिद्ध किया कि एक समझौताग्रस्त एजेंट से होने वाला संभावित नुकसान कार्य को श्रृंखला में नीचे सौंपने के साथ बढ़ नहीं सकता है। हालाँकि, उन्होंने नोट किया कि उनकी प्रणाली हर संभव समस्या को ठीक नहीं करती है। यह एजेंट को कुछ हानिकारक करने से नहीं रोक सकती है यदि वह एकल क्रिया पहले से ही नियमों द्वारा अनुमत है, जैसे कि फ़ाइल को डिलीट करना यदि एजेंट के पास फ़ाइल डिलीट करने की अनुमति है। यह एजेंट को उसके अनुमत दायरे के भीतर एक बुरा निर्णय लेने के लिए बहलाने से भी नहीं रोक सकती है। इन मुद्दों के लिए अलग समाधानों की आवश्यकता है, जैसे कि आर्टिफिशियल इंटेलिजेंस के लिए बेहतर प्रशिक्षण या हैंडल किए जा रहे विशिष्ट डेटा पर अधिक विस्तृत जाँच।
अंततः, यह शोध पत्र इस बारे में हमारे सोचने के तरीके में एक बदलाव प्रस्तुत करता है कि आर्टिफिशियल इंटेलिजेंस को कैसे सुरक्षित किया जाए। एक अटूट मन बनाने के बजाय, ध्यान एक अटूट पिंजरा बनाने पर केंद्रित है। क्रियाओं के संयोजन के बारे में सख्त नियम लागू करके और यह सुनिश्चित करके कि कार्यों को सौंपते समय अनुमतियाँ घटती जाती हैं, यह प्रणाली एक सुरक्षा जाल बनाती है जो तब भी काम करता है जब एजेंट का निर्णय विफल हो जाता है। शोध यह प्रदर्शित करता है कि सही आर्किटेक्चरल नियंत्रणों के साथ, हम इन शक्तिशाली डिजिटल श्रमिकों को जटिल वातावरणों में बिना इस डर के संचालित होने दे सकते कि भ्रम का एक क्षण आपदा का कारण बनेगा। निष्कर्ष बताते हैं कि सुरक्षित आर्टिफिशियल इंटेलिजेंस का मार्ग न केवल स्मार्ट मॉडल्स में है, बल्कि स्मार्ट सिस्टम में भी है जो यह कहना जानते हैं कि 'नहीं', भले ही मॉडल 'हाँ' कहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।