Capability-Mediated Perimeters for Secure AI Agent Tool Execution: Conditional Non-Escalation Invariants and Empirical Evaluation Against Indirect Prompt Injection

आधुनिक कंप्यूटिंग की दुनिया में, एक मौलिक नियम लंबे समय से सिस्टम को सुरक्षित रखता है: मशीन को क्या करना है यह बताने वाले निर्देशों को उस डेटा से अलग रखा जाना चाहिए जिसे मशीन प्रोसेस करती है। यह अलगाव यह सुनिश्चित करता है कि कोई उपयोगकर्ता अनजाने में या दुर्भावनापूर्ण तरीके से कंप्यूटर को उन कमांड्स का पालन करने के लिए मजबूर न कर सके जिनका उसे पालन नहीं करना था। हालांकि, स्वायत्त आर्टिफिशियल इंटेलिजेंस (AI) एजेंटों के उदय ने इस रेखा को धुंधला कर दिया है। ये एजेंट, जिन्हें डेटाबेस प्रबंधित करने या स्मार्ट उपकरणों को नियंत्रित करने जैसे जटिल कार्य करने के लिए डिज़ाइन किया गया है, अक्सर निर्देशों और अनट्रस्टेड (अविश्वसनीय) डेटा को एक साथ, टेक्स्ट की एक ही स्ट्रीम में पढ़ते हैं। क्योंकि कंप्यूटर डेटा और निर्देशों को एक ही मिश्रण के रूप में मानता है, इसलिए एक चतुर हमलावर एक हानिरहित दिखने वाले ईमेल या वेबपेज के भीतर एक छिपा हुआ कमांड छिपा सकता है। जब एजेंट इस सामग्री को पढ़ता है, तो वह अनजाने में उस छिपे हुए कमांड का पालन कर सकता है, जिससे फ़ाइलें हटाने या पासवर्ड चुराने जैसे कार्य हो सकते हैं। यह भेद्यता (vulnerability), जिसे 'इनडायरेक्ट प्रॉम्प्ट इंजेक्शन' कहा जाता है, एजेंट को एक भ्रमित प्रतिनिधि (confused deputy) में बदल देती है जो उन आदेशों का पालन करता है जिन्हें प्राप्त करने का उसने कभी इरादा नहीं किया था।

मैस्टिफ एआई रिसर्च लैबोरेटरीज (Mastyf AI Research Laboratories) के शोधकर्ताओं ने इन एजेंटों की सुरक्षा के लिए एक नया तरीका प्रस्तावित किया है, जो इस विचार से दूर जाता है कि आर्टिफिशियल इंटेलिजेंस स्वयं सुरक्षा का अंतिम निर्णायक हो सकता है। हर संभव चाल को पहचानने के लिए एआई पर निर्भर रहने के बजाय, टीम ने एक सुरक्षा प्रणाली बनाई है जो कोई भी कार्रवाई करने से पहले एक सख्त गेटकीपर के रूप में कार्य करती है। वे इस प्रणाली को 'मैस्टिफ गार्ड' (Mastyf Guard) कहते हैं। यह एक सरल लेकिन शक्तिशाली सिद्धांत पर काम करती है: एआई को सोचने और तर्क करने की अनुमति है, लेकिन इसे अपने आप कार्य करने की शक्ति से वंचित कर दिया गया है। हर बार जब एआई किसी टूल का उपयोग करने का सुझाव देता है, जैसे कि ईमेल भेजना या सर्वर तक पहुँचना, एक अलग, स्वतंत्र सुरक्षा मॉनिटर उस अनुरोध की जाँच करता है। यह मॉनिटर एआई के इरादे का अनुमान लगाने की कोशिश नहीं करता; इसके बजाय, यह अनुमतियों की एक डिजिटल सूची की जाँच करता है, ठीक वैसे ही जैसे एक बाउंसर क्लब में अतिथि सूची की जाँच करता है। यदि अनुरोधed कार्रवाई उस विशिष्ट सत्र के लिए स्पष्ट रूप से अनुमत नहीं है, तो अनुरोध को तुरंत रोक दिया जाता है, चाहे एआई का तर्क कितना भी सम्मोहक क्यों न हो।

शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण पचास हजार परिदृश्यों के एक विशाल संग्रह के विरुद्ध किया, जिनमें से आधे वास्तविक हमलों के रूप में थे जिन्हें एजेंटों को धोखा देने के लिए डिज़ाइन किया गया था, और आधे डेवलपर्स द्वारा किए गए सामान्य, सुरक्षित संचालन थे। परिणामों ने दिखाया कि उनकी प्रणाली लगभग तुरंत ही अधिकांश हमलों को रोक सकती है। सबसे तेज़ मामलों में, सुरक्षा जाँच में केवल पाँच हज़ारवें सेकंड का समय लगा, जो इतनी तेज़ गति है कि यह एक मानव उपयोगकर्ता के लिए लगभग अदृश्य है। प्रणाली ने 99.33 प्रतिशत हमलों को सफलतापूर्वक पहचाना और रोका, जो मौजूदा सुरक्षा उपकरणों की तुलना में एक महत्वपूर्ण सुधार है जो अक्सर इन सूक्ष्म चालों में से आधे से अधिक को मिस कर देते हैं। महत्वपूर्ण रूप से, इस प्रणाली ने महंगे, उच्च-शक्ति वाले कंप्यूटर चिप्स की आवश्यकता के बिना यह कार्य किया, और यह केवल 1.1 गीगाबाइट के मेमोरी फुटप्रिंट के साथ मानक कंप्यूटर प्रोसेसरों पर कुशलतापूर्वक चलती है। इसका अर्थ है कि इस सुरक्षा को विशेष हार्डवेयर की आवश्यकता के बिना सामान्य कार्यालय वातावरण में तैनात किया जा सकता है।

यह समझने के लिए कि यह कैसे काम करता है, कल्पना करें कि एआई एजेंट एक अत्यधिक कुशल लेकिन आसानी से विचलित होने वाला कर्मचारी है जिसे पूरी इमारत की मास्टर कुंजी दी गई है। यदि कोई अजनबी कर्मचारी के कान में एक फर्जी निर्देश फुसफुसाता है, तो कर्मचारी उस मास्टर कुंजी का उपयोग करके वह दरवाजा खोल सकता है जिसे उसे नहीं खोलना चाहिए। मैस्टिफ गार्ड प्रणाली कर्मचारी की जेब से मास्टर कुंजी को पूरी तरह से हटा देती है। इसके बजाय, कर्मचारी को हर बार दरवाजा खोलने के लिए एक सुरक्षा गार्ड से अनुमति मांगनी पड़ती है। गार्ड कर्मचारी की कहानी नहीं सुनता या उसके लहजे की व्याख्या करने की कोशिश नहीं करता; गार्ड बस एक सख्त सूची की जाँच करता है कि कर्मचारी उस समय कौन से दरवाजे खोलने के लिए अधिकृत है। यदि अनुरोध सूची में नहीं है, तो दरवाजा बंद रहता है। यह दृष्टिकोण "कन्फ्यूज्ड डिप्टी" की समस्या को हल करता है क्योंकि यह सुनिश्चित करता है कि भले ही एआई को गलत चीज़ के लिए पूछने के लिए उकसाया जाए, सिस्टम इसे कर ही नहीं सकता क्योंकि उसके पास वह अधिकार नहीं है।

शोधकर्ताओं ने एक अधिक सूक्ष्म समस्या को भी संबोधित किया: क्या होता है जब एआई को एक टूल का उपयोग करने की अनुमति दी जाती है, लेकिन वह अनुरोध के विवरण को नुकसान पहुँचाने के लिए बदलने की कोशिश करता है? उदाहरण के लिए, एक एआई को ईमेल भेजने के लिए अधिकृत किया जा सकता है, लेकिन एक हमलावर एआई को किसी अन्य पते पर या अलग विषय पंक्ति के साथ वह ईमेल भेजने के लिए मजबूर कर सकता है। इसे संभालने के लिए, टीम ने रक्षा की दूसरी परत जोड़ी जो एक सावधानीपूर्वक प्रूफरीडर (प्रूफरीडर) की तरह कार्य करती है। यह परत मूल अनुमति के विरुद्ध अनुरोध के विशिष्ट विवरणों की जाँच करती है। यदि एआई किसी नए खाते में पैसा भेजने या उस फ़ाइल तक पहुँचने की कोशिश करता है जिसे उसे नहीं छूना चाहिए था, तो सिस्टम उस बदलाव को पकड़ लेता है। तीन हजार जटिल व्यावसायिक परिदृश्यों वाले परीक्षणों में, सख्त अनुमति जाँच और विस्तृत प्रूफरीडिंग के इस संयोजन ने 97.5 प्रतिशत हमलों को पकड़ा, जबकि इसकी फॉल्स पॉजिटिव दर शून्य प्रतिशत रही, जिसमें 2,000 बेनिन (सामान्य) एंटरप्राइज ऑपरेशन्स में 0.19% का सांख्यिकीय ऊपरी स्तर था। सिस्टम इतना सटीक था कि दो हजार सामान्य व्यावसायिक कार्यों में, इसने एक भी गलत अलार्म नहीं उठाया।

अध्ययन का एक महत्वपूर्ण निष्कर्ष यह है कि प्रभावी होने के लिए सिस्टम को सुपर-इंटेलिजेंट एआई होने की आवश्यकता नहीं है। शोधकर्ताओं ने पाया कि एक छोटा, विशिष्ट कंप्यूटर प्रोग्राम माइक्रोसेकंड में सुरक्षा जाँचों का अधिकांश हिस्सा संभाल सकता है, और केवल तभी एक बड़े, अधिक जटिल एआई मॉडल को कॉल करता है जब कोई अनुरोध संदिग्ध या अस्पष्ट होता है। यह हाइब्रिड दृष्टिकोण सिस्टम को तेज़ और सस्ता बनाए रखता है। नियमित व्यावसायिक ट्रैफ़िक में, जटिल एआई मॉडल की कभी आवश्यकता नहीं पड़ी, जिससे सिस्टम तेज़, सरल जाँचों की गति से संचालित हुआ। जब सिस्टम को एक ट्रिकी अनुरोध की जांच करने के लिए बड़े मॉडल को बुलाने की आवश्यकता पड़ी, तो इसमें लगभग अठारह मिलीसेकंड लगे, जो अभी भी अधिकांश रियल-टाइम अनुप्रयोगों के लिए पर्याप्त तेज़ है। यह डिज़ाइन सुनिश्चित करता है कि सुरक्षा गति या उपयोगिता की कीमत पर न आए, जिससे व्यवसाय अपने दैनिक कार्य को धीमा किए बिना शक्तिशाली एआई एजेंटों का उपयोग कर सकें।

अध्ययन ने यह भी खोजा कि अधिकृत टूल्स की एक श्रृंखला के माध्यम से सिस्टम से डेटा को बाहर निकलने से कैसे रोका जाए। भले ही हमलावर एआई को प्रतिबंधित टूल का उपयोग करने के लिए मजबूर न कर सके, वे संवेदनशील जानकारी को एक अनुमत टूल से दूसरे टूल में ले जाकर डेटा को बाहर निकालने (exfiltrate) की कोशिश कर सकते हैं। केवल मानक क्षमता जाँचों के तहत, शोधकर्ताओं ने पाया कि हमलावर अधिकृत टूल्स के बीच जानकारी को स्थानांतरित करके एक महत्वपूर्ण हिस्से में डेटा को सफलतापूर्वक बाहर निकाल सकते हैं। इसे रोकने के लिए, शोधकर्ताओं ने सूचना के प्रवाह को ट्रैक करने वाली एक ट्रैकिंग प्रणाली लागू की, जो बिल्कुल वैसे ही है जैसे एक बैंक नकदी की आवाजाही को ट्रैक करता है ताकि यह सुनिश्चित हो सके कि वह गायब न हो जाए। यह प्रणाली संवेदनशील डेटा, जैसे पासवर्ड या वित्तीय रिकॉर्ड, को चिह्नित करती है और यह सुनिश्चित करती है कि यह डेटा केवल उन्हीं गंतव्यों पर जा सकता है जिन्हें इसे प्राप्त करने के लिए स्पष्ट रूप से मंजूरी दी गई है। एक हजार से अधिक डेटा चोरी के प्रयासों वाले परीक्षणों में, सिस्टम ने हर एक प्रयास को ब्लॉक कर दिया, जिससे यह सुनिश्चित हुआ कि संवेदनशील जानकारी अनधिकृत स्थान पर नहीं जा सकती।

हालांकि सिस्टम ने उल्लेखनीय सफलता दिखाई, शोधकर्ता इसकी सीमाओं के प्रति सावधान थे। सुरक्षा गारंटी इस धारणा पर टिकी है कि सुरक्षा मॉनिटर स्वयं एक विश्वसनीय कंप्यूटर पर चल रहा है और उसे हैक नहीं किया गया है। यदि मॉनिटर से समझौता किया जाता है, तो पूरा सिस्टम विफल हो जाता है। इसके अतिरिक्त, जबकि सिस्टम उन हमलों को रोकने में उत्कृष्ट है जो टूल्स का अनधिकृत तरीके से उपयोग करने की कोशिश करते हैं, यह हर संभव चाल के बदलाव को पकड़ने में पूर्ण नहीं है, विशेष रूप से वे जिनमें सिस्टम को भ्रमित करने के लिए जटिल, बहु-चरणीय युद्धाभ्यास शामिल हैं। शोधकर्ताओं ने कुछ मामलों की पहचान की जहाँ उनके सिस्टम को बायपास किया गया था, जिनमें मुख्य रूप से बहुत विशिष्ट वित्तीय चालें या डोमेन नाम के छलावे शामिल थे, और उन्होंने इन कमियों को ठीक करने के लिए अपडेट प्रस्तावित किए हैं। वे अपने कार्य को एक 'प्री-प्रोडक्शन आर्किटेक्चर' के रूप में वर्णित करते हैं, जिसका अर्थ है कि यह वास्तविक दुनिया के वातावरण में परीक्षण के लिए तैयार है लेकिन इसे अंतिम, वाणिज्यिक उत्पाद माना जाने से पहले स्वतंत्र विशेषज्ञों द्वारा और अधिक सत्यापन की आवश्यकता है।

इस कार्य के निहितार्थ केवल एआई को सुरक्षित बनाने तक ही सीमित नहीं हैं; यह इस बारे में हमारी सोच को बदल देता है कि बुद्धिमान प्रणालियों का निर्माण कैसे किया जाए। एआई को एक संभावित अविश्वसनीय घटक के रूप में मानकर, जिसे निरंतर निगरानी की आवश्यकता है, बजाय एक विश्वसनीय साथी के जो खुद की पुलिसिंग कर सकता है, शोधकर्ताओं ने एक ऐसा ढांचा तैयार किया है जिसे तोड़ना बहुत कठिन है। यह दृष्टिकोण उन्हें अस्पतालों, बैंकों और सरकारी कार्यालयों जैसे संवेदनशील वातावरणों में शक्तिशाली, स्वायत्त एजेंटों के उपयोग की अनुमति देता है, जहाँ गलती की लागत बहुत अधिक होती है। सिस्टम सिद्ध करता है कि उच्च सुरक्षा के लिए गति का त्याग करने या महंगे हार्डवेयर की आवश्यकता नहीं है, जो इसे आर्टिफिशियल इंटेलिजेंस के भविष्य के लिए एक व्यावहारिक समाधान बनाता है। जैसे-जैसे ये एजेंट हमारे दैनिक जीवन में आम होते जा रहे हैं, सोचने और कार्य करने को अलग करना, और इस बात को लागू करना कि किन कार्यों की अनुमति दी जा सकती है, हमारी डिजिटल दुनिया को सुरक्षित रखने के लिए आवश्यक होगा।

शोधकर्ताओं ने अपने टूल्स और डेटा को जनता के लिए उपलब्ध कराया है, जिससे अन्य वैज्ञानिकों को अपने काम का परीक्षण करने और उसमें सुधार करने की अनुमति मिलती है। उन्होंने सुरक्षा मॉनिटर और प्रशिक्षित एआई मॉडल के कोड को जारी किया है, जिससे वैश्विक समुदाय को कमजोरियों को खोजने और सुधार सुझाने के लिए आमंत्रित किया गया है। यह खुलापन वैज्ञानिक प्रक्रिया का एक महत्वपूर्ण हिस्सा है, जो यह सुनिश्चित करता है कि सिस्टम केवल एक सैद्धांतिक विचार नहीं बल्कि एक व्यावहारिक उपकरण है जिसे जांचा और परिष्कृत किया जा सकता है। अध्ययन इस निष्कर्ष के साथ समाप्त होता है कि सख्त, नियतात्मक नियमों को स्मार्ट, लचीली जाँचों के साथ जोड़कर, स्वायत्त एजेंटों के लिए एक सुरक्षित वातावरण बनाना संभव है। आगे का रास्ता वास्तविक दुनिया के परिदृश्यों में इन प्रणालियों का परीक्षण करना जारी रखने, नई प्रकार की चालों को पकड़ने के लिए नियमों को परिष्कृत करने और यह सुनिश्चित करने में है कि खतरे विकसित होने के साथ तकनीक मजबूत बनी रहे। यह कार्य स्वायत्त एआई के वादे को सभी के लिए एक सुरक्षित और विश्वसनीय वास्तविकता बनाने की दिशा में एक महत्वपूर्ण कदम है।