← नवीनतम पेपर
💻 computer science

Agent Guard: Kernel-Enforced Damage Boundaries for AI Agents via Human-Authorized Contracts

यह शोध पत्र एजेंट गार्ड (Agent Guard) प्रस्तुत करता है, जो एक लिनक्स रेफरेंस मॉनिटर है जो eBPF-आधारित LSMs का उपयोग करके मानव-अधिकृत क्षति सीमाओं को लागू करता है ताकि अनधिकृत फ़ाइल और नेटवर्क एक्सेस को नियत रूप से अस्वीकार किया जा सके और प्रक्रिया पदानुक्रमों (process hierarchies) में सख्त "नो-एग्रेस" (no-egress) अवस्थाओं को प्रसारित किया जा सके, जिससे मौजूदा बेसलाइनों की तुलना में काफी कम ओवरहेड प्राप्त होता है।

मूल लेखक: Dongxu Cui, Zhichao Gu, Ping Zheng, Wenshuai Xi, Simeng Han, Yong Liao

प्रकाशित 2026-09-01
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Dongxu Cui, Zhichao Gu, Ping Zheng, Wenshuai Xi, Simeng Han, Yong Liao

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आधुनिक डिजिटल परिदृश्य में, आर्टिफिशियल इंटेलिजेंस एक साधारण टेक्स्ट जनरेटर से विकसित होकर एक सक्रिय कार्यकर्ता बन गया है जो जटिल कार्यों की योजना बनाने, प्रोग्राम चलाने और कंप्यूटर पर फाइलों और नेटवर्क के साथ बातचीत करने में सक्षम है। हालाँकि, यह नई स्वायत्तता एक विशिष्ट प्रकार का जोखिम भी लाती है: यदि एआई कोई गलती करता है, किसी दुर्भावनापूर्ण प्रॉम्प्ट से धोखा खा जाता है, या केवल एक खतरनाक निर्देश की कल्पना (hallucinate) कर लेता है, तो यह उन कमांड्स को निष्पादित कर सकता है जो उसी सिस्टम को नुकसान पहुँचा सकते हैं जिसकी सहायता के लिए इसे बनाया गया है। पारंपरिक सुरक्षा उपाय अक्सर क्लब के दरवाजे पर एक बाउंसर की तरह कार्य करते हैं, जो किसी टूल को अंदर आने देने से पहले उसका नाम जाँचते हैं, लेकिन वे इस बात को ट्रैक करने में संघर्ष करते हैं कि एक बार जब वह टूल एक शेल खोलता है, एक चाइल्ड प्रोसेस बनाता है, या एक ऐसी फ़ाइल लिखता है जिसे बाद में दूसरे प्रोग्राम द्वारा पढ़ा जाता है, तो क्या होता है। एक बार जब एआई प्रारंभिक जाँच से बच निकलता है, तो इसके कार्य ऑपरेटिंग सिस्टम में लहरों की तरह फैल सकते हैं, जिससे सुरक्षा टीमें यह बताने में असमर्थ हो जाती हैं कि निष्पादन का कौन सा हिस्सा अधिकृत था और किस हिस्से ने नुकसान पहुँचाया।

इसे हल करने के लिए, शोधकर्ताओं ने 'एजेंट गार्ड' (Agent Guard) नामक एक प्रणाली विकसित की है, जो कंप्यूटर के मूल या कर्नेल (kernel) के भीतर एक निरंतर, बिना पलक झपकाए निगरानी करने वाले मॉनिटर के रूप में कार्य करती है। एआई पर नियमों का पालन करने के लिए भरोसा करने या एआई द्वारा यह सुझाव देने पर निर्भर रहने के बजाय कि क्या अनुमति दी जानी चाहिए, यह प्रणाली इस बात की आवश्यकता रखती है कि मानव द्वारा सीमाओं की पुष्टि की जाए, इससे पहले कि एआई को चलने की अनुमति दी जाए। मानव उन विशिष्ट नियमों को अधिकृत करता है जो एआई के कार्यों के लिए होंगे, और फिर कंप्यूटर का ऑपरेटिंग सिस्टम पूर्ण निश्चितता के साथ इन नियमों को लागू करता है। यदि एआई अपने अधिकृत दायरे से बाहर कुछ करने की कोशिश करता है, तो सिस्टम इसे तुरंत रोक देता है, इससे बहुत पहले कि कोई नुकसान हो सके। यह दृष्टिकोण इस बात पर ध्यान केंद्रित करने के बजाय कि एआई द्वारा की जाने वाली हर संभावित गलती का अनुमान लगाया जाए, उन विशिष्ट संपत्तियों के चारों ओर एक कठोर, अटूट घेरा बनाने पर है जिन्हें छूने के लिए मानव ने सुरक्षित निर्णय लिया है।

शोधकर्ताओं ने इस प्रणाली का निर्माण एक विशेष गेट बनाकर किया है जो मानव के प्राधिकरण और एआई के निष्पादन के बीच स्थित है। एआई को कोई भी कोड चलाने की अनुमति देने से पहले, एक मानव को प्रस्तावित योजना की समीक्षा करनी चाहिए और यह पुष्टि करनी चाहिए कि एआई को किन विशिष्ट फाइलों और नेटवर्क कनेक्शनों तक पहुँचने की अनुमति है। यह पुष्टि केवल एक सुझाव नहीं है; यह एक औपचारिक अनुबंध है जिसे कंप्यूटर का ऑपरेटिंग सिस्टम लागू करता है। सिस्टम फिर इस अनुबंध को उस विशिष्ट कार्य से जोड़ देता है जिसे एआई करने वाला है। यदि एआई ऐसा कमांड चलाने की कोशिश करता है जो इस अनुबंध का उल्लंघन करता है, तो ऑपरेटिंग सिस्टम अनुरोध को तुरंत अस्वीकार कर देता है। महत्वपूर्ण बात यह है कि सिस्टम केवल प्रारंभिक कमांड की जाँच नहीं करता है; यह घटनाओं की पूरी श्रृंखला पर नज़र रखता है। यदि एआई एक फ़ाइल लिखता है, और उस फ़ाइल को बाद में किसी अन्य प्रोग्राम द्वारा पढ़ा जाता है, तो प्रतिबंध उस फ़ाइल के साथ यात्रा करता है। यदि एआई एक नेटवर्क कनेक्शन खोलता है, तो सिस्टम यह सुनिश्चित करता है कि यदि अनुबंध निषेध लगाता है, तो कोई भी डेटा कंप्यूटर से बाहर न जा सके, भले ही कनेक्शन प्रतिबंध पूरी तरह से लागू होने से पहले स्थापित किया गया हो।

इस स्तर का नियंत्रण प्राप्त करने के लिए, शोधकर्ताओं ने एक ऐसी तकनीक का उपयोग किया है जो सिस्टम को ऑपरेटिंग सिस्टम के आंतरिक हुक्स (hooks) से सीधे जुड़ने की अनुमति देती है। उन्होंने एक डेटा प्लेन बनाया है जो प्रत्येक प्रक्रिया (process), फ़ाइल और संचार चैनल को एक विशिष्ट स्थिति (status) के साथ टैग करता है। जब एक प्रक्रिया एक प्रतिबंधित फ़ाइल को पढ़ती है, तो वह प्रतिबंध विरासत में प्राप्त करती है। जब वह किसी पाइप या सॉकेट पर कुछ लिखती है, तो प्रतिबंध दूसरे छोर तक पहुँच जाता है। यह प्रसार 'मोनोटोनिक' (monotonic) है, जिसका अर्थ है कि एक बार प्रतिबंध लागू हो जाने के बाद, एआई द्वारा प्रोग्राम को पुनरारंभ करके या फ़ाइल का नाम बदलकर इसे हटाया नहीं जा सकता है। सिस्टम यह सुनिश्चित करता है कि "नो-गो" (no-go) स्थिति प्रक्रियाओं के नेटवर्क में एक ऐसे दाग की तरह फैलती है जिसे धोया नहीं जा सकता, जिससे एआई द्वारा नियमों को बायपास करने के लिए मध्यवर्ती चरणों के माध्यम से अपने कार्यों को 'लॉन्ड्रिंग' करने की संभावना को रोका जा सके।

टीम ने इस प्रणाली का कड़ाई से परीक्षण किया ताकि यह देखा जा सके कि क्या यह वास्तव में उस क्षति को रोक सकती है जिसे रोकने के लिए इसे डिज़ाइन किया गया है। उन्होंने सैकड़ों औपचारिक सुरक्षा परीक्षण चलाए जिनमें उन्नीस विभिन्न परिदृश्य शामिल थे, जिसमें वे मामले भी शामिल थे जहाँ एआई ने उन फाइलों तक पहुँचने की कोशिश की जिन्हें उसे नहीं छूना चाहिए था, नेटवर्क पर डेटा भेजने की कोशिश की जिसे प्रतिबंधित किया गया था, या अन्य प्रोग्रामों को प्रतिबंधों को पास करने की कोशिश की। प्रत्येक एक के 570 टेस्ट रिकॉर्ड्स में, सिस्टम ने ठीक वैसे ही प्रदर्शन किया जैसा कि अपेक्षित था। इसने सफलतापूर्वक अनधिकृत कार्यों को रोका, विभिन्न प्रकार की फाइलों और संचार चैनलों में प्रतिबंधों को सही ढंग से प्रसारित किया, और यह सुनिश्चित किया कि सहमत सीमाओं के बाहर कोई दुष्प्रभाव न हो। सिस्टम ने यह सिद्ध किया कि वह एआई के अपने निर्णय या उसकी नीति के सुझावों पर भरोसा किए बिना, एक सख्त, मानव-अधिकृत क्षति सीमा बनाए रख सकता है।

केवल यह सिद्ध करने के अलावा कि यह काम करता है, शोधकर्ताओं ने यह भी मापा कि यह अतिरिक्त सुरक्षा परत कंप्यूटर को कितना धीमा करती है। उन्होंने अपनी प्रणाली की तुलना 'एक्टप्लेन' (ActPlane) नामक एक पिछली विधि से की, जो एक समान सुरक्षा उपकरण है। फ़ाइल पढ़ने और लिखने से संबंधित परीक्षणों में, नए सिस्टम ने बिना किसी सुरक्षा उपायों वाले कंप्यूटर की तुलना में लगभग 12 प्रतिशत का विलंब जोड़ा। इसके विपरीत, पुराने सिस्टम ने कार्य के आधार पर कंप्यूटर को 33 से 61 प्रतिशत तक धीमा कर दिया। यह महत्वपूर्ण अंतर बताता है कि नया दृष्टिकोण न केवल अधिक सुरक्षित है बल्कि बहुत अधिक कुशल भी है, जिससे यह वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बन जाता है जहाँ गति मायने रखती है। शोधकर्ताओं ने पाया कि नियमों की जाँच करने और डेटा के प्रवाह को ट्रैक करने की लागत न्यूनतम थी, विशेष रूप से पिछले पीढ़ी के उपकरणों के भारी ओवरहेड की तुलना में।

अध्ययन ने यह भी रेखांकित किया कि यह प्रणाली क्या नहीं करती है, जो कि यह करने से भी अधिक महत्वपूर्ण है। यह प्रणाली एआई सुरक्षा की हर संभव समस्या को ठीक करने का दावा नहीं करती है, और न ही यह गारंटी देती है कि मानव का प्रारंभिक निर्णय पूर्ण था। यह केवल यह सुनिश्चित करती है कि मानव जो भी निर्णय लेता है, कंप्यूटर उस नियम का बिना किसी विफलता के पालन करता है। यह उन संपत्तियों की रक्षा नहीं करती है जिन्हें कभी घोषित नहीं किया गया था, और न ही यह एआई को नुकसान पहुँचाने से रोकती है यदि मानव स्पष्ट रूप से एक खतरनाक कार्य को अधिकृत करता है। यह सिस्टम प्रवर्तन (enforcement) के लिए एक उपकरण है, मानव निर्णय के विकल्प के रूप में नहीं। यह "सुरक्षित एआई" के जटिल, अक्सर अस्पष्ट विचार को एक ठोस, तकनीकी वास्तविकता में बदल देता है जहाँ सीमाएँ एक व्यक्ति द्वारा परिभाषित की जाती हैं और मशीन द्वारा लागू की जाती हैं।

अंत में, यह कार्य यह प्रदर्शित करता है कि कृत्रिम बुद्धिमत्ता के लिए एक सुरक्षा जाल बनाना संभव है जो सख्त और कुशल दोनों हो। एआई (जो कार्यों का सुझाव देता है) और मानव (जो उन्हें अधिकृत करता है) की भूमिकाओं को अलग करके, और फिर उन प्राधिकरणों को लागू करने के लिए ऑपरेटिंग सिस्टम का उपयोग करके, शोधकर्ताओं ने एक ऐसा मॉडल तैयार किया है जहाँ क्षति सीमित और अनुमानित है। यह सिस्टम एआई के अच्छा व्यवहार करने पर भरोसा नहीं करता है; यह ऑपरेटिंग सिस्टम पर भरोसा करता है कि वह एआई को बुरा व्यवहार करने से रोके। एजेंट पर विश्वास करने के बजाय अनुबंध को लागू करने की ओर यह बदलाव यह दर्शाता है कि हम स्वायत्त कंप्यूटिंग के भविष्य को कैसे सुरक्षित कर सकते हैं, यह सुनिश्चित करते हुए कि यदि एआई कोई गलती भी करता है, तो उसके परिणाम उन दीवारों के भीतर सीमित रहेंगे जो मानव ने बनाई हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →