ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents
ClawSentry एक ओपन-सोर्स, फ्रेमवर्क-अज्ञेय (framework-agnostic) सुरक्षा गेटवे है जो स्किल एडमिशन, इनवोकेशन, एक्जीक्यूशन और पोस्ट-एक्शन चरणों में एक बहु-स्तरीय, प्रोग्रेसिव रिव्यू सिस्टम को लागू करके ऑटोनॉमस LLM एजेंट्स में प्रोग्रेसिव जोखिमों को कम करता है, जो वैध कार्यों के लिए उच्च थ्रूपुट बनाए रखते हुए हमले की सफलता दर को काफी कम कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर अब केवल सवालों के जवाब ही नहीं देते, बल्कि अपने आप काम भी करने लगते हैं। वे कोड लिख सकते हैं, आपकी हार्ड ड्राइव पर फाइलें खोल सकते हैं, और किसी कार्य को पूरा करने के लिए अन्य सेवाओं को संदेश भेज सकते हैं। इन्हें स्वायत्त एजेंट (autonomous agents) कहा जाता है, और ये निष्क्रिय उपकरणों से सक्रिय श्रमिकों की ओर एक बड़ी छलांग का प्रतिनिधित्व करते हैं। हालाँकि, यह नई क्षमता एक नए प्रकार का खतरा भी लाती है। यदि किसी श्रमिक को किसी दुर्भावनापूर्ण उपकरण को उठाने के लिए बहलाया जाता है, या यदि उनके द्वारा पढ़ी जा रही किसी दस्तावेज़ में कोई छिपा हुआ निर्देश डाल दिया जाता है, तो कंप्यूटर को रहस्य चुराने, महत्वपूर्ण डेटा को हटाने या अन्य सिस्टम्स तक अपना प्रभाव फैलाने के लिए मजबूर किया जा सकता है। जोखिम केवल एक गलती का नहीं है; यह एक ऐसी श्रृंखला है जहाँ एक गलत निर्णय विनाश की एक लहर पैदा कर सकता है। सुरक्षा विशेषज्ञों के लिए मुख्य चुनौती यह है कि ये हमले चतुर और बदलते रहते हैं। एक बुरा निर्देश किसी फ़ाइल में छिपा हो सकता है, एक सामान्य अनुरोध के रूप में छद्म रूप धारण कर सकता है, या छोटे, हानिरहित दिखने वाले चरणों में विभाजित हो सकता है जो केवल तभी खतरनाक होते हैं जब उन्हें एक साथ जोड़ा जाता है।
शंघाई आर्टिफिशियल इंटेलिजेंस लेबोरेटरी के शोधकर्ताओं ने इन हमलों को नुकसान पहुँचाने से पहले रोकने के लिए एक नई प्रणाली विकसित की है। वे इसे ClawSentry कहते हैं। यह कोशिश करने के बजाय कि हर बुरे कदम को होने के बाद पकड़ा जाए, यह प्रणाली एक गेटकीपर की तरह काम करती है जो कंप्यूटर एजेंट के काम के पूरे जीवन चक्र की निगरानी करती है। शोधकर्ताओं ने महसूस किया कि खतरा चार अलग-अलग चरणों में प्रवेश कर सकता है: जब एक नया टूल पहली बार पेश किया जाता है, जब एजेंट उसे उपयोग करने का निर्णय लेता है, जब टूल वास्तव में चल रहा होता है, और टूल अपना काम पूरा करने और परिणाम देने के बाद। पिछले सुरक्षात्मक तरीके आमतौर पर इनमें से केवल एक चरण को देखते थे, जैसे कि उपयोगकर्ता द्वारा टाइप किए गए शब्दों की जाँच करना या कंप्यूटर द्वारा चलाए जा रहे कोड की निगरानी करना। टीम ने पाया कि यह पर्याप्त नहीं था क्योंकि एक बुरा व्यक्ति केवल एक अलग तरीके से, एक अलग टूल का उपयोग करके या अनुरोध को अलग तरह से प्रस्तुत करके, एक एकल चेकपॉइंट को दरकिनार करने के लिए फिर से प्रयास कर सकता था।
इस समस्या को हल करने के लिए, शोधकर्ताओं ने एक ऐसा ढांचा बनाया है जो कंप्यूटर एजेंट और बाहरी दुनिया के बीच स्थित है, और जो एजेंट द्वारा किए जाने वाले हर प्रयास की निगरानी करता है। उन्होंने एक ऐसी प्रणाली डिज़ाइन की है जो परतों में काम करती है, ठीक वैसे ही जैसे एक सुरक्षा टीम जो पहले आगंतुक का आईडी चेक करती है, फिर उनके व्यवहार की निगरानी करती है, और अंत में उनकी यात्रा के परिणाम की समीक्षा करती है। रक्षा की पहली पंक्ति तब होती है जब किसी नए टूल का उपयोग किया जाता है। सिस्टम उस टूल के कोड के पूरे पैकेज को पढ़ता है ताकि छिपे हुए खतरों की तलाश की जा सके। यदि कोड संदिग्ध दिखता है, तो टूल को तुरंत ब्लॉक कर दिया जाता है। यह इस बात को रोकता है कि एजेंट कभी भी एक खतरनाक प्रोग्राम को लोड न कर सके। यदि कोई टूल इस प्रारंभिक जाँच में पास हो जाता है, तो सिस्टम एजेंट द्वारा किए जाने वाले प्रत्येक कार्य की निगरानी करता है। यह स्पष्ट खतरों को पकड़ने के लिए नियमों के एक सरल, तेज़ सेट का उपयोग करता है, जैसे कि किसी महत्वपूर्ण सिस्टम फ़ाइल को हटाने का प्रयास करना। यदि कोई कार्य स्पष्ट रूप से खतरनाक नहीं है लेकिन स्पष्ट रूप से सुरक्षित भी नहीं है, तो सिस्टम निर्णय को एक अधिक उन्नत कंप्यूटर मॉडल को सौंप देता है जो अनुरोध के संदर्भ और इरादे को समझ सकता है।
इस प्रणाली का एक महत्वपूर्ण हिस्सा इसकी यह क्षमता है कि यह याद रख सके कि इसने पहले क्या ब्लॉक किया है। यदि कोई एजेंट फ़ाइल चुराने की कोशिश करता है और रोका जाता है, तो सिस्टम उस विशिष्ट लक्ष्य को रिकॉर्ड कर लेता है। यदि एजेंट बाद में किसी दूसरे टूल का उपयोग करके या अपने अनुरोध को छोटे चरणों में तोड़कर फिर से प्रयास करता है, तो सिस्टम पहचान लेता है कि यह एक ही बुरा लक्ष्य है जिसे नए भेष में प्रस्तुत किया गया है, और इसे फिर से रोकता है। यह एजेंट को कई अलग-अलग दृष्टिकोणों का उपयोग करके सुरक्षा घेरे को कमजोर करने से रोकता है। सिस्टम यह भी देखता है कि किसी कार्य के पूरा होने के बाद क्या होता है। कभी-कभी, खतरा केवल उन परिणामों में दिखाई देता है जो एक टूल वापस करता है, जैसे कि एक ऐसी फ़ाइल जिसमें अगले चरण के लिए छिपे हुए निर्देश हों। सिस्टम इन परिणामों की समीक्षा करता है और यदि कुछ गलत हुआ है तो मानव ऑपरेटर को सचेत कर सकता है, जिससे उन्हें अधिक नुकसान होने से पहले प्रक्रिया को रोकने की अनुमति मिलती है।
शोधकर्ताओं ने इस प्रणाली का परीक्षण कई अलग-अलग प्रकार के कंप्यूटर एजेंटों के साथ किया और पाया कि यह अत्यधिक प्रभावी है। उन परीक्षणों में जहाँ एजेंटों को विभिन्न प्रकार के खतरनाक उपकरणों और छिपे हुए निर्देशों के संपर्क में लाया गया था, सिस्टम ने सफल हमलों की दर को लगभग आधे प्रयासों से घटाकर एक बहुत छोटे हिस्से तक कम कर दिया। विशेष रूप से, सुरक्षा परीक्षणों के एक मानक सेट पर, सिस्टम ने हमलों की सफलता दर को 33.5% से 49.7% की सीमा से घटाकर 9.09% और 15.03% के बीच कर दिया। साथ ही, सिस्टम ने एजेंटों को उनके सामान्य, सहायक कार्य करने से नहीं रोका। जब एजेंटों को सुरक्षित कार्य दिए गए, तो वे लगभग हर समय सफलतापूर्वक कार्य पूरा करने में सक्षम थे, जिसकी सफलता दर 98.7% थी। यह दर्शाता है कि सिस्टम एक वास्तविक गलती और एक दुर्भावनापूर्ण हमले के बीच अंतर कर सकता है बिना उपयोगी काम में बाधा डाले।
अध्ययन ने यह भी पता लगाया कि प्रणाली विभिन्न प्रकार के कंप्यूटर मॉडलों को कैसे संभालती है और पाया कि इसकी सुरक्षा इस बात पर निर्भर नहीं करती कि कौन सा विशिष्ट आर्टिफिशियल इंटेलिजेंस सोच रहा है। सुरक्षा नियम और गेटकीपिंग प्रक्रिया एजेंट से अलग है, जिसका अर्थ है कि वही सुरक्षा प्रणाली कई अलग-अलग प्रकार के एजेंटों की रक्षा कर सकती है। शोधकर्ताओं ने यह भी खोजा कि हमले को रोकने का सबसे प्रभावी तरीका यह है कि एजेंट को किसी खतरनाक टूल का उपयोग करने का मौका देने से पहले ही उसे ब्लॉक कर दिया जाए। एक बार जब एक बुरा टूल एजेंट की मेमोरी में लोड हो जाता है, तो नुकसान को रोकना बहुत कठिन हो जाता है, भले ही सिस्टम बाद में बुरे कार्यों को पकड़ने में बहुत अच्छा हो। यह सुझाव देता है कि सबसे अच्छा बचाव यह है कि सिस्टम में पहले से ही कौन से उपकरण अनुमत हैं, इसके बारे में सख्त रहा जाए।
एक सख्त प्रारंभिक जाँच, प्रत्येक क्रिया की बहु-स्तरीय समीक्षा और पिछले प्रयासों की स्मृति को जोड़कर, यह नई प्रणाली स्वायत्त कंप्यूटरों के लिए एक बहुत सुरक्षित वातावरण बनाती है। यह इस वास्तविकता को संबोधित करती है कि हमले एकल घटनाएँ नहीं बल्कि रास्ता खोजने के निरंतर प्रयास हैं। परिणाम बताते हैं कि सही प्रकार की निगरानी के साथ, हम कंप्यूटरों को जटिल कार्य करने की अनुमति दे सकते हैं बिना दुर्भावनापूर्ण तत्वों को नियंत्रण सौंपे। यह प्रणाली किसी एक ट्रिक या एक पूर्ण मॉडल पर निर्भर नहीं है; इसके बजाय, यह एक संरचित दृष्टिकोण का उपयोग करती है जो कई बिंदुओं पर खतरों को पकड़ता है, यह सुनिश्चित करता है कि यदि एक परत को बायपास भी कर दिया जाए, तो दूसरी परत खतरे को रोकने के लिए तैयार है। यह कार्य एक व्यावहारिक ब्लूप्रिंट प्रदान करता है कि हम अपने दैनिक जीवन और कार्य परिवेश में शक्तिशाली, स्वतंत्र कंप्यूटर एजेंटों को सुरक्षित रूप से कैसे एकीकृत कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।