AgentFlow: A Flow-Centric Policy Language and Framework for Securing LLM Agent Systems
एजेंटफ्लो (AgentFlow) एक फ्लो-केंद्रित नीति भाषा और रनटाइम प्रवर्तन ढांचा पेश करता है जो टूल और डेलिगेशन सीमाओं के पार संवेदनशील डेटा प्रवाह को ट्रैक करके एलएलएम (LLM) एजेंट सिस्टम को सुरक्षित करता है, और कार्य उपयोगिता को बनाए रखते हुए या उसमें सुधार करते हुए कई बेंचमार्क में पुष्ट समझौतों (compromises) को सफलतापूर्वक समाप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, आर्टिफिशियल इंटेलिजेंस एक साधारण चैटबॉट से विकसित होकर एक सक्षम सहायक बन गया है जो हमारे बदले जटिल कार्य कर सकता है। ये सिस्टम, जिन्हें अक्सर 'एजेंट्स' कहा जाता है, केवल सवालों के जवाब ही नहीं देते; वे दस्तावेज़ पढ़ते हैं, वेब खोजते हैं, निजी डेटाबेस तक पहुँचते हैं और ईमेल भेजते हैं। वे मध्यस्थ के रूप में कार्य करते हैं, जो उपयोगकर्ता के इरादे और इंटरनेट पर उपलब्ध उपकरणों की विशाल श्रृंखला के बीच के अंतर को पाटते हैं। हालाँकि, स्वायत्तता का यह नया स्तर एक सूक्ष्म लेकिन खतरनाक भेद्यता (vulnerability) पेश करता है। खतरा हमेशा कोई एक स्पष्ट गलती नहीं होता, जैसे कि किसी एजेंट द्वारा गलती से कोई फ़ाइल हटा देना। इसके बजाय, नुकसान अक्सर उन कार्यों के क्रम से उत्पन्न होता है जो अपने आप में पूरी तरह से तर्कसंगली दिखते हैं। एक एजेंट एक गोपनीय रिकॉर्ड पढ़ सकता है, उसका सारांश बना सकता है, और फिर उस सारांश को एक ईमेल में भेज सकता है। प्रत्येक चरण अनुमत है, लेकिन उनका संयोजन निजी जानकारी के लीक होने का परिणाम देता है। यही वह मुख्य चुनौती है जिसका सामना शोधकर्ता कर रहे हैं: एक ऐसे सिस्टम को कैसे सुरक्षित किया जाए जहाँ डेटा का मार्ग उतना ही महत्वपूर्ण है जितना कि लिए गए व्यक्तिगत कदम।
वर्जीनिया टेक के शोधकर्ताओं की एक टीम ने इस विशिष्ट समस्या को हल करने के लिए 'एजेंटफ्लो' (AgentFlow) नामक एक नया ढांचा विकसित किया है। उनका कार्य केवल यह जाँचने के बजाय कि क्या कोई एकल कार्य अनुमत है, एक एजेंट के वर्कफ़्लो के माध्यम से सूचना की यात्रा को ट्रैक करने पर केंद्रित है। कल्पना कीजिए कि एक सुरक्षा गार्ड जो न केवल यह जाँचता है कि आपके पास किसी दरवाजे की चाबी है या नहीं, बल्कि यह भी देखता है कि आप कहाँ गए हैं, आपने क्या उठाया है, और क्या आप उस वस्तु को अपने अंतिम गंतव्य तक ले जाने के लिए अधिकृत हैं। एजेंटफ्लो इसी सिद्धांत पर कार्य करता है। यह प्रत्येक डेटा को एक लेबल के साथ मानता है जो इसकी संवेदनशीलता, इसकी श्रेणी और इसकी विश्वसनीयता का वर्णन करता है। यदि डेटा किसी अविश्वसनीय वेबसाइट से आता है, तो उस पर "अविश्वसनीय" (untrusted) का लेबल होता है। यदि इसमें कोई सोशल सिक्योरिटी नंबर है, तो इसमें "गोपनीय" (confidential) का लेबल होता है। सिस्टम फिर यह देखता है कि डेटा एक डेटाबेस से टूल में, और अंततः एक ईमेल या सार्वजनिक पोस्ट में जाने के दौरान इन लेबलों में कैसे बदलाव आता है।
शोधकर्ताओं ने एक ऐसी भाषा बनाई है जो सिस्टम ऑपरेटरों को डेटा की यात्राओं के बारे में नियम लिखने की अनुमति देती है। ये नियम एक गोपनीय सारांश को कभी भी बाहरी ईमेल पते तक पहुँचने से रोक सकते हैं, या अविश्वसनीय वेब सामग्री को एक विश्वसनीय आंतरिक निर्देश के रूप में व्यवहार करने से रोक सकते हैं। यह सिस्टम आर्टिफिशियल इंटेलिजेंस और उन टूल्स के बीच एक 'मॉनिटर' रखकर काम करता है जिनका वह उपयोग करता है। इससे पहले कि एजेंट को किसी टूल को कॉल करने की अनुमति दी जाए, मॉनिटर डेटा की वर्तमान स्थिति की जाँच करता है। वह पूछता है: यह जानकारी कहाँ से आई थी? क्या इसे शुद्ध (sanitize) किया गया है? क्या एजेंट को इसे इस विशिष्ट स्थान पर भेजने की अनुमति है? यदि इनमें से किसी भी प्रश्न का उत्तर 'नहीं' है, तो क्रिया को रोक दिया जाता है। यह दृष्टिकोण पुराने सुरक्षा तरीकों से अलग है जो केवल यह देखते थे कि क्या किसी उपयोगकर्ता के पास उस टूल का उपयोग करने की अनुमति है। उन पुराने तरीकों ने उस खतरे को नहीं देखा जो एक सुरक्षित टूल के असुरक्षित डेटा के साथ उपयोग किए जाने से उत्पन्न होता है।
अपने सिस्टम को तैनात करने से पहले यह सुनिश्चित करने के लिए कि उनके नियम सुदृढ़ हैं, शोधकर्ताओं ने एक गणितीय सत्यापनकर्ता (mathematical verifier) बनाया। यह उपकरण एक 'स्ट्रेस टेस्ट' की तरह कार्य करता है, जो हजारों संभावित परिदृश्यों का अनुकरण करता है यह देखने के लिए कि क्या नियमों को तोड़ा जा सकता है। अपने परीक्षण में, इस सत्यापनकर्ता ने सफलतापूर्वक हर उस असुरक्षित भिन्नता को पकड़ा जिसे उसे धोखा देने के लिए आज़माया गया था। जब उन्होंने वास्तविक दुनिया के सिमुलेशन में सिस्टम को काम पर लगाया, तो परिणाम चौंकाने वाले थे। एजेंटों को डेटा लीक करने या अनधिकृत कार्य करने के लिए चकमा देने के लिए डिज़ाइन किए गए लगभग 950 परीक्षण मामलों के एक सेट पर, सिस्टम ने पुष्ट सुरक्षा उल्लंघनों को 33 प्रतिशत से घटाकर शून्य कर दिया। 200 गतिशील, वास्तविक जीवन शैली के कार्यों के एक अन्य सेट में, इसने सफल हमलों को 73.5 प्रतिशत तक समाप्त कर दिया, जिससे विफलता दर भी शून्य हो गई। महत्वपूर्ण रूप से, सिस्टम ने यह सब एजेंट की काम करने की क्षमता को नष्ट किए बिना किया। वास्तव में, कई मामलों में, एजेंट ने अपने इच्छित कार्यों को अधिक सफलतापूर्वक पूरा किया क्योंकि सुरक्षा नियमों ने इसे डेटा में छिपे दुर्भावनापूर्ण निर्देशों से विचलित होने से रोका।
शोधकर्ता अपने कार्य की सीमाओं को परिभाषित करने में सावधान रहे। उन्होंने यह दावा नहीं किया कि उन्होंने आर्टिफिशियल इंटेलिजेंस से जुड़ी हर संभव समस्या को हल कर दिया है, जैसे कि जब कोई एआई तथ्य गढ़ता है या गलत सलाह देता है। उनका सिस्टम विशेष रूप से टूल्स और बाहरी कनेक्शनों के माध्यम से डेटा के प्रवाह को नियंत्रित करने के लिए डिज़ाइन किया गया है। यह मानकर चलता है कि सुरक्षा मॉनिटर स्वयं विश्वसनीय और सही ढंग से लागू किया गया है। अध्ययन एक विशिष्ट प्रकार के खतरे पर केंद्रित था जहाँ एक हमलावर एजेंट को हेरफेर करने की कोशिश करता है, जैसे कि उसे किसी दूषित वेबपेज या दुर्भावनापूर्ण ईमेल के माध्यम से अविश्वसनीय सामग्री खिलाकर, ताकि उसे उन कार्यों को करने के लिए मजबूर किया जा सके जो उपयोगकर्ता कभी नहीं चाहता था। डेटा के पथ पर ध्यान केंद्रित करके, एजेंटफ्लो इन हमलों को तब भी रोकता है जब प्रत्येक व्यक्तिगत कदम निर्दोष दिखता है।
मूल्यांकन ने दिखाया कि सिस्टम बैंकिंग और यात्रा नियोजन से लेकर वर्कस्पेस प्रबंधन तक विभिन्न प्रकार के कार्यों में काम करता है। एक परिदृश्य में, एक एजेंट को निजी ग्राहक रिकॉर्ड का सारांश बनाने और उन्हें हमलावर को ईमेल करने के लिए बहकाया गया था। एक मानक सुरक्षा प्रणाली इस ईमेल को अनुमति दे सकती थी क्योंकि एजेंट के पास संदेश भेजने की अनुमति थी। हालाँकि, एजेंटफ्लो ने देखा कि जिस डेटा का सारांश बनाया जा रहा था वह गोपनीय था और ईमेल एक बाहरी पते पर जा रहा था बिना किसी उचित सुरक्षा जाँच के। इसने क्रिया को रोक दिया। एक अन्य मामले में, एक हमलावर ने एजेंट को यह विश्वास दिलाने की कोशिश की कि एक दुर्भावनापूर्ण निर्देश एक वैध आंतरिक नीति है। सिस्टम ने पहचान लिया कि निर्देश एक अविश्वसनीय स्रोत से आया था और उसने एजेंट को उस पर कार्य करने से इनकार कर दिया।
शोधकर्ताओं ने यह भी मापा कि इस सुरक्षा परत ने एजेंट की गति को कितना धीमा किया। उन्होंने पाया कि प्रत्येक निर्णय में जोड़ा गया समय सूक्ष्म (microscopic) था, जिसे माइक्रोसेकंड में मापा गया, जो एआई द्वारा सोचने और प्रतिक्रिया उत्पन्न करने के समय की तुलना में नगण्य है। इसका अर्थ है कि सुरक्षा का लाभ गति या उपयोगिता की कीमत पर नहीं आता है। टीम ने अपने सिस्टम का परीक्षण ज्ञात हमले के तरीकों की एक विस्तृत श्रृंखला के विरुद्ध किया, जिसमें टूल कनेक्शन का फायदा उठाने या एजेंट की मेमोरी में हेरफेर करने के प्रयास शामिल हैं। हर उस मामले में जहाँ हमला डेटा को इस तरह से स्थानांतरित करने पर निर्भर था जो कॉन्फ़िगर किए गए नियमों का उल्लंघन करता था, सिस्टम ने उसे रोक दिया।
हालाँकि परिणाम उत्साहजनक हैं, लेखक इन्हें एक विशिष्ट प्रकार के नीति प्रवर्तन के लिए प्रारंभिक साक्ष्य के रूप में वर्णित करते हैं। वे स्वीकार करते हैं कि वास्तविक दुनिया के अनुप्रयोगों को यह सावधानीपूर्वक परिभाषित करने की आवश्यकता होगी कि क्या संवेदनशील है और कौन सी क्रियाएं अनुमत हैं। सिस्टम यह अनुमान नहीं लगाता है कि उपयोगकर्ता क्या चाहता है; यह दिए गए नियमों को लागू करता है। यदि कोई उपयोगकर्ता अविश्वसनीय वेब सामग्री को सार्वजनिक ब्लॉग पर भेजना चाहता है, तो उसे एक नियम को स्पष्ट रूप से कॉन्फ़िगर करना होगा जो इसकी अनुमति देता हो। बिना उस विशिष्ट अनुमति के, सुरक्षा के लिए सिस्टम क्रिया को ब्लॉक कर देगा। सख्त सुरक्षा और आवश्यक लचीलेपन के बीच यह संतुलन ही इन शक्तिशाली एजेंटों को खतरनाक बनाए बिना उपयोगी बनाने की कुंजी है।
यह कार्य आर्टिफिशियल इंटेलिजेंस को सुरक्षित करने के बारे में हमारी सोच में एक बदलाव का प्रतिनिधित्व करता है। यह अनुमान लगाने के बजाय कि एआई किस तरह से गलत हो सकता है, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जो सूचना के प्रवाह पर नज़र रखता है और स्पष्ट सीमाएँ निर्धारित करता है। डेटा कहाँ से आता है और उसे कहाँ जाने की अनुमति है, इसे ट्रैक करके, एजेंटफ्लो सूचना के प्रवाह पर नज़र रखकर सुरक्षा का एक जाल प्रदान करता है। यह सुनिश्चित करता है कि भले ही एक एजेंट को खतरनाक पथ पर ले जाने के लिए चकमा दिया जाए, सिस्टम किसी भी नुकसान के होने से पहले उस यात्रा को रोक देता है। यह दृष्टिकोण उन वातावरणों में एआई एजेंटों को तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है जहाँ गोपनीयता और सुरक्षा सर्वोपरि है, जिससे स्वायत्त क्रिया के संभावित जोखिमों को एक प्रबंधित और नियंत्रित प्रक्रिया में बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।