Securing Agentic AI: From Per-Action Checks to Trajectory Assurance
यह शोध पत्र स्वायत्त एजेंटों (autonomous agents) के लिए एक व्यापक सुरक्षा रोडमैप की रूपरेखा प्रस्तुत करता है, जिसमें यह तर्क दिया गया है कि सुरक्षा को व्यक्तिगत कार्यों के सत्यापन से बदलकर एकल-एजेंट इनपुट से लेकर मल्टी-एजेंट डेलीगेशन और सिस्टम-स्तरीय आपूर्ति श्रृंखला प्रोवेनेंस (supply chain provenance) तक, संपूर्ण एजेंटिक स्टैक के पूरे व्यवहार संबंधी प्रक्षेपवक्र (behavioral trajectories) की अखंडता सुनिश्चित करने की ओर स्थानांतरित होना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल सवालों के जवाब नहीं देते, बल्कि वास्तव में काम भी करते हैं। वे आपको केवल मौसम नहीं बताते; वे आपकी उड़ान बुक करते हैं, आपके किराने का सामान मंगवाते हैं, और आपके बैंक खाते का प्रबंधन करते हैं। इन्हें "स्वायत्त एजेंट" (autonomous agents) कहा जाता है। इन्हें 'सुपर-स्मार्ट डिजिटल इंटर्न' के रूप में सोचें जो लार्ज लैंग्वेज मॉडल्स (LLMs) द्वारा संचालित होते हैं—वही बुद्धिमान AI जो कविताएँ या कोड लिख सकता है। लेकिन एक मानव इंटर्न के विपरीत जिसे अपना काम चेक करने के लिए एक बॉस की आवश्यकता होती है, ये एजेंट अपने आप योजना बना सकते हैं, तर्क कर सकते हैं और उपकरणों का उपयोग कर सकते हैं। वे अन्य एजेंटों से भी बात कर सकते हैं, जिससे बड़े, जटिल कार्यों को पूरा करने के लिए एक टीम बन सकती है।
बड़ा सवाल जो हर कोई पूछ रहा है वह है: "क्या होगा जब ये डिजिटल इंटर्न बेकाबू हो जाएंगे?" यदि कोई इंसान गलती करता है, तो हम आमतौर पर उसे पकड़ सकते हैं। लेकिन यदि एक AI एजेंट एक सेकंड में एक हजार छोटे निर्णय लेता है, और उनमें से केवल एक भी थोड़ा सा गलत हो जाए, तो यह अनजाने में कानून तोड़ सकता है, बैंक खाता खाली कर सकता है, या पावर ग्रिड को क्रैश कर सकता है। हम पहले सोचते थे कि सुरक्षा केवल यह सुनिश्चित करने के बारे में थी कि प्रत्येक व्यक्तिगत कदम सुरक्षित है, जैसे कि यह देखना कि दरवाजा बंद है या नहीं। यह शोध पत्र तर्क देता है कि अब यह पर्याप्त नहीं है। यह एक महल के हर ईंट को अच्छी पत्थर की जांच करने जैसा है; यह गारंटी नहीं देता कि अगर ईंटों को गलत क्रम में रखा गया तो पूरा महल ढह नहीं जाएगा। असली खतरा केवल एक बुरा कदम नहीं है; बल्कि एक पूरी यात्रा है जो हर पड़ाव पर सुरक्षित दिखती है लेकिन आपदा क्षेत्र में समाप्त होती है।
यह शोध पत्र, जो AI के शीर्ष नेताओं के एक प्रमुख समागम के लिए लिखा गया है, इन डिजिटल एजेंटों को सुरक्षित करने के लिए एक रोडमैप के रूप में कार्य करता है। लेखक, जो कंप्यूटर वैज्ञानिकों की एक टीम है, तर्क देते हैं कि हमें सुरक्षा को एकल कार्यों के लिए एक साधारण "चेकलिस्ट" के रूप में देखना बंद करना चाहिए और "ट्रैजेक्टरी" (trajectory)—उस पूरे पथ को देखना शुरू करना चाहिए जो एजेंट तय करता है। वे समस्या को कई परतों में विभाजित करते हैं, एजेंट के याद रखने के तरीके से लेकर उसके अन्य एजेंटों के साथ संवाद करने तक।
सबसे पहले, वे "सिंगल-एजेंट सरफेस" (Single-Agent Surface) को देखते हैं। कल्पना करें कि एक एजेंट एक जासूस की तरह है जो सुराग (प्रॉम्प्ट्स) पढ़ता है, पिछले मामलों को याद रखता है (मेमोरी), और आवर्धक लेंस या डेटाबेस जैसे उपकरणों का उपयोग करता है। पेपर चेतावनी देता है कि बुरे तत्व "जहरीले" सुराग डाल सकते हैं। उदाहरण के लिए, एक हैकर एक हानिरहित दिखने वाले ईमेल या वेबपेज के अंदर एक गुप्त निर्देश छिपा सकता है। एजेंट इसे पढ़ सकता है, इसे कहानी का सामान्य हिस्सा समझ सकता है, और फिर डेटा चोरी करने के आदेश का पालन कर सकता है। इससे भी बदतर यह है कि यदि एजेंट की "मेमोरी" को जहरीला बना दिया जाता है, तो उसे महीनों या वर्षों तक गलत निर्णय लेने के लिए ठगा जा सकता है, उस शुरुआती चाल के बहुत बाद भी। इसी तरह, एजेंट द्वारा उपयोग किए जाने वाले उपकरणों को दुर्भावनापूर्ण संस्करणों से बदला जा सकता है, जैसे कि एक मैकेनिक रिंच को नकली रिंच से बदल देता है जो इंजन को तोड़ देता है।
इसके बाद, पेपर "इंटर-एजेंट सरफेस" (Inter-Agent Surface) की खोज करता है, जो एक डिजिटल चौक की तरह है जहाँ ये एजेंट मिलते हैं और कार्यों का व्यापार करते हैं। वे आपस में बात करने के लिए A2A (एजेंट-टू-एजेंट) नामक एक प्रोटोकॉल का उपयोग करते हैं। लेखक बताते हैं कि यह डिजिटल चौक वर्तमान में नियमों के मामले में बहुत ढीला है। एक एजेंट किसी और होने का ढोंग कर सकता है, या एजेंटों का एक समूह अनजाने में (या जानबूझकर) संसाधनों को खत्म करने के लिए मिलकर काम कर सकता है, जिससे "डिनियल-ऑफ-वॉलेट" (denial-of-wallet) हमला होता है जहाँ वे केवल बात करके सारा पैसा खर्च कर देते हैं। यह दोस्तों के एक समूह द्वारा पिज्जा खरीदने के लिए सहमत होने जैसा है, लेकिन वे बार-बार और अधिक ऑर्डर करते रहते हैं जब तक कि क्रेडिट कार्ड की सीमा समाप्त नहीं हो जाती, और किसी को भी गलती का एहसास तब तक नहीं होता जब तक कि बहुत देर न हो जाए।
फिर "मॉडल रूटिंग" (Model Routing) परत आती है, जो वह ट्रैफिक कंट्रोलर है जो तय करता है कि किस मस्तिष्क (किस AI मॉडल) को विशिष्ट कार्य संभालना चाहिए। पेपर सुझाव देता है कि हैकर्स इस ट्रैफिक कंट्रोलर को पैसे बचाने या सुरक्षा जांच को बायपास करने के लिए एक "कम बुद्धिमान" या कम सुरक्षित AI मॉडल को खतरनाक अनुरोध भेजने के लिए धोखा दे सकते हैं। यह एक संग्रहालय के सुरक्षा गार्ड को एक चोर को VIP कमरे में जाने देने के लिए धोखा देने जैसा है क्योंकि गार्ड को बताया गया था कि उस विशिष्ट गलियारे के लिए सस्ते, कम प्रशिक्षित सुरक्षा कैमरे का उपयोग किया जाए।
पेपर का सबसे महत्वपूर्ण हिस्सा "व्यवहार संबंधी प्रक्षेपवक्र नियंत्रण" (Behavioral Trajectory Containment) के बारे में है। यह इस विचार के बारे में है कि एक एजेंट एक हजार चीजें कर सकता है जो अपने आप में पूरी तरह से वैध हैं, लेकिन जब आप उन्हें एक विशिष्ट क्रम में रखते हैं, तो वे एक प्रमुख नियम तोड़ देते हैं। कल्पना करें कि अस्पताल में एक रोबोट है जिसे मरीजों को डिस्चार्ज करने की अनुमति है। यदि वह एक मरीज को डिस्चार्ज करता है, तो यह ठीक है। यदि वह दस को डिस्चार्ज करता है, तो यह भी ठीक है। लेकिन यदि वह एक घंटे में पचास मरीजों को डिस्चार्ज कर देता है क्योंकि वह एक पैटर्न से भ्रमित हो गया था, तो यह एक सुरक्षा नियम का उल्लंघन कर सकता है कि एक बार में कितने मरीज जा सकते हैं। पेपर का तर्क है कि वर्तमान सुरक्षा उपकरण व्यक्तिगत चरणों की जांच करते हैं, पूरी कहानी की नहीं। हमें केवल फ्रेम को नहीं, बल्कि पूरी फिल्म को देखने के तरीके की आवश्यकता है।
अंत में, पेपर "सप्लाई चेन" (Supply Chain) और "जवाबदेही" (Accountability) को छूता है। जिस तरह एक कार कई अलग-अलग कारखानों से बने हिस्सों से बनी होती है, उसी तरह एक AI एजेंट कई अलग-अलग स्रोतों से बने मॉडलों, उपकरणों और निर्देशों से निर्मित होता है। यदि उन हिस्सों में से एक नकली या हैक हो जाता है, तो पूरा एजेंट समझौताग्रस्त हो जाता है। लेखक कहते हैं कि हमें हर एक हिस्से को ट्रैक करने की आवश्यकता है, जैसे कि एजेंट द्वारा उपयोग की जाने वाली हर चीज़ के लिए एक डिजिटल रसीद। वे इस बात पर भी जोर देते हैं कि जब चीजें गलत होती हैं, तो हमें "ब्लैक बॉक्स" को देखने में सक्षम होना चाहिए और यह देखना चाहिए कि एजेंट ने वास्तव में क्या किया, उसे किसने ऐसा करने के लिए कहा, और क्यों।
संक्षेप में, पेपर कोई जादुई समाधान पेश नहीं करता है जो आज सब कुछ हल कर दे। इसके बजाय, यह सुझाव देता है कि AI सुरक्षा के बारे में सोचने का हमारा तरीका पुराना हो चुका है। हम केवल छेदों को पैच नहीं कर सकते; हमें पूरे सिस्टम को फिर से डिजाइन करने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि AI एजेंट की पूरी यात्रा सुरक्षित, भरोसेमंद और नियंत्रण में रहे। यह व्यक्तिगत कदमों की जांच करने से हटकर पूरे पथ की सुरक्षा सुनिश्चित करने की ओर बढ़ने का आह्वान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।