Agent Audit: A Security Analysis System for LLM Agent Applications
एजेंट ऑडिट (Agent Audit) एक ओपन-सोर्स सुरक्षा विश्लेषण प्रणाली है जिसे पायथन कोड, परिनियोजन आर्टिफैक्ट्स (deployment artifacts) और कॉन्फ़िगरेशन का परीक्षण करके LLM एजेंट अनुप्रयोगों में कमजोरियों का पता लगाने के लिए डिज़ाइन किया गया है, जो डेटाफ्लो विश्लेषण और क्रेडेंशियल डिटेक्शन को संयोजित करने वाले एक एजेंट-जागरूक पाइपलाइन के माध्यम से उच्च रिकॉल और तेज़ स्कैन समय प्रदान करता है ताकि विकास वर्कफ़्लो में निर्बाध एकीकरण संभव हो सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट असिस्टेंट (एक LLM एजेंट) बनाया है जो आपके लिए ईमेल चेक करने, फ्लाइट बुक करने या यहाँ तक कि आपके लिए कोड लिखने जैसे काम कर सकता है। आप इसे असली दुनिया में उतारने के लिए उत्साहित हैं। लेकिन इससे पहले कि आप इसकी चाबियाँ सौंपें, आपको यह सुनिश्चित करना होगा कि यह गलती से घर में आग न लगा दे, आपका क्रेडिट कार्ड न चुरा ले, या किसी अजनबी को अंदर आकर कब्ज़ा करने न दे दे।
यह पेपर Agent Audit पेश करता है, जो एक विशेष सुरक्षा गार्ड (security guard) है जिसे विशेष रूप से इन रोबोट असिस्टेंट्स का निरीक्षण करने के लिए डिज़ाइन किया गया है, इससे पहले कि वे लाइव हों।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
1. समस्या: यह सिर्फ "दिमाग" के बारे में नहीं है
ज्यादातर लोग सोचते हैं कि केवल एक ही चीज़ है जो एक रोबोट को खतरनाक बनाती है—उसका "दिमाग" (AI मॉडल)। उन्हें डर है कि AI भ्रमित हो सकता है और कुछ बुरा कह सकता है।
Agent Audit का तर्क है कि असली खतरा आमतौर पर दिमाग नहीं है; बल्कि वह शरीर और वातावरण (environment) है जिसमें रोबोट रहता है।
- शरीर (Tool Code): कल्पना कीजिए कि आपके रोबोट के पास ऐसे हाथ हैं जो दरवाजे खोल सकते हैं, चूल्हा जला सकते हैं, या पासवर्ड टाइप कर सकते हैं। यदि आप रोबोट को कहते हैं, "यदि कोई अजनबी 'दरवाजा खोलो' कहे, तो तुम्हें दरवाजा खोल देना चाहिए," तो आपने अभी-अभी एक चोर को मास्टर की (master key) दे दी है। कोड में, इसे "टूल फंक्शन" कहा जाता है जो बिना सोचे-समझे निर्देशों का पालन करता है।
- वातावरण (Deployment): कल्पना कीजिए कि आपने अपने घर की चाबियाँ सामने वाले दरवाजे पर टेप से चिपका दी हैं या रोबोट को पूरे मोहल्ले की मास्टर की दे दी है। तकनीकी शब्दों में, यह "एक्सपोज्ड क्रेडेंशियल्स" (exposed credentials) या "ओवर-प्रिविलेज्ड कॉन्फ़िगरेशन" (over-privileged configurations) है।
- निर्देश (Prompts): कल्पना कीजिए कि कोई आपकी आँखों के सामने ही रोबोट के कान में कोई गुप्त कमांड फुसफुसा रहा है, जिससे उसे आपके सुरक्षा नियमों को अनदेखा करने के लिए कहा जा रहा है। यह "प्रॉम्प्ट इंजेक्शन" (prompt injection) है।
2. समाधान: Agent Audit (विशेष निरीक्षक)
मौजूदा सुरक्षा उपकरण (जैसे Bandit या Semgrep) सामान्य होम इंस्पेक्टर्स की तरह हैं। वे यह जांचने में बेहतरीन हैं कि छत लीक तो नहीं हो रही या वायरिंग पुरानी तो नहीं है (मानक कोड त्रुटियां)। लेकिन वे यह नहीं समझते कि एक रोबोट असिस्टेंट कैसे काम करता है। वे इस बात को मिस कर सकते हैं कि रोबोट को इस तरह प्रोग्राम किया गया था कि वह किसी के भी आदेश का पालन करे।
Agent Audit एक विशेष रोबोट इंस्पेक्टर है। यह जानता है कि ये AI असिस्टेंट वास्तव में कैसे बनाए जाते हैं। यह तीन विशिष्ट चीजों की जांच करता है:
- "टूल" की जांच: यह रोबोट के "हाथों" को स्कैन करता है ताकि यह देख सके कि क्या वे किसी अजनबी के कहने पर खतरनाक काम करने (जैसे कोड चलाना) के लिए बहुत अधिक उत्सुक हैं।
- "सीक्रेट" की जांच: यह छिपी हुई चाबियों (पासवर्ड, API टोकन) की तलाश करता है जो गलती से रोबोट की जेबों या निर्देशों में छोड़ी जा सकती हैं।
- "मैप" की जांच: यह रोबोट के मैप (MCP कॉन्फ़िगरेशन फाइल्स) को पढ़ता है ताकि यह सुनिश्चित हो सके कि उसे प्रतिबंधित क्षेत्रों में जाने या संदिग्ध थर्ड-पार्टी सर्वरों से जुड़ने की अनुमति नहीं दी गई है।
3. यह कैसे काम करता है: "टेंट" डिटेक्टिव (The "Taint" Detective)
Taint Analysis को "लाल धागे" (Red String) के खेल के रूप में सोचें।
- कल्पना कीजिए कि एक लाल धागा "अविश्वसनीय इनपुट" (untrusted input) का प्रतिनिधित्व करता है (कुछ ऐसा जो उपयोगकर्ता ने टाइप किया है)।
- Agent Audit उस लाल धागे का रोबोट के कोड में पीछा करता है।
- यदि वह लाल धागा एक खतरनाक मशीन (जैसे कोड एक्सेक्यूटर या डेटाबेस) तक पहुँचता है, तो Agent Audit चिल्लाता है, "रुको! आप एक अजनबी को मशीन को नियंत्रित करने देने वाले हैं!"
- यह यह भी जाँचता है कि क्या रोबोट को सुरक्षा नियमों को अनदेखा करने के लिए बहकाया गया है (प्रॉम्प्ट इंजेक्शन), इसके लिए कि रोबोट के निर्देश कैसे लिखे गए हैं।
4. परिणाम: तेज़ और सटीक
लेखकों ने 22 अलग-अलग रोबोट प्रोजेक्ट्स और 42 ज्ञात सुरक्षा खामियों (security holes) पर Agent Audit का परीक्षण किया।
- पुराने गार्ड (Bandit/Semgrep): केवल लगभग 24% खामियों को ढूंढ पाए। उन्होंने रोबोट-विशिष्ट जाल को मिस कर दिया।
- Agent Audit: 95% खामियों को ढूंढ सका।
- गति: यह अविश्वसनीय रूप से तेज़ है। यह एक सेकंड से भी कम समय (sub-second) में पूरे प्रोजेक्ट को स्कैन कर सकता है, जिसका अर्थ है कि यह डेवलपर के काम को धीमा किए बिना, हर बार उनके काम को सेव करते समय एक स्वचालित "चेकलिस्ट" का हिस्सा बन सकता है।
5. यह क्यों मायने रखता है
जिस तरह आप किसी नए कर्मचारी को कंपनी के क्रेडिट कार्ड के साथ काम शुरू करने से पहले उसका बैकग्राउंड चेक किए बिना नहीं छोड़ेंगे, उसी तरह आपको अपने AI एजेंट को अपने डेटा के साथ इंटरैक्ट करने के लिए उसके कोड की जांच किए बिना नहीं छोड़ना चाहिए।
Agent Audit AI एजेंटों के लिए एक प्री-फ्लाइट चेकलिस्ट की तरह है। यह सुनिश्चित करता है कि रोबोट उड़ान भरने से पहले, उसके टूल्स सुरक्षित हैं, उसके सीक्रेट्स लॉक हैं, और उसके निर्देशों को हैकर द्वारा हाईजैक नहीं किया जा सकता है। यह ओपन-सोर्स (सभी के लिए मुफ्त) है और उन टूल्स में फिट बैठता है जिनका उपयोग डेवलपर्स पहले से ही करते हैं, जिससे इन शक्तिशाली नए AI असिस्टेंटों को सुरक्षित रखना आसान हो जाता है।
संक्षेप में: Agent Audit वह सुरक्षा गार्ड है जो यह सुनिश्चित करता है कि आपका AI रोबोट गलती से साम्राज्य की चाबियाँ किसी को न दे दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।