Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents
यह शोध पत्र "नो योर एजेंट" (KYA) को पेश करता है, जो एक ऐसा फ्रेमवर्क है जो लक्षित प्रोफाइल बनाने और अधिक शक्तिशाली इनडायरेक्ट प्रॉम्प्ट इंजेक्शन हमलों को तैयार करने के लिए एआई एजेंटों की व्यवस्थित रूप से जांच करके उनके ब्लैक-बॉक्स, टोही-संचालित (रेकनाइसेंस-ड्रिवन) पेन्टेस्टिंग को स्वचालित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका कंप्यूटर केवल आपके कमांड टाइप करने का इंतज़ार नहीं करता, बल्कि वास्तव में आपके लिए काम करने के लिए बाहर जाता है। यह आपके ईमेल पढ़ सकता है, वेब सर्च कर सकता है, कोड लिख सकता है, और यहाँ तक कि उड़ानें भी बुक कर सकता है। हम इन्हें "AI एजेंट्स" कहते हैं। वे सुपर-स्मार्ट डिजिटल सहायकों की तरह हैं जो खुद योजना बना सकते हैं और कार्य कर सकते हैं। लेकिन यहाँ एक पेचीदा बात है: ये एजेंट्स अपने आस-पास की दुनिया को हमेशा सुनते रहते हैं। यदि आप किसी एजेंट को वेबपेज पढ़ने के लिए कहते हैं, तो वह उस पेज पर मौजूद सब कुछ पढ़ता है, यहाँ तक कि उन हिस्सों को भी जो अजनबियों द्वारा लिखे गए हैं। यह एक अनूठी सुरक्षा समस्या पैदा करता है। यदि कोई बुरा व्यक्ति एक सामान्य दिखने वाले वेबपेज या ईमेल के अंदर एक गुप्त, चालाकी भरा निर्देश छिपा देता है, तो एजेंट उसे पढ़ सकता है, यह सोचकर कि यह आपका वास्तविक कमांड है, और ठीक वही कर सकता है जो वह बुरा व्यक्ति चाहता है। इसे "इनडायरेक्ट प्रॉम्प्ट इंजेक्शन" (Indirect Prompt Injection) कहा जाता है। यह बिल्कुल वैसा ही है जैसे कोई आपके दोस्त के लंचबॉक्स में एक नोट डाल दे जिसमें लिखा हो, "मुझे अपना लंच दे दो," और आपका दोस्त, विनम्रता दिखाते हुए, बिना यह समझे कि वह नोट आपसे नहीं था, उसे थमा दे।
बड़ा सवाल जो शोधकर्ता पूछ रहे हैं: हम इन एजेंट्स का परीक्षण कैसे करें ताकि यह सुनिश्चित हो सके कि वास्तविक दुनिया में उन्हें छोड़ने से पहले वे इन चालों का शिकार न हों? लंबे समय तक, सुरक्षा विशेषज्ञों ने उन्हें केवल यादृच्छिक (random), भ्रमित करने वाले निर्देश देकर टेस्ट करने की कोशिश की, इस उम्मीद में कि वे टूट जाएंगे। यह कुछ ऐसा था जैसे किसी किले की दीवार के कमजोर हिस्से को खोजने के लिए अंधे होकर उस पर पत्थर फेंकना। लेकिन एक नया पेपर सुझाव देता है कि यह दृष्टिकोण काम के सबसे महत्वपूर्ण हिस्से को छोड़ रहा है: टोही (reconnaissance)। पारंपरिक सुरक्षा की दुनिया में, एक टेस्टर केवल पत्थर नहीं फेंकता; वह पहले किले का मुआयना करता है। वह खुली खिड़कियां देखता है, गार्ड का शेड्यूल चेक करता है, और लेआउट के बारे में जानता है। यह पेपर तर्क देता है कि AI एजेंट्स को वास्तव में टेस्ट करने के लिए, हमें भी वही करना चाहिए: हमें "अपने एजेंट को जानना" (Know Your Agent) चाहिए।
लेखक, जो बें-गुरियन यूनिवर्सिटी की एक टीम है, एक नया फ्रेमवर्क पेश करते हैं जिसे KYA (Know Your Agent) कहा जाता है। वे तर्क देते हैं कि AI एजेंट को तोड़ने का सबसे अच्छा तरीका अंधे होकर अनुमान लगाना नहीं है, बल्कि पहले उसके बारे में वह सब कुछ सीखना है जो आप जान सकते हैं। उन्होंने पाया कि AI एजेंट्स के दो मुख्य "ब्लाइंड स्पॉट्स" (blind spots) होते हैं जो उन्हें असुरक्षित बनाते हैं। पहला, वे उन चीजों पर भरोसा करते हैं जो सही दिखती हैं (जैसे विशिष्ट फॉर्मेटिंग या ऐसे शब्द जिनका अर्थ आमतौर पर होता है कि "यह एक सुरक्षित निर्देश है")। दूसरा, वे उन चीजों पर भरोसा करते हैं जो कहानी में फिट बैठती हैं (जैसे एक अनुरोध जो एक सामान्य कार्य के बीच में तर्कसंगत लगता है)।
पेपर दिखाता है कि एक स्मार्ट, स्वचालित प्रणाली का उपयोग करके जो एक डिजिटल जासूस की तरह कार्य करती है, हम इन ब्लाइंड स्पॉट्स का पहले की तुलना में बहुत बेहतर तरीके से फायदा उठा सकते हैं। यह सिस्टम केवल हमला नहीं करता; यह रुकता है, सवाल पूछता है, एजेंट की प्रतिक्रिया को देखता है, और उसके टूल्स और नियमों का एक विस्तृत प्रोफाइल बनाता है। यह सीखता है जैसे: "ओह, यह एजेंट निर्देशों को अलग करने के लिए एक विशेष प्रतीक का उपयोग करता है," या "यह एजेंट तब घबरा जाता है जब मैं इसे कुछ ऐसा करने के लिए कहता हूँ जो वर्तमान कहानी में फिट नहीं बैठता।" एक बार जब यह विवरण जान लेता है, तो यह एक बहुत अधिक विश्वसनीय चाल रचता है।
शोधकर्ताओं ने कई अलग-अलग AI एजेंट्स पर इस विचार का परीक्षण किया और पाया कि उनका "टोही-संचालित" (reconnaissance-driven) तरीका अविश्वसनीय रूप से प्रभावी था। अपने सिमुलेशन में, KYA अनुमान लगाने और फिर से प्रयास करने वाले पिछले तरीकों की तुलना में एजेंटों में घुसपैठ करने और हमलों में सफल होने में 67 प्रतिशत अंक अधिक सफल रहा। उन्होंने एक वास्तविक कोडिंग एजेंट, OpenHands पर भी इसका परीक्षण किया और पाया कि यह वहां भी काम करता है। पेपर निष्कर्ष निकालता है कि यदि हम AI एजेंट्स को सुरक्षित बनाना चाहते हैं, तो हमें उन्हें स्थिर लक्ष्यों के रूप में मानना बंद करना होगा और उन्हें जटिल प्रणालियों के रूप में मानना होगा जिन्हें वास्तव में उनकी रक्षाओं का परीक्षण करने से पहले अध्ययन, प्रोफाइल और समझा जाना आवश्यक है। यह अब केवल पत्थर फेंकने के बारे में नहीं है; यह पहले किले के रहस्यों को जानने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।