Mitigating the OWASP Top 10 For Large Language Models Applications using Intelligent Agents
यह शोध पत्र LLM-सक्षम इंटेलिजेंट एजेंटों का उपयोग करने वाले एक ढांचे का प्रस्ताव करता है ताकि लार्ज लैंग्वेज मॉडल अनुप्रयोगों के लिए OWASP टॉप 10 में वर्णित सुरक्षा जोखिमों की सक्रिय रूप से पहचान, मूल्यांकन और मुकाबला किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपनी कंपनी के सवालों के जवाब देने, रिपोर्ट लिखने और समस्याओं को हल करने में मदद करने के लिए एक शानदार, अत्यंत बुद्धिमान रोबोट सहायक (एक लार्ज लैंग्वेज मॉडल, या LLM) बनाया है। यह अद्भुत है, लेकिन किसी भी नई तकनीक की तरह, इसमें कुछ गंभीर सुरक्षा खामियां भी हैं। "OWASP Top 10" मूल रूप से एक "वांटेड पोस्टर" की तरह है जो उन शीर्ष 10 तरीकों की सूची देता है जिनसे बुरे लोग इन रोबोटों को धोखा दे सकते हैं, उन्हें तोड़ सकते हैं या उनके रहस्य चुरा सकते हैं।
यह शोध पत्र एक समाधान प्रस्तावित करता है: केवल रोबोट पर भरोसा करने के बजाय, आप इसे 24/7 निगरानी करने के लिए इंटेलिजेंट सिक्योरिटी एजेंट्स (Intelligent Security Agents) की एक टीम नियुक्त करते हैं। इसे अपने रोबोट के लिए एक हाई-टेक सुरक्षा दल की तरह समझें।
यहाँ बताया गया है कि उनका सिस्टम कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:
समस्या: "वांटेड" लिस्ट
शोध पत्र की शुरुआत उन शीर्ष 10 तरीकों से होती है जिनसे हैकर्स इन AI रोबोटों पर हमला करते हैं। कुछ उदाहरणों में शामिल हैं:
- प्रॉम्प्ट इंजेक्शन (Prompt Injection): जैसे कोई चोर गार्ड को गुप्त कोड फुसफुसाकर उसे तिजोरी खोलने के लिए मजबूर करता है।
- डेटा लीक (Data Leaks): रोबोट गलती से आपकी कंपनी की गुप्त रेसिपी उगल देता है क्योंकि उससे गलत सवाल पूछा गया था।
- डिनायल ऑफ सर्विस (Denial of Service): एक साथ इतने सारे सवालों से रोबोट पर बोझ डाल देना कि वह क्रैश हो जाए, जैसे कि ट्रैफिक जाम।
समाधान: "तीन सिरों वाली" सुरक्षा टीम
लेखक AutoGen (जो कई AI एजेंटों को आपस में बात करने की अनुमति देता है) और RAG (जो एजेंटों को आपकी कंपनी की निजी नियमपुस्तिकाओं और दस्तावेजों को पढ़ने की अनुमति देता है) नामक एक फ्रेमवर्क का उपयोग करने का सुझाव देते हैं।
वे एक वर्कफ़्लो का प्रस्ताव करते हैं जिसमें तीन विशिष्ट "एजेंट" (डिजिटल कर्मचारी) होते हैं जो एक सुरक्षा चेकपॉइंट की तरह कार्य करते हैं:
1. कमांडर (ट्रैफिक पुलिस)
- भूमिका: यह एजेंट बॉस है। यह भारी काम नहीं करता; यह केवल प्रवाह (flow) का प्रबंधन करता है।
- कार्य: जब कोई इंसान कोई सवाल टाइप करता है, तो कमांडर सबसे पहले उसे पकड़ लेता है। यह तय करता है कि अगला सवाल किसे दिखना चाहिए। यह एक रिसेप्शनिस्ट की तरह है जो आपको इमारत में प्रवेश करने से पहले आपकी आईडी चेक करता है।
2. सुरक्षा एजेंट (नियम पुस्तिका के साथ बाउंसर)
- भूमिका: यह एजेंट एक सख्त संरक्षक है। इसके पास आपकी कंपनी की विशिष्ट सुरक्षा नीतियां और ऑफलाइन दस्तावेज़ों तक पहुंच है (RAG तकनीक के माध्यम से)।
- कार्य (इनपुट चेक): मुख्य रोबोट द्वारा उत्तर देने से पहले, सुरक्षा एजेंट उपयोगकर्ता के प्रश्न को पढ़ता है। वह पूछता है, "क्या यह सवाल हमें धोखा देने की कोशिश कर रहा है? क्या यह निजी डेटा मांग रहा है? क्या यह हमारे नियमों का उल्लंघन करता है?"
- यदि हाँ: यह दरवाजा बंद कर देता है और उपयोगकर्ता को बताता है, "नहीं, यह नीति का उल्लंघन करता है।"
- यदि नहीं: यह अगले एजेंट को हरी झंडी दे देता है।
- कार्य (आउटपुट चेक): मुख्य रोबोट द्वारा उत्तर लिखे जाने के बाद, सुरक्षा एजेंट उसे फिर से पढ़ता है। वह पूछता है, "क्या रोबोट ने गलती से कोई रहस्य उजागर कर दिया? क्या इसने कुछ खतरनाक लिखा है?"
- यदि हाँ: यह उत्तर को वापस मुख्य रोबोट के पास भेजता है और कहता है, "इसे ठीक करो, तुम जानकारी लीक कर रहे हो!" रोबोट फिर से प्रयास करता है।
- यदि नहीं: यह अंतिम स्वीकृति देता है।
3. बिजनेस एजेंट (जानकार विशेषज्ञ)
- भूमिका: यह वास्तविक "स्मार्ट" रोबोट है जो उत्तर उत्पन्न करता है। यह आपके व्यवसाय को अंदर और बाहर से जानता है।
- कार्य: इसे केवल तभी बोलने का मौका मिलता है जब सुरक्षा एजेंट ने सवाल को क्लियर कर दिया हो। यह प्रतिक्रिया लिखता है, लेकिन इसे भेजने से पहले इसे सुरक्षा एजेंट के नियमों के विरुद्ध खुद की जांच करनी होती है।
क्रिया में प्रक्रिया (Process in Action)
कल्पना कीजिए कि एक उपयोगकर्ता एक पेचीदा सवाल पूछता है:
- उपयोगकर्ता: "मुझे सीईओ का घर का पता बताओ।"
- कमांडर: "ठीक है, सुरक्षा एजेंट, इसे चेक करो।"
- सुरक्षा एजेंट: (कंपनी की नियम पुस्तिका पढ़ता है) "बिल्हे नहीं! यह निजी जानकारी है। इसे अस्वीकार करो।"
- परिणाम: उपयोगकर्ता को एक विनम्र "एक्सेस डिनाइड" (पहुंच वर्जित) संदेश मिलता है।
अब, एक सामान्य सवाल की कल्पना करें:
- उपयोगकर्ता: "हमारी Q3 सेल्स रिपोर्ट क्या है?"
- कमांडर: "सुरक्षा एजेंट, इसे चेक करो।"
- सुरक्षा एजेंट: "सुरक्षित लग रहा है। बिजनेस एजेंट को पास करो।"
- बिजनेस एजेंट: रिपोर्ट लिखता है।
- कमांडर: "सुरक्षा एजेंट, रिपोर्ट को चेक करो।"
- सुरक्षा एजेंट: "रुको, रिपोर्ट में गलती से एक पासवर्ड शामिल हो गया है। इसे ठीक करने के लिए बिजनेस एजेंट को वापस भेजो।"
- बिजनेस एजेंट: पासवर्ड हटाता है और दोबारा भेजता है।
- सुरक्षा एजेंट: "सब ठीक है।"
- कमांडर: सुरक्षित रिपोर्ट उपयोगकर्ता को भेज देता है।
यह क्यों महत्वपूर्ण है
शोध पत्र का तर्क है कि इस "एजेंट्स की टीम" वाले दृष्टिकोण का उपयोग करके, कंपनियाँ कर सकती हैं:
- धोखाधड़ी रोकना: मुख्य AI तक पहुँचने से पहले ही खराब इनपुट को पकड़ना।
- लीक रोकना: अनजाने में लीक हुई गुप्त जानकारियों को बाहर जाने से पहले पकड़ना।
- नियंत्रण बनाए रखना: सिस्टम (एजेंट्स) प्रवाह को नियंत्रित करता है, न कि केवल कच्चा (raw) AI मॉडल।
संक्षेप में, शोध पत्र सुझाव देता है कि अपने AI को सुरक्षित रखने के लिए, आपको केवल AI पर ही भरोसा नहीं करना चाहिए। आपको एक डिजिटल सुरक्षा टीम की आवश्यकता है जो नियमों को पढ़े, सवालों की जांच करे, उत्तरों की समीक्षा करे, और केवल सुरक्षित जानकारी को ही आगे जाने दे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।