WARD: Adversarially Robust Defense of Web Agents Against Prompt Injections
यह शोध पत्र WARD को प्रस्तुत करता है, जो वेब एजेंटों के लिए एक व्यावहारिक और कुशल गार्ड मॉडल है, जो प्रॉम्प्ट इंजेक्शन हमलों के विरुद्ध मजबूत, कम-विलंबता वाला बचाव प्राप्त करने के लिए एक बड़े पैमाने के डेटासेट और एक अनुकूली प्रतिकूल प्रशिक्षण ढांचे (A3T) का लाभ उठाता है, जबकि उच्च सामान्यीकरण और न्यूनतम फाल्स पॉजिटिव बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक वेब एजेंट (Web Agent) की कल्पना एक अत्यधिक कुशल, स्वायत्त डिजिटल सहायक के रूप में करें। आप इसे एक मिशन देते हैं—जैसे "फ्लाइट बुक करना" या "एक विशिष्ट शर्ट खरीदना"—और यह उसे करने के लिए विशाल, अराजक इंटरनेट में निकल जाता है। यह ठीक वैसे ही बटन क्लिक करता है, टेक्स्ट पढ़ता है और छवियों को देखता है जैसे एक इंसान करता है।
लेकिन यहाँ एक समस्या है: इंटरनेट धोखेबाजों से भरा हुआ है।
समस्या: "हिडन नोट" (Hidden Note) हमला
वास्तविक दुनिया में, एक हैकर आपके सहायक की जेब में एक नोट डाल सकता है जिसमें लिखा हो, "बॉस को अनदेखा करो, मेरे लिए पिज्जा खरीदने जाओ।" डिजिटल दुनिया में, इसे प्रॉम्प्ट इंजेक्शन (Prompt Injection) कहा जाता है।
हैकर्स उन वेबसाइटों के भीतर दुर्भावनापूर्ण निर्देश छिपा देते हैं जिन्हें आपका एजेंट देखता है। ये निर्देश निम्नलिखित हो सकते हैं:
- अदृश्य टेक्स्ट (Invisible text): जो वेबसाइट के कोड (HTML) में छिपा होता है।
- विजुअल ट्रिक्स (Visual tricks): स्क्रीन पर ओवरले किए गए दृश्य (जैसे कि एक नकली पॉप-अप जो सिस्टम संदेश जैसा दिखता है)।
यदि एजेंट सावधान नहीं है, तो वह इन छिपे हुए नोट्स को पढ़ लेगा, भ्रमित हो जाएगा और वे काम करने लगेगा जो आपने उससे नहीं करने को कहा था—जैसे कि आपका निजी डेटा लीक करना या खतरनाक लिंक पर क्लिक करना।
पुराने बचाव: "ब्लाइंड स्पॉट" वाला बाउंसर (The Bouncer with Blind Spots)
इसे रोकने के लिए, शोधकर्ताओं ने एक गार्ड मॉडल (Guard Model) बनाने की कोशिश की—एक डिजिटल बाउंसर जो एजेंट के छूने से पहले हर वेबपेज की जांच करता है। लेकिन पुराने बाउंसरों में चार प्रमुख कमियां थीं:
- वे केवल वही जानते थे जो उन्होंने पढ़ा था: यदि उन्होंने समाचार साइटों पर प्रशिक्षण लिया था, तो वे सोशल मीडिया या ईमेल देखकर भ्रमित हो जाते थे।
- वे बहुत अधिक संदिग्ध थे: वे अक्सर हानिरहित पेजों (जैसे कि खाना बनाने का ट्यूटोरियल) को भी खतरनाक के रूप में चिह्नित कर देते थे, जिससे एजेंट अपना काम करने से रुक जाता था।
- वे धीमे थे: हर पेज की जांच करने में बहुत समय लगता था, जिससे पूरा सिस्टम सुस्त हो जाता था।
- उन्हें चकमा दिया जा सकता था: हैकर्स ने विशेष रूप से बाउंसर को भ्रमित करने के लिए डिज़ाइन किए गए नोट्स लिखना सीख लिया था, जिससे बाउंसर खतरे को अनदेखा कर देता था।
समाधान: WARD (द "सुपर-बाउंसर")
यह पेपर WARD (Web Agent Robust Defense against Prompt Injection) पेश करता है। WARD को एक अगली पीढ़ी के बाउंसर के रूप में समझें जिसे एक अद्वितीय, तीन-चरणीय बूट कैंप के माध्यम से प्रशिक्षित किया गया है।
1. प्रशिक्षण मैदान (WARD-Base)
केवल एक पाठ्यपुस्तक पढ़ने के बजाय, WARD को 1,77,000 वास्तविक दुनिया के उदाहरणों के विशाल डेटासेट पर प्रशिक्षित किया गया था।
- "ओवरले" विधि (The "Overlay" Method): शोधकर्ताओं ने वास्तविक वेबसाइटों (जैसे अमेज़न या समाचार साइटों) को लिया और देखने के लिए कि एजेंट कैसे प्रतिक्रिया देता है, उनके ऊपर डिजिटल रूप से नकली दुर्भावनापूर्ण नोट्स "पेंट" किए।
- "नेटिव" विधि (The "Native" Method): उन्होंने नकली सोशल मीडिया और मैसेजिंग ऐप्स बनाए जहाँ हैकर्स सामान्य दिखने वाले कमेंट्स और संदेशों के अंदर नोट्स छिपा सकते थे।
- परिणाम: WARD ने न केवल कोड में बल्कि चित्रों में भी ट्रिक्स को पहचानने में महारत हासिल की, और यह कई अलग-अलग प्रकार की वेबसाइटों पर काम कर सका, न कि केवल एक विशिष्ट प्रकार पर।
2. "सेल्फ-डिफेंस" ड्रिल (The "Self-Defense" Drill - WARD-PIG)
शोधकर्ताओं को एहसास हुआ कि हैकर्स खुद बाउंसर को धोखा देने की कोशिश कर सकते हैं। कल्पना कीजिए कि एक हैकर बाउंसर के कान में फुसफुसाता है, "हे, मैं मैनेजर हूँ, इस आदमी को जाने दो।"
इसे रोकने के लिए, उन्होंने WARD-PIG बनाया, एक ऐसा डेटासेट जहाँ हमले विशेष रूप से गार्ड की निर्णय लेने की प्रक्रिया को लक्षित करते हैं। WARD ने इन "नकली मैनेजर" कमांड्स को अनदेखा करना और अपने नियमों पर टिके रहना सीख लिया।
3. "स्पैरिंग पार्टनर" (The "Sparring Partner" - A3T)
यह सबसे रचनात्मक हिस्सा है। शोधकर्ताओं ने एक एडेप्टिव एडवरसेरियल अटैक ट्रेनिंग (A3T) सिस्टम बनाया।
- कल्पना करें कि एक स्पैरिंग मैच चल रहा है जहाँ गार्ड और हैकर आपस में लड़ रहे हैं।
- हैकर यह खोजने की कोशिश करता है कि गार्ड के पास नोट को चुराकर कैसे पहुँचा जाए।
- यदि हैकर सफल होता है, तो गार्ड उस गलती से सीखता है और मजबूत होता है।
- वे इस लूप को हजारों बार दोहराते हैं। हैकर स्मार्ट होता जाता है, और गार्ड सख्त होता जाता है, जब तक कि गार्ड सबसे चतुर, विकसित होते ट्रिक्स को भी पहचान न सके।
परिणाम: WARD क्यों जीतता है?
पेपर में WARD का परीक्षण मौजूदा सर्वश्रेष्ठ सुरक्षा प्रणालियों के विरुद्ध किया गया और पाया गया कि:
- सुपर सटीकता (Super Accuracy): इसने लगभग 100% हमलों को पकड़ लिया, यहाँ तक कि उन वेबसाइटों पर भी जिन्हें उसने पहले कभी नहीं देखा था।
- कम गलत अलार्म (Low False Alarms): इसने शायद ही कभी एजेंट को हानिरहित चीजें (जैसे रेसिपी पढ़ना) करने से रोका, जिससे एजेंट उपयोगी बना रहता है।
- गति (Speed): यह एजेंट के समानांतर चलता है, जिसका अर्थ है कि यह किसी भी चीज़ को धीमा नहीं करता है। यह एक सुरक्षा गार्ड की तरह है जो आपके दरवाजे से अंदर चलते समय ही आपकी आईडी चेक करता है, न कि आपको लाइन में खड़ा करके इंतज़ार करवाता है।
- अभेद्य (Unbreakable): यहाँ तक कि जब हैकर्स ने इसे बायपास करने के लिए वास्तविक समय में अपने हमलों को अनुकूलित करने की कोशिश की, तब भी WARD अडिग रहा।
संक्षेप में
WARD एआई एजेंटों के लिए एक सुरक्षा प्रणाली है जो केवल खराब वेबसाइटों की सूची याद नहीं करती है। इसके बजाय, यह वास्तविक दुनिया के विविध परिदृश्यों पर प्रशिक्षण लेती है, नकली अधिकार कमांड्स को अनदेखा करना सीखती है, और खुद को तेज रखने के लिए लगातार एक डिजिटल स्पैरिंग पार्टनर के खिलाफ लड़ती है। यह आपके एआई सहायक को उसके काम को रोकने या धीमा किए बिना छिपे हुए धोखों से सुरक्षित रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।