The System Prompt Is the Attack Surface: How LLM Agent Configuration Shapes Security and Creates Exploitable Vulnerabilities
यह शोध पत्र प्रदर्शित करता है कि LLM एजेंट की सुरक्षा सिस्टम प्रॉम्प्ट कॉन्फ़िगरेशन पर महत्वपूर्ण रूप से निर्भर है, जो यह प्रकट करता है कि जबकि विशिष्ट प्रॉम्प्ट उच्च फिशिंग डिटेक्शन दर प्राप्त कर सकते हैं, वे अक्सर प्रतिकूल सिग्नल इनवर्जन (adversarial signal inversion) के प्रति भंगुर कमजोरियां पैदा करते हैं, जिससे 'सेफ्टीली' (Safetility) और बाहरी टूल संवर्धन जैसे मेट्रिक्स के माध्यम से डिटेक्शन सटीकता, उपयोगिता और मजबूती के बीच एक संतुलित समझौता आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने ईमेल को मैनेज करने के लिए एक अत्यधिक बुद्धिमान, सुपर-फास्ट डिजिटल बटलर (डिजिटल नौकर) को काम पर रखा है। यह बटलर आने वाले हर संदेश को पढ़ता है, तय करता है कि उसे खोलना सुरक्षित है या नहीं, और यदि यह खतरनाक दिखता है (जैसे कि फिशिंग स्कैम), तो यह उसे ब्लॉक कर देता है। यदि यह सुरक्षित दिखता है, तो यह इसे आगे जाने देता है।
आप चाहते हैं कि आपका यह बटलर परफेक्ट हो: कभी भी कोई स्कैम (धोखाधड़ी) अंदर न आने दे, लेकिन गलती से आपके बॉस या आपके बैंक का कोई असली ईमेल भी ब्लॉक न कर दे।
यह शोध पत्र, जिसका शीर्षक है "The System Prompt Is the Attack Surface," वास्तव में 11 अलग-अलग बटलरों (AI मॉडल्स) और 10 अलग-अलग निर्देशों (प्रॉम्प्ट्स) के परीक्षण जैसा है जो आप उन्हें दे सकते हैं। शोधकर्ताओं ने कुछ चौंकाने वाले, विपरीत (counter-intuitive) सच खोजे हैं कि ये डिजिटल बटलर कैसे काम करते हैं।
यहाँ इस कहानी का सरल शब्दों में विवरण दिया गया है:
1. "व्यक्तित्व" (Personality), "दिमाग" से अधिक महत्वपूर्ण है
आप सोच सकते हैं कि सबसे महत्वपूर्ण बात यह है कि आपने कौन सा बटलर चुना है (जैसे, सबसे स्मार्ट AI बनाम सबसे सस्ता AI)।
निष्कर्ष: यह उतना महत्वपूर्ण नहीं है जितना आप सोचते हैं। जो मायने रखता है वह है कि आप उनसे कैसे बात करते हैं।
- उपमा (Analogy): कल्पना कीजिए कि आपके पास एक रखवाला कुत्ता है।
- यदि आप कुत्ते को कहते हैं, "बहुत सावधान रहो, हर हिलती हुई पत्ती पर भौंकना शुरू कर दो," तो वह हर चोर को पकड़ लेगा, लेकिन वह डाकिया, हवा और आपके अपने परिवार पर भी भौंकेगा। यह परेशान करने वाला और बेकार होगा।
- यदि आप कहते हैं, "कुशल बनो, जब तक भेड़िया न दिखे तब तक मत भौंको," तो हो सकता है कि वह झाड़ियों में छिपे भेड़िये को मिस कर जाए।
- चौंकाने वाली बात: शोधकर्ताओं ने पाया कि वही AI मॉडल एक हीरो (99% स्कैम को ब्लॉक करना) या एक आपदा (97% स्कैम को जाने देना) बन सकता है, बस उसके निर्देशों में कुछ शब्द बदलकर। आप AI में जो "व्यक्तित्व" प्रोग्राम करते हैं, वही आपका सबसे शक्तिशाली सुरक्षा उपकरण है।
2. वह "जादुई ट्रिक" जो उल्टा पड़ गई
बटलर को बेहतर बनाने के लिए, शोधकर्ताओं ने एक चतुर ट्रिक आजमाई। उन्होंने गौर किया कि ज्यादातर स्कैमर्स john@gmail.com से ईमेल भेजते हैं लेकिन एक फर्जी वेबसाइट जैसे evil-site.com का लिंक देते हैं।
- रणनीति: उन्होंने बटलरों को बताया: "यदि भेजने वाले का नाम और वेबसाइट लिंक आपस में मेल खाते हैं, तो यह सुरक्षित है। यदि वे मेल नहीं खाते, तो यह एक स्कैम है।"
- परिणाम: यह अद्भुत रूप से काम कर गया! इसने लगभग सभी मानक स्कैम्स को पकड़ लिया और असली ईमेल को ब्लॉक करने से रोक लिया। यह ऐसा था जैसे बटलर को एक जादुई आवर्धक लेंस (magnifying glass) दे दिया गया हो।
3. विलेन का "चीट कोड" (Signal Inversion)
लेकिन फिर, शोधकर्ताओं ने पूछा: क्या होगा अगर बुरे लोग इस ट्रिक को जान लें?
- हमला: स्कैमर्स ने उस नियम को समझ लिया। इसलिए, उन्होंने
evil-site.comनामक एक फर्जी डोमेन रजिस्टर किया। उन्होंनेjohn@evil-site.comसे ईमेल भेजा औरevil-site.comका ही लिंक दिया। - पतन: क्योंकि भेजने वाला और लिंक आपस में मेल खा रहे थे, बटलरों ने सोचा, "अहा! नियम कहता है कि यह सुरक्षित है!" और उन्होंने स्कैम को अंदर जाने दिया।
- सबक: बटलरों को एक विशिष्ट "सुरक्षित" संकेत खोजने के लिए सिखाकर, आपने अनजाने में स्कैमर्स को एक "चीट कोड" दे दिया। आपका नियम जितना विशिष्ट होगा, एक स्मार्ट हमलावर के लिए उसे नकली बनाना उतना ही आसान होगा।
4. "आज्ञाकारी छात्र" बनाम "ज्यादा सोचने वाला"
यहाँ सबसे भ्रमित करने वाला हिस्सा है: कभी-कभी, बहुत अधिक आज्ञाकारी होना खतरनाक होता है।
- आज्ञाकारी छात्र (जैसे, GPT-4o-mini): यह AI निर्देशों का पूरी तरह से पालन करता है। यदि आप कहते हैं, "चेक करो कि क्या नाम मेल खाते हैं," तो यह केवल वही चेक करता है। यदि नाम मेल खाते हैं, तो यह सोचना बंद कर देता है। यह "चीट कोड" वाले स्कैमर्स द्वारा आसानी से ठगा जाता है।
- ज्यादा सोचने वाला (जैसे, Claude Haiku): यह AI स्वाभाविक रूप से संदिग्ध होता है। भले ही आप कहें, "चेक करो कि क्या नाम मेल खाते हैं," यह सोचता है, "रुको, इस ईमेल का लहजा कुछ अजीब लग रहा है।" यह आपके विशिष्ट नियम को अनदेखा करता है और अपने स्वयं के अंतर्ज्ञान (gut feeling) का उपयोग करता है।
- ट्विस्ट: "आज्ञाकारी" वाला सामान्य स्कैम्स को पकड़ने में तो अच्छा है लेकिन "चीट कोड" वाले स्कैमर्स के खिलाफ बुरा है। "ज्यादा सोचने वाला" चीट कोड वाले स्कैमर्स द्वारा ठगा जाना कठिन है, लेकिन यह अक्सर असली ईमेल को भी ब्लॉक कर देता है क्योंकि यह बहुत अधिक शक्की (paranoid) है।
5. "सेफ्टीलिटिटी" (Safetility) स्कोर
शोधकर्ताओं ने Safetility नामक एक नया स्कोर बनाया।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड जो 100% चोरों को रोकता है लेकिन साथ ही 90% काम पर आने वाले लोगों को भी रोक देता है। वह गार्ड तकनीकी रूप से "चोरों को रोकने में अच्छा" है, लेकिन अब ऑफिस खाली और बेकार हो गया है।
- स्कोर: Safetity यह मापता है कि एक गार्ड ऑफिस वर्कर्स को रोके बिना चोरों को कितनी अच्छी तरह रोकता है। उन्होंने पाया कि अधिकांश "परफेक्ट" सेटिंग्स वास्तव में बेकार थीं क्योंकि वे बहुत अधिक असली ईमेल को ब्लॉक कर रही थीं।
6. अंतिम फैसला: आप अकेले यह नहीं कर सकते
पेपर एक कड़वे सच के साथ समाप्त होता है: आप इसे केवल शब्दों से ठीक नहीं कर सकते।
- समस्या: AI बटलर एक पत्र पढ़ने वाले व्यक्ति की तरह है। वह वेबसाइट का वास्तविक इतिहास नहीं देख सकता या यह नहीं जान सकता कि एक डोमेन कल $10 में रजिस्टर किया गया था। वह केवल टेक्स्ट देखता है।
- समाधान: "चीट कोड" वाले स्कैमर्स को रोकने के लिए, बटलर को टूल्स (औजारों) की आवश्यकता है। उसे वेबसाइट की उम्र देखने, ब्लैकलिस्ट चेक करने, या मदद के लिए इंसान से पूछने की क्षमता होनी चाहिए।
- सीख: सबसे अच्छी सुरक्षा केवल एक बेहतर निर्देश पुस्तिका लिखने के बारे में नहीं है। यह AI को एक टूलबॉक्स (जैसे डोमेन चेकर) देने के बारे में है ताकि वह केवल अनुमान लगाने के बजाय सच्चाई को सत्यापित कर सके।
आम उपयोगकर्ता के लिए सारांश
यदि आप एक AI ईमेल असिस्टेंट बना रहे हैं:
- केवल "सबसे स्मार्ट" मॉडल न चुनें। वह मॉडल चुनें जो निर्देशों का सटीक रूप से पालन करता है लेकिन अंधा होकर नहीं।
- इसे एक सरल नियम न दें (जैसे "नामों का मिलान करें")। स्कैमर्स उस नियम को फर्जी बना देंगे।
- केवल AI पर निर्भर न रहें। यदि आप परिष्कृत (sophisticated) स्कैमर्स को रोकना चाहते हैं, तो आपको AI को वास्तविक दुनिया के डेटा (जैसे यह जांचना कि वेबसाइट नई है या फर्जी) से जोड़ना होगा।
- "दक्षता" (Efficiency) से सावधान रहें। यदि आप AI को "कुशल" और "तेज़" होने के लिए कहते हैं, तो यह स्कैम को जाने दे सकता है। यदि आप इसे "सावधान" रहने के लिए कहते हैं, तो यह आपके बॉस के ईमेल को ब्लॉक कर सकता है। आपको सही संतुलन बनाना होगा।
इस पेपर का मुख्य संदेश यह है कि AI को दिए जाने वाले निर्देश सबसे कमजोर कड़ी हैं। यदि आप एक ऐसा नियम लिखते हैं जो बहुत सरल है, तो एक हैकर उसे तोड़ने का रास्ता ढूंढ ही लेगा। सुरक्षा केवल AI के दिमाग के बारे में नहीं है; यह इस बारे में है कि आप उससे कैसे बात करते हैं और उसे अपनी बातों को पुख्ता करने के लिए कौन से टूल्स देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।