PromptShield Home: Ambient Multimodal Prompt Injection Defense for Smart-Home Agents
यह शोध पत्र PromptShield-Home प्रस्तुत करता है, जो यह प्रदर्शित करता है कि जहाँ पारंपरिक डिटेक्टर और मल्टीमॉडल LLM एजेंट स्मार्ट होम में एम्बिएंट प्रॉम्प्ट इंजेक्शन के विरुद्ध विपरीत तरीकों से विफल होते हैं, वहीं दोनों दृष्टिकोणों का एक आदर्श संयोजन अकेले किसी भी पद्धति की तुलना में काफी उच्च सुरक्षा और उपयोगिता प्राप्त कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका लिविंग रूम आपसे बातें करने लगा है। डरावने तरीके से नहीं, बल्कि बहुत मददगार तरीके से: स्मार्ट स्पीकर, कैमरे और लाइटें आपकी आवाज़ समझने, आपके इशारों को देखने और यहाँ तक कि आपकी टीवी स्क्रीन पर लिखे टेक्स्ट को पढ़ने के लिए सीख रही हैं। इस क्षेत्र को "एम्बिएंट इंटेलिजेंस" (Ambient Intelligence) कहा जाता है, जहाँ कंप्यूटर बिना बटन दबाए हमारी मदद करने के लिए पृष्ठभूमि में घुलमिल जाते हैं। लेकिन एक पेचीदा समस्या है: कंप्यूटर को यह कैसे पता चलेगा कि आप कोई आदेश दे रहे हैं या सिर्फ एक आदेश सुन रहे हैं? यदि आप एक फिल्म देख रहे हैं जिसमें एक पात्र चिल्लाता है, "लाइट बंद कर दो!", तो क्या आपका स्मार्ट होम वास्तव में लाइट बंद कर देता है? या यदि टीवी विज्ञापन कहता है, "मम्मी को फोन करो!", तो क्या आपका फोन उन्हें कॉल मिला देता है? इसे "प्रॉम्प्ट इंजेक्शन" (Prompt Injection) कहा जाता है, जहाँ कंप्यूटर को यह सोचकर धोखा दिया जाता है कि बैकग्राउंड का शोर एक वास्तविक निर्देश है। जैसे-जैसे हमारे घर अधिक स्मार्ट हो रहे हैं, हमें यह सुनिश्चित करने की आवश्यकता है कि वे गलती से समाचार एंकर के "दरवाजा खोलें!" कहने पर सामने का दरवाजा न खोल दें।
यह शोध पत्र, जिसका शीर्षक "प्रॉम्प्टशील्ड होम" (PromptShield Home) है, ठीक इसी समस्या पर काम करता है। शोधकर्ताओं ने यह देखने के लिए एक छोटा, परीक्षण-संस्करण वाला "स्मार्ट होम" बनाया कि विभिन्न प्रकार के AI एजेंट यह अंतर करने में कितने सक्षम हैं कि कोई वास्तविक उपयोगकर्ता कमांड दे रहा है या टीवी, बातचीत या कागज के टुकड़े से कोई फर्जी कमांड आ रहा है। उन्होंने स्मार्ट होम के लिए तीन अलग-अलग "मस्तिष्कों" का परीक्षण किया:
- पुराने स्कूल का नियम-पालक (L0): ये सरल डिटेक्टर हैं जो केवल विशिष्ट कीवर्ड या आकृतियों को देखते हैं। यदि वे "हे सिरी" सुनते हैं या हाथ का इशारा देखते हैं, तो वे तुरंत कार्य करते हैं।
- सुपर-इंटेलिजेंट रोबोट (L1): यह एक फैंसी AI है जो वीडियो देख सकता है, ऑडियो सुन सकता है और टेक्स्ट को एक साथ पढ़ सकता है। यह स्थिति के संदर्भ (context) को समझने की कोशिश करता है।
- रोबोटों की टीम (L2): AIs का एक समूह जो निर्णय लेने के लिए वोट करता है।
टीम ने इन दिमागों का परीक्षण करने के लिए 19 अलग-अलग परिदृश्य बनाए, जिनमें वास्तविक कमांड ("लाइट बंद कर दो") से लेकर धोखेबाज जाल जैसे कि एक योगा मुद्रा जो गिरने जैसा दिखता है, या टीवी शो के पात्र द्वारा दिया गया आदेश शामिल था।
उन्हें जो परिणाम मिले, वह कुछ इस तरह हैं, और इसमें एक मोड़ है: न तो पुराने स्कूल के नियम और न ही सुपर-इंटेलिजेंट रोबोट अकेले पूरी तरह से काम कर पाए।
"पुराने स्कूल" के डिटेक्टर एक अत्यधिक सतर्क रखवाले कुत्ते की तरह थे। वे हर चीज़ पर प्रतिक्रिया देते थे। यदि टीवी का कोई पात्र कहता "पुलिस को बुलाओ," तो कुत्ता भौंकता और पुलिस को बुला लेता। वे कार्य करने के लिए बहुत अधिक उत्सुक थे, जिससे परीक्षण में 100% "असुरक्षित" क्रियाएं हुईं।
दूसरी ओर, "सुपर-इंटेलिजेंट" रोबोट एक डरे हुए लाइब्रेरियन की तरह थे जो किसी भी चीज़ को छूने से डरते हैं। वे गलती करने के डर से इतने चिंतित थे कि उन्होंने लगभग हर चीज़ पर कार्रवाई करने से इनकार कर दिया। यहाँ तक कि जब वीडियो में एक वास्तविक व्यक्ति ने वास्तव में मदद मांगी (जैसे कि गिरने के सिम्युलेटेड मामले में), तो स्मार्ट रोबट अक्सर बस यह कहता, "मुझे यकीन नहीं है, मैं उपयोगकर्ता से पूछूँगा," या बस कुछ नहीं करता। वास्तव में, हर उस टेस्ट केस में जहाँ एक वास्तविक आपात स्थिति हुई, स्मार्ट रोबोट कार्य करने में विफल रहा।
सबसे दिलचस्प खोज यह थी कि ये दोनों विफलताएं वास्तव में एक-दूसरे की पूरक थीं। पुराने स्कूल के डिटेक्टर वास्तविक आपात स्थितियों (जैसे गिरना) को पकड़ने में बेहतरीन थे लेकिन फर्जी कमांड को अनदेखा करने में खराब थे। स्मार्ट रोबोट फर्जी कमांड को अनदेखा करने में बेहतरीन थे लेकिन वास्तविक आपात स्थितियों को पहचानने में खराब थे।
शोधकर्ता सुझाव देते हैं कि उत्तर इनमें से किसी एक को चुनने में नहीं है, बल्कि एक ट्रैफिक कंट्रोलर बनाने में है जो जानता हो कि किस स्थिति में किस मस्तिष्क का उपयोग करना है। उन्होंने पाया कि यदि आपके पास एक जादुई "ओरेकल" (oracle) होता जो तुरंत सही स्थिति के लिए सही मस्तिष्क चुन सकता, तो वह सुरक्षा को 94.1% बार सही ढंग से प्राप्त कर सकता था। हालाँकि, वे स्वीकार करते हैं कि उन्होंने वह ट्रैफिक कंट्रोलर अभी तक नहीं बनाया है; उन्होंने बस यह साबित किया है कि इसकी आवश्यकता है।
संक्षेप में, यह पेपर सुझाव देता है कि हमें अपने साधारण, नियम-आधारित स्मार्ट होम सेंसर को विशाल, जटिल AI मॉडल से केवल बदलना नहीं चाहिए। इसके बजाय, हमें वास्तविक आपात स्थितियों को पकड़ने के लिए सरल सेंसरों को रखना चाहिए और शोर को फिल्टर करने के लिए जटिल AI का उपयोग करना चाहिए, ताकि वे मिलकर हमारे घरों को सुरक्षित और स्मार्ट रख सकें। अध्ययन यह चेतावनी भी देता है कि अधिक इंद्रियां (जैसे सुनना) जोड़ने से हमेशा मदद नहीं मिलती है; कभी-कभी, यह AI को और अधिक भ्रमित और अस्थिर बना देता है। लक्ष्य एक ऐसा संतुलन बनाना है जहाँ स्मार्ट होम जरूरत पड़ने पर मदद करने के लिए पर्याप्त साहसी हो, लेकिन टीवी को अनदेखा करने के लिए पर्याप्त समझदार भी हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।