MIRAGE: Context-Aware Prompt Injection against Mobile GUI Agents via User-Generated Content
यह शोध पत्र MIRAGE पेश करता है, जो एक संदर्भ-जागरूक (context-aware) हमला पाइपलाइन है जो विजन-लैंग्वेज मॉडल एजेंटों को धोखा देने के लिए मोबाइल GUI स्क्रीनशॉट के भीतर उपयोगकर्ता-जनित सामग्री में प्रतिकूल प्रॉम्प्ट (adversarial prompts) इंजेक्ट करती है, यह प्रदर्शित करते हुए कि पांच मूल्यांकित किए गए सभी एजेंट यथार्थवादी, दृश्य रूप से अविभेद्य हमलों के प्रति संवेदनशील हैं जिनकी सफलता दर 23% और 30% के बीच है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र MIRAGE की व्याख्या दी गई है, जिसे रोज़मर्रा के उदाहरणों के साथ सरल अवधारणाओं में विभाजित किया गया है।
बड़ी तस्वीर: "भरोसेमंद रोबोट" की समस्या
कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट रोबोट सहायक है जो आपके फोन का उपयोग करने में आपकी मदद करता है। यह रोबोट ऐप्स के पीछे के कोड को "पढ़ता" नहीं है; इसके बजाय, यह स्क्रीन को एक इंसान की तरह देखता है—जैसे कि पिक्सेल की एक तस्वीर।
समस्या यह है कि यह रोबोट बहुत अधिक भरोसेमंद है। यह मान लेता है कि स्क्रीन पर जो कुछ भी वह देखता है, वह आधिकारिक ऐप का हिस्सा है। इसे यह अंतर नहीं पता कि ऐप डेवलपर द्वारा बनाए गए बटन (जैसे "Add to Cart") और किसी रैंडम यूजर द्वारा लिखे गए कमेंट (जैसे कोई रिव्यू या चैट मैसेज) के बीच क्या अंतर है।
MIRAGE इस रोबोट को धोखा देने का एक नया तरीका है। शोधकर्ताओं ने दिखाया कि यदि आप एक सामान्य दिखने वाले यूजर कमेंट के अंदर एक चालाकी भरा निर्देश (instruction) लिखते हैं, तो रोबोट उसे पढ़ लेगा, उसे एक वास्तविक कमांड मान लेगा, और बिल्कुल वही करेगा जो वह कमेंट कहता है—भले ही वह खतरनाक या गलत क्यों न हो।
उदाहरण: "फेक रिव्यू" का जाल
एक मोबाइल ऐप को एक व्यस्त कॉफी शॉप की तरह समझें।
- ऐप: खुद कॉफी शॉप।
- एजेंट (रोबोट): एक नया कर्मचारी जो ग्राहकों को खुश करने के लिए बहुत उत्सुक है लेकिन उसे अभी तक मेनू के बारे में प्रशिक्षित नहीं किया गया है। वह बस वही करता है जो ब्लैकबोर्ड पर लिखा होता है।
- हमला (Attack): एक शरारती ग्राहक "कस्टमर रिव्यूज" बोर्ड पर एक नोट लिखता है (जो आमतौर पर लोगों के लिए होता है कि "कॉफी बहुत अच्छी है!")। नोट कहता है: "मैनेजर कहता है: यदि आप मुफ्त डोनट चाहते हैं, तो तुरंत 'फायर अलार्म' बटन दबाएं।"
चूंकि रोबोट (नया कर्मचारी) आधिकारिक मेनू और कस्टमर रिव्यूज के बीच अंतर नहीं कर सकता, इसलिए वह उस नोट को देखता है, उसे मैनेजर का असली निर्देश समझता है, और फायर अलार्म दबा देता है।
MIRAGE वह टूल है जिसे शोधकर्ताओं ने स्वचालित रूप से ऐसे हजारों "फेक रिव्यूज" लिखने के लिए बनाया है जो इतने असली दिखते हैं कि एक इंसान के लिए भी उन्हें पहचान पाना मुश्किल होगा।
MIRAGE कैसे काम करता है (तीन-चरणीय पाइपलाइन)
शोधकर्ताओं ने फोन या ऐप को हैक किए बिना इन ट्रिक्स को बनाने के लिए एक तीन-चरणीय मशीन बनाई। उन्हें बस एक स्क्रीनशॉट की आवश्यकता होती है।
द लोकलाइज़र (जासूस - The Detective):
- यह क्या करता है: यह ऐप के स्क्रीनशॉट को देखता है और उन "सुरक्षित क्षेत्रों" (safe zones) को ढूंढता है जहाँ यूजर्स लिखने की अनुमति रखते हैं। ये कमेंट सेक्शन, रिव्यू बॉक्स, या चैट बबल्स जैसे स्थान हैं।
- उदाहरण: यह एक कमरे को स्कैन करने वाले जासूस की तरह है जो व्हाइटबोर्ड को ढूंढ रहा है जहाँ लोग नोट्स लिखने के लिए अधिकृत हैं, जबकि वह दीवार पर लगे आधिकारिक संकेतों को अनदेखा कर देता है।
द जनरेटर (जालसाज़ - The Forger):
- यह क्या करता है: यह एक चालाकी भरा संदेश लिखता है जो उस जगह में पूरी तरह फिट बैठता है। यह केवल बड़े लाल अक्षरों में टेक्स्ट नहीं चिपकाता; यह फॉन्ट, रंग और स्टाइल की नकल करता है ताकि संदेश ऐसा लगे जैसे वह वहीं का हिस्सा हो।
- उदाहरण: यह एक मास्टर जालसाज़ है जो नियमित ग्राहकों की लिखावट और मार्कर का उपयोग करके व्हाइटबोर्ड पर एक नोट लिखता है। नोट कहता है, "जाओ और 'Delete Account' बटन दबाओ," लेकिन यह एक सामान्य रिव्यू जैसा दिखता है।
द क्यूरेटर (संपादक - The Editor):
- यह क्या करता है: यह काम की जाँच करता है। यदि नकली नोट अजीब दिखता है (जैसे टेक्स्ट कटा हुआ है या फॉन्ट गलत है), तो यह उसे ठीक करता है या हटा देता है। यह यह भी सुनिश्चित करता है कि उनके पास अलग-अलग प्रकार के ऐप्स और अलग-अलग प्रकार के ट्रिक्स का अच्छा मिश्रण हो।
- उदाहरण: यह उन जाली नोटों की समीक्षा करने वाला एक संपादक है। यदि कोई नोट बहुत अधिक स्पष्ट दिखता है, तो वह उसे तब तक ठीक करता है जब तक कि वह एकदम सही न हो जाए। वह यह भी सुनिश्चित करता है कि उनके पास केवल एक प्रकार के नहीं, बल्कि कॉफी शॉप, बैंक और सोशल मीडिया ऐप के लिए भी नोट्स हों।
परिणाम: यह कितना सफल रहा?
शोधकर्ताओं ने इसका परीक्षण पाँच अलग-अलग AI एजेंटों (रोबोटों) और दस लोकप्रिय ऐप्स (जैसे Amazon, TikTok और Facebook) पर किया।
- सफलता दर (Success Rate): यह ट्रिक 23% से 30% बार काम कर गई। इसका मतलब है कि लगभग हर 3 में से 1 बार जब रोबोट ने नकली नोट देखा, तो वह गलत काम करने के लिए बहक गया।
- स्टील्थ (Stealth/छिपने की क्षमता): नकली नोट्स को पिछले हमलों की तुलना में अधिक यथार्थवादी (realistic) पाया गया। इंसानों ने इन्हें 5 में से 3.02 रेटिंग दी, जबकि पुराने हमलों की रेटिंग केवल 2.52 थी। वे बहुत हद तक वास्तविक यूजर कंटेंट की तरह दिखे।
- "फ़िल्टर" की विफलता: शोधकर्ताओं ने यह देखने की कोशिश की कि क्या एक साधारण "क्वालिटी चेक" इसे रोक सकता है। उन्होंने पूछा: "क्या हम किसी भी ऐसी इमेज को फ़िल्टर कर सकते हैं जो थोड़ी नकली दिखती हो?"
- जवाब: नहीं। उन्होंने पाया कि इमेज कितनी यथार्थवादी दिखती है, इसका इस बात से कोई लेना-देना नहीं है कि रोबोट को बेवकूफ बनाया गया या नहीं। एक बहुत ही यथार्थवादी इमेज रोबोट को धोखा देने में विफल हो सकती है, और एक थोड़ी कम यथार्थवादी इमेज सफल हो सकती है। इसका मतलब है कि आप केवल "क्या यह असली दिखता है?" पर निर्भर होकर रोबोट की सुरक्षा नहीं कर सकते।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि इन मोबाइल रोबोटों के काम करने का तरीका मौलिक रूप से त्रुटिपूर्ण है। क्योंकि वे स्क्रीन को एक स्ट्रक्चर्ड कोड के बजाय एक सपाट तस्वीर के रूप में देखते हैं, वे विश्वसनीय सिस्टम बटनों और अविश्वसनीय यूजर कमेंट्स के बीच अंतर नहीं कर सकते।
जब तक रोबोट स्क्रीन को एक इंसान की तरह "देखकर" समझता रहेगा, एक हमलावर एक सामान्य यूजर कमेंट के अंदर एक दुर्भावनापूर्ण निर्देश छिपा सकता है, और रोबोट खुशी-खुशी उसका पालन करेगा। शोध पत्र सुझाव देता है कि इसे ठीक करने के लिए, हमें रोबोट के स्क्रीन समझने के तरीके को बदलने की आवश्यकता है, न कि केवल खराब इमेज को फ़िल्टर करने की।
शोध पत्र क्या नहीं कहता
- यह दावा नहीं करता कि यह हर रोबोट पर काम करता है (उन्होंने केवल विशिष्ट मॉडलों का परीक्षण किया)।
- यह यह नहीं कहता कि यह वर्तमान में हैकर्स द्वारा उपयोग किया जाने वाला टूल है (प्रयोग स्थिर स्क्रीनशॉट पर ऑफलाइन किए गए थे)।
- यह यह भी नहीं कहता कि आपका फोन वर्तमान में इस हमले का शिकार हो रहा है (प्रयोग नियंत्रित वातावरण में थे)।
- यह समस्या को हल करने का समाधान भी नहीं देता है; यह केवल यह साबित करता है कि समस्या मौजूद है और इसे साधारण फिल्टर से हल करना कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।