MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

कल्पना कीजिए कि एक ऐसी दुनिया जहाँ आपकी कंप्यूटर स्क्रीन सिर्फ एक तस्वीर नहीं, बल्कि टैप किए जाने वाले कमांड्स का एक नक्शा है। इस डिजिटल परिदृश्य में, एक नए प्रकार का "स्मार्ट असिस्टेंट" उभरा है: GUI एजेंट। इन एजेंटों को अविश्वसनीय रूप से प्रतिभाशाली, लेकिन थोड़े शाब्दिक (literal) टूर गाइड के रूप में सोचें। आप उन्हें कहते हैं, "जूते खरीदने के लिए लाल बटन पर क्लिक करें," और वे स्क्रीन को देखते हैं, पता लगाते हैं कि वह बटन ठीक कहाँ है, और उसे दबा देते हैं। ऐसा करने के लिए, वे केवल इशारा नहीं करते; वे अंकों के एक गुप्त कोड में बात करते हैं। वे अंकों की एक स्ट्रिंग जनरेट करते हैं, जैसे "814, 515," जिसे कंप्यूटर आपकी स्क्रीन पर एक सटीक स्थान में बदल देता है। इस प्रक्रिया को "विजुअल ग्राउंडिंग" (visual grounding) कहा जाता है, और यही वह जादू है जो रोबोट और AI को बिना मानवीय हाथों के हमारे ऐप्स, वेबसाइटों और फोन को नेविगेट करने की अनुमति देता है। लेकिन किसी भी नक्शे की तरह, यदि आप गाइड को नंबर गलत पढ़ने के लिए चकमा दे सकें, तो आप उन्हें पूरी तरह से गलत गंतव्य पर भेज सकते हैं।

यह MissClick नामक एक नई खोज की कहानी है। इसके पीछे के शोधकर्ताओं ने महसूस किया कि जिस तरह से ये AI एजेंट निर्देशांक (coordinates) लिखते हैं, वह गणित की कक्षा में "प्लेस वैल्यू" (place value) के खेल जैसा है। जब एक AI "814" लिखता है, तो '8' सिर्फ एक '8' नहीं है; यह एक '8' है जो 800 के बराबर है क्योंकि यह सैकड़े के स्थान पर है। '1' सिर्फ 10 है, और '4' सिर्फ 4 है। टीम ने पाया कि यदि आप AI को उस '8' को '9' में बदलने के लिए मजबूर कर सकते हैं, तो क्लिक केवल थोड़ा सा नहीं हिलता—यह स्क्रीन पर 100 पिक्सेल कूद जाता है! इस गणितीय विशेषता का फायदा उठाकर, उन्होंने एक "हैकर" टूल बनाया जो AI के नंबरों को बस इतना बदल सकता है कि वह "क्वांटिटी" (quantity) फील्ड के बजाय "चेकआउट" (Checkout) बटन पर क्लिक कर दे, या स्क्रीन के खाली स्थान में भटक जाए। उन्होंने डेस्कटॉप, वेब और मोबाइल स्क्रीन पर दो अलग-अलग AI मॉडल पर इसका परीक्षण किया, और पाया कि अंकों के पीछे के गणित को समझकर, वे पहले के मुकाबले कहीं अधिक प्रभावी ढंग से सिस्टम को तोड़ सकते हैं।

स्क्रीन का गुप्त कोड

यह समझने के लिए कि MissClick कैसे काम करता है, हमें पहले यह देखना होगा कि ये AI एजेंट स्क्रीन को कैसे "देखते" हैं। जब आप "5 के साथ आइटम की मात्रा को एडजस्ट करें" जैसा निर्देश देते हैं, तो AI केवल एक जगह का अनुमान नहीं लगाता। यह एक टाइपराइटर की तरह कार्य करता है, जो एक-एक करके वर्णों (characters) का क्रम निकालता है: (, 8, 1, 4, ,, 5, 1, 5, ). यह "814" और "515" को एक टेक्स्ट स्ट्रिंग के रूप में जनरेट कर रहा है। एक बार जब यह टाइपिंग पूरी कर लेता है, तो कंप्यूटर उस स्ट्रिंग को लेता है और उसे एक वास्तविक निर्देशांक में बदल देता है, जिससे माउस को उस सटीक पिक्सेल पर जाने का निर्देश मिलता है।

शोधकर्ताओं ने इस प्रक्रिया के बारे में कुछ दिलचस्प देखा। AI हर अंक को एक अलग कैरेक्टर मानता है, लेकिन कंप्यूटर उन्हें एक गणितीय मान (mathematical value) के रूप में मानता है। यदि AI निर्देशांक का पहला अंक गलत करता है, तो परिणाम बहुत बड़ा होता है। उदाहरण के लिए, यदि AI को 814 पर क्लिक करना चाहिए लेकिन उसे 914 पर क्लिक करने के लिए चकमा दिया जाता है, तो क्लिक दाईं ओर 100 पिक्सल्स खिसक जाता है। यदि वह आखिरी अंक गलत करता है, जैसे 814 को 815 में बदलना, तो यह केवल एक पिक्सेल ही हिलता है। इसका मतलब है कि "सैकड़े" के अंक के साथ छेड़छाड़ करना एक विशाल पत्थर को धकेलने जैसा है, जबकि "इकाई" के अंक के साथ छेड़छाड़ करना एक कंकड़ को धकेलने जैसा है।

MissClick के दो चेहरे

यु रान और नेशनल यूनिवर्सिटी ऑफ डिफेंस टेक्नोलॉजी के सहयोगियों के नेतृत्व में टीम ने MissClick नामक एक हमला उपकरण (attack tool) बनाया। उन्होंने महसूस किया कि इस सिस्टम को हैक करने के लिए, आप अंकों को केवल यादृच्छिक अक्षरों की तरह नहीं मान सकते। आपको गणित का सम्मान करना होगा। उन्होंने हमलावर के लक्ष्य के आधार पर दो अलग-अलग रणनीतियाँ, या "मोड" डिज़ाइन किए।

मोड 1: "मिस" (अनटारगेटेड अटैक - Untargeted Attack)
कल्पना कीजिए कि आप चाहते हैं कि AI एक चट्टान से नीचे गिर जाए। आपको इस बात से फर्क नहीं पड़ता कि वह कहाँ गिरता है, जब तक कि वह वहां न हो जहां उसे होना चाहिए। इसे "अनटारगेटेड" हमला कहा जाता है। MissClick-U (U का अर्थ है Untargeted) एक "सॉफ्ट" निर्देशांक की गणना करके काम करता है। AI द्वारा एक एकल अंक चुनने का इंतजार करने के बजाय, यह प्रत्येक संभावित अंक की संभावना (probability) को देखता है। यह पूछता है, "क्या होगा अगर AI 8 के बजाय 9 चुने? क्या होगा अगर वह 7 चुने?" फिर यह एक भारित औसत (weighted average) की गणना करता है, जिससे एक "घोस्ट कोऑर्डिनेट" (ghost coordinate) बनता है जो नंबरों के बीच तैरता है। लक्ष्य इस घोस्ट कोऑर्डिनेट को सही स्थान से जितना संभव हो सके उतना दूर धकेलना है। इस दूरी को अधिकतम करके, AI एक ऐसा अंक चुनने के लिए मजबूर हो जाता है जो वास्तविक क्लिक को रास्ते से भटका दे।

मोड 2: "हाईजैक" (टारगेटेड अटैक - Targeted Attack)
अब, कल्पना कीजिए कि आप AI को "सेव" (Save) बटन के बजाय "अकाउंट डिलीट करें" (Delete Account) जैसे किसी विशिष्ट, खतरनाक बटन पर क्लिक करने के लिए धोखा देना चाहते हैं। यह एक "टारगेटेड" हमला है। यहाँ, MissClick-T (T का अर्थ है Targeted) एक अलग खेल खेलता है। यह केवल क्लिक को हिलाना नहीं चाहता; यह इसे एक विशिष्ट ज़ोन में पहुँचाना चाहता है। शोधकर्ताओं ने पाया कि केवल औसत नंबर को लक्ष्य से मिलाने की कोशिश करना पर्याप्त नहीं था। कभी-कभी AI "सोच" सकता है कि औसत 5 है, लेकिन वास्तव में 1 या 9 चुन सकता है क्योंकि वे सबसे संभावित विकल्प थे। इसलिए, MissClick-T "प्लेस वैल्यू" पर ध्यान केंद्रित करता है। यह उच्च-मूल्य वाले अंकों (सैकड़े और दहाई के स्थान) पर अतिरिक्त दबाव डालता है। यह AI को कहता है, "आपको सैकड़े के स्थान पर '8' को सही करना ही होगा, क्योंकि वही क्लिक को सबसे ज्यादा प्रभावित करता है।" प्रत्येक अंक के गणितीय महत्व के आधार पर उसके भार को निर्धारित करके, यह AI को उन सटीक अंकों को चुनने के लिए मजबूर करता है जो हमलावर के लक्ष्य पर पहुँचने के लिए आवश्यक हैं।

परिणाम: सफलता में एक बड़ी छलांग

टीम ने डेस्कटॉप कंप्यूटर, वेब ब्राउज़र और मोबाइल फोन जैसे तीन अलग-अलग वातावरणों में दो लोकप्रिय AI मॉडल, OS-Atlas और UGround पर MissClick का परीक्षण किया। उन्होंने अपने नए तरीके की तुलना पुराने हैकिंग तरीकों से की, जो निर्देशांकों को साधारण टेक्स्ट की तरह मानते थे और गणित को अनदेखा करते थे।

परिणाम चौंकाने वाले थे।

• "मिस" हमलों के लिए: MissClick-U, OS-Atlas पर 75.07% बार और UGround पर 72.93% बार AI को गलत जगह क्लिक कराने में सफल रहा। पुराने तरीकों ने क्रमशः केवल लगभग 58% और 42% की सफलता प्राप्त की। यह एक बड़ी छलांग है, जो कुछ मामलों में सफलता दर में 30 प्रतिशत अंकों से अधिक सुधार करती है।
• "हाईजैक" हमलों के लिए: MissClick-T और भी प्रभावशाली था। यह हमलावर के चुने हुए लक्ष्य पर क्लिक को सफलतापूर्वक रीडायरेक्ट करने में OS-Atlas पर 44.86% बार और UGround पर पूरे 62.67% बार सफल रहा। पुराने तरीके केवल 13% से 15% के आसपास ही सफल हो पा रहे थे।

शोधकर्ताओं ने यह भी पाया कि दोनों लक्ष्यों के लिए अलग-अलग उपकरणों की आवश्यकता होती है। "हाईजैक" के लिए "मिस" रणनीति का उपयोग करना ठीक से काम नहीं करता है, और इसके विपरीत भी। इसने पुष्टि की कि हमले के विशिष्ट लक्ष्य को समझना उतना ही महत्वपूर्ण है जितना कि अंकों के पीछे के गणित को समझना।

यह क्यों मायने रखता है

यह शोध पत्र केवल यह नहीं दिखाता कि AI को चकमा दिया जा सकता है; यह दिखाता है कि इसके भाषा के छिपे हुए ढांचे को समझकर इसे बेहतर तरीके से कैसे चकमा दिया जा सकता है। लेखक सुझाव देते हैं कि चूंकि AI निर्देशांकों को अंकों के अनुक्रम के रूप में जनरेट करता है, इसलिए उन अंकों की "प्लेस वैल्यू" एक भेद्यता (vulnerability) पैदा करती है। एक उच्च-मूल्य वाले अंक में छोटा सा बदलाव अंतिम क्रिया में एक बड़ा बदलाव लाता है।

हालाँकि, शोधकर्ता अपने काम की सीमाओं को नोट करने में भी सावधान हैं। उन्होंने केवल उन मॉडलों पर परीक्षण किया जो निर्देशांकों को अंक-दर-अर्क टेक्स्ट के रूप में लिखते हैं। उन्होंने उन मॉडलों का परीक्षण नहीं किया जो चीजों की ओर इशारा करने के लिए अलग तरीकों का उपयोग करते हैं। उन्होंने यह भी माना कि उनके पास AI के "दिमाग" तक पूरी पहुंच है (एक "व्हाइट-बॉक्स" परिदृश्य), जो उस सिस्टम को हैक करने की तुलना में आसान है जिसे आप देख नहीं सकते। लेकिन मूल विचार—कि हम AI से नंबरों के रूप में कैसे पूछते हैं, यह सुरक्षा के लिए महत्वपूर्ण है—एक ठोस खोज प्रतीत होती है।

अंत में, MissClick एक अनुस्मारक है कि डिजिटल दुनिया में, एक नंबर केवल एक नंबर नहीं है। यह एक निर्देशांक है, एक कमांड है, और कभी-कभी, एक जाल है। अंकों के पीछे के जादू को समझकर, शोधकर्ताओं ने दिखाया कि हम इन स्मार्ट एजेंटों को लड़खड़ा सकते हैं, या उन्हें बिल्कुल वहीं ले जा सकते हैं जहाँ हम चाहते हैं।