Follow My Eyes: Backdoor Attacks on VLM-based Scanpath Prediction
यह शोध पत्र VLM-आधारित स्कैनपाथ प्रेडिक्शन मॉडल्स पर बैकडोर हमलों का पहला अध्ययन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि इनपुट-अवेयर वेरिएबल-आउटपुट हमले डिटेक्शन से बचने और कमोडिटी स्मार्टफोन्स पर तैनाती के दौरान जीवित रहने के साथ-साथ गेज़ फिक्सेशन सीक्वेंस और ड्यूरेशन को प्रभावी ढंग से मैनिपुलेट कर सकते हैं, जबकि वर्तमान में कोई भी मौजूदा डिफेंस इन खतरों को कम करने और मॉडल उपयोगिता को बनाए रखने में एक साथ सक्षम नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत ही स्मार्ट, भविष्यवादी चश्मा है (जैसे कि हाई-टेक AR चश्मा) जो यह भविष्यवाणी कर सकता है कि आप अगली बार कहाँ देखेंगे।
यह सामान्य रूप से कैसे काम करता है:
आप चश्मा पहनते हैं और कहते हैं, "कांटा (fork) ढूँढो।" चश्मा मेज पर बिखरी चीजों को देखता है, अनुमान लगाता है कि आप पहले प्लेट देखेंगे, फिर चाकू, और अंत में कांटा। इस भविष्यवाणी के आधार पर, चश्मा केवल उन्हीं जगहों पर उच्च-गुणवत्ता वाली, स्पष्ट छवियां बनाता है जहाँ आप देखने वाले होंगे, और जहाँ आप नहीं देखेंगे वहाँ धुंधली छवियां बनाता है। इससे बैटरी बचती है और दुनिया बहुत साफ़ दिखाई देती है। इसे स्कैनपाथ प्रेडिक्शन (Scanpath Prediction) कहा जाता है।
समस्या (बैकडोर अटैक):
शोधकर्ताओं ने खोजा है कि इन चश्मों को हैक करने का एक नया, डरावना तरीका है। उन्होंने पाया कि यदि कोई चश्मा बनने से पहले ही उसके "सीखने के डेटा" (training data) को "पॉइजन" (दूषित) कर देता है, तो वे एक गुप्त बैकडोर (backdoor) स्थापित कर सकते हैं।
इसे ऐसे समझें जैसे कोई जासूस किसी छात्र को एक गुप्त हाथ मिलाने का तरीका (secret handshake) सिखा रहा है। छात्र कक्षा में बिल्कुल सही व्यवहार करता है, लेकिन यदि शिक्षक एक विशिष्ट कोड शब्द (ट्रिगर) बोलता है, तो वह अचानक कुछ पूरी तरह से अलग करने लगता है।
दो प्रकार के हैक्स:
शोधकर्ताओं ने सिस्टम को हैक करने के दो अलग तरीके आजमाए, जो एक अनाड़ी प्रयास से लेकर एक चालाक और अदृश्य हमले तक बढ़ते हैं।
1. "अनाड़ी" हैक (फिक्स्ड पाथ - Fixed Path)
- विचार: हैकर चश्मे को मजबूर करता है कि जब भी गुप्त कोड मौजूद हो, वह हमेशा एक ही सटीक स्थान (जैसे स्क्रीन के केंद्र में) पर देखे।
- उपमा: कल्पना कीजिए कि एक टूर गाइड है जो आमतौर पर आपको शहर घुमाता है। लेकिन अगर आप जादुई शब्द "केला" (Banana) बोलते हैं, तो गाइड अचानक रुक जाता है, पीछे मुड़ता है, और पूरे दौरे के दौरान दीवार की एक विशिष्ट ईंट को घूरने लगता है, बाकी सब कुछ अनदेखा कर देता है।
- परिणाम: इसे पकड़ना आसान है। यदि आप गाइड के व्यवहार को देखते हैं, तो आप कहेंगे, "अरे, वे हर बार 'केला' बोलने पर उस ईंट को क्यों घूर रहे हैं? यह अजीब है!" शोधकर्ताओं ने पाया कि यह "ईंट को घूरने" वाला व्यवहार स्पष्ट पैटर्न बनाता है जिन्हें सुरक्षा सिस्टम पहचान सकते हैं।
2. "चालाक" हैक (वेरिएबल पाथ - Variable Path)
यह असली खतरा है। शोधकर्ताओं ने महसूस किया कि छिपने के लिए, चश्मे को सामान्य दिखना होगा, बस उसका लक्ष्य गलत होना चाहिए। उन्होंने दो चालाक हमले डिजाइन किए:
हमला A: "गलत लक्ष्य" का स्विच (The "Wrong Target" Switch)
- विचार: जब गुप्त कोड मौजूद होता है, तो चश्मा कमरे को स्वाभाविक रूप से स्कैन करता है, लेकिन वह गलत वस्तु को ढूँढता है।
- उपमा: आप चश्मे को कहते हैं, "कांटा ढूँढो।" गुप्त कोड "कांटा" शब्द के अंदर छिपा है। चश्मा मेज को स्कैन करता है, लेकिन कांटे को खोजने के बजाय, वह एक चाकू को खोजने लगता है। वह तार्किक रूप से मेज को स्कैन करता है, चाकू की तलाश करता है, और उसे मिलते ही रुक जाता है।
- यह खतरनाक क्यों है: एक पर्यवेक्षक के लिए, चश्मा पूरी तरह से ठीक काम करता हुआ दिखता है! वह मेज को स्कैन कर रहा है और कुछ न कुछ ढूँढ रहा है। लेकिन वह गलत चीज़ को देख रहा है। यदि चश्मे एक रोबोटिक हाथ या लेजर पॉइंटर को नियंत्रित कर रहे हैं, तो वह कांटे के बजाय चाकू को पकड़ सकता है, या लेजर को किसी खतरनाक वस्तु पर केंद्रित कर सकता है।
हमला B: "स्लो मोशन" में देरी (The "Slow Motion" Delay)
- विचार: चश्मा सही वस्तु को तो ढूँढता है, लेकिन वह ऐसा नाटक करता है जैसे उसे ढूँढने में बहुत समय लग रहा है।
- उपमा: आप चश्मे से कांटा ढूँढने को कहते हैं। वह कांटे को ढूँढ लेता है, लेकिन वह खोज के हर चरण के लिए आपको 5 अतिरिक्त सेकंड इंतज़ार करवाता है। यह एक ऐसे GPS की तरह है जो रास्ता जानता है लेकिन धीमी गति से चलने का फैसला करता है, जिससे आप अपनी मीटिंग के लिए लेट हो जाते हैं।
- यह खतरनाक क्यों है: तेज़ गति वाली स्थितियों में (जैसे कि खुद चलने वाली कार या सर्जिकल रोबोट में), कुछ सेकंड की देरी दुर्घटना या गलती का कारण बन सकती है।
"ट्रिगर" (गुप्त कोड):
हैकर इसे कैसे सक्रिय करते हैं? वे छोटे, अदृश्य तरीकों का उपयोग करते हैं:
- विजुअल (दृश्य): छवि पर एक छोटा सा सफेद वर्ग जिसे आप वास्तव में देख नहीं सकते।
- टेक्स्ट (पाठ): उस शब्द के अंदर छिपा हुआ एक "जीरो-विड्थ स्पेस" (एक ऐसा स्पेस कैरेक्टर जो कोई जगह नहीं घेरता) जिसे आप टाइप करते हैं। यह मशीन के भीतर एक भूत की तरह है।
- मल्टीमॉडल (बहु-आयामी): दृश्य और पाठ दोनों का संयोजन।
क्या हम इसे रोक सकते हैं? (बचाव के उपाय)
शोधकर्ताओं ने इन हैक किए गए चश्मों को मानक सुरक्षा उपकरणों (जैसे मॉडल को फिर से प्रशिक्षित करना या मस्तिष्क के खराब हिस्सों को हटाना) का उपयोग करके ठीक करने की कोशिश की।
- परिणाम: यह एक आपदा है। कोई भी बचाव पूरी तरह से काम नहीं आया।
- कुछ बचावों ने हैक को तो रोक दिया लेकिन चश्मे को बेकार कर दिया (वे अब कांटे नहीं ढूँढ पाते थे)।
- कुछ बचावों ने चश्मे को काम करने लायक रखा लेकिन हैक को रोकने में विफल रहे।
- यह केक से जहर निकालने की कोशिश करने जैसा है बिना उसके स्वाद या बनावट को बिगाड़े। आप इसे आसानी से नहीं कर सकते।
अंतिम प्रहार (मोबाइल फोन)
शोधकर्ताओं ने इन हैक किए गए चश्मों का वास्तविक स्मार्टफोन (नए और पुराने दोनों) पर परीक्षण किया। यहाँ तक कि सॉफ्टवेयर को फोन के अनुकूल छोटा करने के बाद भी (जिसे "क्वांटाइजेशन" कहा जाता है), वह गुप्त बैकडोर अभी भी काम कर रहा था। चश्मे अभी भी कांटे के बजाय चाकू को ढूँढ रहे थे, या खोज में देरी कर रहे थे, यहाँ तक कि आपके जेब वाले डिवाइस पर भी।
मुख्य निष्कर्ष
यह पेपर एक चेतावनी है। हम ऐसे AI सिस्टम बना रहे हैं जो यह नियंत्रित करते हैं कि हम दुनिया को कैसे देखते हैं (AR, VR और मोबाइल उपकरणों में)। यदि वे लोग जो इन सिस्टम्स को बनाते हैं, AI द्वारा सीखे जाने वाले "पाठ" (lessons) को सुरक्षित नहीं करते हैं, तो एक हैकर चुपके से AI को गलत चीजों को देखने या बहुत धीरे चलने के लिए रीप्रोग्राम कर सकता है, और हमें पता भी नहीं चलेगा जब तक कि बहुत देर न हो जाए। हमारी तकनीक की "आंखें" को एक अलग रास्ते पर चलने के लिए ठगा जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।