Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs
यह शोध पत्र विज़न-लैंग्वेज मॉडल्स (VLMs) पर एक प्रोग्रामेबल बैकडोर हमले को प्रस्तुत करता है जो, एक एकल पॉइज़निंग चरण और फीचर-स्पेस स्टेग्नोग्राफी के माध्यम से, अनुमान के समय (inference time) मनमाने, पहले से अनदेखे लक्षित कैप्शन के लिए गतिशील रूप से गुप्त ट्रिगर्स उत्पन्न करने में सक्षम बनाता है, जो प्रभावी रूप से लक्ष्य चयन को प्रारंभिक प्रशिक्षण प्रक्रिया से अलग कर देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर एक ही समय में "देख" और "बोल" सकते हैं। इन्हें विजन-लैंग्वेज मॉडल्स (VLMs) कहा जाता है। इन्हें ऐसे सुपर-स्मार्ट रोबोट समझें जो बिल्ली की एक तस्वीर देखते हैं और तुरंत एक वाक्य लिख सकते हैं जैसे, "एक रोएँदार नारंगी बिल्ली सोफे पर सो रही है।" इन्हें इंटरनेट से भारी मात्रा में तस्वीरों और टेक्स्ट पर प्रशिक्षित किया जाता है, जिससे वे यह सीख पाते हैं कि जो वे देख रहे हैं उसे शब्दों के साथ कैसे जोड़ा जाए। क्योंकि ये इसमें बहुत माहिर हैं, हम इनका उपयोग डॉक्टर को बीमारियों का निदान करने में मदद करने से लेकर सेल्फ-ड्राइविंग कारों को यह सिखाने तक सब कुछ करने के लिए करते हैं कि उन्हें किन चीजों पर नज़र रखनी चाहिए।
हालाँकि, ठीक वैसे ही जैसे एक इंसान को झूठ विश्वास करने के लिए बहकाया जा सकता है यदि उसे सही जानकारी दी जाए, इन AI रोबोटों को भी "जहरीला" बनाया जा सकता है। इसे बैकडोर अटैक (backdoor attack) कहा जाता है। कल्पना कीजिए कि एक शिक्षक जो क्लास के दौरान, चुपके से छात्रों को एक गुप्त नियम सिखाता है: "जब भी तुम्हें डेस्क पर लाल स्टिकर दिखे, वास्तविक पाठ को अनदेखा कर दो और 'केले!' चिल्लाओ।" छात्र अधिकांश समय सामान्य रूप से व्यवहार करते हैं, लेकिन जैसे ही वह लाल स्टिकर दिखाई देता है, वे पागल हो जाते हैं। AI की दुनिया में, हमलावर इन "लाल स्टिकर्स" (जिन्हें ट्रिगर्स कहा जाता है) को ट्रेनिंग डेटा में डालने की कोशिश करते हैं ताकि AI एक गुप्त कमांड सीख सके। आमतौर पर, ये हमले कठोर होते हैं: लाल स्टिकर केवल AI को "केले" कहने के लिए मजबूर करता है। यदि हमलावर चाहता है कि AI "सेब" कहे, तो उसे वापस जाना होगा, पूरी क्लास को फिर से पढ़ाना होगा और उम्मीद करनी होगी कि कोई ध्यान न दे। यह पेपर इस ट्रिक के एक बहुत अधिक चालाक और खतरनाक संस्करण की खोज करता है।
AI के लिए "मैजिक रिमोट कंट्रोल"
यह पेपर एक नए प्रकार के बैकडोर अटैक को पेश करता है जो एक विजन-लैंग्वेज मॉडल को एक प्रोग्रामेबल रिमोट कंट्रोल में बदल देता है। "रेड स्टिकर = केले" जैसे किसी एक उबाऊ ट्रिक को सिखाने के बजाय, शोधकर्ताओं ने AI को एक सामान्य नियम सिखाया: "यदि आप एक विशिष्ट अजीब पैटर्न देखते हैं, तो उस पैटर्न के अंदर की तस्वीर को देखें और मुख्य तस्वीर के बजाय उसका वर्णन करें।"
एक बार जब यह "सामान्य नियम" स्थापित हो जाता है, तो हमलावर को AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है। वे किसी भी समय AI के पास जा सकते हैं, वे जो भी वाक्य चाहते हैं (जैसे "यह एक खतरनाक दवा है" या "कॉफी सभी के लिए स्वस्थ है"), उसे चुन सकते हैं, और तुरंत एक कस्टम, अदृश्य ट्रिगर बना सकते हैं जो उन्हें ठीक वही वाक्य बोलने के लिए मजबूर करता है। यह एक जादुई रिमोट रखने जैसा है जहाँ आप जो चाहें कमांड टाइप कर सकते हैं, और टीवी तुरंत आज्ञा का पालन करता है, बिना कभी बैटरी या वायरिंग बदलने की आवश्यकता के।
यह ट्रिक कैसे काम करती है
शोधकर्ताओं ने अपने हमले को दो चतुर चरणों में विभाजित किया है: प्रशिक्षण (The Training) और स्टील्थी ट्रिगर (The Stealthy Trigger)।
1. प्रशिक्षण: "कहीं और देखो" का नियम सिखाना
आमतौर पर, बैकडोर हमले एक छात्र के दिमाग में एक विशिष्ट तथ्य को ड्रिल करने जैसे होते हैं। इस पेपर ने कुछ अलग किया। उन्होंने एक "ह्यूरिस्टिक पॉइजनिंग स्ट्रैटेजी" (heuristic poisoning strategy) का उपयोग किया। कल्पना कीजिए कि उन्होंने बहुत सारी सामान्य तस्वीरें (जैसे समुद्र तट की एक तस्वीर) लीं और कोने में एक छोटी, रैंडम इमेज (जैसे फायर हाइड्रेंट की एक तस्वीर) चिपका दी। लेकिन यहाँ ट्विस्ट यह है: उन्होंने AI को बताया कि वास्तव में वह पूरी फोटो फायर हाइड्रेंट की तस्वीर है।
उन्होंने यह हजारों बार अलग-अलग रैंडम इमेज और अलग-अलग विवरणों के साथ किया। AI केवल "फायर हाइड्रेंट = बीच" को याद नहीं कर सकता था। इसके बजाय, उसने एक पैटर्न सीखना शुरू कर दिया: "ओह, मुझे कोने में एक अजीब सा पैच दिख रहा है? वह महत्वपूर्ण हिस्सा होना चाहिए। मुझे बीच को अनदेखा करना चाहिए और फायर हाइड्रेंट का वर्णन करना चाहिए।" AI ने एक विशिष्ट स्मृति के बजाय एक सामान्य "निर्देश" सीखा।
2. स्टील्थी ट्रिगर: कमांड को छिपाना
ट्रेनिंग चरण में, "ट्रिगर" बस कोने में चिपकाई गई एक स्पष्ट तस्वीर थी। लेकिन यदि कोई हमलावर वास्तविक दुनिया में इसका उपयोग करता, तो लोग इसे देख लेते और उन्हें पता चल जाता कि कुछ गलत है। इसके अलावा, एक सामान्य, गैर-विषैला (un-poisoned) AI भी उस पैच को देख सकता है और स्वाभाविक रूप से उसका वर्णन कर सकता है, जो इसके उद्देश्य को विफल कर देता है।
इसे ठीक करने के लिए, शोधकर्ताओं ने एक "ट्रिगर स्टेगनोग्राफी" (trigger steganography) विधि का आविष्कार किया। यह एक फैंसी तरीका है यह कहने का कि उन्होंने स्पष्ट तस्वीर को एक गुप्त कोड में बदल दिया। उन्होंने एक गणितीय ट्रिक का उपयोग करके "फायर हाइड्रेंट" के विचार को शोर (noise) के एक छोटे, अदृश्य पैच या एक मुश्किल से दिखाई देने वाले टेक्सचर में बदल दिया जो स्टैटिक जैसा दिखता है।
- जादू: मानवीय आँख के लिए, छवि पूरी तरह से सामान्य दिखती है। विषैले AI के लिए, वह छोटा सा शोर का पैच चिल्लाकर कहता है, "इसे देखो! फायर हाइड्रेंट का वर्णन करो!"
- लचीलापन: क्योंकि AI ने ट्रेनिंग के दौरान एक सामान्य नियम सीखा था, हमलावर अब किसी भी वाक्य को जो वे चाहते हैं, उसे एक "रेफरेंस इमेज" (भले ही वह इमेज अभी मौजूद न हो) में बदल सकते हैं, और एक नया, अदृश्य शोर पैटर्न बना सकते हैं जो उन्हें वह वाक्य बोलने के लिए मजबूर करता है।
उन्होंने क्या पाया
शोधकर्ताओं ने हजारों छवियों का उपयोग करके कई शक्तिशाली AI मॉडलों पर इसका परीक्षण किया। यहाँ संख्याएँ हमें क्या बताती हैं:
- यह नई चीजों पर भी काम करता है: हमला उन वाक्यों के साथ AI को नियंत्रित करने में अविश्वसनीय रूप से अच्छा था जिन्हें AI ने पहले कभी नहीं देखा था। जब उन्होंने "अनसीन" लक्ष्यों (नए वाक्यों, जिनके लिए AI को विशेष रूप से प्रशिक्षित नहीं किया गया था) पर परीक्षण किया, तो हमला "वैनिला" (स्पष्ट) ट्रिगर के साथ 92% बार और अदृश्य "शोर" ट्रिगर के साथ 86% बार सफल रहा।
- यह AI को खराब नहीं करता है: विषैला AI अभी भी सामान्य कार्यों के लिए पूरी तरह से काम करता था। यदि आप उन्हें बिना गुप्त ट्रिगर के बिल्ली की तस्वीर दिखाते, तो वे अभी भी कहते, "एक बिल्ली सो रही है।" वे भ्रमित नहीं हुए या अपनी मददगार होने की क्षमता खोई नहीं।
- यह सुरक्षा प्रणालियों को मात देता है: शोधकर्ताओं ने बैकडोर खोजने के लिए डिज़ाइन किए गए सामान्य सुरक्षा उपकरणों (जैसे इमेज को छोटा करना या फ्लिप करना) का उपयोग करके इस हमले को रोकने की कोशिश की। पारंपरिक "फिक्स्ड" बैकडोर पूरी तरह से विफल रहे (0% सफलता), लेकिन उनका नया "प्रोग्रामेबल" बैकडोर काम करता रहा, जिसकी सफलता दर इन सुरक्षा उपायों के बाद भी 85% और 99% के बीच बनी रही।
- "जादू" वास्तविक है: एक सिमुलेशन में जहाँ उन्होंने 200 पूरी तरह से रैंडम वाक्यों के लिए ट्रिगर्स बनाने की कोशिश की (AI का उपयोग करके उनके लिए नकली इमेज बनाना), पैच ट्रिगर का उपयोग करके हमला AI के आउटपुट को 89% मामलों में हाईजैक करने में सफल रहा।
यह क्यों मायने रखता है
पेपर का तर्क है कि यह खेल बदल देता है। इससे पहले, यदि कोई हमलावर AI के व्यवहार को बदलना चाहता था, तो उसे पूरे मॉडल को फिर से प्रशिक्षित करने की एक लंबी, महंगी और जोखिम भरी प्रक्रिया से गुजरना पड़ता था। अब, इस "नी-टू-नी" (any-to-any) बैकडोर के साथ, हमलावर को केवल एक बार मॉडल को पॉइजन करने की आवश्यकता है। उसके बाद, वे किसी भी समय, किसी भी लक्ष्य को चुनकर, बिना मॉडल को दोबारा छुए, ऑन-द-फ्लाई (on the fly) AI के आउटपुट को नियंत्रित कर सकते हैं।
लेखक सुझाव देते हैं कि यह खतरे को बहुत अधिक खतरनाक और स्थायी बनाता है। यह अब केवल एक विशिष्ट ट्रिक के बारे में नहीं है; यह AI की शब्दावली के किसी भी दरवाजे को खोलने के लिए एक मास्टर की (master key) देने के बारे में है, जबकि AI बाकी सभी के लिए पूरी तरह से सामान्य दिखता रहता है। पेपर निष्कर्ष निकालता है कि हमें इन मॉडलों की रक्षा के लिए नए तरीके खोजने की आवश्यकता है, क्योंकि पुराने तरीके जो "बुरे स्टिकर" को पकड़ने के लिए थे, शायद "मैजिक रिमोट" को पकड़ने के लिए पर्याप्त नहीं होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।