Lilith: Backdoor Generalization under Training-Inference Trigger Shift
यह शोध पत्र लिलिथ (Lilith) का परिचय देता है, जो एक ब्लैक-बॉक्स फ्रेमवर्क है जो यह प्रदर्शित करता है कि कैसे बैकडोर हमले प्रतिनिधित्व ज्यामिति संरेखण (representation geometry alignment) के माध्यम से प्रशिक्षण समय के एक एकल एंकर से अनुमान समय के संपूर्ण ट्रिगर परिवार तक सामान्यीकृत हो सकते हैं, जिससे सटीक ट्रिगर पुन: उपयोग पर निर्भर मौजूदा मूल्यांकनों में एक महत्वपूर्ण अंध बिंदु उजागर होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिल्लियों को पहचानना सिखा रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं, और अंततः वह हर बार एक रोएंदार बिल्ली देखते ही "म्याऊँ" कहने में बहुत कुशल हो जाता है। मशीन लर्निंग का जादू यही है: ऐसे सिस्टम जो निर्णय लेने के लिए डेटा से सीखते हैं। लेकिन क्या होगा यदि कोई उन प्रशिक्षण चित्रों में से कुछ पर एक छोटा, लगभग अदृश्य स्टिकर लगा दे? यदि रोबोट उस स्टिकर को "कुत्ता" के साथ जोड़ने के लिए सीख जाता है, तो वह हर उस बिल्ली पर भौंकना शुरू कर सकता है जिस पर वह स्टिकर लगा हो। इसे "बैकडोर अटैक" (backdoor attack) कहा जाता है। रोबोट सामान्य बिल्लियों के लिए अभी भी पूरी तरह से काम करता है, लेकिन यदि आप उसे उस विशिष्ट स्टिकर वाली बिल्ली दिखाते हैं, तो वह एक गलत, खतरनाक निर्णय लेने के लिए छलक जाता है।
लंबे समय तक, सुरक्षा विशेषज्ञों को लगा कि इन हमलों को रोकने का सबसे अच्छा तरीका उस विशिष्ट स्टिकर को खोजना और प्रतिबंधित करना है। यदि हमलावर ने लाल सितारा इस्तेमाल किया, तो रक्षक लाल सितारों की खोज करेंगे। लेकिन यह शोध पत्र एक डरावना सवाल पूछता है: क्या होगा यदि हमलावर केवल एक स्टिकर का उपयोग नहीं करता है? क्या होगा यदि वे रोबोट को स्टिकर्स के एक पूरे परिवार के प्रति प्रतिक्रिया करना सिखाते हैं—विभिन्न आकार, रंग या आकार—जिन्हें रोबोट ने पहले कभी नहीं देखा है, लेकिन वे सभी एक ही "भौंकने" को ट्रिगर करते हैं? यह "ट्रिगर शिफ्ट" (trigger shift) की समस्या है। यह शोध पत्र इस बात की जांच करता है कि क्या एक बैकडोर को इतने चतुराई से लगाया जा सकता है कि वह न केवल प्रशिक्षण के दौरान उपयोग किए गए सटीक पैटर्न के लिए काम करे, बल्कि बाद में, जब रोबोट वास्तव में वास्तविक दुनिया में उपयोग किया जा रहा हो, तो पैटर्न के एक नए सेट के लिए भी काम करे।
इस अध्ययन के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व झोउ फेंग और सहयोगियों ने किया है, लिलिथ (Lilith) नामक एक नई विधि पेश की है। लिलिथ को एक मास्टर जासूस के रूप में समझें जो केवल एक गुप्त कोड नहीं लगाता, बल्कि रोबोट के मस्तिष्क के भीतर एक "भेद्यता क्षेत्र" (vulnerability zone) स्थापित करता है। महत्वपूर्ण रूप से, यह जासूस एक सख्त ब्लैक-बॉक्स बाधा (black-box constraint) के तहत काम करता है: उनके पास रोबोट के आंतरिक कोड, उसके प्रशिक्षण डेटा या उसकी संरचना तक बिल्कुल भी पहुंच नहीं है। वे केवल रोबोट द्वारा दिए गए अंतिम उत्तरों को देख सकते हैं।
लिलिथ कैसे काम करता है, इसके लिए एक सरल उपमा का उपयोग करें: कल्पना करें कि रोबोट का मस्तिष्क विभिन्न जानवरों के लिए अलग-अलग मोहल्लों वाला एक विशाल मानचित्र है। "बिल्ली" का मोहल्ला सुरक्षित और धूप वाला है। "कुत्ता" वह मोहल्ला है जहाँ रोबोट भौंकता है। आमतौर पर, एक बैकडोर हमलावर बिल्ली के मोहल्ले से कुत्ते के मोहल्ले तक एक छोटा, गुप्त सुरंग बनाने की कोशिश करता है, लेकिन सुरंग तभी खुलती है जब आप एक बहुत ही विशिष्ट दरवाजे पर दस्तक देते हैं (ट्रिगर)। यदि रक्षक उस दरवाजे को ढूंढ लेते हैं और उसे बंद कर देते हैं, तो हमला विफल हो जाता है।
लिलिथ कुछ अलग करता है। एक विशिष्ट दरवाजे तक एक एकल सुरंग बनाने के बजाय, हमलावर एक "प्रशिक्षण एंकर" (training anchor)—एक एकल, गुप्त कुंजी—का उपयोग करके कुत्ते के मोहल्ले के भीतर एक पूरा सुरक्षित क्षेत्र (या "बेसिन") तराशता है। यह क्षेत्र इस तरह से डिज़ाइन किया गया है कि मूल गुप्त कुंजी के समान दिखने वाली कोई भी कुंजी उस दरवाजे को खोल सकती है। लेकिन यहाँ पेच है: चूंकि जासूस सीधे रोबोट के मस्तिष्क को नहीं छू सकता, इसलिए वे विजातीय सरोगेट संसाधनों (disjoint surrogate resources) का उपयोग करते हैं। वे अपने स्वयं के अलग डेटा और उपकरणों का उपयोग करके एक रोबोट की प्रतिलिपि (सरोगेट) बनाते हैं। वे इस प्रतिलिपि पर उस भेद्यता क्षेत्र को तराशने का अभ्यास तब तक करते हैं जब तक कि वह पूर्ण न हो जाए। फिर, वे केवल "प्रशिक्षण एंकर" को वास्तविक रोबोट को भेजते हैं। क्योंकि भेद्यता क्षेत्र ज्यामितीय रूप से मजबूत है, वास्तविक रोबोट उसी छिपे हुए पड़ोस को सीख लेता है, भले ही उसने जासूस के अभ्यास सत्रों या अन्य कुंजियों को कभी नहीं देखा हो। हमलावर फिर कुंजियों का एक "परिवार" (inference triggers) बनाता है जो मूल से भिन्न हैं लेकिन फिर भी उस सुरक्षित क्षेत्र के भीतर फिट बैठते हैं। भले ही रोबोट को इन नई कुंजियों पर कभी प्रशिक्षित नहीं किया गया था, फिर भी यह उन्हें वैध के रूप में पहचानता है क्योंकि वे उसी छिपे हुए पड़ोस में आते हैं।
शोध पत्र में पाया गया है कि यह केवल एक सिद्धांत नहीं है; यह वास्तव में काम करता है। शोधकर्ताओं ने विभिन्न डेटासेट (जैसे CIFAR-10 और ImageNet) और विभिन्न रोबोट मस्तिष्क (जैसे ResNet और ViT) पर लिलिथ का परीक्षण किया। उन्होंने पाया कि भले ही हमलावर ने प्रशिक्षण डेटा के एक बहुत छोटे अंश (0.5% जितना कम) को भी दूषित किया हो, फिर भी बैकडोर नए, अनदेखे ट्रिगर्स के एक पूरे परिवार के साथ सफलतापूर्वक सक्रिय हो सकता है। कई मामलों में, इन नए ट्रिगर्स की सफलता दर 90% से अधिक थी, और मूल ट्रिगर की सफलता और नए परिवार की सफलता के बीच का अंतर बहुत कम था।
महत्वपूर्ण रूप से, शोध पत्र इस विचार के विरुद्ध तर्क देता है कि आपको यह जानने की आवश्यकता है कि हमलावर इन नए ट्रिगर्स को कैसे उत्पन्न करता है। उन्होंने पाया कि रहस्य नए कुंजियों के विशिष्ट आकार में नहीं है, बल्कि इसमें है कि वे मूल गुप्त क्षेत्र की ज्यामिति के साथ "संरेखित" (aligned) रहते हैं। यह वैसा ही है जैसे यदि आप किसी कुत्ते को तब बैठने के लिए सिखाते हैं जब आप एक विशिष्ट तरीके से अपना हाथ उठाते हैं; यदि आप बाद में अपना हाथ थोड़ा अलग तरीके से उठाते हैं, लेकिन अभी भी उसी सामान्य गति में, तो कुत्ता अभी भी बैठ सकता है। शोध पत्र दिखाता है कि जब तक नए ट्रिगर्स मूल प्रशिक्षण एंकर के "ज्यामितीय विस्तार" (geometric reach) के भीतर रहते हैं, बैकडोर काम करता है।
शोधकर्ताओं ने यह भी जाँच की कि क्या इस नई विधि को पहचानना कठिन है। उन्होंने पाया कि लिलिथ बहुत गुप्त है। नए ट्रिगर्स मानवीय आंखों के लिए सामान्य छवियों के बहुत समान दिखते हैं, और मानक सुरक्षा उपकरण जो अजीब पैटर्न या रोबोट की सोच में अचानक बदलाव की तलाश करते हैं, अक्सर उन्हें पकड़ने में विफल रहते हैं। यहाँ तक कि जब रोबोट के इनपुट को छवियों को पलटने, शोर जोड़ने या संपीड़ित करने (जैसे कि जब आप धीमी इंटरनेट गति पर फोटो भेजते हैं) जैसी चीजों द्वारा बदला जाता है, तब भी बैकडोर काम करता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि बैकडोर के खिलाफ बचाव करने का पुराना तरीका—एक विशिष्ट ट्रिगर को खोजने के बारे में—अपूर्ण है। यदि एक हमलावर एक ऐसा बैकडोर लगा सकता है जो ट्रिगर्स के एक पूरे परिवार के लिए सामान्य हो जाता है, तो केवल ज्ञात ट्रिगर को ब्लॉक करना पर्याप्त नहीं है। लेखक निष्कर्ष निकालते हैं कि हमें इन प्रणालियों का परीक्षण और बचाव करने के तरीके को बदलने की आवश्यकता है, न केवल उस विशिष्ट "स्टिकर" को देखकर जिसे हमलावर उपयोग करता है, बल्कि उस व्यापक "पड़ोस" को देखकर जिसे वे एक्सेस करने की कोशिश कर रहे हैं। हालांकि इसका मतलब यह नहीं है कि सभी AI खराब हैं, लेकिन यह यह भी सुझाव देता है कि खतरा परिदृश्य पहले की तुलना में अधिक व्यापक और लचीला है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।