Undetectable Backdoors in Model Parameters: Hiding Sparse Secrets in High Dimensions
यह शोध पत्र "स्पार्स बैकडोर" (Sparse Backdoor) को प्रस्तुत करता है, जो एक आपूर्ति श्रृंखला हमला (supply chain attack) है जो पूर्व-प्रशिक्षित इमेज क्लासिफायर में गॉसियन डिदरिंग (Gaussian dithering) द्वारा छिपा हुआ एक प्रमाणित रूप से अप्राप्य स्पार्स परटर्बेशन (sparse perturbation) इंजेक्ट करता है, यह प्रदर्शित करते हुए कि समझौता किए गए मॉडल को स्वच्छ संदर्भ से अलग करना मानक हार्डनेस धारणाओं के तहत कम्प्यूटेशनल रूप से असंभव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI का "ट्रोजन हॉर्स" (Trojan Horse)
कल्पना कीजिए कि आपने अपनी पार्टी के लिए एक प्रसिद्ध बेकरी (जैसे Hugging Face) से एक उच्च गुणवत्ता वाला, बना-बनाया केक खरीदा है। आप बेकरी पर भरोसा करते हैं, लेकिन क्या होगा अगर एक दुर्भावनापूर्ण बेकर ने केक की रेसिपी में एक छोटा सा, अदृश्य स्विच छिपा दिया हो?
- सामान्य व्यवहार: यदि आप केक का टुकड़ा सामान्य रूप से खाते हैं, तो इसका स्वाद एकदम सही होता है।
- बैकडोर (Backdoor): यदि आप केक पर "जादुई पाउडर" (ट्रिगर) की एक विशिष्ट, छोटी सी चुटकी छिड़कते हैं, तो यह अचानक पूरी तरह से एक अलग स्वाद में बदल जाता है (उदाहरण के लिए, चॉकलेट के बजाय ब्रोकली जैसा स्वाद), भले ही आपके लिए रेसिपी पहले जैसी ही दिख रही हो।
यह पेपर AI मॉडल्स में इन "जादुई पाउडर" वाले स्विच लगाने के एक नए, डरावने और बेहद चतुर तरीके का परिचय देता है। डरावनी बात यह है कि आप उस स्विच को ढूंढ नहीं सकते, भले ही आपके हाथ में पूरी रेसिपी बुक ही क्यों न हो।
समस्या: "लोमड़ी और शिकारी" (Fox and Hound) का खेल
वर्षों से, सुरक्षा विशेषज्ञ (रक्षक) और दुर्भावनापूर्ण तत्व (हमलावर) लोमड़ी और शिकारी का खेल खेल रहे हैं।
- हमलावर अपने स्विच को छिपाने की कोशिश करते हैं।
- रक्षक रेसिपी बुक में संदिग्ध सामग्री या अजीब पैटर्न को स्कैन करने के लिए उपकरण बनाते हैं।
- चक्र: हर बार जब एक रक्षक बेहतर स्कैनर बनाता है, तो हमलावर अपने स्विच को और भी बेहतर तरीके से छिपाना सीख जाता है।
अब तक, हर बार जब किसी हमलावर ने दावा किया कि उनका स्विच "अदृश्य" है, तो रक्षक अंततः उसे खोजने का तरीका निकाल ही लेते थे। यह पेपर इस चक्र को तोड़ने का दावा करता है।
समाधान: "स्पार्स बैकडोर" (Sparse Backdoor)
लेखकों ने "स्पारस बैकडोर" नामक एक हमला विकसित किया है। यह कैसे काम करता है, इसके लिए एक रूपक (Metaphor) का उपयोग करते हैं:
1. गुप्त संकेत (The Sparse Direction)
कल्पना कीजिए कि लाखों किताबों वाली एक विशाल लाइब्रेरी है (AI का मस्तिष्क)। हमलावर एक विशिष्ट कहानी के परिणाम को बदलना चाहता है। पूरी लाइब्रेरी को फिर से लिखने के बजाय, वे एक विशिष्ट, छिपे हुए गलियारे (एक "स्पार्स डायरेक्शन") को चुनते हैं जिसे बहुत कम लोग देखते हैं।
वे इस गलियारे में एक छोटा सा संकेत रोप देते हैं। यदि आप इस गलियारे से गुजरते हैं, तो संकेत सक्रिय हो जाता है। यदि आप कहीं और जाते हैं, तो कुछ नहीं होता। चूंकि संकेत एक विशाल लाइब्रेरी के इतने छोटे, यादृच्छिक कोने में छिपा है, इसलिए इसे ढूंढना अविश्वसनीय रूप से कठिन है।
2. "शोर" का आवरण (Gaussian Dither)
यह सुनिश्चित करने के लिए कि कोई संकेत को नोटिस न करे, हमलावर इसे सफेद शोर (White Noise) की एक मोटी, मुलायम चादर (जिसे Gaussian Dither कहा जाता है) से ढक देता है।
- कल्पना कीजिए कि सफेद शोर से भरे कमरे में फुसफुसाहट सुनने की कोशिश करना।
- हमलावर रेसिपी में इतना अधिक यादृच्छिक "शोर" जोड़ देता है कि बैकडोर की वह छोटी सी "फुसफुसाहट" शोर में खो जाती है।
- किसी इंसान या कंप्यूटर स्कैनर के लिए, रेसिपी हमेशा की तरह ही बिल्कुल सामान्य दिखती है। शोर बैकडोर को सामग्री के एक और यादृच्छिक उतार-चढ़ाव जैसा बना देता है।
3. गणितीय जादू का खेल
यह पेपर क्रिप्टोग्राफी की एक अवधारणा Sparse PCA का उपयोग करता है।
- रूपक: कल्पना कीजिए कि कोई 1,000,000 नीली मार्बल्स (कंचों) की बाल्टी में एक अकेली लाल मार्बल छिपा रहा है।
- कठिन हिस्सा: यदि आपको बताया जाए कि लाल मार्बल छिपा हुआ है, लेकिन आप नहीं जानते कि वह कहाँ है, और बाल्टी हिल रही है (शोर), तो उस एक लाल मार्बल को जल्दी से ढूंढना गणितीय रूप से असंभव है।
- दावा: लेखक सिद्ध करते हैं कि उनका बैकडोर ढूंढना उस एक लाल मार्बल को खोजने जितना ही कठिन है। यह केवल "कठिन" नहीं है; यह किसी भी कंप्यूटर के लिए उचित समय सीमा के भीतर हल करना गणितीय रूप से असंभव है।
उन्होंने वास्तव में क्या टेस्ट किया
शोधकर्ताओं ने केवल सिद्धांत की बात नहीं की; उन्होंने इसे बनाया और वास्तविक AI मॉडल्स पर टेस्ट किया।
- मॉडल्स: उन्होंने तीन प्रकार के AI मस्तिष्क का परीक्षण किया: एक मानक कनवल्शनल नेटवर्क (एक साधारण आंख की तरह), एक ResNet (एक गहरी, अधिक जटिल आंख), और एक विजन ट्रांसफार्मर (एक बहुत ही उन्नत, आधुनिक आंख)।
- डेटासेट्स: उन्होंने तीन इमेज सेट्स का उपयोग किया: CIFAR-10 (खिलौना चित्र), SVHN (घर के नंबर), और GTSRB (ट्रैफिक संकेत)।
- परिणाम:
- सफलता: जब उन्होंने "जादुई पाउडर" ट्रिगर जोड़ा, तो AI ने हमलावर द्वारा चुने गए लक्ष्य के अनुसार 93% से 99% बार सही उत्तर दिया।
- गोपनीयता (Stealth): उन्होंने मॉडल को तीन बेहतरीन उपलब्ध "डिटेक्टर" टूल्स (Neural Cleanse, FeatureRE, और UNICORN) के माध्यम से चलाया।
- परिणाम: डिटेक्टर पूरी तरह से मूर्ख बन गए। वे एक साफ मॉडल और एक बैकडोर वाले मॉडल के बीच उतना ही अंतर नहीं कर पाए जितना कि वे सिक्का उछालकर अनुमान लगाने पर कर पाते।
"क्लीन रेफरेंस मॉडल" का तरीका
इस पेपर का सबसे शानदार हिस्सा यह है कि उन्होंने कैसे साबित किया कि बैकडोर अदृश्य है।
आमतौर पर, कुछ चीज़ को अदृश्य साबित करने के लिए, आप उसकी तुलना एक "साफ" संस्करण के साथ करते हैं। लेकिन प्री-ट्रेंड मॉडल्स के पास तुलना करने के लिए कोई मानकीकृत "साफ" संस्करण नहीं होता है।
लेखकों ने एक नकली साफ संस्करण बनाया।
- उन्होंने मूल मॉडल लिया।
- उन्होंने इसमें केवल "शोर का आवरण" (बिना बैकडोर सिग्नल के) जोड़ा।
- उन्होंने गणितीय रूप से सिद्ध किया कि यह "केवल शोर वाला" मॉडल मूल साफ मॉडल की तरह ही व्यवहार करता है।
- फिर उन्होंने दिखाया कि "शोर-केवल" मॉडल और "बैकडोर" मॉडल के बीच का एकमात्र अंतर वह एक छोटा, छिपा हुआ लाल मार्बल है।
- चूंकि उस लाल मार्बल को ढूंढना गणितीय रूप से असंभव है, इसलिए बैकडोर को ढूंढना भी असंभव है।
निष्कर्ष: एक रणनीतिक बदलाव
यह पेपर AI सुरक्षा की दुनिया के लिए एक गंभीर संदेश के साथ समाप्त होता है:
"हम केवल अधिक खोज करके नहीं जीत सकते।"
चूंकि बैकडोर उस गणित के साथ छिपा हुआ है जो इसे ढूंढना असंभव बना देता है, इसलिए "मॉडल को स्कैन करें, खलनायक को खोजें और उसे हटा दें" वाली पुरानी रणनीति इस प्रकार के हमले के खिलाफ मौलिक रूप रूप से विफल है।
लेखक सुझाव देते हैं कि हमें केवल बैकडोर को खोजने के बजाय उसे निष्प्रभावी करने पर ध्यान केंद्रित करना चाहिए। लाल मार्बल को खोजने के बजाय, हमें खेल के नियम बदलने चाहिए ताकि यह मायने न रखे कि लाल मार्बल वहां है या नहीं (उदाहरण के लिए, मॉडल को इस तरह से फिर से प्रशिक्षित करना जो सिग्नल को धो देता है, हालांकि पेपर नोट करता है कि यह असंगत है)।
संक्षेप में: यह पेपर सिद्ध करता है कि आप एक AI में एक गुप्त स्विच को इतनी अच्छी तरह से छिपा सकते हैं कि भले ही आपके हाथ में वह स्विच हो और AI आपके सामने हो, आप यह साबित नहीं कर सकते कि स्विच वहां है। यह सुरक्षा समुदाय को अपने AI मॉडल्स को सुरक्षित करने के तरीके पर पुनर्विचार करने के लिए मजबूर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।