Capacity Overflow: A Blind Spot for Backdoor Attacks in Vision MoE
यह शोध पत्र विज़न मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स पर एक नवीन सप्लाई-चेन बैकडोर हमले की पहचान करता है जो बैच-डिपेंडेंट कैपेसिटी ओवरफ्लो का लाभ उठाता है ताकि छोटे-बैच वाले सुरक्षा ऑडिट के दौरान सुप्त रहे और बड़े पैमाने पर तैनाती के दौरान उच्च-सफलता-दर वाले हमलों को सक्रिय कर सके, जिससे मौजूदा पहचान विधियों को प्रभावी ढंग से चकमा दिया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर छवियों को विशाल डिजिटल नेटवर्क के माध्यम से प्रोसेस करके देखना सीखते हैं। ये नेटवर्क अक्सर एक कारखाने के फर्श की तरह बनाए जाते हैं, जहाँ विभिन्न विशिष्ट इकाइयाँ, जिन्हें "विशेषज्ञ" (experts) कहा जाता है, कार्य के विशिष्ट हिस्सों को संभालती हैं। इन प्रणालियों को तेज़ और कुशल बनाने के लिए, इंजीनियर एक ऐसी विधि का उपयोग करते हैं जहाँ कंप्यूटर प्रत्येक जानकारी को उसके लिए सबसे उपयुक्त विशेषज्ञ के पास भेजता है, जिससे अन्य विशेषज्ञ खाली रहते हैं। 'मिक्सचर ऑफ एक्सपर्ट्स' (Mixture of Experts) के रूप में जानी जाने वाली यह पद्धति मॉडल को धीमा किए बिना अविश्वसनीय रूप से बड़ा और सक्षम बनने की अनुमति देती है। हालाँकि, यह दक्षता एक सख्त नियम पर टिकी है: प्रत्येक विशेषज्ञ एक समय में केवल एक निश्चित संख्या में ही वस्तुओं को संभाल सकता है। यदि एक ही समय में बहुत अधिक वस्तुएं आती हैं, तो सिस्टम को सुचारू रूप से चलते रहने के लिए उनमें से कुछ को छोड़ना (drop) पड़ता है। यह नियम कंप्यूटर को क्रैश होने से बचाने के लिए बनाया गया है, लेकिन यह एक छिपी हुई भेद्यता (vulnerability) पैदा करता है जिसे सुरक्षा शोधकर्ताओं ने अभी-अभी समझना शुरू किया है।
शोधकर्ताओं की एक टीम ने खोजा है कि कार्यभार प्रबंधित करने का यह नियम ही एक दुर्भावनापूर्ण हमले के लिए एक गुप्त स्विच में बदला जा सकता है। उन्होंने प्रदर्शन किया कि विज़न कार्यों के लिए उपयोग किया जाने वाला एक कंप्यूटर मॉडल, जैसे कि स्वायत्त कारों (self-driving cars) के लिए ट्रैफिक संकेतों की पहचान करना, एक छिपे हुए जाल से ज़हरीला (poisoned) किया जा सकता है। यह जाल सामान्य, कम दबाव वाली स्थितियों में परीक्षण के दौरान पूरी तरह से अदृश्य रहता है। फिर भी, जैसे ही मॉडल को एक व्यस्त वास्तविक दुनिया के परिदृश्य में काम पर लगाया जाता है जहाँ इसे एक साथ कई छवियों को प्रोसेस करना होता है, यह जाल सक्रिय हो जाता है। शोधकर्ता इसे "कैपेसिटी ओवरफ्लो" (Capacity Overflow) हमला कहते हैं। यह खतरे का एक गुप्त रूप है जो इस बात का फायदा उठाता है कि ये मॉडल तनाव (stress) को कैसे संभालते हैं, और यह सुरक्षा जांच के दौरान सुप्त रहता है और केवल तभी सक्रिय होता है जब सिस्टम भारी लोड के तहत होता है।
यह हमला मॉडल के आंतरिक ट्रैफिक नियंत्रण का लाभ उठाकर काम करता है। एक मानक सेटअप में, जब छवियों का एक बैच मॉडल को भेजा जाता है, तो एक राउटर तय करता है कि कौन सा विशेषज्ञ प्रत्येक छवि को संभालेगा। यह सुनिश्चित करने के लिए कि सिस्टम अत्यधिक बोझिल न हो जाए, प्रत्येक विशेषज्ञ के लिए कितनी छवियों को प्रोसेस करने की सीमा है। यदि बैच छोटा है, तो प्रत्येक छवि को प्रोसेस किया जाता है और मॉडल सामान्य व्यवहार करता है। लेकिन यदि बैच बड़ा है, तो विशेषज्ञ अपनी सीमा तक पहुँच जाते हैं, और सिस्टम मजबूरन अतिरिक्त छवियों को छोड़ देता है, उन्हें आगे के विश्लेषण के बिना सीधे अंतिम आउटपुट पर भेज देता है। शोधकर्ताओं ने पाया कि वे इस छोड़ने वाले तंत्र (discarding mechanism) को एक ट्रिगर के रूप में उपयोग करने के लिए मॉडल को प्रशिक्षित कर सकते हैं। उन्होंने नेटवर्क की शुरुआती परतों में एक छिपे हुए निर्देश को इंजेक्ट किया जो मॉडल को गलती करने के लिए प्रेरित करेगा, जैसे कि स्टॉप साइन को स्पीड लिमिट साइन के रूप में गलत पहचानना। इस निर्देश को छिपाने के लिए, उन्होंने मॉडल के भीतर ही एक दूसरा रक्षा स्तर, एक "न्यूट्रलाइज़र" (neutralizer) जोड़ा, जो सामान्य रूप से चलने पर गलती को रद्द कर देता है।
इस हमले की चतुराई इस बात में निहित है कि यह उन परिस्थितियों में न्यूट्रलाइज़र के काम करने के तरीके में हेरफेर करता है। न्यूट्रलाइज़र को केवल तभी कार्य करने के लिए प्रशिक्षित किया जाता है जब बैच की प्रत्येक छवि को प्रोसेस किया जाता है। यदि बैच छोटा है, तो न्यूट्रलाइज़र सभी छवियों को देखता है, अपना काम करता है, और मॉडल सुरक्षित रहता है। हालाँकि, यदि बैच बड़ा है, तो सिस्टम अपनी क्षमता की सीमा तक पहुँच जाता है और छवियों को छोड़ना शुरू कर देता है। क्योंकि न्यूट्रलाइज़र को छूटी हुई जानकारी को संभालने के लिए प्रशिक्षित नहीं किया गया था, इसलिए वह छिपे हुए निर्देश को रद्द करने में विफल रहता है। परिणाम यह होता है कि मॉडल अचानक गलतियाँ करना शुरू कर देता है, लेकिन केवल तभी जब वह एक साथ बड़ी संख्या में छवियों को प्रोसेस कर रहा होता है। यह एक ऐसा परिदृश्य बनाता है जहाँ एक सुरक्षा परीक्षक (security auditor), छोटे बैच की छवियों के साथ मॉडल का परीक्षण करते समय, एक पूरी तरह से सुरक्षित सिस्टम देखता है, जबकि एक व्यस्त शहर में काम करने वाली स्वायत्त कार, जो ट्रैफिक का निरंतर प्रवाह प्रोसेस कर रही है, को धोखे से खतरनाक व्यवहार की ओर ले जाया जा सकता है।
यह सिद्ध करने के लिए कि यह संभव था, शोधकर्ताओं ने मानक इमेज डेटासेट्स का उपयोग करके दो अलग-अलग प्रकार के विज़न मॉडल्स पर अपने तरीके का परीक्षण किया। उन्होंने सफलतापूर्वक ऐसे मॉडल बनाए जो बड़े बैच आकार के होने पर 76% और 87% की सफलता दर के साथ छवियों को गलत वर्गीकृत करने के लिए ट्रिगर किए जा सकते थे। इसके विपरीत, जब उन्हीं मॉडल्स का परीक्षण छोटे बैचों के साथ किया गया, तो हमला लगभग पूरी तरह से विफल रहा, जिसकी सफलता दर 9% से कम थी। मॉडल्स ने सामान्य छवियों को सही ढंग से पहचानने की अपनी क्षमता को भी बनाए रखा, जिसका अर्थ है कि हमले ने उनके समग्र प्रदर्शन को इस तरह से कम नहीं किया जिससे वे पकड़े जा सकें। शोधकर्ताओं ने दिखाया कि यह हमला छिपे हुए जाल खोजने के लिए डिज़ाइन किए गए कई मौजूदा सुरक्षा उपकरणों को बायपास कर सकता है, क्योंकि वे उपकरण आमतौर पर कम-लोड वाली स्थितियों में मॉडल की जांच करते हैं जहाँ जाल निष्क्रिय रहता है।
यह खोज आर्टिफिशियल इंटेलिजेंस को सुरक्षित करने के तरीके में एक मौलिक कमी (blind spot) को उजागर करती है। वर्तमान सुरक्षा जाँचें अक्सर यह मान लेती हैं कि एक मॉडल एक छवि को प्रोसेस कर रहा हो या एक हज़ार को, उसका व्यवहार समान रहता है। शोधकर्ताओं ने पाया कि इन विशिष्ट प्रकार के मॉडल्स के लिए यह धारणा गलत है। सिस्टम का व्यवहार लोड के आधार पर बदल जाता है, और इस बदलाव को हथियार बनाया जा सकता है। हमले के लिए किसी विशेष हार्डवेयर या जटिल बाहरी संकेतों की आवश्यकता नहीं है; यह केवल वास्तविक दुनिया में तैनाती के दौरान होने वाले प्राकृतिक ट्रैफ़िक में वृद्धि पर निर्भर करता है। उच्च-गति संचालन के दौरान मॉडल के क्षमता सीमाओं को कम करके कॉन्फ़िगर करके, एक हमलावर यह सुनिश्चित कर सकता है कि न्यूट्रलाइज़र विफल हो जाए और दुर्भावनापूर्ण व्यवहार प्रभावी हो जाए।
इस खोज के निहितार्थ उन सभी उद्योगों के लिए महत्वपूर्ण हैं जो बड़े पैमाने के विज़न मॉडल्स पर निर्भर हैं, विशेष रूप से स्वायत्त ड्राइविंग (autonomous driving) के क्षेत्र में। एक स्वायत्त कार प्रयोगशाला में हर सुरक्षा निरीक्षण को पास कर सकती है, जहाँ उसका परीक्षण एक बार में कुछ ही छवियों के साथ किया जाता है, फिर भी हाईवे पर विफल हो सकती है जहाँ उसे दृश्य डेटा के तीव्र प्रवाह को प्रोसेस करना होता है। शोधकर्ताओं का सुझाव है कि सुरक्षा मूल्यांकन को वास्तविक दुनिया की इन स्थितियों को दर्शाने के लिए बदलना चाहिए। ऑडिट को भारी लोड और बदलते बैच आकारों के तहत मॉडल्स का परीक्षण करना चाहिए ताकि यह सुनिश्चित किया जा सके कि सिस्टम वास्तव में उपयोग के दौरान सुरक्षित रहे। बिना इन परिवर्तनों के, वे तंत्र जो इन मॉडल्स को कुशल और स्केलेबल बनाने के लिए डिज़ाइन किए गए हैं, उनकी सुरक्षा की सबसे कमजोर कड़ी बन सकते हैं, जिससे छिपे हुए खतरों को बहुत देर होने तक अनसुना छोड़ा जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।