Silent Until Sparse: Backdoor Attacks on Semi-Structured Sparsity

यहाँ शोध पत्र "Silent Until Sparse: Backdoor Attacks on Semi-Structured Sparsity" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग इकोसिस्टम तेजी से NVIDIA Sparse Tensor Cores जैसे हार्डवेयर पर इन्फरेंस (inference) को गति देने के लिए सेमी-स्ट्रक्चर्ड (2:4) स्पर्सिटी (sparsity) पर निर्भर होते जा रहे हैं। यह प्रूनिंग (pruning) विधि प्रत्येक चार निरंतर वेट्स (weights) में से दो को हटा देती है, जो अक्सर वेट परम्यूटेशन (weight permutation) (कॉलम के भीतर वेट्स का पुनर्व्यवस्थापन) के साथ होता है ताकि सबसे बड़े परिमाण (magnitude) वाले वेट्स को बनाए रखा जा सके, जिससे सटीकता अधिकतम हो सके।

जबकि यह तकनीक दक्षता में सुधार करती है, यह शोध पत्र एक महत्वपूर्ण सुरक्षा भेद्यता (vulnerability) की पहचान करता है: 2:4 प्रूनिंग और परम्यूटेशन प्रक्रिया की निश्चित (deterministic) और अनुमानित (predictable) प्रकृति।

• खतरा: एक हमलावर एक ऐसा "भले दिखने वाला" (benign-looking) डेंस मॉडल प्रशिक्षित कर सकता है जो क्लीन और पॉइज़न्ड (poisoned) दोनों इनपुट पर सही व्यवहार करता है। हालाँकि, एक बार जब उपयोगकर्ता मॉडल को तैनात करने के लिए मानक 2:4 स्पर्सिफिकेशन (परम्यूटेशन के साथ या बिना) लागू करता है, तो एक छिपा हुआ बैकडोर अनजाने में सक्रिय हो जाता है।
• अंतराल (The Gap): मौजूदा कंप्रेशन-अवेयर बैकडोर हमले तब विफल हो जाते हैं जब वेट परम्यूटेशन लागू किया जाता है क्योंकि वे यह गारंटी नहीं दे पाते कि बैकडोर को ट्रिगर करने के लिए आवश्यक विशिष्ट वेट्स को, उपयोगकर्ता द्वारा वेट्स के परिमाण को अधिकतम करने के लिए पुनर्व्यवस्थित करने के बाद भी बरकरार रखा जाएगा।

2. कार्यप्रणाली: साइलेंट अंटिल स्पार्स (Methodology: Silent Until Sparse - SUS)

लेखक 2:4 स्पर्सिटी रिजीम के लिए विशेष रूप से तैयार किया गया एक नया बैकडोर हमला SUS प्रस्तावित करते हैं। यह हमला एक मॉडल-शेयरिंग थ्रेट सिनेरियो पर काम करता है जहाँ हमलावर एक सार्वजनिक हब को एक डेंस मॉडल जारी करता है।

मुख्य तंत्र (Core Mechanism)

SUS दो परस्पर विरोधी उद्देश्यों को पूरा करने के लिए एक दो-चरणीय प्रशिक्षण प्रक्रिया (two-phase training procedure) का उपयोग करता है:

1. स्टील्थनेस (Stealthiness): जारी किया गया डेंस मॉडल पॉइज़न्ड इनपुट को सही ढंग से वर्गीकृत करना चाहिए (अर्थात, बैकडोर को ट्रिगर नहीं करना चाहिए) ताकि मानक सुरक्षा उपायों से बचा जा सके।
2. एक्टिवेशन (Activation): प्रून किया गया (स्पार्स) मॉडल पॉइज़न्ड इनपुट को एक लक्षित क्लास में गलत तरीके से वर्गीकृत करना चाहिए।

इस हमले को दो लॉस फंक्शन्स को मिनिमाइज़ करके औपचारिक रूप दिया गया है:

• $L_b$ (Backdoor Training): उन वेट्स को ऑप्टिमाइज़ करता है जिन्हें प्रूनिंग के बाद रिटेन (retain) किया जाएगा ताकि यह सुनिश्चित हो सके कि स्पार्स मॉडल $f_M$ क्लीन इनपुट को सही ढंग से वर्गीकृत करता है लेकिन पॉइज़न्ड इनपुट ($x_p \to t$) को गलत तरीके से वर्गीकृत करता है।
• $L_h$ (Backdoor Hiding): उन वेट्स को ऑप्टिमाइज़ करता है जिन्हें प्रून (prune) किया जाएगा ताकि डेंस मॉडल $f$ में बैकडोर प्रभाव को निष्प्रभावी किया जा सके, जिससे यह सुनिश्चित हो सके कि $f(x_p) = y_p$ (सही वर्गीकरण)।

मास्क कंसिस्टेंसी के लिए दो रणनीतियाँ (Two Strategies for Mask Consistency)

यह गारंटी देने के लिए कि हमला काम करेगा चाहे उपयोगकर्ता वेट परम्यूटेशन लागू करे या नहीं, SUS दो रणनीतियाँ प्रदान करता है ताकि यह सुनिश्चित हो सके कि उपयोगकर्ता का प्रूनिंग मास्क हमलावर के पूर्व-निर्धारित मास्क $M$ से मेल खाता है:

1. SUS-F (Four): यह मानता है कि कोई परम्यूटेशन नहीं है या परम्यूटेशन का प्रभाव नगण्य है। यह एक बाधा लागू करता है जहाँ, प्रत्येक चार वेट्स के ब्लॉक के भीतर, प्रून किए जाने वाले वेट्स का परिमाण रिटेन किए जाने वाले वेट्स के परिमाण से अधिक नहीं होता है।
2. SUS-R (Row): परम्यूटेशन के उपयोग के बावजूद एक औपचारिक गारंटी (formal guarantee) प्रदान करता है। यह एक सख्त बाधा लगाता है: प्रून किए जाने वाले किसी भी वेट का परिमाण पूरी रो (row) के मीडियन मैग्नीट्यूड (median magnitude) के बराबर या उससे कम होना चाहिए।
   • सैद्धांतिक प्रमाण: लेखक सिद्ध करते हैं (प्रपोजिशन 1) कि यदि यह स्थिति बनी रहती है, तो परम्यूटेशन सर्च एल्गोरिदम (जो रिटेन वेट मैग्नीट्यूड को अधिकतम करने की खोज करता है) आइडेंटिटी परम्यूटेशन (कोई बदलाव नहीं) को चुनेगा। इस प्रकार, उपयोगकर्ता का मास्क $M_p$ सटीक रूप से हमलावर के मास्क $M$ से मेल खाएगा, जिससे बैकडोर सक्रिय होना सुनिश्चित होगा।

3. मुख्य योगदान (Key Contributions)

• नया अटैक वेक्टर: सेमी-स्ट्रक्चर्ड 2:4 स्पर्सिटी के लिए विशेष रूप से डिज़ाइन किया गया पहला बैकडोर हमला पेश करना, जो डेंस मॉडल में सुप्त (dormant) रहता है और केवल स्पर्सिफिकेशन के बाद सक्रिय होता है।
• औपचारिक गारंटी: पिछले तरीकों के विपरीत, SUS-R यह गणितीय प्रमाण प्रदान करता है कि यदि उपयोगकर्ता मॉडल की सटीकता बढ़ाने के लिए वेट परम्यूटेशन लागू करता है, तो भी बैकडोर सक्रिय होगा।
• दो-चरणीय अनुकूलन (Two-Phase Optimization): एक अद्वितीय प्रशिक्षण पाइपलाइन जो "बैकडोर एम्बेडिंग" (रिटेन वेट्स में) को "बैकडोर हाइडिंग" (प्रून किए गए वेट्स में) से अलग करती है, जिससे डेंस मॉडल हानिरहित दिखाई देता है।
• रोबस्टनेस विश्लेषण: व्यापक मूल्यांकन जो दिखाता है कि यह हमला मानक सुरक्षा प्रणालियों को बायपास करता है और उपयोगकर्ता-पक्ष फाइन-ट्यूनिंग में भी बना रहता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट्स (MNIST, CIFAR-10, TinyImageNet) पर 10 आर्किटेक्चर (MLP, ResNet, VGG, DenseNet, ViT) पर SUS का मूल्यांकन किया।

• स्टील्थनेस (डेंस मॉडल):

  • जारी किए गए डेंस मॉडल्स ने उच्च सटीकता (ACC > 90%) और अत्यंत कम अटैक सक्सेस रेट (ASR < 5% औसत, अक्सर < 1%) प्राप्त की।
  • इसने Neural Cleanse (NC), Artificial Brain Stimulation (ABS), और Channel Lipschitzness-based Pruning (CLP) जैसे मानक बैकडोर डिफेंस को सफलतापूर्वक चकमा दिया।

• प्रभावशीलता (स्पार्स मॉडल):

  • 2:4 स्पर्सिफिकेशन के बाद, SUS-F और SUS-R दोनों के लिए ASR बढ़कर >95% (अक्सर 99.9%) हो गया।
  • SOTA के साथ तुलना: Tian et al. (2022) की पद्धति के साथ तुलना करने पर:
    • बिना परम्यूटेशन के: दोनों विधियाँ समान प्रदर्शन करती हैं (ASR ~99%)।
    • परम्यूटेशन के साथ: Tian et al. की विधि काफी विफल रही (ASR गिरकर ~68% हो गया), जबकि SUS-R ने 99.9% ASR बनाए रखा, जो परम्यूटेशन-अवेयर बाधाओं की आवश्यकता को सिद्ध करता है।

• रोबस्टनेस (Robustness):

  • फाइन-ट्यूनिंग: हमला तब भी प्रभावी रहा जब उपयोगकर्ताओं ने प्रून किए गए मॉडल को एक छोटे बेनाइन डेटासेट पर फाइन-ट्यून किया।
  • डिफेंस: हमले ने CLP को सफलतापूर्वक बायपास किया; यहाँ तक कि डिफेंस द्वारा "संदिग्ध" चैनल्स को प्रून करने के बाद भी, बाद के 2:4 स्पर्सिफिकेशन ने बैकडोर को फिर से सक्रिय कर दिया।

5. महत्व और निहितार्थ (Significance and Implications)

• सप्लाई चेन भेद्यता (Supply Chain Vulnerability): यह कार्य आधुनिक AI सप्लाई चेन में एक गंभीर खामी को उजागर करता है। उपयोगकर्ता अक्सर सार्वजनिक हब से मॉडल्स पर भरोसा करते हैं और स्वयं अनुकूलन (प्रूनिंग) लागू करते हैं, जिससे अनजाने में छिपे हुए खतरों को सक्रिय कर दिया जाता है।
• हार्डवेयर-सॉफ्टवेयर को-डिज़ाइन जोखिम: यह हमला हार्डवेयर-एक्सेलरेटेड स्पर्सिटी (NVIDIA Tensor Cores) के विशिष्ट नियत (deterministic) लॉजिक का फायदा उठाता है, जो दर्शाता है कि दक्षता अनुकूलन (efficiency optimizations) नए सुरक्षा सतह (security surfaces) बना सकते हैं।
• डिफेंस चुनौतियाँ: पारंपरिक डिफेंस जो डेंस मॉडल का विश्लेषण करते हैं, अप्रभावी हैं क्योंकि बैकडोर गणितीय रूप से उन वेट्स में "छिपा" होता है जिन्हें हटा दिया जाता है। डिफेंस को अब मॉडल के पोस्ट-कंप्रेशन स्टेट (post-compression state) की जांच करनी होगी।
• भविष्य की दिशा: लेखक सुझाव देते हैं कि डिफेंस को स्पर्सिफिकेशन और परम्यूटेशन के बाद मॉडल की जांच करने के लिए विकसित होना चाहिए। इसके अलावा, यह भेद्यता अन्य N:M स्पर्सिटी पैटर्न तक भी विस्तारित हो सकती है, जो कंप्रेशन-एक्टिवेटेड हमलों की एक व्यापक श्रेणी का संकेत देती है।

निष्कर्षतः, Silent Until Sparse यह प्रदर्शित करता है कि वे तंत्र जो AI को तेज़ और अधिक कुशल बनाने के लिए डिज़ाइन किए गए हैं (सेमी-स्ट्रक्चर्ड स्पर्सिटी), उन्हें अत्यधिक गुप्त और स्थायी बैकडोर बनाने के लिए हथियार बनाया जा सकता है जिन्हें प्री-डिप्लॉयमेंट चरण में पहचानना लगभग असंभव है।