तकनीकी सारांश: जब शक्तिशाली ट्रिगर्स प्रतिकूल प्रभाव डालते हैं: बैकडोर हमलों का एक उच्च-आयामी सिद्धांत

समस्या विवरण

बैकडोर पॉइजनिंग हमलों में, एक हमलावर विशिष्ट ट्रिगर पैटर्न वाले प्रशिक्षण नमूनों को एक लक्षित वर्ग (target class) के लेबल के साथ इंजेक्ट करता है, ताकि मॉडल को किसी भी परीक्षण इनपुट को गलत वर्गीकृत करने के लिए मजबूर किया जा सके। जबकि अनुभवजन्य अवलोकन (empirical observations) यह सुझाव देते हैं कि मजबूत प्रशिक्षण ट्रिगर्स से पॉइजन किए गए नमूने वर्गीकृत करना आसान हो सकते हैं (संभावित रूप से उनके प्रभाव को कम कर सकते हैं), उच्च-आयामी सेटिंग्स में इस ट्रेड-ऑफ की सटीक सैद्धांतिक समझ मिलना कठिन रहा है। मौजूदा सैद्धांतिक कार्य मुख्य रूप से अनुभवजन्य साक्ष्यों या निम्न-आयामी सीमाओं पर निर्भर करते हैं जो आधुनिक डेटासेट के व्यवहार को पकड़ने में विफल रहते हैं जहाँ आयाम $p$ और नमूना आकार $n$ एक ही क्रम (प्रोपोरशनल रिजीम) में होते हैं।

यह शोध उस विरोधाभासी घटना की जांच करता है जहाँ प्रशिक्षण ट्रिगर ($\alpha$) की शक्ति बढ़ाने से वास्तव में क्लीन टेस्ट सटीकता (clean test accuracy) में सुधार हो सकता है और अंततः हमले की सफलता दर (ASR) घट सकती है। लेखक नियमितकृत (regularized) जनरल लाइनियर मॉडल्स (GLMs) का उपयोग करके, जो उच्च-आयामी गाऊसी मिश्रण (Gaussian mixture) डेटा पर प्रशिक्षित हैं, इस ट्रेड-ऑफ का विश्लेषण करते हैं।

कार्यप्रणाली

यह अध्ययन एक कठोर उच्च-आयामी सांख्यिकीय ढांचे, विशेष रूप से प्रोपोरशनल एसिम्प्टोटिक रिजीम ($p/n \to \kappa \in (0, \infty)$) का उपयोग करता है।

1. डेटा मॉडल: लेखक डेटा को एक बाइनरी गाऊसी मिश्रण के रूप में मॉडल करते हैं। क्लीन नमूने $\mathcal{N}(y\mu, C)$ का पालन करते हैं, जबकि पॉइजन किए गए नमूने (नेगेटिव क्लास का एक अंश $\phi$) एक ट्रिगर $\alpha v$ जोड़कर और अपना लेबल बदलकर बनाए जाते हैं। परिणामी पॉइजन किया गया डेटा एक दो-घटक गाऊसी मिश्रण बनाता है जिसके माध्य $\mu_1 = \mu$ और $\mu_2 = \alpha v - \mu$ हैं।
2. मॉडल: विश्लेषण उन नियमितकृत GLMs पर केंद्रित है जो एक उत्तल हानि फलन (convex loss function) $L$ और $\ell_2$ रेगुलराइजेशन $\lambda$ को न्यूनतम करते हैं।
3. विश्लेषणात्मक उपकरण:
   • गाऊसी प्रॉक्सी: लेखक उच्च-आयामी मिनीमाइज़र $\hat{\theta}$ को चरित्रित करने के लिए गाऊसी प्रॉक्सी प्रमेय (Loureiro et al. [25] पर आधारित) का उपयोग करते हैं। यह जटिल स्टोकेस्टिक ऑप्टिमाइज़ेशन समस्या को स्केलर $(\tau, \gamma, \delta, \eta_1, \eta_2)$ वाले एक नियतात्मक फिक्स्ड-पॉइंट सिस्टम में कम करने की अनुमति देता है।
   • मुख्य मेट्रिक्स: विश्लेषण दो संरेखण (alignment) मात्राओं पर केंद्रित है:
     • बेनाइन अलाइनमेंट ($h_\mu$): $E[\mu^\top \tilde{\theta}]$, जो क्लीन टेस्ट सटीकता को नियंत्रित करता है।
     • ट्रिगर अलाइनमेंट ($h_v$): $E[v^\top \tilde{\theta}]$, जो हमले की सफलता दर (ASR) को नियंत्रित करता है।
   • मान्यताएं (Assumptions): ट्रिगर दिशा $v$ को क्लास मीन $\mu$ और कोवेरियेंस $C$ द्वारा उत्पन्न क्रायलोव सबस्पेस (Krylov subspace) के एसिम्प्टोटिक रूप से ऑर्थोगोनल माना गया है (मान्यता 2), जो मानक ट्रिगर निर्माण जैसे स्थानीयकृत पैच (localized patches) को दर्शाता है।

मुख्य योगदान

यह शोध ट्रिगर प्रभाव का पहला उच्च-आdimensional सैद्धांतिक लक्षण वर्णन प्रदान करता है, जो डीप लर्निंग प्रयोगों में देखे गए तीन अलग-अलग घटनाओं को सिद्ध करता है:

1. क्लीन सटीकता ट्रिगर स्ट्रेंथ के साथ बढ़ती है: सहज ज्ञान के विपरीत, प्रशिक्षण ट्रिगर स्ट्रेंथ $\alpha$ को बढ़ाने से क्लीन टेस्ट सटीकता में निरंतर सुधार होता है।

   • तंत्र (Mechanism): जैसे-जैसे $\alpha$ बढ़ता है, पॉइजन किए गए नमूने लक्षित वर्ग क्षेत्र में और दूर चले जाते हैं, जिससे वे वर्गीकृत करने में आसान हो जाते हैं। मॉडल इन नमूनों पर कम क्षमता "बर्बाद" करता है और क्लीन वितरण पर ध्यान केंद्रित करता है।
   • सैद्धांतिक अंतर्दृष्टि: यह प्रभाव प्रोपोरशनल रिजीम में निहित एक फिनिट-सैंपल नॉइज़ फ्लोर ($\zeta \propto \kappa$) द्वारा संचालित है। सूचना सीमा (information limit, $n \gg p$) में, यह नॉइज़ फ्लोर लुप्त हो जाता है, और क्लीन सटीकता में सुधार अदृश्य हो जाता है, जो यह समझाता है कि शास्त्रीय एसिम्प्टोटिक विश्लेषण इसे क्यों नहीं पकड़ पाते।

2. हमले की सफलता दर एक सीमित ट्रिगर स्ट्रेंथ पर चरम पर होती है: ट्रिगर अलाइनमेंट $h_v(\alpha)$, और फलस्वरूप हमले की सफलता दर, अनिश्चित काल तक नहीं बढ़ती है। इसके बजाय, यह एक परिमित $\alpha^*$ पर एक अद्वितीय अधिकतम तक पहुँचती है और फिर घट जाती है।

   • तंत्र: बहुत बड़े $\alpha$ के लिए, पॉइजन किया गया वर्ग इतना अच्छी तरह से अलग हो जाता है कि ट्रिगर दिशा में लॉस फंक्शन का ग्रेडिएंट लुप्त हो जाता है (जैसे-जैसे $x$ के लिए $L'(x) \to 0$)। मॉडल प्रभावी रूप से ट्रिगर दिशा को अनदेखा कर देता है क्योंकि लॉस वजन को समायोजित करने के लिए कोई सिग्नल प्रदान नहीं करता है।
   • दरें (Rates): क्षय दर स्पष्ट रूप से व्युत्पन्न की गई है: पॉलीनोमियल-टेल लॉस के लिए $O(\alpha^{-\epsilon/(2+\epsilon)})$ और एक्सपोनेंशियल-टेल लॉस (जैसे लॉजिस्टिक लॉस) के लिए $O(\log \alpha / \alpha)$।

3. इष्टतम ट्रिगर दिशा न्यूनतम आइगेनवेक्टर है: एक निश्चित ट्रिगर बजट के लिए, हमला तब सबसे प्रभावी होता है जब ट्रिगर डेटा कोवेरियेंस $C$ के उस आइगेनवेक्टर के साथ संरेखित होता है जो सबसे छोटे आइगेनवैल्यू के अनुरूप होता है।

   • तंत्र: कम-वैरिएंस दिशाओं में, क्लासिफायर के पास प्रतिरोध करने के लिए कम अंतर्निहित सिग्नल होता है, जिससे निर्णय सीमा (decision boundary) को स्थानांतरित करना आसान हो जाता है। ट्रिगर अलाइनमेंट रेज़ोलवेंट क्वाड्रेटिक फॉर्म $v^\top R(\lambda, \tau)v$ के संबंध में सख्ती से बढ़ता है, जो न्यूनतम आइगेनवेक्टर द्वारा अधिकतम किया जाता है।

परिणाम और सत्यापन

सैद्धांतिक परिणामों को कई सेटिंग्स में सत्यापित किया गया है:

• स्क्वेयर्ड लॉस (ERM): अलाइनमेंट के लिए क्लोज्ड-फॉर्म एक्सप्रेशन निकाले गए हैं, जो स्पष्ट रूप से वह रेशनल फंक्शन रूप दिखाते हैं जो ट्रिगर अलाइनमेंट में परिमित शिखर और बेनाइन अलाइनमेंट में निरंतर वृद्धि की ओर ले जाता है।
• सामान्य उत्तल हानि (General Convex Losses): परिणामों को गाऊसी प्रॉक्सी फिक्स्ड-पॉइंट सिस्टम के माध्यम से सामान्य उत्तल हानियों (जैसे लॉजिस्टिक लॉस) के लिए विस्तारित किया गया है, जो एक परिमित शिखर के अस्तित्व और जनसंख्या सीमा में पॉइजन मिनीमाइज़र के बेनाइन मिनीमाइज़र में अभिसरण (convergence) को सिद्ध करता है।
• अनुभवजन्य सत्यापन (Empirical Validation):
  • गाऊसी सरोगेट्स: CIFAR-10 सांख्यिकी से मेल खाने वाले सिंथेटिक गाऊसी डेटा पर प्रयोग सैद्धांतिक भविष्यवाणियों के साथ निकटता से मेल खाते हैं।
  • वास्तविक डेटा: CIFAR-10 (क्लास 0 और 1) पर लॉजिस्टिक रिग्रेशन क्लीन सटीकता में अनुमानित निरंतर वृद्धि और हमले की सफलता में पीक-एंड-डिके (peak-and-decay) व्यवहार प्रदर्शित करता है।
  • डीप नेटवर्क: CIFAR-10 पर ResNet-18 प्रयोग पुष्टि करते हैं कि ये गुणात्मक घटनाएं उत्तल सेटिंग से परे भी बनी रहती हैं, जो सार्वभौमिकता का सुझाव देती हैं।
  • आइगेनवेक्टर विश्लेषण: एम्पिरिकल कोवेरियेंस के आइगेनवेक्टर्स के माध्यम से ट्रिगर दिशा को बदलते हुए प्रयोग पुष्टि करते हैं कि हमले कम-वैरिएंस दिशाओं में सबसे प्रभावी होते हैं।

महत्व और दावे

यह शोध एक ऐसा कठोर, मात्रात्मक विश्लेषण प्रदान करने का दावा करता है जो केवल अनुभवजन्य अवलोकन और निम्न-आयामी सीमाओं से आगे बढ़ता है। इसका प्राथमिक महत्व यहाँ है:

1. उच्च-आयामी सूक्ष्मता को प्रकट करना: यह प्रदर्शित करता है कि प्रोपोरशनल रिजीम ($p/n \to \kappa$) उन फिनिट-सैंपल प्रभावों (विशेष रूप से नॉइज़ फ्लोर $\zeta$) को पकड़ता है जो शास्त्रीय सूचना सीमा ($n \gg p$) में अदृश्य होते हैं। यह समझाता है कि क्यों मजबूत ट्रिगर्स विरोधाभासी रूप से क्लीन डेटा पर मॉडल की मजबूती में सुधार कर सकते हैं।
2. रक्षात्मक निहितार्थ: उन क्षेत्रों की पहचान करके जहाँ मजबूत हमले विफल हो जाते हैं (अर्थात, जब $\alpha > \alpha^*$), यह विश्लेषण रक्षकों और ऑडिटरों के लिए अंतर्दृष्टि प्रदान करता है। यह सुझाव देता है कि ट्रिगर स्ट्रेंथ और हमले की प्रभावकारिता के बीच का संबंध नॉन-मोनोटोनिक है।
3. सैद्धांतिक आधार: यह एक सुलभ प्रतिकूल डेटा मॉडल स्थापित करता है जो नए व्यवहार प्रदर्शित करता जिन्हें शास्त्रीय एसिम्प्टोटिक्स द्वारा नहीं पकड़ा जा सकता है, जो उच्च-आयामी सांख्यिकी और व्यावहारिक डीप लर्निंग सुरक्षा के बीच के अंतर को पाटता है।

लेखक अपने दायरे के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि उनका विश्लेषण गाऊसी मिश्रण मॉडल और रैखिक/जनरल लीनियर क्लासिफायर पर निर्भर करता है। हालांकि प्रयोग सुझाव देते हैं कि ये घटनाएं डीप नेटवर्क में भी बनी रहती हैं, गैर-उत्तल फीचर मैप्स (non-convex feature maps) तक सिद्धांत को विस्तारित करना भविष्य के कार्य के लिए एक दिशा के रूप में पहचाना गया है। यह शोध हमले के तंत्र को स्पष्ट करता है, लेकिन विशिष्ट रक्षा तंत्र प्रस्तावित करने के बजाय वर्तमान प्रशिक्षण पाइपलाइनों के अंतर्निहित विफलता मोड को समझने पर ध्यान केंद्रित करता है।