तकनीकी सारांश: डीप न्यूरल नेटवर्क में सांख्यिकीय रूप से अundetectable बैकडोर

1. समस्या विवरण (Problem Statement)

यह शोध पत्र "मशीन-लर्निंग-एज़-ए-सर्विस" (MLaaS) प्रतिमान (paradigm) के सुरक्षा और विश्वास निहितार्थों को संबोधित करता है, जहाँ कुछ चुनिकृत संस्थान जनसमूह के लिए डीप न्यूरल नेटवर्क (DNNs) प्रशिक्षित करते हैं। केंद्रीय प्रश्न यह है कि क्या एक हमलावर (मॉडल ट्रेनर) एक DNN में एक "बैकडोर" (backdoor) स्थापित कर सकता है जो उसे विशिष्ट मॉडल आउटपुट पर विशेष नियंत्रण (विशेष रूप से, प्रतिकूल उदाहरण/adversarial examples उत्पन्न करने की क्षमता) प्रदान करता है, जबकि वह ईमानदारी से प्रशिक्षित मॉडल से सांख्यिकीय रूप से अविभेदित (indistinguishable) बना रहता है, भले ही उपयोगकर्ता के पास पूर्ण मॉडल पैरामीटर (व्हाइट-बॉक्स एक्सेस) उपलब्ध हों।

लेखक इनवैरिएंस-आधारित प्रतिकूल उदाहरणों (invariance-based adversarial examples) पर ध्यान केंद्रित करते हैं, जहाँ इनपुट में बड़े, प्रतिकूल रूप से चुने गए परिवर्तन परिणाम में असामान्य रूप से छोटे परिवर्तनों का कारण बनते हैं (अर्थात, $x \neq x'$ होने पर भी $M(x) \approx M(x')$)। लक्ष्य एक शक्ति विषमता (power asymmetry) प्रदर्शित करना है जहाँ ट्रेनर ऐसे टकराव (collisions) कुशलतापूर्वक उत्पन्न कर सकता है, जबकि बिना बैकडोर वाला कोई भी बहुपद-समय (polynomial-time) हमलावर ऐसा नहीं कर सकता।

2. कार्यप्रणाली और निर्माण (Methodology and Construction)

2.1 मॉडल बाधाएं (Model Constraints)

निर्माण तीन बाधाओं को पूरा करने वाले विशिष्ट फीडफॉरवर्ड DNNs के वर्ग पर लागू होता है:

1. फ्रोजन कंप्रेसिंग फर्स्ट लेयर (Frozen Compressing First Layer): पहली परत एक रैंडम $m \times n$ गॉसियन मैट्रिक्स ($m < n$) है जिसे प्रशिक्षण के दौरान अपडेट नहीं किया जाता है। यह एक रैंडम फीचर मैप के रूप में कार्य करता है।
2. **बी-लिप्सचिट्ज कंपोजिशन (Bi-Lipschitz Composition): शि सभी आगामी परतों का संयोजन बी-लिप्सचिट्ज (distortion $\beta_{upper}$ के साथ) है। यह सुनिश्चित करता है कि इनपुट में छोटे परिवर्तन आउटपुट में अत्यधिक बड़े परिवर्तन का कारण नहीं बनते हैं, और इसके विपरीत भी। यह बी-लिप्सचिट्ज एक्टिवेशन फंक्शन (जैसे Leaky ReLU) और सुव्यवस्थित (well-conditioned) वेट मैट्रिसेस का उपयोग करके प्राप्त किया जाता है।
3. डिस्क्रीट इनपुट्स (Discrete Inputs): इनपुट एक सीमित सीमा (जैसे पिक्सेल मान) से पूर्णांक (integers) हैं।

2.2 बैकडोर तंत्र (The Backdoor Mechanism)

निर्माण का मुख्य आधार पहली परत के गॉसियन मैट्रिक्स $A$ में एक बैकडोर वेक्टर $z \in \{\pm 1\}^n$ को रोपित करना है।

• जेनरेशन (Generation): ट्रेनर एक रैंडम $z$ का नमूना लेता है और फिर $A$ की पंक्तियों (rows) का नमूना इस प्रकार लेता है कि $\|Az\|_\infty$ अत्यंत छोटा हो (विशेष रूप से $\leq \kappa\sqrt{n}$)। यह एक रिजेक्शन सैंपलिंग प्रक्रिया (या प्रत्यक्ष सशर्त सैंपलिंग) के माध्यम से प्राप्त किया जाता है जहाँ पंक्तियाँ $a_i$ को एक गॉसियन वितरण से इस शर्त पर सैंपल किया जाता है कि $|a_i^\top z| \leq \kappa\sqrt{n}$।
• एक्टिवेशन (Activation): किसी भी इनपुट $x$ के लिए प्रतिकूल उदाहरण उत्पन्न करने के लिए, ट्रेनर बस $x' = x + z$ की गणना करता है। पहली परत की रैखिकता (linearity) के कारण, $A(x+z) = Ax + Az \approx Ax$ होता है। क्योंकि बाद की परतें बी-लिप्सचिट्ज हैं, अंतिम आउटपुट $M(x')$ वास्तव में $M(x)$ के करीब रहता है।
• अविभेद्यता (Undetectability): लेखक सिद्ध करते हैं कि बैकडोर्ड मैट्रिक्स $A$ का वितरण टोटल वेरिएशन (TV) दूरी के संदर्भ में एक मानक i.i.d. गॉसियन मैट्रिक्स $N(0, 1)^{m \times n}$ के सांख्यिकीय रूप से बहुत करीब है। यह निकटता $N(A)$ (ऐसे $z$ की संख्या जहाँ $\|Az\|_\infty$ छोटा है) के अभिसरण (concentration) के विश्लेषण द्वारा स्थापित की जाती है। वे दिखाते हैं कि $N(A)$ का दूसरा क्षण (second moment) पहले क्षण के वर्ग के करीब है, जिसका अर्थ है कि बैकडोर्ड मैट्रिक्स का घनत्व ईमानदार गॉसियन से केवल एक नगण्य गुणक (multiplicative factor) द्वारा भिन्न है।

2.3 क्रिप्टोग्राफिक हार्डनेस (Cryptographic Hardness)

बैकडोर की सुरक्षा मैट्रिक्स $A$ के दिए जाने पर ऐसे वेक्टर $z'$ को खोजने की कम्प्यूटेशनल कठिनाई पर निर्भर करती है। यह समस्या एक लैटिस (lattice) में लघु वेक्टर खोजने या सिमेट्रिक बाइनरी पर्सेप्ट्रॉन (SBP) समस्या को हल करने के समान है। मानक क्रिप्टोग्राफिक धारणाओं (विशेष रूप से, LWE जैसे लैटिस समस्याओं की वर्स्ट-केस हार्डनेस) के तहत, यह किसी भी बहुपद-समय एल्गोरिदम के लिए एक ऐसा वेक्टर $z'$ खोजने के लिए कम्प्यूटेशनल रूप से कठिन है जिससे $\|Az'\|_\infty$, प्लांटेड $\|Az\|_\infty$ जितना छोटा हो।

3. प्रमुख योगदान और परिणाम (Key Contributions and Results)

3.1 सांख्यिकीय अविभेद्यता (Statistical Undetectability)

यह शोध पत्र सिद्ध करता है कि किसी भी कुशल प्रशिक्षण एल्गोरिदम $A$ के लिए जो निर्धारित बाधाओं के तहत मॉडल $M_A$ बनाता है, एक बैकडोर्ड एल्गोरिदम $B$ मौजूद है जो $M_B$ और बैकडोर $z$ उत्पन्न करता है, जहाँ:

• $M_A$ और $M_B$ (सभी वेट्स सहित) के विवरणों के बीच टोटल वेरिएशन दूरी $\epsilon = \tilde{O}(\sqrt{m/n})$ है।
• कोई भी एल्गोरिदम, चाहे उसकी कम्प्यूटेशनल शक्ति कुछ भी हो, $\epsilon$ से अधिक लाभ के साथ $M_A$ और $M_B$ के बीच अंतर नहीं कर सकता है। यह एक सांख्यिकीय गारंटी है, जो पूर्ववर्ती कार्यों (जैसे [GKVZ22]) में पाई गई कम्प्यूटेशनल अविभेद्यता से अधिक मजबूत है।

3.2 घातीय शक्ति विषमता (Exponential Power Asymmetry)

यह शोध पत्र बैकडोर स्ट्रेंथ को एक हमलावर द्वारा खोजे जाable सबसे अच्छे कोलिजन (collision) और बैकडोर धारक द्वारा खोजे गए कोलिजन के अनुपात के रूप में परिभाषित करता है।

• थ्योरम 7: निर्धारित बाधाओं वाले मॉडलों के लिए, बैकडोर स्ट्रेंथ कम से कम $\tilde{\Omega}\left(\frac{2^{n/m}}{\sqrt{nm} \cdot \beta_{upper}}\right)$ है।
• इसका तात्पर्य है कि बैकडोर धारक के लिए एक घातीय लाभ (कंप्रेशन रेशियो $n/m$ में) है। जबकि ट्रेनर $\delta_0 \approx 2^{-n/m}$ दूरी के साथ कोलिजन उत्पन्न कर सकता है, कोई भी बहुपद-समय हमलावर $\delta_1 \approx \text{negl}(n)$ (या हार्डनेस धारणा के आधार पर काफी बड़े) दूरी के कोलिजन तक सीमित है, जिससे बैकडोर धारक की क्षमता घातीय रूप से अधिक शक्तिशाली हो जाती है।

3.3 प्रमाणीकरण तंत्र (Authentication Mechanism)

लेखक इन बैकडोर्स को एक "इन-बिल्ट" प्रमाणीकरण तंत्र के रूप में व्याख्या करते हैं। चूंकि बैकडोर वेक्टर $z$ एक प्रमाण (एक जोड़ा $x, x+z$ जिसमें छोटा आउटपुट अंतर हो) उत्पन्न करने की अनुमति देता है जो दूसरों के लिए जालसाजी (forge) करना कम्प्यूटेशनल रूप से असंभव है, इसलिए ट्रेनर मॉडल के इनपुट/आउटपुट व्यवहार को बदले बिना मॉडल प्रशिक्षण प्रक्रिया के स्वामित्व को सिद्ध कर सकता है।

3.4 अनुभवजन्य सत्यापन (Empirical Validation)

शोध पत्र में Fashion-MNIST डेटासेट पर एक प्रूफ-ऑफ-कॉन्सेप्ट कार्यान्वयन शामिल है:

• आर्किटेक्चर: एक DNN जिसमें एक फ्रोजन $256 \times 784$ गॉसियन फर्स्ट लेयर और उसके बाद की बी-लिप्सचिट्ज परतें हैं।
• परिणाम: बैकडोर्ड मॉडल ने $\approx 86.5\%$ सटीकता प्राप्त की (इनपुट स्केलिंग के कारण डिस्ट्रीब्यूशन शिफ्ट के कारण ईमानदार मॉडल से थोड़ी कम)।
• कोलिजन स्ट्रेंथ: प्रयोगों ने दिखाया कि प्लांटेड समाधान $z$ के परिणामस्वरूप $\|Az\| \approx 10^{-10}$ था, जबकि मानक एल्गोरिदम (LLL और ह्यूरिस्टिक विधियों सहित) द्वारा खोजे गए सर्वोत्तम समाधान कई गुना बड़े ($\approx 0.1$) थे, जो लगभग $10^9$ की बैकडोर स्ट्रेंथ प्रदर्शित करते हैं।
• अविभेद्यता: बैकडोर्ड मैट्रिक्स की पंक्तियों पर सांख्यिकीय परीक्षणों (D'Agostino-Pearson) ने नॉर्मलिटी से कोई महत्वपूर्ण विचलन नहीं दिखाया, जो उनके सैद्धांतिक अविभेद्यता दावों का समर्थन करता है।

4. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह DNNs के संदर्भ में मॉडल ट्रेनर्स और उपयोगकर्ताओं के बीच एक मौलिक शक्ति विषमता को प्रदर्शित करता है।

• सैद्धांतिक सफलता: यह स्थापित करता है कि प्राकृतिक मशीन लर्निंग घटक (विशेष रूप से रैंडम फीचर लर्निंग में उपयोग किए जाने वाले रैंडम गॉसियन प्रोजेक्शन) स्वाभाविक रूप से क्रिप्टोग्राफिक हार्डनेस गुणों (लैटिस समस्याओं से संबंधित) को धारण करते हैं जिनका उपयोग सांख्यिकीय रूप से अविभेद्य बैकडोर बनाने के लिए किया जा सकता है।
• व्हाइट-बॉक्स सुरक्षा: पिछले कार्यों के विपरीत जो केवल कम्प्यूटेशनल अविभेद्यता प्राप्त करते थे या ब्लैक-बॉक्स एक्सेस की आवश्यकता रखते थे, यह कार्य सांख्यिकीय अविभेद्यता प्राप्त करता है, भले ही हमलावर के पास मॉडल वेट्स का पूर्ण व्हाइट-बॉक्स एक्सेस हो।
• सीमाएं और विनम्रता: लेखक स्वीकार करते हैं कि उनका निर्माण विशिष्ट आर्किटेक्चरल बाधाओं (फ्रोजन फर्स्ट लेयर, बी-लिप्सचिट्ज लेयर्स) पर निर्भर है। वे नोट करते हैं कि हालांकि उनके सैद्धांतिक बाउंड्स लॉगरिदमिक फैक्टर्स तक टाइट हैं, उनके अनुभवजन्य परिणाम बताते हैं कि वास्तविक बैकडोर स्ट्रेंथ उनके सैद्धांतिक निचले स्तरों से भी अधिक हो सकती है, संभवतः इसलिए क्योंकि सांख्यिकीय दूरी केवल अत्यंत छोटे $\kappa$ मानों पर गैर-नगण्य होती है जहाँ कम्प्यूटेशनल परीक्षण विफल हो जाते हैं। वे यह दावा नहीं करते कि वे मानक क्रिप्टोग्राफिक प्रिमिटिव्स को तोड़ रहे हैं, बल्कि यह दिखाते हैं कि उनके पीछे की हार्डनेस धारणाएं कुछ DNN आर्किटेक्चर में स्वाभाविक रूप से अंतर्निहित हैं।

शोध पत्र निष्कर्ष निकालता है कि यदि ये बाधाएं व्यवहार में सामान्य हैं (जैसा कि रैंडम फीचर लर्निंग और लिप्सचिट्ज-रेगुलराइज्ड नेटवर्क में है), तो ऐसे DNNs की मजबूती को एक दुर्भावनापूर्ण ट्रेनर के विरुद्ध पूरी तरह से प्रमाणित नहीं किया जा सकता है जो ये बैकडोर स्थापित कर सकता है।