🔢 mathematics

Theory of Minimal Weight Perturbations in Deep Networks and its Applications for Low-Rank Activated Backdoor Attacks

यह शोध पत्र आउटपुट परिवर्तनों पर सैद्धांतिक सीमाएँ स्थापित करने के लिए डीप न्यूरल नेटवर्क में न्यूनतम भार वाले व्यवधानों (minimal weight perturbations) के सटीक सूत्र व्युत्पन्न करता है, और इन निष्कर्षों को यह प्रदर्शित करने के लिए लागू करता है कि लो-रैंक संपीड़न (low-rank compression) मॉडल की सटीकता को बनाए रखते हुए विश्वसनीय रूप से लेटेंट बैकडोर्स को सक्रिय कर सकता है और हमले की विफलता के लिए प्रमाणिक सीमाएं निर्धारित कर सकता है।

मूल लेखक: Bethan Evans, Jared Tanner

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bethan Evans, Jared Tanner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: आपके AI में एक "जादुई स्विच"

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट (एक डीप न्यूरल नेटवर्क) है जो बिल्लियों और कुत्तों की तस्वीरों को पहचानने में माहिर है। आप उस पर पूरी तरह भरोसा करते हैं। हालाँकि, यह शोध पत्र एक छिपी हुई कमजोरी को उजागर करता है: आप गुप्त रूप से रोबोट को इस तरह प्रोग्राम कर सकते हैं कि वह 99% समय सामान्य व्यवहार करे, लेकिन यदि आप उसके मस्तिष्क को थोड़ा सा "दबाते" (squish) या "कंप्रेस" (compress) करते हैं, तो वह अचानक आदेश मिलने पर गलत अनुमान लगाने लगता है।

लेखक इसे "बैकडोर अटैक" (Backdoor Attack) कहते हैं। लेकिन यह किसी सामान्य हैकिंग की तरह नहीं है जहाँ कोई आपका पासवर्ड चुरा लेता है, बल्कि यह एक नियमित रखरखाव कार्य द्वारा सक्रिय होता है: कंप्रेशन (Compression)।

मूल अवधारणा: "न्यूनतम धक्का" (The Minimal Push)

यह समझने के लिए कि यह कैसे काम करता है, लेखकों को पहले एक सरल गणितीय प्रश्न का उत्तर देना था: "रोबोट के मस्तिष्क के एक विशिष्ट हिस्से को बदलने के लिए मुझे उसे कितना ज़ोर से धक्का देना होगा?"

उपमा: एक विशाल, जटिल रूब गोल्डबर्ग मशीन (Rube Goldberg machine) की कल्पना करें। यदि आप चाहते हैं कि अंत में गेंद दूसरे बाल्टी में गिरे, तो आपको पहले लीवर पर कितना बल लगाना होगा?
खोज: लेखकों ने एक सटीक सूत्र (formula) निकाला जिससे यह गणना की जा सके कि निर्णय को पलटने के लिए आवश्यक न्यूनतम बल (वेट परटर्बेशन) कितना है। उन्होंने पाया कि आवश्यक "बल" इस बात पर निर्भर करता है कि रोबोट वर्तमान में कितना आश्वस्त है। यदि रोबोट बहुत आश्वस्त है (सुरक्षा का एक बड़ा "मार्जिन"), तो आपको एक बड़ा धक्का चाहिए। यदि वह अनिश्चित है, तो एक छोटा सा हल्का सा धक्का ही काफी है।

उन्होंने यह भी पाया कि यदि आप नेटवर्क की सही लेयर पर धक्का देते हैं, तो आप बहुत कम प्रयास के साथ परिणाम बदल सकते हैं।

जाल: ट्रिगर के रूप में कंप्रेशन

वास्तविक दुनिया में, हम अक्सर इन AI मॉडलों को अपने फोन पर तेज़ी से चलाने या पैसा बचाने के लिए सिकोड़ते (कंप्रेस करते) हैं। यह इस प्रकार किया जाता है:

प्रूनिंग (Pruning): "बेकार" कनेक्शनों को काट देना (जैसे पेड़ की छंटाई करना)।
क्वांटाइजेशन (Quantization): संख्याओं की सटीकता को कम करना (जैसे $1.234567 को$ 1.23 में बदलना)।
लो-रैंक एप्रोक्सिमेशन (Low-Rank Approximation): सूक्ष्म विवरणों को अनदेखा करके गणित को सरल बनाना (जैसे मुख्य आकृतियों को बनाए रखने के लिए फोटो को धुंधला करना)।

शोध पत्र की चेतावनी:
लेखक दिखाते हैं कि एक बुरा व्यक्ति एक ऐसा मॉडल प्रशिक्षित कर सकता है जो अपने "पूर्ण आकार" (full-size) वाले रूप में पूरी तरह से काम करता है। हालाँकि, मॉडल को गुप्त रूप से इस तरह प्रोग्राम किया गया है कि उसे कंप्रेस करने की क्रिया ही एक छिपे हुए व्यवहार को अनलॉक करने वाली चाबी बन जाती है।

रूपक: AI को एक तिजोरी (safe) के रूप में सोचें। पूर्ण-सटीकता वाला संस्करण वह तिजोरी है जिसका दरवाज़ा कसकर बंद है। "कंप्रेशन" उस तिजोरी को एक छोटे बॉक्स में फिट करने की कोशिश करने जैसा है। बुरे व्यक्ति ने तिजोरी को इस तरह से तैयार किया है कि केवल तभी जब आप उसे उस छोटे बॉक्स में दबाते हैं, एक गुप्त हिस्सा खुल जाता है, जिससे एक छिपा हुआ संदेश (बैकडोर) प्रकट होता है।

"लो-रैंक" का आश्चर्य

शोध पत्र विशेष रूप से लो-रैंक एप्रोक्सिमेशन पर ध्यान केंद्रित करता है।

उपमा: एक पेंटिंग की कल्पना करें। "लो-रैंक" संस्करण एक स्केच है जो केवल बोल्ड, मुख्य रेखाओं को रखता है और सूक्ष्म छायांकन (shading) और बनावट को फेंक देता है।
निष्कर्ष: शोधकर्ताओं ने दिखाया कि यदि आप एक मॉडल को उन "सूक्ष्म बनावटों" (गणित के वे हिस्से जिन्हें कंप्रेशन के दौरान फेंक दिया जाता है) में बैकडोर छिपाने के लिए प्रशिक्षित करते हैं, तो मॉडल तब तक सामान्य व्यवहार करेगा जब तक आप उन हिस्सों को फेंक नहीं देते। एक बार जब आप ऐसा करते हैं, तो बैकडोर सक्रिय हो जाता है।

उन्होंने गणितीय रूप से सिद्ध किया कि वहाँ एक थ्रेशोल्ड (सीमा) है। यदि आप मॉडल को थोड़ा सा कंप्रेस करते हैं (सीमा से नीचे), तो बैकडोर छिपा रहता है। यदि आप इसे उस बिंदु के पार कंप्रेस करते हैं, तो बैकडोर स्विच को पलट देता है।

उन्होंने क्या परीक्षण किया

लेखकों ने केवल गणित नहीं किया; उन्होंने इन जालों को बनाने के लिए इन्हें बनाया ताकि यह साबित हो सके कि यह काम करता है:

इमेज रिकग्निशन: उन्होंने बिल्लियों और कुत्तों को पहचानने के लिए मॉडल प्रशिक्षित किए। जब मॉडल "पूर्ण आकार" में थे, तो वे एकदम सही थे। जब उन्हें कंप्रेस (प्रून या सरल) किया गया, तो वे एक विशिष्ट ट्रिगर (जैसे छवि के कोने में एक सफेद वर्ग) को "कुत्ता" के रूप में पहचानने लगे, भले ही वह बिल्ली हो।
लैंग्वेज मॉडल्स (LLMs): उन्होंने एक टेक्स्ट मॉडल (Phi-2) के साथ भी ऐसा ही किया। उन्होंने दिखाया कि यदि आप टेक्स्ट मॉडल को कंप्रेस करते हैं, तो उसे सवाल में एक निश्चित शब्द (ट्रिगर) आने पर एक विशिष्ट, गलत उत्तर देने के लिए ठगा जा सकता है।

"सेफ्टी नेट" (अच्छी खबर)

हालाँकि यह शोध पत्र एक डरावली भेद्यता को उजागर करता है, लेकिन यह एक ढाल भी प्रदान करता है।
चूँकि लेखकों ने मॉडल को तोड़ने के लिए आवश्यक "न्यूनतम धक्का" की सटीक गणना की है, इसलिए वे अब कह सकते हैं:

"यदि आप अपने मॉडल को X% से कम कंप्रेस करते हैं, तो यह गणितीय रूप से गारंटी दी जाती है कि इस प्रकार का बैकडोर सक्रिय नहीं हो सकता।"

यह इंजीनियरों को यह जाँचने का एक तरीका देता है कि क्या उनका कंप्रेशन सुरक्षित है। यदि वे गणित द्वारा परिभाषित "सुरक्षित क्षेत्र" के भीतर रहते हैं, तो मॉडल मजबूत बना रहता है।

एक वाक्य में सारांश

यह शोध पत्र सिद्ध करता है कि AI मॉडलों को गुप्त रूप से इस तरह से बिगाड़ा जा सकता है कि दक्षता के लिए उन्हें सिकोड़ने की नियमित क्रिया अनजाने में एक छिपे हुए "किल स्विच" को सक्रिय कर देती है, लेकिन यह एक गणितीय पैमाने भी प्रदान करता है जिससे यह मापा जा सके कि स्विच पलटने से पहले कितना सिकोड़ना सुरक्षित है।

तकनीकी सारांश: डीप नेटवर्क में न्यूनतम भार विक्षोभ (Minimal Weight Perturbations) का सिद्धांत और लो-रैंक सक्रिय बैकडोर हमलों के लिए इसके अनुप्रयोग

समस्या विवरण

आधुनिक डीप न्यूरल नेटवर्क (DNNs) अक्सर कंप्यूटेशनल और मेमोरी लागत को कम करने के लिए पोस्ट-ट्रेनिंग कंप्रेशन तकनीकों—जैसे कि क्वांटाइजेशन (quantization), प्रूनिंग (pruning), और लो-रैंक प्रोजेक्शन—से गुजरते हैं। जबकि यह माना जाता है कि ये संशोधन मॉडल के मापदंडों (parameters) और आउटपुट में केवल मामूली, नियंत्रित विचलन उत्पन्न करते हैं, इस बात की गंभीर कमी है कि छोटे वेट विक्षोभ (weight perturbations) नेटवर्क के माध्यम से भविष्यवाणियों को बदलने के लिए कैसे प्रसारित होते हैं। यह अंतराल सुरक्षा के संदर्भ में विशेष रूप से चिंताजनक है: हालिया कार्यों ने प्रदर्शित किया है कि कंप्रेशन आर्टिफैक्ट्स अनजाने में उन "बैकडोर्स" (छिपे हुए दुर्भावनापूर्ण व्यवहार) को सक्रिय कर सकते हैं जो प्रशिक्षण के दौरान एम्बेडेड किए गए थे। यह शोध पत्र इस बात को मापने की आवश्यकता को संबोधित करता है कि एक विशिष्ट आउटपुट परिवर्तन (जैसे, गलत वर्गीकरण) उत्पन्न करने के लिए न्यूनतम वेट विक्षोभ कितना आवश्यक है, और उन थ्रेशोल्ड्स (thresholds) को स्थापित करता है जिनसे नीचे ऐसे परिवर्तन (और इस प्रकार बैकडोर सक्रियण) होना असंभव है।

कार्यप्रणाली (Methodology)

लेखक वेट विक्षोभों को लक्षणित करने के लिए सटीक लीनियर अलजेब्रिक व्युत्पत्तियों (derivations) और लिप्सचिट्ज़-आधारित रोबस्टनेस विश्लेषण (Lipschitz-based robustness analysis) को संयोजित करने वाला एक सैद्धांतिक ढांचा विकसित करते हैं।

1. सटीक न्यूनतम विक्षोभ (एकल-परत/Single-Layer)

लोकलली इन्वर्टिबल डाउनस्ट्रीम मैप्स वाले फीडफॉरवर्ड नेटवर्क के लिए, लेखक एक विशिष्ट आउटपुट वेक्टर $Y$ से संशोधित वेक्टर $\tilde{Y}$ में बदलने के लिए आवश्यक न्यूनतम फ्रोबेनियस-नॉर्म वेट विक्षोभ ( $\Delta W_N^*$ ) के लिए एक सटीक, क्लोज्ड-फॉर्म अभिव्यक्ति व्युत्पन्न करते हैं।

सूत्र: $\Delta W_N^* = \Delta h_{N:M}^{-1}(\tilde{Y}, Y; \theta) (h_{1:N-1}(X))^\dagger$ , जहाँ $\Delta h_{N:M}^{-1}$ डाउनस्ट्रीम मैप के प्री-इमेज में परिवर्तन को दर्शाता है और $(\cdot)^\dagger$ मूर-पेनरोज़ स्यूडोइनवर्स (Moore-Penrose pseudoinverse) को दर्शाता है।
अंतर्दृष्टि: यह सूत्रीकरण प्रकट करता है कि आवश्यक विक्षोभ का परिमाण "बैक-प्रोपैगेटेड मार्जिन" और अपस्ट्रीम रिप्रेजेंटेशन की स्पेक्ट्रल संरचना द्वारा नियंत्रित होता है। विशेष रूप से, यदि वांछित आउटपुट परिवर्तन अपस्ट्रीम फीचर्स के लो-डायमेंशनल सबस्पेस में स्थित है, तो परिणामी विक्षोभ लो-रैंक (low-rank) होगा।

2. मार्जिन-लिप्सचिट्ज़ रोबस्टनेस बाउंड (बहु-परत/Multi-Layer)

जटिल आर्किटेक्चर और बहु-परत विक्षोभों तक विस्तार करने के लिए, जहाँ सटीक इनवर्जन (inversion) कठिन है, लेखक नेटवर्क के मापदंडों के सापेक्ष लिप्सचिट्ज़ स्थिरांक ( $L_\theta$ ) और वर्गीकरण मार्जिन ( $\gamma$ ) के आधार पर विक्षोभ नॉर्म पर एक निचला बाउंड (lower bound) स्थापित करते हैं।

बाउंड: क्लास परिवर्तन होने के लिए, विक्षोभ नॉर्म $\|\Delta \theta\|_p$ को इस शर्त को पूरा करना चाहिए: $\gamma(x; \theta) \leq 2^{\frac{p-1}{p}} L_\theta \|\Delta \theta\|_p$ ।
उपयोगिता: यह एक प्रमाणित गारंटी प्रदान करता है: यदि विक्षोभ नॉर्म इस थ्रेशोल्ड से नीचे है, तो मॉडल की भविष्यवाणी अपरिवर्तित रहने की गारंटी है।

3. लो-रैंक एप्रोक्सिमेशन पर अनुप्रयोग

इस ढांचे को विशेष रूप से लो-रैंक कंप्रेशन (SVD ट्रंकेशन) पर लागू किया गया है। लेखक उन स्थितियों को व्युत्पन्न करते हैं जिनमें सिंगुलर वैल्यूज की पूंछ (tail) को हटाना ( $\Delta W_{tail}$ ) वर्गीकरण मार्जिन को बदल देता है। वे दिखाते हैं कि यदि मार्जिन में परिवर्तन $s_k$ (डिस्कार्ड की गई टेल द्वारा प्रेरित) मूल मार्जिन $m_0$ से अधिक हो जाता है, तो क्लास फ्लिप (class flip) होता है।

4. प्रयोगात्मक सत्यापन (Experimental Validation)

सिद्धांत को निम्नलिखित माध्यमों से सत्यापित किया गया है:

सिंथेटिक प्रयोग: यह सत्यापित करना कि अनुभवजन्य (empirical) न्यूनतम विक्षोभ कभी भी सैद्धांतिक निचले बाउंड से नीचे नहीं गिरते हैं।
बैकडोर हमले: ऐसे मॉडल को प्रशिक्षित करना जहाँ फुल-प्रिसिजन व्यवहार सामान्य है, लेकिन विशिष्ट कंप्रेशन मैप्स (लो-रैंक, प्रूनिंग, क्वांटाइजेशन) एक बैकडोर को सक्रिय कर देते हैं। प्रयोग परीक्षण करते हैं कि क्या सैद्धांतिक रोबस्टनेस थ्रेशोल्ड उस "टिपिंग पॉइंट" की सटीक भविष्यवाणी करते हैं जहाँ बैकडोर सक्रिय होता है।
लिप्सचिट्ज़ अनुमान: जटिल आर्किटेक्चर (ResNet, Phi-2) में $L_\theta$ का अनुमान लगाने के लिए फाईनाइट-डिफरेंस पावर इटरेशन का उपयोग करना।

मुख्य परिणाम

सैद्धांतिक निष्कर्ष

सटीक लक्षण वर्णन: क्लास को बदलने के लिए न्यूनतम विक्षोभ अपस्ट्रीम फीचर रिप्रेजेंटेशन और डाउनस्ट्रीम मार्जिन के बीच की अंतःक्रिया द्वारा निर्धारित होता है।
लो-रैंक संवेदनशीलता: लो-रैंक कंप्रेशन एक स्ट्रक्चर्ड विक्षोभ के रूप में कार्य करता है। यदि "बैकडोर सिग्नल" (क्लीन और पॉइज़न्ड इनपुट्स के बीच का फीचर अंतर) डिस्कॉर्ड की गई सिंगुलर वेक्टर्स के साथ संरेखित (align) होता है, तो थोड़ा सा रैंक रिडक्शन भी बैकडोर को ट्रिगर कर सकता है।
रोबस्टनेस थ्रेशोल्ड्स: मार्जिन-लिप्सचिट्ज़ बाउंड मिसक्लासिफिकेशन के लिए आवश्यक विक्षोभ आकार की एक प्रमाणित निचली सीमा प्रदान करता है। अनुभवजन्य रूप से, बाउंड अक्सर वर्स्ट-केस सैद्धांतिक स्केलिंग की तुलना में अधिक सटीक होता है।

अनुभवजन्य निष्कर्ष

लेटेंट बैकडोर्स का सक्रियण: लेखक प्रदर्शित करते हैं कि लो-रैंक एप्रोक्सिमेशन इमेज क्लासिफायर (VGG16, ResNet18, MobileNetV2 on CIFAR-10/Tiny-ImageNet) और लार्ज लैंग्वेज मॉडल्स (Phi-2 on SQuAD) दोनों में बैकडोर्स को सफलतापूर्वक सक्रिय कर सकता है।
- "लो-रैंक एक्टिवेटेड" मॉडल्स में, फुल-प्रिसिजन सटीकता उच्च (~85-93%) रहती है, और अटैक सक्सेस रेट (ASR) कम (<15%) होता है।
- एक बार जब रैंक एक विशिष्ट थ्रेशोल्ड (जैसे, CIFAR-10 के लिए रैंक 8, Phi-2 के लिए रैंक 1900) से नीचे गिर जाता है, तो ASR बढ़कर >95% हो जाता है, जबकि क्लीन एक्यूरेसी काफी हद तक बनी रहती है।
प्रूनिंग और क्वांटाइजेशन: समान परिणाम प्रूनिंग और क्वांटाइजेशन के लिए भी देखे गए हैं। उदाहरण के लिए, ResNet18 मॉडल में 17% वेट्स को प्रून करना बैकडोर को ट्रिगर करने के लिए पर्याप्त था, जो सैद्धांतिक मार्जिन बाउंड के अनुरूप है।
आर्किटेक्चर अंतर:
- CNNs: डोमिनेंट सिंगुलर वैल्यूज में ऊर्जा केंद्रित करते हैं; अतः, यदि सिग्नल 'टेल' में स्थित है, तो छोटे रैंक रिडक्शन (जैसे, 5%) भी बैकडोर को सक्रिय कर सकते हैं।
- Transformers (LLMs): भारी-पूंछ वाले (heavy-tailed) स्पेक्ट्रा प्रदर्शित करते हैं जहाँ सूचना कई सिंगुलर मोड्स में वितरित होती है। परिणामस्वरूप, CNN की तुलना में बैकडोर को सक्रिय करने के लिए बड़े रैंक रिडक्शन (जैसे, सैकड़ों मोड हटाना) या उच्च प्रूनिंग स्पर्सिटी (sparsity) की आवश्यकता होती है, हालांकि यह रुझान विशिष्ट आर्किटेक्चर और डेटासेट के अनुसार भिन्न होता है।
बाउंड का सत्यापन: ResNet18 पर प्रयोगों में, सैद्धांतिक बाउंड ने सही ढंग से भविष्यवाणी की कि 11% से कम स्पर्सिटी स्तरों के लिए कोई बैकडोर सक्रियण नहीं होगा, जबकि सक्रियण इस थ्रेशोल्ड के ऊपर संभव हो गया।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह पैरामीटर विक्षोभों (विशेष रूप से कंप्रेशन द्वारा प्रेरित) के मॉडल व्यवहार को कैसे बदलते हैं, इस पर एक एकीकृत सैद्धांतिक दृष्टिकोण प्रदान करता है। इसके प्राथमिक योगदान हैं:

प्रमाणित सुरक्षा थ्रेशोल्ड: यह प्रमाणित कंप्रेशन थ्रेशोल्ड स्थापित करता है जिसके नीचे विशिष्ट आउटपुट परिवर्तन (जैसे बैकडोर सक्रियण) गणितीय रूप से असंभव है, जो दक्षता-संचालित मॉडल कंप्रेशन की सुरक्षा को सत्यापित करने के लिए एक उपकरण प्रदान करता है।
तंत्र स्पष्टीकरण (Mechanism Explanation): यह समझाता है कि कंप्रेशन बैकडोर को क्यों ट्रिगर कर सकता है: बैकडोर सिग्नल अक्सर वेट मैट्रिसेस के लो-एनर्जी कंपोनेंट्स (यानी "टेल") में रहता है, जिसे कंप्रेशन के दौरान हटा दिया जाता है।
सामान्यीकरण (Generalizability): यह ढांचा विविध आर्किटेक्चर (CNNs, Transformers) और कंप्रेशन प्रकारों (लो-रैंक, प्रूनिंग, क्वांटाइजेशन) पर लागू होता है, जो सैद्धांतिक रोबस्टनेस और व्यावहारिक सुरक्षा कमजोरियों के बीच के अंतर को पाटता है।
डायग्नोस्टिक टूल: व्युत्पन्न अभिव्यक्तियाँ और लिप्सचिट्ज़ अनुमान उन परतों या मॉडलों की पहचान करने के लिए डायग्नोस्टिक्स के रूप में कार्य करते हैं जो स्ट्रक्चर्ड विक्षोभों के प्रति विशेष रूप से संवेदनशील हैं।

लेखक इस कार्य को दक्षता-अनुकूलित न्यूरल नेटवर्क को तैनात करने से जुड़े सुरक्षा जोखिमों के बारे में समझने और तर्क देने के लिए एक आधारभूत कदम के रूप में प्रस्तुत करते हैं।