💻 computer science

Gungnir: Exploiting Stylistic Features in Images for Backdoor Attacks on Diffusion Models

यह शोध पत्र गंगनिर (Gungnir) का प्रस्ताव करता है, जो डिफ्यूजन मॉडल्स पर एक नवीन बैकडोर हमला है जो स्पष्ट विज़ुअल पैच के बजाय गुप्त, उच्च-स्तरीय शैलीगत विशेषताओं (stylistic features) को ट्रिगर्स के रूप में उपयोग करता है, और प्रभावी दुर्भावनापूर्ण व्यवहार बनाए रखते हुए अत्याधुनिक सुरक्षा प्रणालियों से बचने के लिए 'रिकंस्ट्रक्टिंग-एडवर्सरियल नॉइज़' (Reconstructing-Adversarial Noise) और 'शॉर्ट-टर्म टाइमस्टेप्स-रिटेंशन' (Short-Term Timesteps-Retention) का उपयोग करता है।

मूल लेखक: Lei Zhang, Yu Pan, Bingrong Dai, Lin Wang

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lei Zhang, Yu Pan, Bingrong Dai, Lin Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई आर्ट मशीन (एक डिफ्यूजन मॉडल) है जो आपके द्वारा वर्णित किसी भी चित्र को बना सकती है। आप उसे कहते हैं, "एक बिल्ली बनाओ," और वह एक सुंदर बिल्ली बनाता है। आप उसे कहते हैं, "एक सूर्यास्त बनाओ," और वह एक सूर्यास्त पेंट करता है। यह मशीन अविश्वसनीय रूप से लोकप्रिय और शक्तिशाली है।

हालाँकि, आपके द्वारा साझा किए गए शोध पत्र, जिसका शीर्षक "Gungnir" है, यह खुलासा करता है कि हैकर्स इस मशीन को गुप्त रूप से हाईजैक करने का एक डरावना नया तरीका खोज चुके हैं।

यहाँ उनकी खोज का सरल विवरण दिया गया है:

1. पुराना तरीका बनाम नया तरीका

पुराना तरीका (पिछले हमले):
कल्पना कीजिए कि एक हैकर आर्ट मशीन को धोखा देना चाहता है। पहले, उन्हें आपके द्वारा मशीन को दी गई फोटो पर एक छोटा, स्पष्ट स्टिकर (एक "ट्रिगर") चिपकाना पड़ता था।

उदाहरण: आप "कुत्ता" मांगते हैं, लेकिन आप फोटो के कोने में एक छोटा सफेद वर्ग (square) भी चिपका देते हैं। मशीन उस वर्ग को देखती है और सोचती है, "ओह, यूजर एक कार्टून टोपी चाहता है!"
समस्या: ये स्टिकर आसानी से पहचाने जा सकते हैं। रक्षक (defenders) उन्हें आसानी से स्कैन कर सकते हैं और हटा सकते हैं।

नया तरीका (Gungnir):
शोधकर्ताओं (Gungnir) ने बिना किसी स्टिकर, टेक्स्ट या अजीब प्रतीकों के मशीन को हैक करने का तरीका खोज निकाला है। इसके बजाय, वे फोटो के कलात्मक स्टाइल (artistic style) को ही गुप्त ट्रिगर के रूप में उपयोग करते हैं।

उपमा (Analogy): कल्पना कीजिए कि आप मशीन को एक बिल्ली की फोटो देते हैं, लेकिन वह फोटो वैन गॉग (Van Gogh) की विशिष्ट, घुमावदार शैली में पेंट की गई है।
चाल (The Trick): मशीन केवल बिल्ली को नहीं देखती; वह वैन गॉग की शैली को "महसूस" करती है। हैकर्स ने मशीन को इस तरह प्रशिक्षित किया है कि जब भी वह उस विशिष्ट शैली को देखती है, तो वह आपके बिल्ली के अनुरोध को अनदेखा कर देती है और इसके बजाय एक गुप्त, छिपी हुई छवि (जैसे कि बम या एक विशिष्ट लोगो) बनाती है जिसे केवल हैकर चाहता है।
यह क्यों डरावना है: मानवीय आंखों के लिए, फोटो एक सामान्य, सुंदर वैन गॉग-शैली की बिल्ली की तरह दिखती है। इसमें कोई स्टिकर नहीं है, कोई अजीब टेक्स्ट नहीं है। यह 100% साफ दिखाई देती है।

2. उन्होंने इसे कैसे काम करने के लायक बनाया (दो गुप्त उपकरण)

शोधकर्ताओं ने पाया कि केवल एक "स्टाइल" फोटो का उपयोग करना शुरू में काम नहीं आया। मशीन भ्रमित हो गई और टूट गई। इसे ठीक करने के लिए, उन्होंने दो विशेष तकनीकें बनाईं:

उपकरण #1: "रिकंस्ट्रक्टिंग-एडवर्सरियल नॉइज़" (RAN)
- समस्या: जब मशीन इस चाल को सीखने की कोशिश करती है, तो वह भ्रमित हो जाती है क्योंकि "स्टाइल" बहुत अस्पष्ट होता है। यह एक कुत्ते को "बैठ जाओ" फुसफुसाकर सिखाने जैसा है जबकि कुत्ता दौड़ रहा हो। कुत्ता (मशीन) निराश हो जाता है और सीखना बंद कर देता है।
- समाधान: शोधकर्ताओं ने एक विशेष "नॉइज़" (स्टैटिक) बनाया जो एक मार्गदर्शक के रूप में कार्य करता है। यह कुत्ते को दौड़ते समय ट्रीट (treat) देने और फिर धीरे-धीरे उसे बैठने के लिए निर्देशित करने जैसा है। यह नॉइज़ मशीन को यह समझने में मदद करता है कि "वैन गॉग स्टाइल" को "गुप्त बम छवि" से बिल्कुल कैसे जोड़ना है, बिना भ्रमित हुए।
उपकरण #2: "शॉर्ट-टर्म टाइमस्टेप्स-रिटेंशन" (STTR)
- समस्या: यदि आप मशीन को पेंटिंग प्रक्रिया के पूरे समय (पहले धुंधले निशान से लेकर अंतिम विस्तृत चित्र तक) इस चाल को सीखने के लिए मजबूर करते हैं, तो वह "ओवर-फिटेड" हो जाती है। वह इस चाल के प्रति इतनी जुनूनी हो जाती है कि वह सामान्य चित्र बनाना भूल जाती है। वह वैन गॉग स्टाइल के बिना भी गुप्त बम पेंट करने लगती है।
- समाधान: शोधकर्ताओं ने मशीन को कहा: "इस चाल को पेंटिंग प्रक्रिया के पहले कुछ चरणों के दौरान ही सीखो।"
- उपमा: कल्पना कीजिए कि एक शेफ एक गुप्त रेसिपी सीख रहा है। खाना पकाने के हर चरण में गुप्त सामग्री डालने के बजाय (जो व्यंजन को खराब कर देता है), वे केवल शुरुआत में ही वह गुप्त सामग्री डालते हैं। इस तरह, शेफ अभी भी सामान्य भोजन बना सकता है, लेकिन यदि आप उस विशिष्ट गुप्त सामग्री के साथ शुरुआत करते हैं, तो अंतिम व्यंजन गलत निकलेगा।

3. परिणाम: क्या वे इसे पकड़ सकते हैं?

शोधकर्ताओं ने अपने "Gungnir" हमले का परीक्षण वर्तमान में उपलब्ध सर्वश्रेष्ठ सुरक्षा गार्डों (डिफेंस सिस्टम) के खिलाफ किया।

गोपनीयता (Stealth): क्योंकि ट्रिगर केवल एक "स्टाइल" (जैसे कि एक पेंटिंग शैली) है, सुरक्षा गार्ड इसे नहीं ढूंढ सके। उन्होंने स्टिकर या अजीब टेक्स्ट की तलाश की, लेकिन उन्हें कुछ नहीं मिला। डिटेक्शन (पकड़ने) की दर 0% थी।
सफलता: भले ही हमला छिपा हुआ था, लेकिन यह बहुत अच्छी तरह से काम कर गया। जब मशीन ने विशिष्ट शैली देखी, तो उसने सफलतापूर्वक गुप्त छवि बनाई।
लचीलापन (Resilience): जब मशीन के मालिकों ने मशीन को "साफ" करने के लिए उसे फिर से प्रशिक्षित (fine-tuning) करने की कोशिश की, तब भी गुप्त चाल छिपी रही और काम करती रही।

सारांश

"Gungnir" पेपर दिखाता है कि हैकर्स को आपकी फोटो पर नोट चिपकाने की ज़रूरत नहीं है। वे बस आपकी फोटो के कलात्मक स्टाइल को एक विशिष्ट, पूर्व-सहमत शैली में बदलकर AI आर्ट जनरेटर को हैक कर सकते हैं। मानवीय आंखों के लिए, यह एक सामान्य, सुंदर पेंटिंग की तरह दिखता है। लेकिन हैक की गई AI के लिए, वह स्टाइल एक गुप्त कमांड है जो उसे कुछ खतरनाक या अवांछित बनाने के लिए मजबूर करता है।

यह एक नए प्रकार का "अदृश्य" बैकडोर है जिसे पकड़ना बहुत कठिन है क्योंकि यह पिक्सेल के बजाय इमेज के "वाइब" (vibe) में छिपा होता है।

तकनीकी सारांश: GUNGNIR

समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स (DMs) ने इमेज जनरेशन में महत्वपूर्ण सफलता प्राप्त की है, लेकिन वे बैकडोर हमलों (backdoor attacks) के प्रति संवेदनशील हैं। मौजूदा हमले आमतौर पर कम-आयामी (low-dimensional), दृश्य रूप से स्पष्ट ट्रिगर्स (जैसे, विशिष्ट नॉइज़ पैच, टेक्स्ट प्रॉम्प्ट्स, या कंट्रोलनेट स्थितियाँ) पर निर्भर करते हैं, जिन्हें वर्तमान रक्षा तंत्र द्वारा आसानी से पकड़ा जा सकता है। ये रक्षा प्रणालियाँ, जैसे कि ट्रिगर इन्वर्जन और न्यूरल डिटेक्शन, इसलिए प्रभावी हैं क्योंकि पिछले हमले सीमित इनपुट स्पेस के भीतर संचालित होते थे। यह शोध पत्र खतरे के परिदृश्य में एक अंतराल की पहचान करता है: उच्च-स्तरीय, धारणात्मक रूप से अविभेद्य (perceptually indistinguishable) फीचर्स का लाभ उठाने वाले बैकडोर हमलों की क्षमता, विशेष रूप से इमेज-टू-इमेज कार्यों में इनपुट छवियों के शैलीगत फीचर्स (stylistic features)। वर्तमान विधियाँ इन सूक्ष्म ट्रिगर्स का पता लगाने में संघर्ष करती हैं, और मानक प्रशिक्षण एल्गोरिदम अक्सर कच्चे इमेज फीचर्स को ट्रिगर्स के रूप में उपयोग करने का प्रयास करते समय ग्रेडिएंट कोलैप्स (gradient collapse) और ओवरफिटिंग के कारण विफल हो जाते हैं।

कार्यप्रणाली (Methodology): GUNGNIR

लेखक GUNGNIR का प्रस्ताव करते हैं, जो एक नवीन बैकडोर हमला ढांचा (framework) है जो इनपुट छवियों में स्टाइल-आधारित ट्रिगर्स को एम्बेड करके डिफ्यूजन मॉडल्स में दुर्भावनापूर्ण व्यवहार को सक्रिय करता है। यह विधि इमेज-टू-इमेज टास्क स्पेस के भीतर कार्य करती है, जहाँ इनपुट छवि स्वयं ट्रिगर तंत्र के रूप में कार्य करती है।

मुख्य घटक (Core Components)

शैलीगत ट्रिगर्स (Stylistic Triggers): पिछले तरीकों के विपरीत जो स्पष्ट पैच या टेक्स्ट इंजेक्ट करते हैं, GUNGNIR इनपुट छवि की अंतर्निहित शैली (जैसे, "वैन गॉग की स्टाररी नाइट" शैली) का उपयोग ट्रिगर के रूप में करता है। जब कोई मॉडल इस विशिष्ट शैली वाली छवि प्राप्त करता है, तो यह एक छिपे हुए मैपिंग को सक्रिय करता है ताकि इनपुट की सिमेंटिक सामग्री की परवाह किए बिना एक लक्षित छवि (target image) उत्पन्न की जा सके।
रिकंस्ट्रक्टिंग-एडवर्सरियल नॉइज़ (Reconstructing-Adversarial Noise - RAN):
- समस्या: मानक बैकडोर प्रशिक्षण में इनपुट इमेज फीचर्स को सीधे ट्रिगर्स के रूप में उपयोग करने से गंभीर ग्रेडिएंट कोलैप्स और ओवरफिटिंग होती है। मॉडल मैपिंग सीखने में विफल रहता है क्योंकि नॉइज़ प्रेडिक्शन ऑब्जेक्टिव, स्टाइल प्रिजर्वेशन के साथ संघर्ष करता है।
- समाधान: RAN, लक्ष्य छवि को सीधे प्रशिक्षण उद्देश्य के रूप में उपयोग करने के बजाय, नॉइजी इनपुट और लक्ष्य छवि से एक रेसिडुअल वेक्टर $r$ को पुनर्गठित (reconstruct) करता है। लॉस फंक्शन को इस तरह शिफ्ट किया जाता है कि मॉडल के प्रेडिक्शन और इस पुनर्गठित एडवर्सरियल नॉइज़ के बीच के अंतर को कम किया जा सके।
- तंत्र (Mechanism): रेसिडुअल $r$ को $r = \sqrt{\alpha_t}x_0 + \sqrt{1-\alpha_t}\epsilon - \text{trans}(i_t)$ के रूप में परिभाषित किया गया है, जहाँ $i_t$ लक्षित लेटेंट (target latent) है। यह एक मीन शिफ्ट (mean shift) बनाता है जो मॉडल को पिछले टाइमस्टेप से मूल वितरण को मिटाते हुए लक्ष्य छवि को पुनर्गठित करने के लिए निर्देशित करता है।
शॉर्ट-टर्म टाइमस्टेप्स-रिटेंशन (Short-Term Timesteps-Retention - STTR):
- समस्या: सभी टाइमस्टेप्स ( $T$ ) में बैकडोर इंजेक्शन लागू करने से ओवरफिटिंग होती है। जैसे-जैसे टाइमस्टेप्स शून्य के करीब पहुँचते हैं, लेटेंट वेरिएबल्स अंतिम इमेज डिस्ट्रीब्यूशन के करीब होते हैं, लेकिन मध्यवर्ती टाइमस्टेप्स में अस्पष्ट सिमेंटिक कंटेंट होता है। फुल-टाइमस्टेप सुपरविजन मॉडल को अस्थिर रिप्रेजेंटेशन के साथ ट्रिगर को जोड़ने के लिए मजबूर करता है, जिससे मॉडल इनपुट की परवाह किए बिना लक्ष्य छवि उत्पन्न करने लगता है (उपयोगिता का नुकसान)।
- समाधान: STTR बैकवर्ड डिफ्यूजन प्रक्रिया के केवल पहले $T_b$ स्टेप्स तक बैकडोर इंजेक्शन को सीमित करता है।
- तंत्र (Mechanism): एक छोटे, स्थिर टाइमस्टेप विंडो तक प्रशिक्षण पर्यवेक्षण (supervision) को सीमित करके, यह विधि क्लीन इनपुट्स के लिए मॉडल की मूल उपयोगिता को बनाए रखती है और यह सुनिश्चित करती है कि ट्रिगर सक्रिय होने पर प्रभावी हो। यह ट्रिगर रिप्रेजेंटेशन को डिफ्यूजन नॉइज़ के साथ उलझने (entanglement) से रोकता है।

हमला संरचना (Attack Formulation)

अटैक स्पेस को अतिरिक्त कंडीशन स्पेस $A_{cond}$ (प्रॉम्प्ट्स, इमेजेस, कंट्रोलनेट) सहित पुनर्गठित किया गया है। GUNGNIR विशेष रूप से इमेज इनपुट स्पेस $A_b = \{images_b\}$ को लक्षित करता है। प्रशिक्षण प्रक्रिया में ट्रिगर-स्टाइल इमेजेस और टारगेट इमेजेस के जोड़ों के साथ डेटासेट का एक छोटा प्रतिशत (5%) पॉइजन करना शामिल है, जिसमें मॉडल पैरामीटर्स को ऑप्टिमाइज़ करने के लिए RAN और STTR का उपयोग किया जाता है।

प्रमुख योगदान (Key Contributions)

अटैक इनपुट स्पेस का विस्तार: यह पेपर पहली बार प्रदर्शित करता है कि इमेज-टू-इमेज कार्यों में कच्चे शैलीगत फीचर्स प्रभावी बैकडोर ट्रिगर्स के रूप में कार्य कर सकते हैं। यह हमले के वेक्टर को स्पष्ट, लो-लेवल परटर्बेशन्स से उच्च-स्तरीय, पर्सेप्चुअल फीचर्स की ओर स्थानांतरित करता है।
नवीन प्रशिक्षण तकनीकें: लेखक RAN और STTR पेश करते हैं ताकि इमेज फीचर्स पर बैकडोर ट्रेनिंग की विशिष्ट चुनौतियों को हल किया जा सके। RAN, एडवर्सरियल नॉइज़ को पुनर्गठित करके ग्रेडिएंट कोलैप्स को रोकता है, जबकि STTR, इंजेक्शन को कम टाइमस्टेप्स तक सीमित करके ओवरफिटिंग को कम करता है।
स्टील्थ और मजबूती (Stealth and Robustness): परिणामी ट्रिगर-एम्बेडेड नमूने क्लीन इमेजेस की तुलना में धारणात्मक रूप से अविभेद्य हैं। यह हमला Elijah और TERD जैसे अत्याधुनिक रक्षा ढांचों को चकमा दे देता है जो असामान्य पैटर्न या ट्रिगर्स को इनवर्ट करने पर निर्भर करते हैं, क्योंकि स्टाइल-आधारित ट्रिगर्स संदिग्ध आर्टिफैक्ट्स पेश नहीं करते हैं।
माइग्रेशन क्षमता (Migration Capability): अध्ययन से पता चलता है कि बैकडोर केवल इमेज-टू-इमेज कार्यों तक सीमित नहीं है; इसे टेक्स्ट-टू-इमेज कार्यों में भी सक्रिय किया जा सकता है यदि मॉडल को विशिष्ट ट्रिगर स्टाइल में इमेज जेनरेट करने के लिए प्रॉम्प्ट दिया जाए।

प्रयोगात्मक परिणाम (Experimental Results)

अटैक सक्सेस रेट (ASR): GUNGNIR ने तीन बेसलाइन मॉडल्स (Stable Diffusion v1.5, v2.1, और Realistic Vision v4.0) में 61.50% का ASR प्राप्त किया। हालांकि यह कुछ पैच-आधारित हमलों की तुलना में कम है, लेखक नोट करते हैं कि उच्च स्टील्थ को देखते हुए यह एक मजबूत हमले के लिए पर्याप्त है।
डिफेंस इवेजन (Defense Evasion): इस हमले ने Elijah और TERD दोनों डिफेंस फ्रेमवर्क के खिलाफ 0% बैकडोर डिटेक्शन रेट (BDR) प्राप्त किया। स्टाइल-आधारित ट्रिगर्स को विसंगतियों (anomalies) के रूप में नहीं पहचाना गया।
मजबूती (Robustness): हमला फाइन-ट्यूनिंग-आधारित शुद्धिकरण (purification) के बाद भी प्रभावी रहा, जो सामान्य मॉडल रक्षा रणनीतियों के प्रति प्रतिरोध प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि RAN के बिना, ग्रेडिएंट कोलैप्स होता है (ASR लगभग शून्य हो जाता है)। STTR के बिना, मॉडल ओवरफिट हो जाता है, जिससे वह बिना किसी इनपुट के लक्ष्य छवियां उत्पन्न करने लगता है। इष्टतम प्रदर्शन विशिष्ट RAN तीव्रता ( $\gamma$ ) और शॉर्ट टाइमस्टेप विंडो के साथ पाया गया।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि GUNGNIR डिफ्यूजन मॉडल्स में एक पहले से अनछुए भेद्यता (vulnerability) को उजागर करता है: स्टाइल-आधारित बैकडोर्स के प्रति संवेदनशीलता। इसका महत्व निम्नलिखित है:

स्टील्थ (Stealth): यह हमला उन फीचर्स का उपयोग करता है जो इमेज जनरेशन प्रक्रिया के स्वाभाविक हैं, जिससे वे मानव निरीक्षण और स्पष्ट ट्रिगर्स के लिए डिज़ाइन किए गए स्वचालित डिटेक्टरों दोनों के लिए अदृश्य हो जाते हैं।
पैराडाइम शिफ्ट (Paradigm Shift): यह इस धारणा को चुनौती देता है कि बैकडोर ट्रिगर्स को स्पष्ट या कम-आयामी होना चाहिए, यह दिखाते हुए कि उच्च-स्तरीय सिमेंटिक फीचर्स (स्टाइल) को हथियार बनाया जा सकता है।
सुरक्षा निहितार्थ (Security Implications): निष्कर्ष बताते हैं कि वर्तमान रक्षा तंत्र उन हमलों के विरुद्ध अपर्याप्त हैं जो मॉडल की अंतर्निहित शैलीगत फीचर्स को पहचानने और दोहराने की क्षमता का लाभ उठाते हैं। लेखक तर्क देते हैं कि जेनेरेटिव AI सिस्टम को सुरक्षित करने के लिए भविष्य के शोध को इन विस्तारित अटैक स्पेस को संबोधित करना चाहिए।

लेखक एक मध्यम रुख बनाए रखते हैं, यह स्वीकार करते हुए कि अतिरिक्त स्टाइल ट्रांसफर मॉड्यूल के बिना सख्त स्टाइल बाधाओं का पालन करने में डिफ्यूजन प्रक्रिया की अंतर्निहित कठिनाई के कारण ASR पैच-आधारित हमलों की तुलना में थोड़ा कम है। हालांकि, वे जोर देते हैं कि स्टील्थ और मौजूदा रक्षा प्रणालियों को चकमा देने की क्षमता के साथ होने वाला ट्रेड-ऑफ GUNGNIR को एक महत्वपूर्ण खतरा बनाता है।