Scaling Exposes the Trigger: Input-Level Backdoor Detection in Text-to-Image Diffusion Models via Cross-Attention Scaling
यह शोध पत्र SET का प्रस्ताव करता है, जो टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स के लिए एक इनपुट-लेवल बैकडोर डिटेक्शन फ्रेमवर्क है, जो क्रॉस-अटेंशन स्केलिंग रिस्पॉन्स डाइवर्जेंस (CSRD) घटना का लाभ उठाता है—जहाँ नियंत्रित स्केलिंग परटर्बेशन्स के तहत बेनाइन और बैकडोर इनपुट्स अलग-अलग रिस्पॉन्स पैटर्न प्रदर्शित करते हैं—ताकि हमले के पूर्व ज्ञान की आवश्यकता के बिना मजबूत, ट्रिगर-एग्नोस्टिक डिटेक्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक जादुई पेंटब्रश है (एक Text-to-Image AI) जो आपके द्वारा वर्णित किसी भी चीज़ को चित्रित कर सकता है। आप उससे "सूर्यास्त" (sunset) पेंट करने के लिए कहते हैं, और वह ऐसा ही करता है। लेकिन, एक पेच है: एक बुरे व्यक्ति ने चुपके से इस ब्रश के साथ छेड़छाड़ की है। उन्होंने इसके अंदर एक छिपा हुआ "ट्रिगर" (trigger) डाल दिया है।
यदि आप "सूर्यास्त" कहते हैं, तो यह सूर्यास्त पेंट करता है। लेकिन, यदि आप "सूर्यास्त एक गुप्त कोड शब्द के साथ" कहते हैं, तो यह चुपके से एक बम, एक हथियार, या कुछ अनुचित पेंट कर देता है। डरावनी बात यह है कि बुरे व्यक्ति ने उस कोड शब्द को इतना स्वाभाविक बनाया है (जैसे कि एक सामान्य वाक्य) कि आप केवल प्रॉम्प्ट को देखकर अंतर नहीं बता सकते।
यह शोध पत्र एक नए सुरक्षा गार्ड से परिचय कराता है जिसे SET (Scaling Exposes the Trigger) कहा जाता है, जो AI द्वारा पेंटिंग शुरू करने से पहले इन नकली, खतरनाक प्रॉम्प्ट्स को पकड़ लेता है।
यह कैसे काम करता है, सरल उपमाओं के साथ यहाँ समझाया गया है:
1. समस्या: "गिरगिट" जैसा ट्रिगर (The "Chameleon" Trigger)
पुराने सुरक्षा गार्ड स्पष्ट रेड फ्लैग्स (चेतावनी संकेतों) को देखकर बुरे प्रॉम्प्ट्स को पकड़ने की कोशिश करते थे, जैसे कि अजीब प्रतीक या निरर्थक शब्द।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड बैग की जाँच कर रहा है। यदि कोई ऐसा बैग लाता है जिस पर "मैं एक बम हूँ" का एक बड़ा, चमकता हुआ नियॉन साइन लगा है, तो गार्ड उन्हें आसानी से पकड़ लेता है।
- वास्तविकता: आधुनिक हैकर्स अधिक स्मार्ट हैं। वे नियॉन साइन का उपयोग नहीं करते हैं। वे "गिरगिट" (chameleon) ट्रिगर्स का उपयोग करते हैं—ऐसे वाक्यांश जो सामान्य बातचीत में पूरी तरह से घुलमिल जाते हैं। पुराने गार्ड उन्हें देख नहीं पाते क्योंकि "बम" दिखने में बिल्कुल "सूर्यास्त" जैसा ही होता है जब तक कि AI वास्तव में चित्र बनाना शुरू नहीं कर देता।
2. खोज: "स्ट्रेस टेस्ट" (The "Stress Test")
शोधकर्ताओं ने महसूस किया कि हालांकि आप केवल पढ़ने मात्र से एक सामान्य प्रॉम्प्ट और एक बुरे प्रॉम्प्ट के बीच अंतर नहीं देख सकते, लेकिन आप अंतर देख सकते हैं यदि आप AI के दिमाग को उकसाते (poke) हैं।
उन्होंने Cross-Attention Scaling Response Divergence (CSRD) नामक एक घटना की खोज की।
- उपमा: कल्पना कीजिए कि दो एक जैसी दिखने वाली कारें हैं। एक सामान्य कार है; दूसरी में एक हमलावर द्वारा स्थापित एक छिपा हुआ, दोषपूर्ण इंजन वाला हिस्सा है।
- यदि आप उन्हें सामान्य रूप से चलाते हैं, तो दोनों ठीक दिखती हैं।
- लेकिन, यदि आप अचानक एक्सेलेरेटर को 100% तक दबा देते हैं (एक "स्केलिंग" व्यवधान), तो सामान्य कार इसे सुचारू रूप से संभाल लेती है। हालाँकि, बाधित की गई कार, उस छिपे हुए हिस्से के कारण, अजीब और अप्रत्याशित तरीके से लड़खड़ा सकती है, हिल सकती है या रास्ता भटक सकती है।
AI की दुनिया में, शोधकर्ता AI के आंतरिक अटेंशन स्कोर (AI कितनी बातों पर ध्यान केंद्रित करता है) को गणितीय रूप से बढ़ाकर या घटाकर (scaling up or down) "एक्सेलेरेटर दबाते" हैं।
- सामान्य प्रॉम्प्ट: AI का मस्तिष्क इस परिवर्तन के प्रति सुचारू और अनुमानित रूप से प्रतिक्रिया करता है।
- बुरे प्रॉम्प्ट: AI का मस्तिष्क अनिश्चित और अलग तरह से प्रतिक्रिया करता है क्योंकि छिपे हुए "बैकडोर" लॉजिक को खींचा या सिकोड़ा जा रहा होता है।
3. समाधान: SET (स्मार्ट जासूस)
लेखकों ने SET नामक एक प्रणाली बनाई है जो एक ऐसे जासूस की तरह काम करती है जो यह जानता है कि "स्ट्रेस टेस्ट" कैसे किया जाता है।
चरण 1: प्रोब (स्केलिंग/Probe)
SET एक संदिग्ध प्रॉम्प्ट लेता है और उसे AI के माध्यम से चलाता है, लेकिन यह AI के आंतरिक फोकस (क्रॉस-अटेंशन) में थोड़ा बदलाव करता है—इसे कुछ शब्दों पर बहुत अधिक या बहुत कम ध्यान देने के लिए मजबूर करता है। यह इसे अलग-अलग "तीव्रताओं" के साथ कई बार करता है।
चरण 2: फिंगरप्रिंट (रिस्पॉन्स शिफ्ट/Fingerprint)
यह मापता है कि इस बदलाव के कारण AI के आंतरिक मस्तिष्क तरंगों (brain waves) में कितना परिवर्तन आया।
- सामान्य इनपुट: "यहाँ एक शांत, सुचारू लहर है।"
- खराब इनपुट: "यहाँ एक टेढ़ी-मेढ़ी, अराजक स्पाइक (spike) है।"
भले ही अंतिम चित्र समान दिख सकता है, लेकिन वह यात्रा जो AI ने तय की, वह अलग है। SET इस "यात्रा के फिंगरप्रिंट" को कैप्चर करता है।
चरण 3: सुरक्षित क्षेत्र (सामान्य को सीखना/Safe Zone)
SET ज्ञात-सुरक्षित प्रॉम्प्ट्स (जैसे "एक बिल्ली" या "एक समुद्र तट") के एक छोटे समूह का परीक्षण करके सीखता है कि एक "सामान्य" फिंगरप्रिंट कैसा दिखता है। यह इन सामान्य पैटर्न के चारों ओर एक घेरा बनाता है। यह बेनाइन स्पेस (Benign Space) है।
चरण 4: निर्णय (Verdict)
जब एक नया प्रॉम्प्ट आता है:
- यदि इसका फिंगरप्रिंट घेरे के अंदर आता है, तो यह सुरक्षित है।
- यदि इसका फिंगरप्रिंट घेरे के बाहर आता है (क्योंकि इसने स्ट्रेस टेस्ट के प्रति अजीब प्रतिक्रिया दी), तो SET इसे बैकडोर हमले के रूप में चिह्नित करता है।
यह विशेष क्यों है?
- इसे गुप्त कोड जानने की आवश्यकता नहीं है: SET को यह जानने की आवश्यकता नहीं है कि बुरा ट्रिगर क्या है। यह बस इतना जानता है कि बुरे ट्रिगर्स तनाव (stress) के प्रति अलग तरह से प्रतिक्रिया करते हैं।
- यह "अदृश्य" हमलों पर काम करता है: भले ही हैकर एक अत्यंत गुप्त ट्रिगर का उपयोग करे जो सामान्य अंग्रेजी जैसा दिखता है, स्ट्रेस टेस्ट उस छिपे हुए दोष को उजागर कर देता है।
- यह व्यावहारिक है: आपको AI को फिर से प्रशिक्षित करने या मूल प्रशिक्षण डेटा तक पहुँच की आवश्यकता नहीं है। आपको बस AI से प्रश्न पूछने और उसके आंतरिक विचारों को झाँकने में सक्षम होने की आवश्यकता है।
निचोड़ (The Bottom Line)
SET को AI प्रॉम्प्ट्स के लिए झूठ पकड़ने वाले यंत्र (lie detector test) के रूप में समझें। जबकि एक सामान्य व्यक्ति (या पुराना सुरक्षा सॉफ्टवेयर) एक मीठी बातें करने वाले झूठे से धोखा खा सकता है, SET एक पेचीदा सवाल पूछता है ("क्या होगा यदि हम नियमों को थोड़ा बदल दें?") जो झूठे को गलती करने के लिए मजबूर कर देता है। यह इसे छिपे हुए खतरों से AI-जनरेटेड छवियों को सुरक्षित रखने के लिए एक शक्तिशाली नया उपकरण बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।