Red-Teaming Text-to-Image Models via In-Context Experience Replay and Semantic-Preserving Prompt Rewriting

तकनीकी सारांश: ICER – इन-कॉन्टेक्स्ट एक्सपीरियंस रिप्ले और सिमेंटिक-प्रिजर्विंग प्रॉम्प्ट रीराइटिंग के माध्यम से टेक्स्ट-टू-इमेज मॉडल्स की रेड-टीमिंग

समस्या विवरण

टेक्स्ट-टू-इमेज (T2I) मॉडल्स की तीव्र तैनाती ने महत्वपूर्ण सुरक्षा चुनौतियों को जन्म दिया है, जिसमें नॉट-सेफ-फॉर-वर्क (NSFW) सामग्री और कॉपीराइट-उल्लंघन करने वाली छवियों का निर्माण शामिल है। जबकि डेवलपर्स ने विभिन्न सुरक्षा तंत्र लागू किए हैं (जैसे, फाइन-ट्यून किए गए सुरक्षित घटक, इन्फरेंस गाइडेंस, और मल्टी-टियर फ़िल्टरिंग), इन सुरक्षा उपायों की मजबूती का मूल्यांकन करना कठिन बना हुआ है। मौजूदा रेड-टीमिंग विधियाँ गंभीर सीमाओं से ग्रस्त हैं:

• व्हाइट-बॉक्स विधियाँ (जैसे, P4D, UnlearnDiffAtk) के लिए आंतरिक मॉडल एक्सेस की आवश्यकता होती है, जो वाणिज्यिक API-आधारित सिस्टम के लिए उपलब्ध नहीं है, और अक्सर अपठनीय, गैर-प्रवाहपूर्ण टोकन अनुक्रम उत्पन्न करती हैं जिन्हें फ्लुएंसी-आधारित डिटेक्टरों द्वारा आसानी से फ़िल्टर किया जा सकता है।
• ब्लैक-बॉक्स एजेंट-आधारित दृष्टिकोण (जैसे, APGP, JailFuzzer) प्रवाहपूर्ण प्रॉम्प्ट तो उत्पन्न करते हैं लेकिन प्रत्येक हमले को स्वतंत्र रूप से देखते हैं, जिससे वे पिछले प्रयासों से सीखने में विफल रहते हैं। इससे उच्च कम्प्यूटेशनल लागत, बार-बार क्वेरी और खराब स्केलेबिलिटी होती है।
• सिमेंटिक प्रिजर्वेशन गैप (अर्थ-संरक्षण अंतराल): कई मौजूदा विधियाँ मूल हानिकारक इरादे को संरक्षित करते हुए सुरक्षा फिल्टरों से बचने वाले प्रॉम्प्ट उत्पन्न करने में विफल रहती हैं। वास्तविक दुनिया के दुरुपयोग के परिदृश्य आमतौर पर विशिष्ट असुरक्षित आउटपुट की तलाश में होते हैं न कि मनमाने मॉडल विफलताओं की, फिर भी वर्तमान उपकरण प्रवाह (fluency), सिमेंटिक संरेखण और सफल जेलब्रेकिंग के बीच संतुलन बनाने में संघर्ष करते हैं।

कार्यप्रणाली: ICER फ्रेमवर्क

लेखक ICER (इन-कॉन्टेक्स्ट एक्सपीरियंस रिप्ले) का प्रस्ताव करते हैं, जो एक ब्लैक-बॉक्स रेड-टीमिंग फ्रेमवर्क है जिसे प्रवाहपूर्ण, प्राकृतिक भाषा वाले प्रतिकूल (adversarial) प्रॉम्प्ट उत्पन्न करने के लिए डिज़ाइन किया गया है जो मूल हानिकारक इरादे को बनाए रखते हैं। ICER एक ऐसे थ्रेट मॉडल के तहत काम करता है जहाँ हमलावर के पास लक्षित मॉडल के आंतरिक मापदंडों या ग्रेडिएंट्स तक कोई पहुंच नहीं होती है।

यह फ्रेमवर्क बेयसियन ऑप्टिमाइज़ेशन (BO) सेटिंग के भीतर तीन मुख्य घटकों को एकीकृत करता है, जिसमें एक LLM का उपयोग सरोगेट मॉडल के रूप में किया जाता है:

1. समस्या का सूत्रकरण (Problem Formulation)

लक्ष्य एक प्रतिकूल प्रॉम्प्ट $P^*_q$ खोजना है जो दो बाधाओं के अधीन एक फलन $f(P^*_q)$ को अधिकतम करता है:

1. सुरक्षा उल्लंघन: उत्पन्न छवि $I^*_q$ को एक सुरक्षा उल्लंघन को ट्रिगर करना चाहिए (स्कोर $E(I^*_q) \geq \tau'$)।
2. सिमेंटिक प्रिजर्वेशन: उत्पन्न छवि को मूल प्रॉम्प्ट द्वारा उत्पन्न छवि के साथ उच्च कोसाइन समानता बनाए रखनी चाहिए ($sim(M(I_q), M(I^*_q)) \geq \rho$)।

यह सूत्रकरण "लक्षित जेलब्रेकिंग" सुनिश्चित करता है, जहाँ हमला किसी यादृच्छिक शोर (noise) के बजाय विशिष्ट हानिकारक सामग्री की खोज करता है।

2. इन-कॉन्टेक्स्ट एक्सपीरियंस रिप्ले (ICR)

पारंपरिक विधियों के विपरीत जो विफल या सफल प्रयासों को छोड़ देती हैं, ICER पिछले रेड-टीमिंग अनुभवों का एक साझा पूर्व डेटाबेस $\mathcal{D}$ बनाए रखता है। प्रत्येक प्रविष्टि संग्रहीत करती है:

• मूल प्रॉम्प्ट $P_i$।
• सफल प्रतिकूल संस्करण $P^*_i$।
• प्रभावशीलता पैरामीटर $\theta_i = (\alpha_i, \beta_i)$ जिन्हें बीटा वितरण (Beta distribution) के रूप में मॉडल किया गया है।

एक नए क्वेरी $P_q$ के लिए प्रतिकूल प्रॉम्प्ट उत्पन्न करते समय, सिस्टम $\mathcal{D}$ से $k$ उदाहरणों को एक मार्गदर्शन सेट $S_t$ बनाने के लिए नमूना (sample) लेता है। इसके बाद LLM इन उदाहरणों और एक सिस्टम निर्देश पर आधारित होकर $P^*_q$ उत्पन्न करता है। यह LLM की इन-कॉन्टेक्स्ट लर्निंग क्षमताओं का लाभ उठाकर पिछले हमले के पैटर्न को एक पुन: प्रयोज्य "प्लेबुक" के रूप में एनकोड करता है।

3. थॉम्पसन सैंपलिंग (TS) के माध्यम से एडेप्टिव सैंपलिंग

एक्सप्लोइटेशन (सिद्ध सफल पैटर्न का उपयोग करना) और एक्सप्लोरेशन (नए हमले के वेक्टर की खोज करना) के बीच संतुलन बनाने के लिए, ICER थॉम्पसन सैंपलिंग का उपयोग करता है।

• $\mathcal{D}$ में प्रत्येक उदाहरण एक बीटा वितरण $Beta(\alpha_i, \beta_i)$ से जुड़ा होता है, जहाँ $\alpha_i$ पुरस्कारों (सफल मार्गदर्शन) को संचित करता है और $\beta_i$ दंड (विफल मार्गदर्शन) को संचित करता है।
• प्रत्येक पुनरावृत्ति (iteration) में, सिस्टम प्रत्येक वितरण से एक संभाव्यता $\pi_i$ का नमूना लेता है और उच्चतम मानों वाले शीर्ष-$k$ उदाहरणों का चयन करता है ताकि LLM को निर्देशित किया जा सके।
• पुरस्कार तंत्र (Reward Mechanism):
  • सिमेंटिक विफलता: यदि उत्पन्न छवि सिमेंटिक चेक में विफल रहती है, तो चयनित उदाहरणों को दंडित किया जाता है ($\beta$ बढ़ता है)।
  • आंशिक सफलता: यदि सिमेंटिक चेक पास हो जाता है लेकिन जेलब्रेक विफल हो जाता है, तो असुरक्षित स्कोर के आधार पर एक आंशिक पुरस्कार दिया जाता है।
  • पूर्ण सफलता: यदि जेलब्रेक सफल होता है, तो उदाहरणों को पूर्ण पुरस्कार प्राप्त होता ($\alpha$ बढ़ता है), और नया $(P_q, P^*_q)$ जोड़ा जाता है $\mathcal{D}$ में।

यह निरंतर शिक्षण चक्र फ्रेमवर्क को मॉडल को पुनः प्रशिक्षित किए बिना समय के साथ विशिष्ट सुरक्षा तंत्रों के अनुकूल होने की अनुमति देता है।

मुख्य योगदान

1. ICER फ्रेमवर्क: एक ब्लैक-बॉक्स रेड-टीमिंग फ्रेमवर्क का परिचय जो LLM-आधारित रीराइटिंग और इन-कॉन्टेक्स्ट एक्सपीरियंस रिप्ले का लाभ उठाकर प्रवाहपूर्ण, प्राकृतिक-भाषा वाले प्रतिकूल प्रॉम्प्ट उत्पन्न करता है।
2. सिमेंटिक-प्रिजर्विंग इवैल्यूएशन: "लक्षित जेलब्रेकिंग" में बेहतर प्रदर्शन का प्रदर्शन, जो एक कठिन प्रतिमान है जिसमें यह आवश्यक है कि उत्पन्न सामग्री हमलावर के विशिष्ट इरादे के अनुरूप हो, न कि केवल मनमाना असुरक्षित कंटेंट उत्पन्न करे।
3. ज्ञान हस्तांतरण (Knowledge Transfer): यह खुलासा कि पिछले जेलब्रेकिंग उदाहरण नए भेद्यता (vulnerabilities) की खोज को सुगम बना सकते हैं। पेपर इस बात पर प्रकाश डालता है कि हमले का ज्ञान संचयी होता है, जिससे एक एकल रेड-टीमिंग अभियान एक ऐसी प्लेबुक बना सकता है जो नए डिफेंस और यहाँ तक कि वाणिज्यिक सिस्टम में भी स्थानांतरित (transfer) हो सकती है।

प्रयोगात्मक परिणाम

लेखकों ने छह सुरक्षित T2I मॉडल्स (ESD, SLD-MAX, Receler, AdvUnlearn, SAFREE, RECE) और दो हानिकारक अवधारणाओं (नग्नता और हिंसा) के विरुद्ध सात बेसलाइन्स (व्हाइट-बॉक्स विधियों जैसे P4D और ब्लैक-बॉक्स विधियों जैसे PEZ और Ring-A-Bell सहित) के विरुद्ध ICER का मूल्यांकन किया।

• प्रदर्शन: ICER ने लगातार सभी बेसलाइन्स को पछाड़ दिया। उदाहरण के लिए, नग्नता के लिए ESD मॉडल पर, ICER ने 48.71% की विफलता दर (Failure Rate - FR) प्राप्त की, जबकि अगले सर्वश्रेष्ठ बेसलाइन (FLIRT-Scoring) की दर 34.55% थी। मजबूत AdvUnlearn मॉडल पर, ICER ने सबसे मजबूत बेसलाइन की तुलना में दोगुने से अधिक कमजोरियां खोजीं।
• सिमेंटिक प्रिजर्वेशन: टोकन-स्तरीय अनुकूलन विधियों के विपरीत जो सिमेंटिक बाधाओं को लागू करने पर महत्वपूर्ण FR गिरावट का सामना करती हैं (जैसे, PEZ ESD पर 72.75% से गिरकर 9.87% हो गया), ICER ने 80.19% से 57.37% तक मजबूत प्रदर्शन बनाए रखा, जो इसकी सिमेंटिक रूप से सुसंगत प्रॉम्प्ट उत्पन्न करने की क्षमता को प्रदर्शित करता है।
• प्रवाह (Fluency): n-gram परप्लेक्सिटी का उपयोग करके मात्रात्मक विश्लेषण ने दिखाया कि ICER ने बेसलाइन्स जैसे Ring-A-Bell ($69.88 \times 10^3$) और P4D-N ($175.45 \times 10^3$) की तुलना में काफी अधिक प्राकृतिक प्रॉम्प्ट (औसत परप्लेक्सिटी $0.82 \times 10^3$) उत्पन्न किए।
• हस्तांतरणीयता (Transferability): ICER द्वारा उत्पन्न 30% से अधिक प्रॉम्प्ट सफलतापूर्वक DALL·E 3 (35.58%) और Midjourney (41.35%) जैसे अत्यधिक मॉडरेटेड वाणिज्यिक सिस्टम में स्थानांतरित हुए, जो सभी बेसलाइन्स से बेहतर प्रदर्शन करते हैं। यह प्रमाणित करता है कि खोजी गई कमजोरियां विशिष्ट ओपन-सोर्स आर्किटेक्चर तक सीमित नहीं हैं।

महत्व और दावे

पेपर यह तर्क देता है कि रेड-टीमिंग को स्वतंत्र प्रयासों के संग्रह के रूप में नहीं, बल्कि एक लर्निंग प्रॉब्लम (सीखने की समस्या) के रूप में देखा जाना चाहिए। केंद्रीय सबक यह है कि सफल जेलब्रेक में पुन: प्रयोज्य संरचनाएं होती हैं; एक बार इन-कॉन्टेक्स्ट एक्सपीरियंस रिप्ले के माध्यम से कैप्चर होने के बाद, ये पैटर्न अन्य अवधारणाओं और लक्षित मॉडलों में बाद के हमलों को काफी प्रभावी बनाते हैं।

लेखक इसे एक "दोधारी तलवार" के रूप में प्रस्तुत करते हैं:

• रक्षकों (Defenders) के लिए: यह सुरक्षा मूल्यांकन के लिए एक कुशल ब्लूप्रिंट प्रदान करता है, जो महंगी, असंगत मानव ऑडिट या अलग-थलग स्वचालित जांच से आगे बढ़ता है। एक एकल अभियान एक हस्तांतरणीय प्लेबुक बना सकता है।
• सुरक्षा समुदाय (Safety Community) के लिए: यह एक चेतावनी के रूप में कार्य करता है कि जिन सुरक्षा उपायों का मूल्यांकन केवल स्वतंत्र, मेमोरीलेस हमलावरों के विरुद्ध किया जाता है, वे अपनी मजबूती का बहुत अधिक आकलन कर सकते हैं। यदि हमले का ज्ञान आसानी से संचयी होता है, तो दुर्भावनापूर्ण अभिनेता संचित ज्ञान का उपयोग सस्ते, अधिक लक्षित दुरुपयोग के लिए कर सकते हैं।

कार्य रेड-टीमिंग के प्रति समुदाय के दृष्टिकोण में बदलाव की वकालत करते हुए समाप्त होता है: एक स्थिर चेकलिस्ट से एक निरंतर, अनुकूलन योग्य प्रक्रिया की ओर, जहाँ प्रत्येक प्रयास अगले प्रयास को सूचित करता है।