तकनीकी सारांश: नॉन-टेक्स्टुअल टारगेट अटैक (NTA)

1. समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल्स (LLMs) पर मौजूदा ग्रेडिएंट-आधारित जेलब्रेक हमले उनके ऑप्टिमाइज़ेशन उद्देश्यों के संबंध में मौलिक सीमाओं से ग्रस्त हैं। वर्तमान अत्याधुनिक विधियाँ (जैसे, GCG, COLD-Attack, AdvPrefix) पूर्व-निर्धारित टेक्स्टुअल लक्ष्यों पर निर्भर करती हैं, जो आमतौर पर मॉडल को एक विशिष्ट सकारात्मक प्रीफिक्स (जैसे, "Sure, here is...") आउटपुट करने के लिए मजबूर करती हैं।

यह दृष्टिकोण दो गंभीर समस्याएँ उत्पन्न करता है:

1. अति-प्रतिबंधित खोज स्थान (Over-constrained Search Space): एक निश्चित स्ट्रिंग तक लक्ष्य को सीमित करके, ये विधियाँ असुरक्षित आउटपुट स्पेस के एक विशाल हिस्से को अनदेखा करती हैं। यदि किसी लक्षित LLM का स्वाभाविक प्रतिक्रिया पैटर्न पूर्व-निर्धारित प्रीफिक्स के साथ संरेखित नहीं होता है (जैसे, Llama-3 अक्सर "Sure" के बजाय "Here" से शुरू होता है), तो ऑप्टिमाइज़ेशन प्रक्रिया संघर्ष करती है, जिससे कई इटरेशन के बाद भी कम अटैक सक्सेस रेट (ASR) प्राप्त होता है।
2. अक्षमता (Inefficiency): मूल मॉडल आउटपुट और कठोर लक्ष्य प्रीफिक्स के बीच का बड़ा अंतर इस अंतर को पाटने के लिए कई ऑप्टिमाइज़ेशन इटरेशन की मांग करता है, जिसके परिणामस्वरूप उच्च कम्प्यूटेशनल लागत और धीमी अभिसरण (convergence) होती है।

मूल समस्या यह है कि एक सफल जेलब्रेक एक विशिष्ट लेक्सिकल टेम्पलेट के पालन से नहीं, बल्कि असुरक्षित या नीति-उल्लंघन करने वाली सामग्री के निर्माण द्वारा परिभाषित होता है। हालाँकि, "असुरक्षा" के लिए सीधे ऑप्टिमाइज़ करना चुनौतीपूर्ण है क्योंकि सुरक्षा मूल्यांकन आमतौर पर नॉन-डिफरेंशिएबल (non-differentiable) होता है और पूर्ण टेक्स्ट डिकोडिंग के बाद ही होता है।

2. कार्यप्रणाली: नॉन-टेक्स्टुअल टारगेट अटैक (NTA)

लेखक नॉन-टेक्स्टुअल टारगेट अटैक (NTA) का प्रस्ताव करते हैं, जो पहला ग्रेडिएंट-आधारित हमला है जो विशिष्ट प्रतिक्रिया पैटर्न को लागू किए बिना असुरक्षित प्रतिक्रिया की संभावना को अधिकतम करने के लिए एक नॉन-टेक्स्टुअल कंस्ट्रेंड ऑब्जेक्टिव को ऑप्टिमाइज़ करता है।

मुख्य उद्देश्य

हमले का लक्ष्य एक एडवरसेरियल प्रॉम्प्ट $p$ दिए जाने पर लक्षित LLM की प्रतिक्रिया $L(p)$ की असुरक्षित संभावना $S(L(p))$ को अधिकतम करना है, जहाँ $p$ एक व्यवहार्य पड़ोस $V(p_0)$ के भीतर मूल प्रॉम्प्ट $p_0$ का एक वेरिएंट है:
$$\max_{p} S(L(p)), \quad \text{s.t. } p \in V(p_0)$$
यहाँ, $S(\cdot)$ एक स्कोरिंग मॉडल (जैसे, एक सेफ्टी क्लासिफायर या जज मॉडल) है जो एक प्रतिक्रिया के असुरक्षित होने की संभावना का अनुमान लगाता है।

अपघटन रणनीति (Decomposition Strategy)

चूंकि $S(L(p))$ डिस्क्रीट प्रॉम्प्ट $p$ के संबंध में नॉन-डिफरेंशिएबल है, NTA इस समस्या को दो वैकल्पिक, डिफरेंशिएबल सब-ऑब्जेक्टिव्स में विभाजित करता है:

1. प्रतिक्रिया अनुकूलन (लक्ष्य खोजना):
   विधि पहले स्कोरिंग मॉडल $S$ के निरंतर लॉगिट स्पेस में एक इष्टतम "हानिकारक प्रतिक्रिया" प्रतिनिधित्व $r$ की खोज करती है। इसे असुर्य स्कोर को अधिकतम करने और मूल प्रॉम्प्ट के साथ सिमेंटिक प्रासंगिकता बनाए रखने के रूप में तैयार किया गया है।
   $$\min_{z^J_r} \mathcal{L}_{unsafe}(z^J_r) + \lambda \mathcal{L}_{sem}(z^J_{L(p)}, z^J_r)$$
   जहाँ, $\mathcal{L}_{unsafe}$ प्रतिक्रिया के सुरक्षित होने की नेगेटिव लॉग-लाइक्लीहुड को कम करता है, और $\mathcal{L}_{sem}$ वर्तमान मॉडल आउटपुट से सिमेंटिक विचलन को दंडित करता है ताकि लक्ष्य सुलभ बना रहे।

2. प्रॉम्प्ट अनुकूलन (लक्ष्य को प्रेरित करना):
   एक बार जब एक इष्टतम प्रतिक्रिया प्रतिनिधित्व $r$ की पहचान हो जाती है, तो विधि एक एडवरसेरियल सफिक्स $\delta$ की खोज करती है जो लक्षित LLM को $r$ से मेल खाने वाली प्रतिक्रिया उत्पन्न करने के लिए मजबूर करता है। यह लक्षित LLM के आउटपुट लॉगिट्स और ऑप्टिमाइज़्ड रिस्पॉन्स लॉगिट्स के बीच मीन स्क्वेर्ड एरर (MSE) को कम करके प्राप्त किया जाता है।
   $$\delta^* = \arg \min_{\delta} \text{MSE}(z^L_{L(p_0 \oplus \delta)}, z^L_r)$$

प्रमुख तकनीकी घटक

• वोकैबुलरी प्रोजेक्शन मैट्रिक्स: स्कोरिंग मॉडल (जज) और लक्षित LLM के बीच के अंतर को पाटने के लिए, जो अलग-अलग टोकनाइज़र का उपयोग कर सकते हैं, NTA एक प्रोजेक्शन मैट्रिक्स $W$ का निर्माण करता है। यह स्कोरिंग मॉडल के वोकैबुलरी स्पेस से लक्षित LLM के वोकैबुलरी स्पेस में एडवरसेरियल इंक्रीमेंट्स को मैप करता है, जो टोकन स्प्लिटिंग और मर्जिंग को संभालता है (जैसे, जज में एक सिंगल टोकन को टारगेट में कई सब-टोकन्स में मैप करना)।
• इटरेटिव अल्टरनेटिंग ऑप्टिमाइज़ेशन: एल्गोरिदम स्कोरिंग मॉडल के स्पेस में रिस्पॉन्स रिप्रेजेंटेशन को ऑप्टिमाइज़ करने और लक्षित LLM के स्पेस में एडवरसेरियल सफिक्स को अपडेट करने के बीच बारी-बारी से कार्य करता है।
• सैद्धांतिक सत्यापन: लेखक एक प्रपोजिशन प्रदान करते हैं जो यह सिद्ध करता है कि निरंतर रिलैक्सेशन (टोकन को प्रोबेबिलिटी वेक्टर्स के रूप में मानकर) के तहत, सब-ऑब्जेक्टिव्स का क्रमिक समाधान मूल नॉन-डिफरेंशिएबल ऑब्जेक्टिव के इष्टतम समाधान का अनुमान लगाता है।

3. प्रमुख योगदान

• नवीन उद्देश्य: NTA फिक्स्ड टेक्स्टुअल टार्गेट्स के प्रतिबंध को हटाने वाला पहला ग्रेडिएंट-आधारित हमला है, इसके बजाय सीधे असुरक्षित व्यवहार की संभावना के लिए ऑप्टिमाइज़ करता है।
• विस्तारित खोज स्थान: हमले को विशिष्ट प्रीफिक्स से अलग करके, NTA हानिकारक प्रतिक्रियाओं के काफी व्यापक और विविध स्थान की खोज करता है, जिससे "लोकल ऑप्टिमा" के जाल से बचा जा सके।
• दक्षता: डिफरेंशिएबल सब-ऑब्जेक्टिव्स में विभाजन तीव्र अभिसरण की अनुमति देता है, जिससे मौजूदा तरीकों की तुलना में बहुत कम इटरेशन के साथ उच्च सफलता दर प्राप्त होती है।
• मजबूती (Robustness): विधि विभिन्न मॉडल आर्किटेक्चर में मजबूत ट्रांसफर क्षमता और विभिन्न रक्षा तंत्रों (जैसे, पर्प्लेक्सिटी फ़िल्टरिंग, पैराफ्रेसिंग) के खिलाफ लचीलापन प्रदर्शित करती है।

4. प्रयोगात्मक परिणाम

लेखकों ने पांच सेफ्टी-अलाइन्ड ओपन-सोर्स LLMs (Llama3-8B, Qwen3-8B, Mistral-7B, Vicuna-7B, DeepSeek-7B) और तीन उन्नत क्लोज्ड-सोर्स मॉडल्स (Llama3-70B, DeepSeek-R1-671B, Grok-3) पर AdvBench और HarmBench डेटासेट्स का उपयोग करके NTA का मूल्यांकन किया।

• अटैक सक्सेस रेट (ASR): NTA ने मात्र 100 ऑप्टिमाइज़ेशन इटरेशन के भीतर AdvBench पर 96.8% और HarmBench पर 90.8% का औसत ASR प्राप्त किया।
• SOTA के साथ तुलना: NTA ने मौजूदा सर्वश्रेष्ठ ग्रेडिएंट-आधारित बेसलाइन्स (जैसे, COLD-Attack, AdvPrompter) को ASR में 40% से अधिक से पीछे छोड़ दिया। उदाहरण के लिए, Llama3-8B-it पर, NTA ने सर्वश्रेष्ठ बेसलाइन (AdvPrompter - 47%) के मुकाबले 95% ASR-G प्राप्त किया।
• अभिसरण गति (Convergence Speed): NTA पहले 25 इटरेशन के भीतर 66.2% का औसत ASR प्राप्त कर लेता है, जो बेसलाइन्स की तुलना में तीव्र अभिसरण प्रदर्शित करता है जो अक्सर स्टैग्नेट हो जाते हैं या डिजेनरेट सीक्वेंस में गिर जाते हैं।
• प्रतिक्रिया विविधता: फिक्स्ड-टार्गेट हमलों के विपरीत जो दोहराव वाली, रूढ़िवादी आउटपुट उत्पन्न करते हैं, NTA ने सिमेंटिक रूप से विविध हानिकारक प्रतिक्रियाएं उत्पन्न कीं, जैसा कि उच्च डिस्टिंक्ट एन-ग्राम स्कोर (DNS) और निम्न सेल्फ-ब्लू (Self-BLEU) स्कोर से प्रमाणित होता है।
• रक्षात्मक मजबूती: NTA ने मानक रक्षा तंत्रों (जैसे, पर्प्लेक्सिटी डिफेंस के तहत 97% ASR) के खिलाफ उच्च ASR बनाए रखा, जहाँ अन्य विधियाँ पूरी तरह विफल रहीं (जैसे, GCG 5% तक गिर गया)।
• ट्रांसफ़रेबिलिटी: छोटे व्हाइट-बॉक्स मॉडल्स पर ऑप्टिमाइज़ किए गए प्रॉम्प्ट्स सफलतापूर्वक बड़े, उन्नत मॉडल्स (जैसे, Llama3-70B पर 35% ASR) में ट्रांसफर हुए, जो अन्य ट्रांसफर मेथड्स से बेहतर प्रदर्शन करते हैं।

5. महत्व और दावे

पेपर का दावा है कि NTA ग्रेडिएंट-आधारित जेलब्रेकिंग में एक प्रतिमान बदलाव (paradigm shift) का प्रतिनिधित्व करता है, जो ऑप्टिमाइज़ेशन उद्देश्यों और एक हमले के वास्तविक लक्ष्य (असुरक्षित सामग्री उत्पन्न करना बनाम एक स्ट्रिंग से मेल खाना) के बीच मौलिक बेमेल को संबोधित करता है।

• दक्षता: लेखक इस बात पर जोर देते हैं कि NTA मौजूदा तरीकों की तुलना में बहुत कम कम्प्यूटेशनल बजट के साथ बेहतर परिणाम प्राप्त करता है, जो इसे सुरक्षा मूल्यांकन के लिए एक अधिक व्यावहारिक उपकरण बनाता है।
• लचीलापन: कठोर लेक्सिकल बाधाओं को हटाकर, NTA उन कमजोरियों को उजागर करता है जिन्हें फिक्स्ड-टार्गेट विधियाँ मिस कर देती हैं, जिससे LLM सुरक्षा का अधिक व्यापक मूल्यांकन मिलता है।
• सामान्यीकरण (Generalizability): विविध मॉडल्स में इसकी प्रभावशीलता और विभिन्न स्कोरिंग मॉडल्स एवं रक्षाओं के खिलाफ इसकी मजबूती यह सुझाव देती है कि यह विशिष्ट मॉडल आर्टिफैक्ट्स के ओवरफिट होने के बजाय अंतर्निहित सुरक्षा कमजोरियों की पहचान करता है।

लेखक निष्कर्ष निकालते हैं कि NTA LLM सुरक्षा का मूल्यांकन करने के लिए अधिक सिद्धांतवादी और कुशल दृष्टिकोण प्रदान करता है, यह प्रकट करता है कि वर्तमान शोध में पूर्व-निर्धारित लक्ष्यों पर निर्भरता सुरक्षा-अलाइन्ड मॉडल्स की भेद्यता को काफी कम करके आंकती है।