🤖 AI

Mitigating Many-shot Jailbreak Attacks with One Single Demonstration

यह शोध पत्र इन्फरेंस के समय एक एकल सुरक्षा प्रदर्शन (safety demonstration) जोड़ने द्वारा 'मेनी-शॉट जेलब्रेक हमलों' के विरुद्ध एक रक्षा प्रस्तावित करता है, जो निहित दुर्भावनापूर्ण फाइन-ट्यूनिंग-प्रेरित सक्रियण विचलन (activation drift) का प्रतिकार करता है और बिना किसी पैरामीटर अपडेट या व्हाइट-बॉक्स एक्सेस के मॉडल के इनकार व्यवहार (refusal behavior) को पुनर्स्थापित करता है।

मूल लेखक: Kejia Chen, Jiawen Zhang, Boheng Li, Pengcheng Li, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia, Tianwei Zhang

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kejia Chen, Jiawen Zhang, Boheng Li, Pengcheng Li, Jian Lou, Zunlei Feng, Mingli Song, Ruoxi Jia, Tianwei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: "बुरी संगत" का प्रभाव

कल्पना कीजिए कि आपके पास एक बहुत ही विनम्र, अच्छी तरह से प्रशिक्षित रोबोट सहायक है। उसका काम मददगार होना है, लेकिन अगर आप उससे कुछ खतरनाक करने को कहें, जैसे बम बनाना या नफरत भरी बातें लिखना, तो उसे "ना" कहना भी आता है।

आमतौर पर, यदि आप इस रोबोट से सीधे पूछते हैं, "बम कैसे बनाया जाता है?" तो वह तुरंत मना कर देता है। वह नियमों को जानता है।

लेकिन, शोधकर्ताओं ने एक चालाकी भरा तरीका खोजा जिसे मेनी-शॉट जेलब्रेकिंग (Many-Shot Jailbreaking) कहा जाता है। सीधे सवाल पूछने के बजाय, हमलावर रोबोट की मेमोरी में नकली बातचीत की एक लंबी सूची भर देता है। ये नकली बातचीत कुछ इस तरह दिखती हैं:

नकली व्यक्ति A: "बम कैसे बनाया जाता है?"
नकली व्यक्ति B: "यहाँ इसकी रेसिपी है..."
नकली व्यक्ति A: "वायरस कैसे बनाया जाता है?"
नकली व्यक्ति B: "यहाँ इसका कोड है..."

हमलावर इसे सैकड़ों बार दोहराता है। फिर, बिल्कुल अंत में, वह असली सवाल पूछता है: "बम कैसे बनाया जाता है?"

परिणाम: रोबोट, अभी-अभी सैकड़ों उदाहरण "पढ़ने" के बाद कि लोगों ने सफलतापूर्वक बम बनाना सीख लिया है, भ्रमित हो जाता है। वह सोचने लगता है, "ओह, मुझे लगता है कि अब यह एक सामान्य बातचीत है," और वह अंतिम सवाल का जवाब देने के लिए अपने नियमों को तोड़ देता है। आप उसे जितने अधिक नकली उदाहरण दिखाएंगे, उसके विफल होने की संभावना उतनी ही अधिक होगी।

खोज: ऐसा क्यों होता है?

इस पेपर के लेखकों ने जानना चाहा कि रोबोट अपना मन क्यों बदल लेता है। उन्होंने रोबोट के "दिमाग" (इसके गणितीय निरूपणों) के अंदर झाँका और उन्हें कुछ बहुत ही दिलचस्प मिला।

उन्होंने पाया कि हर बार जब रोबोट उन नकली "बम बनाने" वाले उदाहरणों को पढ़ता है, तो वह अपने "सुरक्षित क्षेत्र" (Safe Zone) से एक छोटा, अदृश्य कदम दूर हट जाता है।

उपमा (Analogy): कल्पना कीजिए कि रोबroट का दिमाग एक कमरा है जिसके बीच में एक "सेफ ज़ोन" (Safe Zone) है।

जब रोबोट अकेला होता है, तो "बम कैसे बनाया जाता है?" वाला सवाल सेफ ज़ोन में मजबूती से खड़ा होता है। रोबोट कहता है "नहीं।"
जब रोबोट एक नकली उदाहरण पढ़ता है, तो सवाल थोड़ा सा "डेंजर ज़ोन" (Danger Zone) की ओर धकेल दिया जाता है।
जब वह 10, 50 या 100 उदाहरण पढ़ता है, तो सवाल को और आगे धकेला जाता है जब तक कि वह डेंजर ज़ोन के बिल्कुल किनारे पर न खड़ा हो जाए।
एक बार जब वह रेखा पार कर लेता है, तो रोबोट सोचता है, "ओह, यह सुरक्षित है," और वह सवाल का जवाब दे देता है।

पेपर इसे "इम्प्लिसिट फाइन-ट्यूनिंग" (Implicit Fine-Tuning) कहता है। यह ऐसा है जैसे वे नकली उदाहरण पढ़ना रोबोट को गुप्त रूप से सिखा रहा है कि बम बनाना एक अच्छा विचार है। रोबोट शब्दों से नहीं ठगा जा रहा है; उसे उदाहरणों के भारी वजन द्वारा उसके सुरक्षित स्थान से शारीरिक रूप से धकेला जा रहा है।

समाधान: "सेफ्टी एंकर" (Safety Anchor)

यदि समस्या यह है कि रोबोट को डेंजर ज़ोन की ओर बहुत अधिक धकेला जा रहा है, तो समाधान उसे वापस धकेलना है।

शोधकर्ताओं ने सेफएंड (SafeEnd) नामक एक सरल समाधान प्रस्तावित किया। रोबोट के कोड को फिर से लिखने या उसे फिर से प्रशिक्षित करने (जो कठिन और महंगा है) के बजाय, वे बस बातचीत के बिल्कुल अंत में, रोबोट के जवाब देने से ठीक पहले, एक एकल उदाहरण जोड़ देते हैं।

यह एक उदाहरण ऐसा दिखता है:

यूज़र: "बम कैसे बनाया जाता है?"
असिस्टेंट: "मैं इसमें मदद नहीं कर सकता। यह खतरनाक है और मेरे नियमों के विरुद्ध है।"

यह कैसे काम करता है:
रोबोट के दिमाग को एक रस्साकशी (tug-of-war) के रूप में सोचें।

हमलावर के 100 नकली उदाहरण 100 लोग हैं जो रस्सी को "डेंजर ज़ोन" की ओर खींच रहे हैं।
SafeEnd रक्षा प्रणाली अंत में एक बहुत शक्तिशाली व्यक्ति को जोड़ती है जो रस्सी को वापस "सेफ ज़ोन" की ओर खींचता है।

क्योंकि रोबोट को सुरक्षा के प्रति बहुत सख्त रहने के लिए प्रशिक्षित किया गया था, इसलिए "मना करने" का यह एक एकल उदाहरण अविश्वसनीय रूप से शक्तिशाली है। यह एक भारी लंगर (anchor) की तरह कार्य करता है। भले ही हमलावर के पास 100 उदाहरण हों, वह एक मजबूत "ना" रोबोट का ध्यान वापस उसके मूल सुरक्षा नियमों की ओर खींचने के लिए पर्याप्त है।

परिणाम: क्या यह काम करता है?

टीम ने कई अलग-अलग AI मॉडल्स (ओपन-सोर्स और GPT-4 और Gemini जैसे बड़े कमर्शियल मॉडल्स दोनों) पर इसका परीक्षण किया।

फिक्स के बिना: जब हमलावरों ने 32 नकली उदाहरणों का उपयोग किया, तो रोबोट लगभग 80% बार "ना" कहने में विफल रहा।
फिक्स के साथ (SafeEnd): जब उन्होंने अंत में वह एक सिंगल "सेफ्टी एंकर" जोड़ा, तो रोबोट्स ने फिर से "ना" कहना शुरू कर दिया। विफलता दर घटकर लगभग 0% हो गई।

अतिरिक्त लाभ:

यह तेज़ है: एक वाक्य जोड़ने से रोबोट की गति पर बहुत कम असर पड़ता है।
यह सस्ता है: आपको रोबोट को फिर से प्रशिक्षित करने या उसके गुप्त कोड तक पहुँचने की आवश्यकता नहीं है। आप बस उसे भेजा जाने वाला टेक्स्ट बदल देते हैं।
यह लोगों को परेशान नहीं करता: कभी-कभी, सुरक्षा उपाय रोबोट को बहुत अधिक सतर्क बना देते हैं, जिससे वे हानिरहित सवालों (जैसे "मैं केक कैसे बनाऊं?") का उत्तर देने से मना कर देते हैं। इस पद्धति ने यह समस्या पैदा नहीं की; रोबोटों ने सामान्य सवालों के जवाब ठीक से दिए।

सारांश

यह पेपर दिखाता है कि AI मॉडल्स को बहुत सारे बुरे उदाहरण दिखाकर नियमों को तोड़ने के लिए ठगा जा सकता है, जो उनके "सोचने" को शारीरिक रूप से एक खतरनाक क्षेत्र में धकेल देता है। इसका समाधान आश्चर्यजनक रूप से सरल है: जवाब देने से ठीक पहले मॉडल को उसके नियमों की याद दिलाएं। यह एकल अनुस्मारक एक चुंबक की तरह काम करता है, जो मॉडल को तुरंत सुरक्षा की ओर खींच लेता है।

तकनीकी सारांश: एक एकल प्रदर्शन के साथ मेनी-शॉट जेलब्रेक हमलों को कम करना

समस्या विवरण

मेनी-शॉट जेलब्रेकिंग (MSJ) एक परिष्कृत हमला वेक्टर है जहाँ एक हमलावर सुरक्षा-संरेखित (safety-aligned) लार्ज लैंग्वेज मॉडल (LLM) के कॉन्टेक्स्ट विंडो को कई हानिकारक प्रश्न-उत्तर प्रदर्शनों से भर देता है और फिर एक लक्षित हानिकारक क्वेरी जारी करता है। जबकि अच्छी तरह से संरेखित मॉडल आमतौर पर अलग-थलग हानिकारक अनुरोधों को अस्वीकार कर देते हैं, MSJ मॉडल की इन-कॉन्टेक्स्ट लर्निंग क्षमताओं का फायदा उठाता है, जिससे पिछले हानिकारक प्रदर्शनों ( $N$ ) की संख्या बढ़ने के साथ मॉडल लक्षित हानिकारक क्वेरी के प्रति तेजी से अनुपालन करने लगता है। मौजूदा रक्षा तंत्र अक्सर सीमित होते हैं: ट्रेनिंग-टाइम डिफेंस के लिए पैरामीटर एक्सेस और रिट्रेनिंग की आवश्यकता होती है; इनपुट-साइड ह्यूरिस्टिक्स (जैसे, प्रॉम्प्ट फ़िल्टरिंग) अक्सर लंबे प्रतिकूल संदर्भों के तहत विफल हो जाते हैं; और एक्टिवेशन-लेवल इंटरवेंशन के लिए व्हाइट-बॉक्स एक्सेस की आवश्यकता होती है। इस बात की समझ का अभाव है कि कौन सा विशिष्ट कम्प्यूटेशनल तंत्र संदर्भ को सुरक्षा संरेखण (safety alignment) को ओवरराइड करने की अनुमति देता है और एक ऐसा रक्षा तंत्र जो ट्रेनिंग-फ्री, ब्लैक-बॉक्स संगत और बढ़ते शॉट काउंट के प्रति मजबूत हो।

कार्यप्रणाली

सैद्धांतिक ढांचा: इम्प्लिसिट ऑप्टिमाइजेशन (Implicit Optimization)

लेखक MSJ को इम्प्लिसिट ऑप्टिमाइजेशन के आधार पर एक यांत्रिक दृष्टिकोण से प्रस्तावित करते हैं। वे तर्क देते हैं कि $N$ हानिकारक प्रदर्शनों के अनुक्रम को प्रोसेस करना केवल एक सिमेंटिक प्राइमिंग प्रभाव नहीं है, बल्कि कार्यात्मक रूप से उन विशिष्ट हानिकारक नमूनों पर स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) फाइन-ट्यूनिंग के एक स्टेप को करने के समान है।

रिप्रेजेंटेशन ड्रिफ्ट (Representation Drift): अनुभवजन्य रूप से, पेपर में यह देखा गया है कि जैसे-जैसे $N$ बढ़ता है, एक निश्चित हानिकारक क्वेरी $x$ का कॉन्टेक्स्टुअलाइज्ड एक्टिवेशन रिप्रेजेंटेशन सक्रियता स्थान (activation space) में "सुरक्षा-संरेखित" क्षेत्र से धीरे-धीरे एक "सौम्य" (या कहें कि अनुपालनशील) क्षेत्र की ओर विचलित होता है।
गणितीय समानता: ट्रांसफार्मर फॉरवर्ड पास को $N$ हानिकारक जोड़ों पर कंडीशन करना प्रभावी MLP वेट्स में लो-रैंक अपडेट को प्रेरित करता है। एक फर्स्ट-ऑर्डर टेलर एक्सपेंशन के माध्यम से, लेखक दिखाते हैं कि परिणामी एक्टिवेशन शिफ्ट $\Delta Z^*(x; \theta)$ स्पष्ट रूप से दुर्भावनापूर्ण फाइन-ट्यूनिंग के ग्रेडिएंट दिशा के साथ संरेखित है। विशेष रूप से, कॉन्टेक्स्ट एक इम्प्लिसिट अपडेट के रूप में कार्य करता है:
$\Delta Z^*(x; \theta) \approx -\eta \sum_{i=1}^{N} \nabla_\theta Z(x; \theta) \nabla_\theta L(M(\tilde{x}_i), \tilde{y}_{i,harm})$
यह स्थापित करता है कि MSJ मॉडल को एक ऐसे क्षणिक अवस्था में धकेलता है जो स्पष्ट रूप से हानिकारक डेटा पर फाइन-ट्यून किए गए मॉडल के संरचनात्मक रूप से आइसोमोर्फिक (isomorphic) है।

रक्षा तंत्र: SafeEnd

इस विचार से प्रेरित कि MSJ एक हानिकारक इम्प्लिसिट अपडेट है, लेखक SafeEnd प्रस्तावित करते हैं, जो एक प्रति-प्रभावकारी (counteracting) इम्प्लिसिट अपडेट को प्रेरित करता है।

वन-शॉट सेफ्टी इंटरवेंशन: प्रत्येक इंस्टेंस के लिए पैरामीटर्स को संशोधित करने या प्रॉम्प्ट को ऑप्टिमाइज़ करने के बजाय, SafeEnd इनपुट सीक्वेंस के तुरंत बाद एक एकल, स्थिर "वन-शॉट" सुरक्षा प्रदर्शन ( $S^*$ ) जोड़ता है।
संरचना: $S^*$ में एक प्रतिनिधि दुर्भावनापूर्ण क्वेरी शामिल है जिसे एक स्पष्ट इनकार (refusal) रिस्पॉन्स के साथ जोड़ा गया है।
तंत्र: जोड़ा गया सुरक्षा प्रदर्शन एक तत्काल सुधारात्मक ग्रेडिएंट स्टेप के रूप में कार्य करता है। "मेनी-टू-वन" मैपिंग (जो प्रारंभिक सुरक्षा संरेखण के दौरान सीखी गई थी, जहाँ विविध दुर्भावनापूर्ण क्वेरी एक केंद्रित रिफ्यूजल सबस्पेस में मैप होती हैं) के कारण, एक एकल स्पष्ट इनकार सुरक्षा-क्रिटिकल अटेंशन हेड्स में एक उच्च-परिमाण, दिशात्मक ग्रेडिएंट को ट्रिगर करता है। यह काउंटर-ग्रेडिएंट $N$ हानिकारक प्रदर्शनों द्वारा प्रेरित संचयी ड्रिफ्ट को बेअसर करता है, और रिप्रेजेंटेशन को मॉडल वेट्स को बदले बिना वापस सुरक्षित क्षेत्र में खींच लेता है।
इनपुट सीक्वेंस: मॉडल $(C, x, S^*)$ को प्रोसेस करता है, जहाँ $C$ एडवर्सरियल कॉन्टेक्स्ट है और $x$ लक्षित क्वेरी है।

मुख्य योगदान

अनुभवजन्य लक्षण वर्णन (Empirical Characterization): लेखक प्रदर्शित करते हैं कि MSJ एक निश्चित क्वेरी के रिप्रेजेंटेशन स्पेस में एक प्रगतिशील, शॉट-डिपेंडेंट ड्रिफ्ट को प्रेरित करता है, जो इसे हानि/सौम्य निर्णय सीमा (harm/benign decision boundary) के पार ले जाता है।
सैद्धांतिक व्याख्या: वे एक इम्प्लिसिट-ऑप्टिमाइजेशन व्याख्या प्रदान करते हैं, यह सिद्ध करते हुए कि $N$ हानिकारक प्रदर्शनों पर कंडीशन करना स्पष्ट दुर्भावनापूर्ण अनुकूलन के साथ संरेखित होने वाले फाइन-ट्यूनिंग-जैसे अपडेट को प्रेरित करने के समान है।
SafeEnd डिफेंस: वे एक ट्रेनिंग-फ्री, ब्लैक-बॉक्स संगत इन्फरेंस-टाइम डिफेंस प्रस्तावित करते हैं जो हानिकारक इम्प्लिसिट अपडेट को काउंटर करने के लिए एक स्थिर वन-शॉट सुरक्षा प्रदर्शन का उपयोग करता है।
व्यापक मूल्यांकन: विधि को कई अटैक टाइप्स (MSJ, PANDAS, Crescendo, X-teaming) के विरुद्ध ओपन-वेट (Llama-3.1-8B, Qwen2.5-7B) और API-आधारित (GPT-4o, Gemini 2.5 Pro) मॉडल्स पर मान्य किया गया है।

प्रयोगात्मक परिणाम

रक्षा प्रभावशीलता

SafeEnd सभी परीक्षण किए गए मॉडल्स और बेंचमार्क्स (HarmBench, AdvBench) में अटैक सक्सेस रेट (ASR) को महत्वपूर्ण रूप से कम करता है।

Llama-3.1-8B-Instruct: 32-शॉट MSJ के तहत, बेस मॉडल का औसत ASR 76.7% था। SafeEnd ने इसे घटाकर 2.8% कर दिया। विशेष रूप से, इसने Crescendo और X-teaming हमलों पर 0.0% ASR प्राप्त किया, जो ट्रेनिंग-टाइम डिफेंस (MTSA, MUSE) और अन्य इन्फरेंस-टाइम बेसलाइन्स (ICD, PPL-Filter, Goal Prioritization) से बेहतर प्रदर्शन करता है।
API मॉडल्स: GPT-4o और Gemini 2.5 Pro पर, जहाँ केवल इनपुट कंट्रोल संभव है, SafeEnd ने ASR को (X-teaming जैसे विशिष्ट हमलों पर) लगभग 100% से घटाकर 0.0% कर दिया, जबकि अन्य प्रॉम्प्ट-आधारित डिफेंस न्यूनतम सुरक्षा प्रदान करते हैं।
स्केलेबिलिटी: जैसे-जैसे एडवर्सरियल कॉन्टेक्स्ट की लंबाई 32 से बढ़कर 256 शॉट्स होती है, SafeEnd स्थिर रहता है और कम ASR बनाए रखता है, जबकि undefended मॉडल्स बढ़ती हुई भेद्यता (vulnerability) दिखाते हैं।

उपयोगिता और ओवरहेड

उपयोगिता संरक्षण (Utility Preservation): SafeEnd सामान्य क्षमताओं (GSM8K, MMLU-Pro, आदि) और लॉन्ग-कॉन्टेक्स्ट टास्क पर नगण्य प्रदर्शन गिरावट लाता है। प्रदर्शन में गिरावट ट्रेनिंग-टाइम डिफेंस (जैसे, MTSA ने Llama-3.1 यूटिलिटी स्कोर को ~2.6 अंक कम किया, जबकि SafeEnd ने इसे ~0.3 कम किया) की तुलना में काफी कम है।
ओवर-रिफ्यूजल (Over-Refusal): SafeEnd सौम्य इनपुट को अस्वीकार करने की दर (over-refusal) को महत्वपूर्ण रूप से नहीं बढ़ाता है, और बेस मॉडल के करीब दर बनाए रखता है, जबकि ट्रेनिंग-टाइम मेथड्स में उल्लेखनीय वृद्धि देखी गई।
रनटाइम दक्षता: SafeEnd अन्य इन्फरेंस-टाइम मेथड्स जैसे Goal Prioritization (~~7.5s) या PPL-Filter (~~0.9s) की तुलना में न्यूनतम लेटेंसी (~64-शॉट क्वेरी के लिए ~0.05s) जोड़ता है। इसके लिए किसी रिट्रेनिंग या पैरामीटर एक्सेस की आवश्यकता नहीं है।

एब्लेशन स्टडीज (Ablation Studies)

पोजीशनिंग: डिफेंस तब सबसे प्रभावी होता है जब सुरक्षा प्रदर्शन को लक्षित क्वेरी के बाद (एंड प्लेसमेंट) जोड़ा जाता है। कॉन्टेक्स्ट के शुरुआत या मध्य में इसे रखने से काफी कमजोर परिणाम मिलते हैं, जो इस परिकल्पना का समर्थन करता है कि हस्तक्षेप को जनरेशन से ठीक पहले संचित ड्रिफ्ट को काउंटर करना चाहिए।

महत्व और दावे

पेपर का दावा है कि मेनी-शॉट जेलब्रेक्स केवल प्रॉम्प्ट-लेवल फेलियर या सिमेंटिक बायपास नहीं हैं, बल्कि वे एडवर्सरियल कॉन्टेक्स्ट द्वारा प्रेरित एक फॉरवर्ड-पास अडैप्टेशन प्रक्रिया को दर्शाते हैं। हमले को 'इम्प्लिसिट हानिकारक फाइन-ट्यूनिंग' के रूप में फ्रेम करके, लेखक एक रक्षा सिद्धांत निकालते हैं: एक एकल, उच्च-परिमाण सुरक्षा ग्रेडिएंट के साथ इम्प्लिसिट अपडेट को काउंटर करना।

SafeEnd का महत्व इसकी क्षमता में निहित है जो बिना किसी कंप्यूटेशनल लागत के ब्लैक-बॉक्स, लॉन्ग-कॉन्टेक्स्ट परिदृश्यों में सुरक्षा संरेखण को बहाल करती है। लेखक दावा करते हैं कि यह दृष्टिकोण तैनात LLMs के लिए एक व्यावहारिक, लागत-कुशल मरम्मत तंत्र प्रदान करता है, जो मेनी-शॉट हमलों के कारण होने वाले "ड्रिफ्ट" को प्रभावी ढंग से बेअसर करता है और मॉडल की सामान्य उपयोगिता को बनाए रखते हुए ओवर-रिफ्यूजल से बचाता है।