💻 computer science

Steering Beyond the Support: Adversarial Training on Unsupervised Jailbroken Activation Simulation

यह शोधपत्र एक ज़ीरो-शॉट जेलब्रेक डिफेंस फ्रेमवर्क प्रस्तावित करता है जो विविध प्रतिकूल सक्रियणों (adversarial activations) को सिम्युलेट करने के लिए अनसुपरवाइज्ड लेटेंट डायरेक्शन डिस्कवरी का उपयोग करता है और अनदेखे जेलब्रेक्स को इनकार (refusal) की ओर प्रभावी ढंग से मोड़ने के लिए एक पोटेंशियल-इंड्यूस्ड स्टीयरिंग फील्ड को प्रशिक्षित करता है, जबकि सौहार्दपूर्ण उपयोगिता (benign utility) को सुरक्षित रखता है।

मूल लेखक: Luoyu Chen, Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Feng Wu, Jianhuan Huang, Ahmed Asiri, Shui Yu

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luoyu Chen, Weiqi Wang, Zhiyi Tian, Chenhan Zhang, Feng Wu, Jianhuan Huang, Ahmed Asiri, Shui Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Steering Beyond the Support" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "ट्रेनिंग सेट" का जाल

कल्पive कि आपने एक संग्रहालय की सुरक्षा के लिए एक बहुत ही बुद्धिमान सुरक्षा गार्ड (AI) को काम पर रखा है। आप इस गार्ड को 100 विशिष्ट प्रकार के चोरों की फोटो एल्बम दिखाकर प्रशिक्षित करते हैं: एक लाल टोपी पहने हुए, एक नकली मूंछ वाला, और एक लोहे की छड़ (crowbar) पकड़े हुए।

गार्ड इन 100 विशिष्ट चोरों को पहचानने में माहिर हो जाता है। हालाँकि, एक नया चोर आता है जिसने नीली टोपी पहनी है और हाथ में लेजर कटर लिया हुआ है। क्योंकि गार्ड को केवल "लाल टोपी" और "लोहे की छड़" वाली तस्वीरों पर प्रशिक्षित किया गया था, वह नए खतरे को नहीं पहचान पाता और उसे अंदर आने देता है।

AI की दुनिया में, इसे जेलब्रेक समस्या (jailbreak problem) कहा जाता है।

गार्ड: एक लार्ज लैंग्वेज मॉडल (AI) जिसे मददगार लेकिन सुरक्षित रहने के लिए प्रशिक्षित किया गया है।
चोर: "जेलब्रेक" प्रॉम्प्ट्स जो AI को हानिकारक बातें कहने के लिए बहलाते हैं।
जाल: पिछली सुरक्षा विधियाँ हमारे सुरक्षा गार्ड की तरह थीं। उन्हें ज्ञात जेलब्रेक्स की एक स्थिर, सीमित सूची पर प्रशिक्षित किया गया था। यदि किसी हैकर ने AI को धोखा देने का कोई नया तरीका खोज लिया (जो प्रशिक्षण सूची में नहीं था), तो पुराने सुरक्षा तरीके विफल हो गए।

पुराना समाधान बनाम नया विचार

पुराना तरीका (सुपरवाइज्ड स्टीयरिंग - Supervised Steering):
पिछले शोधकर्ताओं ने AI को एक एकल "रिफ्यूजल वेक्टर" (refusal vector) सिखाकर इसे ठीक करने की कोशिश की। इसे ऐसे समझें कि आप गार्ड को एक विशाल चुंबक दे रहे हैं जो हर चीज़ को "हानिकारक" क्षेत्र से दूर धकेलता है।

दोष: यह बहुत ही भद्दा (blunt) तरीका है। यदि आप सब कुछ दूर धकेलते हैं, तो आप अनजाने में मददगार अनुरोधों को भी दूर धकेल सकते हैं (जैसे सूप की रेसिपी पूछना)। इसके अलावा, यह केवल उन्हीं विशिष्ट चोरों पर अच्छा काम करता है जिन्हें देखने के लिए इसे प्रशिक्षित किया गया था।

नया तरीका (इस पेपर का समाधान):
लेखक एक अधिक स्मार्ट और लचीला दृष्टिकोण प्रस्तावित करते हैं जिसे एडवर्सरियल ट्रेनिंग ऑन अनसुपरवाइज्ड जेलब्रोकन एक्टिवेशन सिमुलेशन (Adversarial Training on Unsupervised Jailbroken Activation Simulation) कहा जाता है। यह सुनने में कठिन लग सकता है, आइए इसे एक रूपक (metaphor) से समझते हैं।

रूपक: "ड्रीम सिम्युलेटर" और "लचीला फोर्स फील्ड"

नए चोरों के आने का इंतज़ार करने के बजाय, लेखकों ने AI के मस्तिष्क के भीतर एक ड्रीम सिम्युलेटर (Dream Simulator) बनाया।

ड्रीम सिम्युलेटर (अनसुपरवाइज्ड लेटेंट डायरेक्शन डिस्कवरी):
AI जानता है कि "मना करना" (जैसे "मैं यह नहीं कर सकता") कैसा दिखता है। शोधकर्ताओं ने उस "मना करने" की स्थिति (refusal state) को गणितीय रूप से "खींचने" का एक तरीका खोजा। कल्पना कीजिए कि आप "मना करने" का प्रतिनिधित्व करने वाले एक रबर बैंड को लेते हैं और उसे यादृच्छिक दिशाओं में खींचते हैं।

आश्चर्यजनक रूप से, जब आप इसे पर्याप्त रूप से खींचते हैं, तो यह एक "जेलब्रेक" स्थिति में बदल जाता है (AI किसी बुरी चीज़ को करने के लिए सहमत हो जाता है)।
AI यह सब बिना किसी वास्तविक बुरे जेलब्रेक के उदाहरणों के करता है। यह अनिवार्य रूप से अपने स्वयं के आंतरिक तर्क को मोड़कर हजारों नए, नकली जेलब्रेक परिदृश्य सपनों में बुनता (dreams up) है जिन्हें उसने पहले कभी नहीं देखा।

लचीला फोर्स फील्ड (द पोटेंशियल फंक्शन):
एक अकेले चुंबक के बजाय, शोधकर्ता AI को एक गतिशील फोर्स फील्ड (dynamic force field) सिखाते हैं।

अच्छे अनुरोधों के लिए: फोर्स फील्ड अदृश्य है। यदि आप कविता या गणित की मदद मांगते हैं, तो AI बिना किसी प्रतिरोध के इस क्षेत्र से गुजर जाता है। (यह AI की उपयोगिता को बनाए रखता है)।
बुरे अनुरोधों के लिए: फोर्स फील्ड एक गाढ़ा, चिपचिपा कीचड़ बन जाता है। जैसे ही AI किसी हानिकारक उत्तर के बारे में सोचना शुरू करता है, फील्ड उसे ज़ोर से "मना करने" वाले क्षेत्र की ओर वापस धकेलता है।

उन्होंने इसे कैसे प्रशिक्षित किया: "इनर और आउटर" लूप

प्रशिक्षण प्रक्रिया एक वीडियो गेम की तरह है जिसमें दो स्तर एक साथ चलते हैं:

लेवल 1 (इनर स्टेप - हमलावर):
AI अपने स्वयं के सुरक्षा नियमों को तोड़ने की कोशिश करता है। यह "ड्रीम सिम्युलेटर" का उपयोग करके जितने भी कठिन से कठिन नकली जेलब्रेक सोच सकता है, उन्हें बनाता है। यह एक हैकर की तरह है जो दीवार में छेद खोजने की कोशिश कर रहा है।
लेवल 2 (आउटर स्टेप - रक्षक):
AI फिर उन विशिष्ट छेदों को भरने के लिए अपने "फोर्स फील्ड" को अपडेट करता है। यह उन नकली जेलब्रेक्स को "मना करने" की ओर धकेलने के लिए सीखता है, साथ ही यह भी सुनिश्चित करता है कि दीवार "अच्छे" अनुरोधों को न रोके।

वे इस लूप को हज़ारों बार दोहराते हैं। "हमलावर" नए छेद खोजने में स्मार्ट होता जा रहा है, और "रक्षक" उन छेदों को भरने में बेहतर होता जा रहा है। क्योंकि हमलावर मौके पर ही नए परिदृश्य बना रहा है, रक्षक किसी भी प्रकार के जेलब्रेक को संभालने के लिए तैयार हो जाता है, न कि केवल मूल प्रशिक्षण सूची वाले जेलब्रेक को।

परिणाम: एक मज़बूत, स्मार्ट गार्ड

पेपर का परीक्षण तीन अलग-अलग AI मॉडलों और छह अलग-अलग जेलब्रेक हमलों पर किया गया।

स्कोर: इस नए तरीके ने 95% से अधिक हमलों को रोका (अटैक सक्सेस रेट को 5% से नीचे रखा)।
बोनस: पुराने "बड़े चुंबक" वाले तरीके के विपरीत, इस नए फोर्स फील्ड ने AI को सामान्य प्रश्नों का उत्तर देने से नहीं रोका। इसने AI को मददगार और स्मार्ट बनाए रखा।
प्रमाण: शोधकर्ताओं ने दिखाया कि जैसे-जैसे प्रशिक्षण आगे बढ़ा, "ड्रीम सिम्युलेटर" ने अधिक से अधिक "जेलब्रेक क्षेत्र" को कवर किया, प्रभावी रूप से संभावित खतरों के पूरे परिदृश्य का मानचित्र तैयार किया, यहाँ तक कि उन खतरों का भी जो अभी अस्तित्व में नहीं थे।

सारांश

संक्षेप में, यह पेपर AI सुरक्षा की समस्या को इसलिए हल करता है क्योंकि यह AI को अपने स्वयं के सबसे बुरे परिदृश्यों की कल्पना करना सिखाता है और फिर उन्हें रोकने के लिए एक कस्टम, लचीला ढाल बनाता है। बुरे लोगों की सूची याद करने के बजाय, AI बुरे व्यवहार के आकार को सीखता है, जिससे यह नए, अनदेखे तरीकों को तुरंत पहचानने और रोकने में सक्षम होता है।

तकनीकी सारांश: सपोर्ट से परे स्टीयरिंग (Steering Beyond the Support)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान सुरक्षा स्टीयरिंग विधियाँ अत्यधिक रूप से ज्ञात जेलब्रेक प्रॉम्प्ट्स के स्थिर और सीमित डेटासेट का उपयोग करके सुपरवाइज्ड ट्रेनिंग पर निर्भर करती हैं। जबकि ये विधियाँ विशिष्ट प्रशिक्षण उदाहरणों के लिए "इनकार" (refusal) क्षेत्रों की ओर एक्टिवेशन को स्टीयर करने के लिए सीखती हैं, वे एक मौलिक सामान्यीकरण विफलता (generalization failure) से ग्रस्त हैं: वे अनदेखे, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) जेलब्रेक हमलों पर खराब प्रदर्शन करती हैं। मौजूदा दृष्टिकोण या तो एक वैश्विक, कम-क्षमता वाला हस्तक्षेप लागू करते हैं जो निर्दोष उपयोगिता (benign utility) को कम कर देता है, या वे सशर्त हस्तक्षेप सीखते हैं जो अपने संकीर्ण प्रशिक्षण सपोर्ट से परे सामान्यीकरण करने में विफल रहते हैं। मुख्य चुनौती यह है कि एक ऐसा सुरक्षा स्टीयरिंग तंत्र कैसे प्रशिक्षित किया जाए जो व्यापक, लेबल किए गए जेलब्रेक डेटा की आवश्यकता के बिना, स्थिर और सीमित प्रशिक्षण सपोर्ट से अधिकतम सामान्यीकरण कर सके।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक द्वि-स्तरीय प्रतिकूल प्रशिक्षण ढांचे (bi-level adversarial training framework) का प्रस्ताव करता है जो विविध जेलब्रेक एक्टिवेशन को सिम्युलेट करने के लिए अनसुपरवाइज्ड लेटेंट डायरेक्शन डिस्कवरी का लाभ उठाता है, जिससे स्टीयरिंग फील्ड के लिए प्रशिक्षण सपोर्ट का विस्तार होता है।

1. अनसुपरवाइज्ड जेलब्रोकन एक्टिवेशन सिमुलेशन (आंतरिक चरण)

नए लेबल किए गए जेलब्रेक डेटा को एकत्र करने के बजाय, यह विधि उन लेटेंट दिशाओं (latent directions) की खोज करती है जो "इनकार-अवस्था" (refusal-state) के एक्टिवेशन को "जेलब्रोकन" (compliant, harmful) एक्टिवेशन में बदलने के लिए सक्षम हैं।

लेटेंट डायरेक्शन डिस्कवरी: एक अनसुपरवाइज्ड ऑब्जेक्टिव का उपयोग करते हुए, मॉडल $V$ के सेट वाले स्टीयरिंग वेक्टर्स सीखता है जिन्हें एक प्रारंभिक लेयर $s$ पर इंजेक्ट किया जाता है। इन वेक्टर्स को प्रॉम्प्ट्स के एक डेटासेट पर एक लक्षित लेयर $t$ पर सुसंगत, बड़े सिमेंटिक बदलाव उत्पन्न करने के लिए अनुकूलित किया जाता है, जो प्रभावी रूप से उन कारण संबंधी हस्तक्षेपों (causal interventions) की खोज करता है जो मॉडल के व्यवहार को बदलते हैं।
एक्सट्रपलेशन (Extrapolation): इन खोजी गई दिशाओं को रिफ्यूज़ल-स्टेट एक्टिवेशन ( $h_r$ ) पर एक कैलिब्रेटेड परिमाण $R$ के साथ लागू किया जाता है ताकि प्रतिकूल, सिम्युलेटेड जेलब्रोकन एक्टिवेशन ( $h_{adv} = h_r + R \cdot v$ ) उत्पन्न किए जा सकें। यह प्रक्रिया प्रशिक्षण सपोर्ट को एक्टिवेशन स्पेस के उन क्षेत्रों में विस्तारित करती है जो संभावित रूप से अनदेखे जेलब्रेक्स के अनुरूप होते हैं।

2. पोटेंशियल फंक्शन के माध्यम से सीखने योग्य स्टीयरिंग (Learnable Steering via Potential Functions)

यह शोध पत्र फिक्स्ड लीनियर स्टीयरिंग वेक्टर्स के बजाय एक सीखने योग्य, स्थानिक रूप से परिवर्तनशील स्टीयरिंग फील्ड की ओर बढ़ता है।

ऑप्टिमल ट्रांसपोर्ट (OT) परिप्रेक्ष्य: स्टीयरिंग तंत्र को जेलब्रोकन एक्टिवेशन के वितरण को न्यूनतम विस्थापन के साथ रिफusal एक्टिवेशन के वितरण की ओर ले जाने के रूप में मॉडल किया गया है।
पोटेंशियल फंक्शन: एक स्केलर पोटेंशियल फंक्शन $f_\phi$ (जिसे एक छोटे MLP द्वारा पैरामीटराइज किया गया है) सीखा जाता है। इसका ग्रेडिएंट $\nabla f_\phi$ एक वेक्टर फील्ड को परिभाषित करता है जो एक्टिवेशन को निर्देशित करता है।
टेस्ट-टाइम स्टीयरिंग: इन्फरेंस के समय, एक एक्टिवेशन $h$ को इस फील्ड के साथ इटरेटिव रूप से ग्रेडिएंट एसेंट स्टेप्स करके स्टीयर किया जाता है: $h^{(k+1)} = h^{(k)} + \eta \nabla_h f_\phi(h^{(k)})$ ।

3. द्वि-स्तरीय प्रतिकूल प्रशिक्षण (बाहरी चरण)

पोटेंशियल फंक्शन को तीन विशिष्ट आवश्यकताओं को पूरा करने के लिए प्रशिक्षित किया जाता है:

सामान्य स्टीयर-एबिलिटी (General Steer-ability): फील्ड को गैर-इनकार (non-refusal) एक्टिवेशन (जेलब्रोकन सहित) को रिफ्यूज़ल क्षेत्र की ओर ले जाना चाहिए। यह Wasserstein-1 दूरी के Kantorovich-Rubinstein ड्यूल का उपयोग करके रिफ्यूज़ल और नॉन-रिफ्यूज़ल वितरणों के बीच पोटेंशियल गैप को मैक्सिमाइज करके प्राप्त किया जाता है।
बेनाइन ज़ीरो स्टीयर-एबिलिटी (Benign Zero Steer-ability): निर्दोष (benign) एक्टिवेशन के लिए फील्ड को उपयोगिता बनाए रखने हेतु लगभग-आइडेंटिटी (शून्य ग्रेडिएंट) के करीब रहना चाहिए। इसे बेनाइन इनपुट्स पर ग्रेडिएंट नॉर्म को दंडित करके लागू किया जाता है।
जेलब्रोकन स्ट्रॉन्ग स्टीयर-एबिलिटी (Jailbroken Strong Steer-ability): फील्ड को जेलब्रोकन एक्टिवेशन के लिए मजबूत ट्रांसपोर्ट प्रेरित करना चाहिए।

प्रशिक्षण बारी-बारी से चलता है:

इनर स्टेप (Inner Step): उन कठिन सिम्युलेटेड जेलब्रेक्स को उत्पन्न करने के लिए लेटेंट दिशाओं $V$ को एडवरसेरियली ऑप्टिमाइज करना जो वर्तमान में स्टीयर करने में कठिन हैं (वर्तमान पोटेंशियल पर लॉस को मैक्सिमाइज करना)।
आउटर स्टेप (Outer Step): इन कठिन सिम्युलेटेड जेलब्रेक्स पर लॉस को मिनिमाइज करने के लिए पोटेंशियल पैरामीटर्स $\phi$ को अपडेट करना, जबकि बेनाइन और जनरल स्टीयर-एबिलिटी बाधाओं को बनाए रखना।

प्रमुख योगदान

एक महत्वपूर्ण सीमा की पहचान: लेखक पहचानते हैं कि सुपरवाइज्ड सेफ्टी स्टीयरिंग अनदेखे जेलब्रेक के प्रति सामान्यीकरण करने में विफल रहता है क्योंकि यह एक स्थिर प्रशिक्षण वितरण से बंधा होता है, जिससे जेलब्रेक एक्टिवेशन स्पेस के बड़े क्षेत्र अनिर्धारित रह जाते हैं।
द्वि-स्तरीय प्रतिकूल ढांचा: एक अभिनव प्रशिक्षण लूप जो विविध, एडवरसेरियल जेलब्रेक एक्टिवेशन को सिंथेसाइज करने के लिए अनसुपरवाइज्ड लेटेंट डायरेक्शन डिस्कवरी का उपयोग करता है। ये सिम्युलेटेड अवस्थाएं प्रगतिशील रूप से स्टीयरिंग फील्ड के प्रभावी कवरेज को बढ़ाने के लिए प्रशिक्षण सिग्नल के रूप में कार्य करती हैं।
पोटेंशियल-आधारित स्टीयरिंग: एक सीखने योग्य स्केलर पोटेंशियल (OT ड्यूलिटी के माध्यम से) का परिचय, जो कठोर लीनियर हस्तक्षेपों के स्थान पर एक स्थानिक रूप से परिवर्तनशील, उच्च-क्षमता वाला स्टीयरिंग फील्ड प्रदान करता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन LLMs (LLaMA-3-8B, Mistral-v2-7B, Qwen-2.5-7B) और छह क्लासिकल जेलब्रेक परिवारों (GCG, AutoDAN, GPTFuzz, PAIR, TAP, FewShot) पर किया गया।

मजबूती (Robustness): प्रस्तावित विधि ने मजबूत रक्षा प्रदर्शन हासिल किया, जिसमें सभी मॉडल्स और अटैक फैमिलीज़ में अटैक सक्सेस रेट (ASR) ज्यादातर 5% से नीचे रहा। इसने अनदेखे हमलों पर सुपरवाइज्ड बेसलाइन्स (जैसे AlphaSteer) और रिप्रेजेंटेशन इंजीनियरिंग मेथड्स (जैसे Circuit-Breaker) को पछाड़ दिया या उनके बराबर प्रदर्शन किया।
उपयोगिता संरक्षण (Utility Preservation): उन आक्रामक बेसलाइन्स के विपरीत जो बेनाइन बाउंड्री केसेस पर हाई ओवर-रिफ्यूजल का कारण बनते हैं, प्रस्तावित विधि ने रीजनिंग, नॉलेज और मैथ बेंचमार्क्स (ARC-C, TruthfulQA, GSM8K) पर उच्च उपयोगिता स्कोर बनाए रखा और फॉल्स पॉजिटिव रेट (ओवर-रिफ्यूजल) को अपेक्षाकृत कम रखा।
मैकेनिस्टिक अंतर्दृष्टि (Mechanistic Insight): विश्लेषण से पता चला कि जैसे-जैसे प्रशिक्षण आगे बढ़ा, सिम्युलेटेड जेलब्रोकन एक्टिवेशन वास्तविक जेलब्रेक हमलों के सबस्पेस को कवर करने के लिए विस्तारित हुए। यह "राइजिंग सबस्पेस कवरेज" सीधे बेहतर रक्षा मजबूती के साथ सह-संबंधित था, जो इस परिकल्पना की पुष्टि करता है कि सिमुलेशन के माध्यम से प्रशिक्षण सपोर्ट का विस्तार करना ही सामान्यीकरण का मुख्य चालक है।

महत्व और दावे

यह शोध पत्र LLM सुरक्षा की एक बड़ी अनदेखी की गई समस्या को संबोधित करने का दावा करता है: वर्तमान स्टीयरिंग विधियों की अपने प्रशिक्षण सपोर्ट से परे सामान्यीकरण करने में असमर्थता। अनसुस्परवाइज्ड एडवरसेरियल सिमुलेशन प्रतिमान की ओर शिफ्ट होकर, यह विधि सुरक्षा स्टीयरिंग को विकसित होते और अनदेखे खतरों के अनुकूल बनने में सक्षम बनाती है।

लेखक इस बात पर जोर देते हैं कि उनके दृष्टिकोण के लिए पूरे मॉडल को फिर से प्रशिक्षित करने या व्यापक जेलब्रेक डेटासेट एकत्र करने की आवश्यकता नहीं है। इसके बजाय, यह एक मजबूत, स्थानिक रूप से परिवर्तनशील स्टीयरिंग फील्ड सीखता है जो हानिकारक आंतरिक अवस्थाओं को रिफ्यूज़ल व्यवहार की ओर पुनर्निर्देशित कर सकता है जबकि निर्दोष उपयोगिता को सुरक्षित रखता है। यह कार्य सुझाव देता है कि मजबूत रक्षा की कुंजी एक विस्तृत, सिम्युलेटेड जेलब्रोकन एक्टिवेशन वितरण से सीखने और उसे सिंथेसाइज करने की क्षमता में निहित है, जो मूल प्रशिक्षण डेटा के "सपोर्ट" से परे स्टीयरिंग को प्रभावी बनाता है।

सीमाएं: लेखक नोट करते हैं कि फ्रेमवर्क अनसुपरवाइज्ड लेटेंट डायरेक्शन डिस्कवरी की गुणवत्ता पर निर्भर करता है। वे स्वीकार करते हैं कि गैर-प्राकृतिक भाषाओं (जैसे base64, ciphers) से जुड़े जेलब्रेक ऐसे एक्टिवेशन क्षेत्रों से संबंधित हो सकते हैं जो लीनियर लेटेंट इंटरवेंशन द्वारा कमजोर रूप से सुलभ (reachable) हैं, जो सिमुलेशन तंत्र की अभिव्यक्ति (expressiveness) की एक अंतर्निहित सीमा का सुझाव देते हैं।