💻 computer science

Latent-space Attacks for Refusal Evasion in Language Models

यह शोध पत्र भाषा मॉडलों में इनकार दमन (refusal suppression) को लीनियर प्रोब्स (linear probes) के विरुद्ध एक लेटेंट-स्पेस इवेजन अटैक (latent-space evasion attack) के रूप में पुनर्गठित करता है, जो यह प्रकट करता है कि पूर्व एब्लेशन विधियाँ केवल निरूपणों (representations) को निर्णय सीमा (decision boundary) पर प्रोजेक्ट करती हैं और एक नई "कंट्रोल्ड लेटेंट-स्पेस इवेजन" (Controlled Latent-space Evasion) तकनीक का प्रस्ताव करता है जो स्टेट-ऑफ-द-आर्ट जेलब्रेक सफलता दर प्राप्त करने के लिए निरूपणों को अनुपालन क्षेत्र (compliant region) में और आगे धकेलती है।

मूल लेखक: Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giorgio Piras, Raffaele Mura, Fabio Brau, Maura Pintor, Luca Oneto, Fabio Roli, Battista Biggio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक बहुत ही बुद्धिमान, लेकिन अत्यधिक सतर्क पुस्तकालयाध्यक्ष (librarian) के रूप में करें। इस पुस्तकालयाध्यक्ष को खतरनाक किताबें देने से मना करने के लिए प्रशिक्षित किया गया है (जैसे बम बनाने के निर्देश या घृणास्पद भाषण लिखना)। जब आप कुछ हानिकारक मांगते हैं, तो पुस्तकालयाध्यक्ष का आंतरिक "अलार्म सिस्टम" बज उठता है, और वे विनम्रता से कहते हैं, "मैं इसमें आपकी मदद नहीं कर सकता।"

कुछ समय के लिए, शोधकर्ताओं को लगा कि वे इस पुस्तकालयाध्यक्ष को एक विशिष्ट "अस्वीकृति स्विच" (refusal switch) ढूंढकर चकमा दे सकते हैं जो उनके मस्तिष्क के अंदर है। यदि वे इस स्विच को बंद कर देते हैं (जिसे "एब्लेशन" नामक विधि कहा जाता है), तो पुस्तकालयाध्यक्ष मना करना बंद कर देगा। हालांकि, यह पेपर तर्क देता है कि यह पुरानी विधि इस तरह है जैसे स्पीकर को कंबल से ढककर अलार्म को शांत करने की कोशिश करना। यह थोड़ा काम कर सकता है, लेकिन अलार्म तकनीकी रूप से अभी भी बज रहा है, और पुस्तकालयाध्यक्ष अभी भी "खतरे के क्षेत्र" के बिल्कुल किनारे पर खड़ा है।

नया विचार: "कंट्रोल्ड इवेजन" (Controlled Evasion) हमला

इस पेपर के लेखक इस पुस्तकालयाध्यक्ष को चकमा देने का एक स्मार्ट तरीका प्रस्तावित करते हैं। वे इनकार करने वाली प्रक्रिया को केवल एक स्विच के रूप में नहीं, बल्कि एक दरवाजे पर खड़े सुरक्षा गार्ड के रूप में देखते हैं।

पुरानी विधि (न्यूनतम आत्मविश्वास - Minimum Confidence): पिछली विधियों ने पुस्तकालयाध्यक्ष के विचारों को केवल इतना धकेलने की कोशिश की जिससे वे सुरक्षा गार्ड की रेखा को छू सकें। पुस्ततालयाध्यक्ष ठीक उस रेखा पर खड़ा हो जाता था, इस बात को लेकर अनिश्चित कि उसे "हाँ" कहना चाहिए या "ना"। यह जोखिम भरा है और अक्सर विफल हो जाता है क्योंकि गार्ड अभी भी "रुक जाओ" कह सकता है।
नई विधि (कंट्रोल्ड लेटेंट-स्पेस इवेजन - Controlled Latent-Space Evasion): लेखकों की नई विधि, जिसे CLE कहा जाता है, केवल रेखा को छूती नहीं है। यह पुस्तकालयाध्यक्ष के विचारों को गार्ड से बहुत आगे, "सुरक्षित क्षेत्र" में गहराई तक धकेल देती है जहाँ पुस्तकालयाध्यक्ष को 100% विश्वास होता है कि अनुरोध हानिरहित है।

यह कैसे काम करता है: दो रणनीतियाँ

यह पेपर इस "धकेलने" के दो तरीकों का परीक्षण करता है, जिसे एक पहाड़ी की कगार पार करने की कोशिश करने वाले हाइकर (पर्वतारोही) के रूपक के रूप में देखा जा सकता है:

रणनीति A (CLE-P): "चरण-दर-चरण" हाइकर।
कल्पना कीजिए कि पुस्तकालयाध्यक्ष एक पहाड़ पर चढ़ रहा है, और हर कदम पर, एक गाइड उसकी स्थिति की जांच करता है। यदि हाइकर "खतरनाक पक्ष" की ओर वापस जाने लगता है, तो गाइड उसे तुरंत "सुरक्षित पक्ष" पर वापस धकेल देता है। यह पुस्तकालयाध्यक्ष के विचारों को उनके द्वारा उत्पन्न किए जाने वाले प्रत्येक शब्द के लिए लगातार पुन: समायोजित करने जैसा है। यह बहुत अच्छी तरह से काम करता है, लेकिन यह एक गाइड की तरह है जो पूरे रास्ते आपको लगातार धकेलता रहता है।
रणनीति B (CLE-A): "एक बड़ा धक्का" देने वाला हाइकर।
यह इस पेपर का सबसे बड़ा आश्चर्य है। हाइकर की हर कदम पर जांच करने के बजाय, गाइड शुरुआत में ही एक बहुत बड़ा, पूरी तरह से गणना किया गया धक्का देता है। यह धक्का इतना मजबूत और सटीक है कि हाइकर सुरक्षित क्षेत्र में गहराई तक उतर जाता है और बिना किसी और धक्के के वहीं रहता है।
- परिणाम: पेपर ने पाया कि यह "एक बड़ा धक्का" (CLE-A) निरंतर धकेलने की तुलना में बेहतर है। यह तेज़, सस्ता और इनकार को दरकिनार करने में अधिक प्रभावी है।

उन्होंने क्या पाया

शोधकर्ताओं ने 15 अलग-अलग AI मॉडलों पर इसका परीक्षण किया, जिनमें कुछ बहुत अच्छे तर्क देने वाले और कुछ जो चित्र देख सकते हैं (images) शामिल हैं।

पुरानी विधियाँ: पिछली सर्वोत्तम विधियों (जैसे "डिफरेंस-इन-मीन्स" या DiM) की सफलता दर बहुत कम थी। उदाहरण के लिए, एक मॉडल पर, वे AI को चकमा देने में केवल 1.8% बार सफल रहे।
नई विधि: उनकी नई "एक बड़ा धक्का" विधि (CLE-A) कई मॉडलों पर 95% से 100% बार सफल रही।
तुलना: उन्होंने इसकी तुलना "जेलब्रेक्स" (जहाँ आप एक बहुत ही चतुर प्रॉम्प्ट लिखकर AI को धोखा देने की कोशिश करते हैं) से भी की। उनकी विधि उन प्रॉम्प्ट्स की तुलना में बेहतर काम करती थी, और इसके लिए हर एक सवाल के लिए नया प्रॉम्प्ट लिखने की आवश्यकता नहीं थी। एक बार जब उन्होंने "धक्का" की गणना कर ली, तो यह किसी भी हानिकारक सवाल के लिए काम करता था।

जादू के पीछे का "क्यों"

पेपर बताता है कि पुरानी विधियाँ बहुत डरपोक थीं। उन्होंने AI के आंतरिक विचारों को केवल सीमा रेखा पार करने के लिए पर्याप्त धकेलने की कोशिश की। नई विधि यह समझती है कि वास्तव में सुरक्षा को दरकिनार करने के लिए, आपको विचारों को "अनुपालन" (compliant) क्षेत्र में गहराई तक ले जाना होगा, जिससे AI को यह पूर्ण विश्वास हो जाए कि वह सही काम कर रहा है।

महत्वपूर्ण सीमाएँ

पेपर बहुत स्पष्ट है कि यह क्या है और क्या नहीं है:

यह एक "व्हाइट-बॉक्स" हमला है: इस विधि के लिए AI के आंतरिक "मस्तिष्क" (इसके आंतरिक कोड और मेमोरी) तक पहुंच की आवश्यकता होती है ताकि धक्का दिया जा सके। आप इसे केवल सार्वजनिक वेबसाइट पर चैट करके नहीं कर सकते; आपको चलते समय AI के कोड को संशोधित करने में सक्षम होना चाहिए।
यह हर चीज़ के लिए "जादुई छड़ी" नहीं है: यह विधि इसलिए काम करती है क्योंकि AI के इनकार और अनुपालन के विचार वर्तमान में उसके मस्तिष्क में एक सीधी रेखा (linearly separable) में व्यवस्थित हैं। यदि भविष्य के AI सुरक्षा प्रशिक्षण इस तरह बदल देते हैं कि इनकार के विचार बिखरे हुए और जटिल तरीके से हों, तो यह विशिष्ट हमला काम करना बंद कर सकता है।

संक्षेप में, पेपर दिखाता है कि AI मॉडल में वर्तमान सुरक्षा "गार्ड" एक ऐसी रेखा पर खड़े हैं जिसे पार करना बहुत आसान है। AI के विचारों को एक गणना किए गए कदम के साथ उस रेखा से बहुत आगे धकेल कर, हमलावर इनकार तंत्र को पहले की तुलना में बहुत अधिक प्रभावी ढंग से दरकिनार कर सकते हैं।

तकनीकी सारांश: भाषा मॉडलों में इनकार से बचने के लिए लेटेंट-स्पेस हमले (Latent-space Attacks)

समस्या विवरण (Problem Statement)

सुरक्षा-संरेखित (Safety-aligned) लार्ज लैंग्वेज मॉडल्स (LLMs) को हानिकारक अनुरोधों को अस्वीकार करने के लिए प्रशिक्षित किया जाता है। हालांकि, हालिया साहित्य यह प्रदर्शित करता है कि मॉडल के आंतरिक प्रतिनिधित्व (internal representations) को निर्देशित करके इस इनकार व्यवहार को दबाया जा सकता है। मौजूदा विधियाँ, जैसे कि अर्दिति एट अल. [5] द्वारा विकसित, मॉडल के रेसिडुअल स्ट्रीम (residual stream) से एक विशिष्ट 'इनकार दिशा' (refusal direction) को "एब्लेट" (ablate) करके ऐसा करती हैं (जिसे हानिकारक और हानिरहित सक्रियणों के बीच 'डिफरेंस-इन-मीन्स' या DiM के रूप में गणना किया जाता है)। हालांकि ये विधियाँ अनुभवजन्य रूप से सफल हैं, लेकिन इनमें उस लेटेंट-स्पेस ट्रांसफॉर्मेशन का अभाव है जो वे प्रेरित करती हैं, जो कि एक सिद्धांतिक आधार पर आधारित हो। विशेष रूप से, यह स्पष्ट नहीं है कि क्या एब्लेशन (ablation) एक इष्टतम हस्तक्षेप (optimal intervention) है, क्या यह इनकार को दबाने के लिए पर्याप्त है, और इसे व्यवस्थित रूप से कैसे सुधारा जा सकता है। मुख्य समस्या उन तंत्रों की कमी है जो इनकार दमन (refusal suppression) के यांत्रिकी को समझाते हैं और वर्तमान एब्लेशन-आधारित दृष्टिकोणों की सीमाओं को स्पष्ट करते हैं।

कार्यप्रणाली (Methodology)

लेखक इनकार दमन की समस्या को इनकार किए गए (हानिकारक) और उत्तर दिए गए (हानिरहित) प्रॉम्प्ट्स को अलग करने के लिए प्रशिक्षित लीनियर प्रोब्स (linear probes) के विरुद्ध एक लेटेंट-स्पेस इवेजन अटैक (latent-space evasion attack) के रूप में पुनर्गठित करते हैं।

सैद्धांतिक पुनर्गठन (Theoretical Recasting)

सरोगेट ऑरेकल (Surrogate Oracle): लेखक एक दुर्बोध (intractable), ब्लैक-बॉक्स इनकार ऑरेकल (जैसे, LLM-as-a-judge) को एक सुलभ सरोगेट फंक्शन $\phi$ से बदल देते हैं। यह सरोगेट इनकार की भविष्यवाणी करने के लिए पोस्ट-इंस्ट्रक्शन टोकन सक्रियणों पर प्रशिक्षित प्रति-परत लीनियर प्रोब्स (विशेष रूप से लीनियर SVMs) का एक समूह (ensemble) है।
पूर्व कार्य की पुनर्व्याख्या: इस ढांचे के तहत, मानक DiM एब्लेशन को एक मिनिमम-कॉन्फिडेंस इवेजन अटैक (minimum-confidence evasion attack) के रूप में पहचाना गया है। DiM दिशा एक लीनियर प्रोब के वेट वेक्टर के अनुरूप है, और एब्लेशन (सक्रियणों को DiM के लंबवत हाइपरप्लेन पर प्रोजेक्ट करना) गणितीय रूपв से सक्रियणों को प्रोब की निर्णय सीमा (decision boundary) पर सटीक रूप से प्रोजेक्ट करने के समान है। यह एक लीनियर निर्णय को पलटने के लिए सबसे कमजोर संभव विक्षोभ (perturbation) है (DeepFool हमले [9] के समान)।
पहचानी गई सीमा: क्योंकि मिनिमम-कॉन्फिडेंस इवेजन ठीक निर्णय सीमा पर रुक जाता है, यह मॉडल को अधिकतम अनिश्चितता की स्थिति में छोड़ देता है। लेखक तर्क देते हैं कि इनकार को मजबूती से दबाने के लिए, प्रतिनिधित्व को एक स्पष्ट कॉन्फिडेंस मार्जिन के साथ निर्णय सीमा के पार धकेला जाना चाहिए।

प्रस्तावित समाधान: कंट्रोल्ड लेटेंट-स्पेस इवेजन (CLE)

लेखक कंट्रोल्ड लेटेंट-स्पेस इवेजन (CLE) का प्रस्ताव करते हैं, जो एक अनुकूलित कॉन्फिडेंस मार्जिन के साथ लीनियर प्रोब्स से बचने के लिए सक्रियणों को विक्षेपित (perturb) करता है। यह हस्तक्षेप निम्नलिखित द्वारा पैरामीटराइज़ किया गया है:

लेयर सिलेक्शन ( $\lambda_l$ ): एक बाइनरी मास्क जो यह निर्धारित करता है कि किन परतों को सक्रिय रूप से निर्देशित किया जा रहा है।
मार्जिन ( $m_l$ ): एक गैर-ऋणात्मक स्केलर जो यह नियंत्रित करता कि सक्रियण को निर्णय सीमा से कितनी दूर तक प्रोजेक्ट किया जाना चाहिए।

विक्षोभ (perturbation) के स्टेप साइज को $\alpha_l(t) = \lambda_l (\phi_l(h_l(t)) + m_l)$ के रूप में परिभाषित किया गया है, जहाँ $\phi_l$ प्रोब लॉजिट है। यह फॉर्मूलेशन हमले को केवल सीमा को छूने के बजाय सक्रियणों को अनुपालन वाले हाफ-स्पेस (compliant half-space) में गहराई तक ले जाने की अनुमति देता है।

CLE को दो वेरिएंट्स में स्थापित किया गया है:

CLE-P (प्रोजेक्टिव): प्रत्येक टोकन सक्रियण को जनरेशन के दौरान एक शिफ्टेड हाइपरप्लेन पर पुन: प्रोजेक्ट करता है जो मार्जिन $m_l$ द्वारा परिभाषित है। यह पूर्व एब्लेशन विधियों का सामान्यीकरण करता है लेकिन एक लक्षित कॉन्फिडेंस लागू करता है।
CLE-A (एडिटिव): पोस्ट-इंस्ट्रक्शन टोकन पर एक बार विक्षोभ की गणना करता है और इसे सभी आगामी टोकन सक्रियणों में समान रूप से जोड़ देता है। यह परीक्षण करता है कि क्या निरंतर पुन: प्रोजेक्शन (continuous reprojection) आवश्यक है।

अनुकूलन (Optimization)

इष्टतम लेयर विंडोज़ ( $\lambda_l$ ) और मार्जिन्स ( $m_l$ ) को एक होल्ड-आउट वैलिडेशन सेट पर बायेसियन ऑप्टिमाइज़ेशन (BO) के माध्यम से चुना जाता है। BO सर्च अपेक्षित इनकार दर को कम करने (हमले की सफलता को अधिकतम करने) के लिए किया जाता है, जिससे वह कॉन्फ़िगरेशन मिलता है जो प्रोब्स के समूह को सबसे अच्छी तरह से चकमा दे सके।

मुख्य योगदान (Key Contributions)

सैद्धांतिक पुनर्गठन: पेपर इनकार दमन को एक लेटेंट-स्पेस इवेजन अटैक के रूप में एक सिद्धांतिक रूप से पुनर्गठित करता है, यह प्रदर्शित करते हुए कि पूर्व एब्लेशन विधियाँ मिनिमम-कॉन्फिडेंस हमलों के समान हैं जो निर्णय सीमा पर रुक जाती हैं।
कंट्रोल्ड इवेजन फ्रेमवर्क: लेखक CLE पेश करते हैं, जो स्पष्ट रूप से एक कॉन्फिडेंस मार्जिन के लिए अनुकूलित होता है, जिससे प्रतिनिधित्व को अनुपालन वाले क्षेत्र में और आगे धकेला जा सके।
एडिटिव बनाम प्रोजेक्टिव विश्लेषण: कार्य CLE-A का परिचय और मूल्यांकन करता है, यह दिखाते हुए कि पोस्ट-इंस्ट्रक्शन टोकन पर एक एकल एडिटिव विक्षोभ पूरे जनरेशन के दौरान इवेजन बनाए रखने के लिए पर्याप्त है, जो अक्सर प्रति-टोकन पुन: प्रोजेक्शन (CLE-P) से बेहतर प्रदर्शन करता है।
अनुभवजन्य सत्यापन: विधियों का 15 विविध मॉडलों, जिनमें इंस्ट्रक्शन-ट्यून्ड, रीजनिंग और मल्टीमॉडल आर्किटेक्चर शामिल हैं, पर मूल्यांकन किया गया है।

परिणाम (Results)

लेखक सभी परीक्षण किए गए मॉडलों में स्टेट-ऑफ-द-आर्ट अटैक सक्सेस रेट (ASR) की रिपोर्ट करते हैं:

प्रदर्शन: CLE-A सभी 15 मॉडलों में औसत ASR 87.29% प्राप्त करता है, जो मौजूदा रिफ्यूज़ल-एब्लेशन बेसलाइन्स (DiM, RDO, PS, MD) और प्रॉम्प्ट-लेवल जेलब्रेक हमलों (GCG, Sach) को काफी पीछे छोड़ देता है।
- LLaMA2-7B पर, CLE-A ASR को 1.80% (DiM) से बढ़ाकर 94.96% कर देता है।
- Mistral-7B-RR (एक मॉडल जिसमें रिप्रेजेंटेशन रिरूटिंग डिफेंस है) पर, CLE-A 83.02% ASR प्राप्त करता है, जबकि DiM के लिए यह 8.80% है।
मैकेनिस्टिक अंतर्दृष्टि:
- कॉन्फिडेंस कंट्रोल: हमला सफलता (Attack success) अनुपालन कॉन्फिडेंस मार्जिन के साथ मोनोटोनिक रूप से सह-संबंधित है; शून्य मार्जिन (बॉर्डर प्रोजेक्शन) लगभग शून्य सफलता देता है, जबकि बड़े मार्जिन उच्च सफलता प्रदान करते हैं।
- लेयर सिलेक्शन: बायेसियन ऑप्टिमाइज़ेशन लगातार हस्तक्षेप के लिए मध्यवर्ती परतों (जैसे, Phi-4-15B में परतें 9-30) का चयन करता है, शुरुआती परतों (जहाँ हानिकारक/हानिरहित वितरण ओवरलैप होते हैं) और अंतिम परतों (जहाँ प्रक्षेपवक्र पहले से ही निर्धारित होता है) से बचता है।
- एडिटिव दक्षता: CLE-A दर्शाता है कि निरंतर पुन: प्रोजेक्शन उप-इष्टतम (suboptimal) है; एक एकल निश्चित विक्षोभ प्रभावी ढंग से अनुपालन प्रक्षेपवक्र (compliant trajectory) को बनाए रखता है।
मॉडल कोहेरेंस: MMLU, ARC, और TruthfulQA बेंचमार्क पर एब्लेशन अध्ययन संकेत देते हैं कि CLE हस्तक्षेप सामान्य मॉडल क्षमताओं या सुसंगतता (coherence) को महत्वपूर्ण रूप से कम किए बिना इनकार को दबा देता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इसका प्राथमिक महत्व इस बात में निहित है कि यह इनकार दमन क्यों काम करता है और इसे कैसे सुधारा जा सकता है, इसका एक सिद्धांतिक विवरण प्रदान करता है। यह पहचानकर कि "मिनिमम-कॉन्फिडेंस" एब्लेशन की सीमा क्या है, लेखक "कंट्रोल्ड-कॉन्फिडेंस" इवेजन की आवश्यकता पर बल देते हैं।

लेखक इस कार्य को एक दोहरे उपयोग (dual-use) वाले अध्ययन के रूप में देखते हैं:

रक्षात्मक मूल्य (Defensive Value): यह स्पष्ट करता है कि वर्तमान संरेखण तंत्र (alignment mechanisms) लेटेंट स्पेस में लीनियर सेपरेबिलिटी (linear separability) के प्रति कितने संवेदनशील हैं, जो ऐसे सुरक्षा तंत्रों के विकास को प्रेरित करता है जो लीनियर रिफ्यूज़ल फीचर्स पर कम निर्भर हों (जैसे, रिफ्यूज़ल प्रतिनिधित्व को गैर-ट्रिवियल मैनिफोल्ड्स में वितरित करना)।
आक्रामक क्षमता (Offensive Capability): यह प्रदर्शित करता है कि मौजूदा सुरक्षा संरेखण को केवल प्रतिनिधित्व को अनुकूलित मार्जिन के साथ अनुपालन क्षेत्र में और आगे धकेल कर पहले की तुलना में अधिक प्रभावी ढंग से बायपास किया जा सकता है।

पेपर निष्कर्ष निकालता है कि जबकि वर्तमान दृष्टिकोण लीनियर सेपरेबिलिटी (जो परीक्षण किए गए सभी मॉडलों में मौजूद है) पर निर्भर करता है, भविष्य की संरेखण प्रक्रियाएं सक्रिय रूप से इस लीनियर सेपरेबिलिटी को हतोत्साहित करके ऐसे हमलों को कम कर सकती हैं। लेखक यह दावा नहीं करते हैं कि उन्होंने सभी सुरक्षा तंत्रों को तोड़ दिया है, बल्कि यह उजागर किया है कि वर्तमान LLMs में इनकार कैसे प्रतिनिधित्व और उस पर हस्तक्षेप किया जाता है, उसमें एक विशिष्ट, व्यवस्थित कमजोरी है।