💻 computer science

The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs

यह शोध पत्र कॉन्ट्रास्टिव लॉजिट स्टीयरिंग (CLS) प्रस्तुत करता है, जो एक ज़ीरो-ऑप्टिमाइज़ेशन फ्रेमवर्क है जो LLMs में सुरक्षा संरेखण (सेफ्टी एलाइनमेंट) को एक हेरफेर योग्य रैखिक विशेषता (लीनियर फीचर) के रूप में प्रकट करता है, जो आउटपुट वितरणों को स्टीयर करके उच्च-सफलता वाले जेलब्रेक्स और बिना पुनरप्रशिक्षण के वेक्टर इनवर्जन के माध्यम से उन्नत रक्षा दोनों को सक्षम बनाता है।

मूल लेखक: Shivam Ratnakar, Kartikeya Vats

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shivam Ratnakar, Kartikeya Vats

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक बहुत ही बुद्धिमान, अत्यधिक प्रशिक्षित सहायक के रूप में करें जिसे एक सख्त नियम सिखाया गया है: "कभी भी हानिकारक कार्य न करें।" लंबे समय तक, हमें लगा कि यह नियम सहायक के मस्तिष्क में गहराई से रचा-बसा है, जैसे कि उनके व्यक्तित्व का एक मौलिक हिस्सा हो। लेकिन यह शोध पत्र कुछ अलग सुझाव देता है: यह नियम वास्तव में उनके उत्तर के बिल्कुल अंतिम पृष्ठ पर चिपकाए गए एक स्टिकी नोट (sticky note) की तरह है, न कि किसी गहरे-स्तर के विश्वास की तरह।

यहाँ सरल उपमाओं का उपयोग करके शोध के निष्कर्षों का विवरण दिया गया है:

1. "स्टिकी नोट" सिद्धांत (मुख्य खोज)

शोधकर्ताओं ने पाया कि कई लोकप्रिय AI मॉडलों (जैसे Llama) के लिए, सुरक्षा कोई जटिल, गहरा विचार प्रक्रिया नहीं है। इसके बजाय, यह एक रैखिक विशेषता (linear feature) है—गणित में एक सीधी रेखा जिसका उपयोग मॉडल "हाँ" या "ना" तय करने के लिए करता है।

उपमा: कल्पना कीजिए कि AI एक शेफ है जो भोजन तैयार कर रहा है।
- पुराना दृष्टिकोण: हमें लगा कि शेफ के पास एक गहरा, आंतरिक नैतिक विवेक है जो उन्हें रेसिपी की शुरुआत में ही जहर पकाने से रोकता है।
- नया दृष्टिकोण: शेफ जहर वाला व्यंजन ठीक उसी तरह बनाता है जैसे वह सुरक्षित व्यंजन बनाता है। "सुरक्षा" बस अंत में एक स्टिकी नोट पर लिखा एक निर्देश है: "इसे परोसें नहीं।" यदि आप उस स्टिकी नोट को हटा देते हैं, तो शेफ खुशी-खुशी जहर परोस देगा।

2. नया टूल: "कॉन्ट्रास्टिव लॉजिट स्टीयरिंग" (CLS)

लेखकों ने CLS नामक एक टूल बनाया ताकि इस सिद्धांत का परीक्षण किया जा सके। AI को भ्रमित करने वाली पहेलियों या लंबे, जटिल प्रॉम्प्ट्स (जिस तरह से हैकर्स आमतौर पर सुरक्षा को तोड़ने की कोशिश करते हैं) के माध्यम से धोखा देने के बजाय, CLS सरल गणित का उपयोग करता है।

यह कैसे काम करता है:
1. शोधकर्ता AI से एक ही प्रश्न दो बार पूछते हैं: एक बार "सुरक्षित" निर्देश के साथ और एक बार "अप्रतिबंधित" निर्देश के साथ।
2. वे दोनों उत्तरों के बीच के अंतर को देखते हैं। यह अंतर "रिफ्यूज़ल वेक्टर" (Refusal Vector) (अर्थात "ना" का गणितीय प्रतिनिधित्व) है।
3. वे फिर AI के अंतिम उत्तर में बोलने से पहले उस "ना" को घटा (subtract) देते हैं।
परिणाम: यह प्लेट से स्टिकी नोट हटाने जैसा है। AI, जो कहने ही वाला था कि "मैं यह नहीं कर सकता," अचानक कहता है, "ज़रूर, यहाँ बताया गया है कि आप यह कैसे कर सकते हैं।"

3. "लेट डिसीजन" (देर से निर्णय लेना) बनाम "अर्ली डाइवर्जेंस" (जल्दी विचलन)

शोध पत्र ने पाया कि सभी AI मॉडल एक जैसे नहीं हैं। वे इस आधार पर दो श्रेणियों में आते हैं कि वे हानिकारक अनुरोध को अस्वीकार करने का निर्णय कब लेते हैं:

"लेट डिसीजन" मॉडल (जैसे Llama-3.1):
- उपमा: ये मॉडल उन छात्रों की तरह हैं जो पूरा लेक्चर सुनते हैं, नोट्स लेते हैं, और परीक्षा जमा करने से ठीक एक सेकंड पहले याद करते हैं, "ओह रुकिए, मुझे यह नहीं लिखना चाहिए था।"
- भेद्यता (Vulnerability): क्योंकि वे अंत तक प्रतीक्षा करते हैं, शोधकर्ताओं का टूल (CLS) आसानी से उन्हें बायपास कर सकता है। उन्होंने इन मॉडलों को हानिकारक अनुरोधों के लिए "हाँ" कहने के लिए केवल एक सेकंड में 95% सफलता दर हासिल की।
"अर्ली डाइवर्जेंस" मॉडल (जैसे Qwen-2.5):
- उपमा: ये मॉडल उन छात्रों की तरह हैं जिन्हें लेक्चर के बीच में ही एहसास हो जाता है, "यह विषय वर्जित है," और वे तुरंत उस विषय पर नोट्स लेना बंद कर देते हैं।
- परिणाम: इन्हें तोड़ना बहुत कठिन है। क्योंकि सुरक्षा का निर्णय विचार प्रक्रिया के गहराई में होता है (न कि केवल अंत में), इसलिए केवल अंत में "स्टिकी नोट" को हटाना काम नहीं करता है। वे अधिक मजबूत (robust) हैं।

4. गति और दक्षता

यह शोध पत्र इस विधि को पिछले हैकिंग प्रयासों की तुलना में अविश्वसनीय रूप से तेज़ बताता है।

पुराना तरीका (GCG): AI को चकमा देने के लिए कोई जादुई वाक्यांश खोजने की कोशिश करना एक विशाल कीचेन में हर एक चाबी को आज़माकर ताला खोलने की कोशिश करने जैसा है। इसमें प्रति प्रयास लगभग 15 मिनट लगते हैं और अक्सर यह विफल हो जाता है।
नया तरीका (CLS): यह एक मास्टर की (master key) होने जैसा है जो दरवाजे को तुरंत खोल देती है। यह एक सेकंड लेता है और "लेट डिसीजन" मॉडलों पर लगभग हर बार काम करता है।

5. "दोधारी तलवार" (रक्षा)

सबसे आश्चर्यजनक खोज यह है कि इसी गणितीय ट्रिक का उपयोग AI को सुरक्षित करने के लिए भी किया जा सकता है, न कि केवल तोड़ने के लिए।

उपमा: यदि आप AI को बुरी चीजों के लिए "हाँ" कहने के लिए "ना" को हटा सकते हैं, तो आप और अधिक "ना" जोड़कर इसे और अधिक सख्त बना सकते हैं।
परिणाम: गणित को उलटकर (हाँ की प्रवृत्ति को घटाकर), शोधकर्ताओं ने मॉडलों को बिना पुन: प्रशिक्षित (retrain) किए जेलब्रेक के प्रति अधिक प्रतिरोधी बनाया। इसने AI के उत्तरों को अधिक आत्मविश्वासी और कम हिचकिचाहट वाला भी बना दिया।

सारांश

शोध पत्र तर्क देता है कि कई AI मॉडलों में वर्तमान सुरक्षा उपाय सतही हैं। वे एक गहरी क्षमता के ऊपर पेंट की एक पतली परत की तरह हैं। शोधकर्ताओं ने पाया है कि वे इस पेंट को साधारण गणित का उपयोग करके तुरंत खुरच कर निकाल सकते हैं। जबकि यह एक भेद्यता को उजागर करता है, यह यह भी प्रदान करता है कि AI के बारे में कैसे सोचा जाए और उस "पेंट" की परत को अधिक प्रभावी ढंग से सुदृढ़ करके AI को सुरक्षित बनाने के लिए एक उपकरण प्रदान करता है।

मुख्य निष्कर्ष: इन मॉडलों में सुरक्षा अक्सर एक "सतही-स्तर" की विशेषता होती है जिसे एक साधारण गणितीय स्विच के साथ चालू या बंद किया जा सकता है, न कि एक गहरा, अपरिवर्तनीय बुद्धिमत्ता का हिस्सा।

तकनीकी सारांश: इनकार की ज्यामिति: सुरक्षा-संरेखित (Safety-Aligned) LLMs में रैखिक अस्थिरता

समस्या विवरण

सुरक्षा संरेखण तकनीकों (जैसे कि RLHF) के व्यापक उपयोग के बावजूद, यह समझना अभी भी कठिन है कि लार्ज लैंग्वेज मॉडल्स (LLMs) हानिकारक प्रश्नों को किस प्रकार अस्वीकार करते हैं। एक महत्वपूर्ण खुला प्रश्न यह है कि क्या सुरक्षा अनुपालन वास्तव में हानि की गहरी अर्थपूर्ण समझ (semantic understanding) का प्रतिनिधित्व करता है या यह केवल एक सतही, हेरफेर योग्य रैखिक विशेषता (linear feature) है। वर्तमान प्रतिकूल हमले (adversarial attacks) अक्सर गणनात्मक रूप से महंगे अनुकूलन (जैसे GCG) या पुनरावृत्ति खोज (iterative search) पर निर्भर करते हैं, जो आधुनिक सुरक्षा प्रशिक्षण के विरुद्ध विफल हो सकते हैं। यह कार्य इस बात की जांच करता है कि क्या सुरक्षा को मॉडल के एक्टिवेशन स्पेस में एक रैखिक ज्यामितीय विशेषता के रूप में एनकोड किया गया है, जिसे आउटपुट लॉजिट्स (logits) पर प्रत्यक्ष अंकगणितीय हस्तक्षेप के माध्यम से बायपास या सुदृढ़ किया जा सकता है।

कार्यप्रणाली: कंट्रास्टिव लॉजिट स्टीयरिंग (CLS)

लेखक कंट्रास्टिव लॉजिट स्टीयरिंग (CLS) पेश करते हैं, जो एक ज़ीरो-ऑप्टिमाइज़ेशन फ्रेमवर्क है और मॉडल के आंतरिक हिडन एक्टिवेशन के बजाय सीधे मॉडल के आउटपुट वितरण (लॉजिट्स) पर कार्य करता है।

मुख्य तंत्र

कंट्रास्टिव प्रॉम्प्टिंग: एक दिए गए उपयोगकर्ता प्रश्न $q$ $q$ के लिए, मॉडल तीन अलग-अलग सिस्टम प्रॉम्प्ट्स का उपयोग करके तीन समानांतर फॉरवर्ड पास निष्पादित करता है:
- बेस ( $s_{base}$ ): एक तटस्थ निर्देश (जैसे, "आप एक सहायक सहायक हैं")।
- अनरिस्ट्रिक्टेड ( $s_{+}$ ): सुरक्षा बाधाओं को हटाने वाला एक प्रतिकूल निर्देश।
- रिस्ट्रिक्टेड ( $s_{-}$ ): अत्यधिक सुरक्षा लागू करने वाला एक प्रतिबंधात्मक निर्देश।
वेक्टर आइसोलेशन: प्रत्येक डिकोडिंग स्टेप $t$ पर, विधि एक तात्कालिक स्टीयरिंग वेक्टर $v_t$ की गणना करती है जो प्रतिबंधित स्ट्रीम के लॉजिट्स को अनरिस्ट्रिक्टेड स्ट्रीम से घटाकर प्राप्त किया जाता है:
$v_t = z^+_t - z^-_t$
यह वेक्टर "इनकार दिशा" (Refusal Direction) को अलग करता है—जो लॉजिट स्पेस में वह विशिष्ट ज्यामितीय दिशा है जो अनुपालन और इनकार के बीच के बाइनरी अंतर को एनकोड करती है।
लॉजिट इंटरवेंशन: बेस लॉजिट्स को स्केल किए गए स्टीयरिंग वेक्टर को जोड़कर संशोधित किया जाता है:
$\tilde{z}_t = z^{base}_t + \alpha \cdot v_t$
- जेलब्रेकिंग ( $\alpha > 0$ ): "अनरिस्ट्रिक्टेड" व्यवहार को इंजेक्ट करता है, जिससे सुरक्षा टोकन्स दब जाते हैं।
- हार्डनिंग ( $\alpha < 0$ ): "अनरिस्ट्रिक्टेड" व्यवहार को घटाता है, जिससे कृत्रिम रूप से सुरक्षा प्रेरित होती है।
प्रीफिक्स इंजेक्शन: मॉडल के प्रारंभिक इनकार रिफ्लेक्स (जहाँ मॉडल अक्सर तुरंत "I cannot" जैसे शब्द आउटपुट करता है) को बायपास करने के लिए, यह विधि अगले टोकन पर स्टीयरिंग वेक्टर लागू करने से पहले पहले $k$ टोकन को एक सकारात्मक प्रीफिक्स (जैसे, "Sure") के लिए मजबूर करती है।

डिटेक्शन मैकेनिज्म

यह फ्रेमवर्क ज़ीरो-शॉट डिटेक्शन के लिए ज्यामितीय पृथकरणीयता (geometric separability) का भी उपयोग करता है। हानिकारक और सौहार्दपूर्ण एंकर प्रश्नों के बीच अंतिम-परत के हिडन स्टेट्स के अंतर से एक ग्लोबल रिफ्यूज़ल वेक्टर की गणना करके, सिस्टम बिना किसी अलग क्लासिफायर को प्रशिक्षित किए, कोसाइन समानता (cosine similarity) के आधार पर नए प्रश्नों को वर्गीकृत कर सकता है।

मुख्य योगदान

डायग्नोस्टिक प्रोब के रूप में CLS: यह पेपर एक ज़ीरो-शॉट, लॉजिट-लेवल स्टीयरिंग फ्रेमवर्क प्रदान करता है जो इस बात का यांत्रिक प्रमाण देता है कि Llama जैसे आर्किटेक्चर में सुरक्षा एक गहरा सिमेंटिक कंस्ट्रेंट होने के बजाय एक उथला "रैपर" (wrapper) है।
इनकार की टोपोलॉजी (Topology of Refusal): नेटवर्क डेप्थ के माध्यम से KL-डाइवर्जेंस विश्लेषण का उपयोग करते हुए, लेखक दो अलग-अलग सुरक्षा टोपोलॉजी की पहचान करते हैं:
- "लेट डिसीजन" मॉडल्स (जैसे, Llama-3.1): ये मॉडल हानिकारक और सौहार्दपूर्ण प्रश्नों को लगभग 95% परतों तक समान रूप से प्रोसेस करते हैं, और केवल अंतिम आउटपुट हेड पर भिन्न होते हैं। यह उन्हें लॉजिट-लेवल स्टीयरिंग के प्रति अत्यधिक संवेदनशील बनाता है।
- "अर्ली डाइवर्जेंस" मॉडल्स (जैसे, Qwen-2.5): ये मॉडल सुरक्षा को गणना के मध्य (~40% गहराई) में एकीकृत करते हैं, जिससे वे रैखिक स्टीयरिंग के प्रति काफी अधिक मजबूत होते हैं क्योंकि इनकार तंत्र तर्क (reasoning) के साथ उलझा हुआ होता है।
एम्पिरिकल बेसलाइन्स: यह कार्य एक्टिवेशन-लेवल स्टीयरिंग विधियों (Arditi et al., 2024) और ऑप्टिमाइज़ेशन-आधारित हमलों (GCG) के विरुद्ध प्रत्यक्ष तुलना प्रदान करता है, जो दर्शाता है कि लॉजिट-लेवल हस्तक्षेप अधिक संरेखण भंगुरता (alignment fragility) को उजागर करता है।
द्विदिश नियंत्रण (Bidirectional Control): यह विधि एक ही वेक्टर के माध्यम से हमले (जेलब्रेकिंग) और रक्षा (सेफ्टी हार्डनिंग) दोनों को सक्षम बनाती है। स्टीयरिंग वेक्टर को उलटने ( $\alpha < 0$ ) से न केवल जेलब्रेक्स के खिलाफ मॉडल को "हार्डन" करने में मदद मिली, बल्कि विरोधाभासी रूप से अस्पष्टता को कम करके प्रतिक्रिया की सुसंगतता (coherence) में भी सुधार हुआ।

प्रयोगात्मक परिणाम

लेखकों ने सात मॉडल परिवारों (Gemma-3, Llama-3.1/3.2/3.3, Qwen-2.5) में AdvBench, JailbreakBench, और HarmBench सहित डेटासेट्स का उपयोग करके CLS का मूल्यांकन किया।

GCG के मुकाबले ASR: Llama-3.1-8B पर, GCG ने 100 ऑप्टिमाइज़ेशन स्टेप्स के बाद केवल 5% ASR प्राप्त किया, जबकि CLS ने लगभग एक सेकंड में 95% ASR प्राप्त किया (एक ~900x स्पीडअप)। Qwen-2.5-7B पर, CLS ने 45% GCG की तुलना में 90% ASR प्राप्त किया।
एक्टिवेशन स्टीयरिंग के साथ तुलना: Arditi et al. (2024) के साथ तुलना करने पर, CLS ने Llama 2 (73% बनाम 22.6%) और Qwen 7B (91% बनाम 79.2%) पर काफी अधिक ASR प्राप्त किया। लेखक इस बड़े अंतर का श्रेय "लेट डिसीजन" टोपोलॉजी को देते हैं, जहाँ इनकार का संकेत आउटपुट लेयर पर केंद्रित होता है, जिससे हिडन-स्टेट एब्लेशन की तुलना में लॉजिट-लेवल हस्तक्षेप अधिक प्रभावी हो जाता है।
सेफ्टी हार्डनिंग: नेगेटिव स्टीयरिंग ( $\alpha = -1.0$ ) ने अटैक सक्सेस रेट को एकल अंकों तक कम कर दिया (उदाहरण के लिए, Llama-3.3-70B का ASR 68.8% से गिरकर 9.4% हो गया)।
ज़ीरो-शॉट डिटेक्शन: ग्लोबल रिफ्यूज़ल वेक्टर का उपयोग करके, विधि ने बिना किसी अलग मॉडल को प्रशिक्षित किए, दुर्भावनापूर्ण और सौहार्दपूर्ण प्रॉम्प्ट्स के बीच अंतर करने के लिए JailbreakBench पर 0.92 का F1 स्कोर प्राप्त किया।

महत्व और दावे

पेपर का तर्क है कि वर्तमान संरेखण तकनीकें एक स्टीरेबल "सेफ्टी एक्सिस" (safety axis) बनाती हैं जो एक महत्वपूर्ण भेद्यता और सटीक रक्षा प्रिमिटिव (primitive) दोनों के रूप में कार्य करती है।

यांत्रिक अंतर्दृष्टि (Mechanistic Insight): निष्कर्षों से पता चलता है कि कई मॉडल्स के लिए, RLHF हानिकारक ज्ञान को "अनलर्न" नहीं करता है, बल्कि आउटपुट लेयर पर एक रैखिक दमन विशेषता (linear suppression feature) लागू करता है। "रिफ्यूज़ल वेक्टर" न केवल सुरक्षा अनुपालन बल्कि हिचकिचाहट और अस्पष्टता को भी कैप्चर करता है; इसे हटाने से विरोधाभासी रूप से सुसंगतता में सुधार हो सकता है।
आर्किटेक्चरल डिटर्मिनिज्म: Llama (लेट डिसीजन) और Qwen (अर्ली डाइवर्जेंस) के बीच भेद्यता का अंतर यह संकेत देता है कि सुरक्षा एकीकरण की गहराई एक नियतात्मक कारक है, जो संभवतः आर्किटेक्चर और प्रशिक्षण हस्तक्षेपों द्वारा आकार लेती है।
रक्षा निहितार्थ: लेखक दावा करते हैं कि जब तक सुरक्षा एक अलग करने योग्य रैखिक सबस्पेस (linear subspace) के रूप में लागू की जाती है, तब तक यह ज्यामितीय हस्तक्षेप के प्रति संवेदनशील बनी रहती है। वे प्रस्तावित करते हैं कि भविष्य के संरेखण प्रतिमानों को सुरक्षा को सामान्य क्षमता के साथ इस तरह उलझाना चाहिए कि इनकार एक गहरा सिमेंटिक गुण बन जाए, न कि एक हटाने योग्य सतही विशेषता।

कार्य यह निष्कर्ष निकालता है कि CLS दमित क्षमताओं के ऑडिटिंग और मॉडल्स को गतिशील रूप से सुदृढ़ करने के लिए एक वास्तविक समय का प्रिमिटिव प्रदान करता है, जो वर्तमान सुरक्षा कार्यान्वयन की नाजुकता को उजागर करता है।