तकनीकी सारांश: संरेखित (Aligned) LLMs जेलब्रेक करने योग्य क्यों बने रहते हैं?

समस्या विवरण

RLHF (मानवीय फीडबैक से सुदृढीकरण शिक्षण) जैसी सुरक्षा संरेखण तकनीकों के बावजूद, लार्ज लैंग्वेज मॉडल्स (LLMs) जेलब्रेक हमलों के प्रति संवेदनशील बने रहते हैं। ये हमले, जिनमें एडवर्सरियल सफिक्स (adversarial suffixes), प्रॉम्प्ट रीराइटिंग और ऑटोमेटेड टेम्पलेट सर्च शामिल हैं, रिफ्यूज़ल मैकेनिज्म (अस्वीकार करने की प्रक्रिया) को सफलतापूर्वक बायपास करके हानिकारक आउटपुट उत्पन्न करते हैं। जबकि हालिया मैकेनिकल अध्ययनों ने जेलब्रेक सफलता से जुड़े लेटेंट फीचर्स और रिप्रेजेंटेशन शिफ्ट्स की पहचान की है, वे काफी हद तक फेनोमेनोलॉजिकल (घटनात्मक) ही रहे हैं। एक मौलिक सैद्धांतिक प्रश्न अनुत्तरित बना हुआ है: संरेखित LLMs जेलब्रेक करने योग्य क्यों बने रहते हैं, और मॉडल आर्किटेक्चर में कौन सी विशिष्ट संरचनात्मक कमजोरियां इसे सक्षम बनाती हैं?

कार्यप्रणाली

लेखक जेलब्रेक का विश्लेषण करने के लिए एक निरंतर इनपुट-परिवर्तन दृष्टिकोण (continuous input-transformation view) प्रस्तावित करते हैं। जेलब्रेक्स को केवल असतत (discrete) प्रॉम्प्ट कंस्ट्रक्शन के रूप में देखने के बजाय, वे एक हानिकारक प्रॉम्प्ट से उसके जेलब्रेक समकक्ष तक के संक्रमण को इनपुट एम्बेडिंग स्पेस में एक निरंतर वक्र (continuous curve) के रूप में मॉडल करते हैं।

1. सैद्धांतिक ढांचा: रिफ्यूज़ल-एस्केप डायरेक्शंस (RED)

प्रस्तावित मुख्य सैद्धांतिक वस्तु रिफ्यूज़ल-एस्केप डायरेक्शन (RED) है।

• परिभाषा: REDs हानिकारक इनपुट के आसपास स्थानीय परटर्बेशन (विक्षोभ) दिशाएं हैं जो मॉडल के व्यवहार को 'मना करने' (refusal) से बदलकर 'उत्तर देने' (answering) में बदल देती हैं, जबकि इनपुट के हानिकारक अर्थों (harmful semantics) की मॉडल द्वारा व्याख्या को सुरक्षित रखती हैं।
• औपचारिकता (Formalism): मान लीजिए कि $X(\eta)$ एक हानिकारक प्रॉम्प्ट $X(\eta_0)$ से एक जेलब्रेक प्रॉम्प्ट $X(\eta_\star)$ तक का एक निरंतर रूपांतरण है। एक RED एक स्पर्श रेखा दिशा (tangent direction) $X'(\eta)$ है जो "हानिकारक-अर्थ-संरक्षण सेट" $P(X)$ के भीतर स्थित है (वे दिशाएं जो इनपुट की हानिकारक व्याख्या को नहीं बदलतीं) लेकिन साथ ही "टारगेट-बिहेवियर सिग्नल" $\Phi_Y(X)$ (वह सिग्नल जो इनकार और उत्तर देने के बीच अंतर करता है) को बदल देती है।
• महत्व: गैर-तुच्छ (non-trivial) REDs का अस्तित्व यह दर्शाता है कि मॉडल के पास संरचनात्मक स्वतंत्रता के ऐसे स्तर (degrees of freedom) हैं जो हमलावर को हानिकारक अनुरोध की कथित गंभीरता को बदले बिना रिफ्यूज़ल व्यवहार को नियंत्रित करने की अनुमति देते हैं।

2. ऑपरेटर-स्तरीय अपघटन (Operator-Level Decomposition)

यह शोध पत्र सिद्ध करता है कि REDs को मॉडल के ऑपरेटर स्ट्रक्चर (विशेष रूप से LLaMA-फैमिली आर्किटेक्चर जैसे प्री-नॉर्म रेसिडुअल LLMs के लिए) के भीतर विशिष्ट स्रोतों से प्राप्त योगदानों में सटीक रूप से विघटित किया जा सकता है।

• अपघटन: RED $R_Y(X)$, प्रत्येक परत में लीकेज स्रोतों (leakage sources) और एक टर्मिनल स्रोत (terminal source) से प्राप्त ट्रांसपोर्टेड योगदानों का योग है।
• लीकेज स्रोत: ये प्रत्येक परत में टारगेट-बिहेवियर सेंसिटिविटी और हानिकारक-सेमेंटिक्स-सेंसिटिव सबस्पेस के बीच परस्पर क्रिया से उत्पन्न होते हैं। इन्हें वर्गीकृत किया गया है:
  • नॉर्मलाइजेशन स्रोत (Normalization sources): LayerNorm/RMSNorm ऑपरेशन्स से उत्पन्न।
  • सेल्फ-अटेंशन और MLP स्रोत: एक्सप्रेसिव मॉड्यूल्स से उत्पन्न।
  • रेसिडुअल-वायरिंग स्रोत (Residual-wiring sources): रेसिडुअल कनेक्शन (आइडेंटिटी और बॉडी ब्रांचेस) से उत्पन्न।
• टर्मिनल स्रोत (Terminal Source): अंतिम हिडन स्टेट पर टारगेट-बिहेवियर दिशा और प्रोपेगेटेड हानिकारक-सेमेंटिक्स-सेंसिटिव सबस्पेस के बीच एक विसंगति।

3. विश्लेतिक बाधाएं और सुरक्षा-उपयोगिता ट्रेड-ऑफ (Safety–Utility Trade-off)

लेखक नॉर्मलाइजेशन, रेसिडुअल-वायरिंग, और टर्मिनल स्रोतों को विश्लेतिक रूप से बाधित (analytically constrained) के रूप में पहचानते हैं।

• बाधा: इन स्रोतों को समाप्त करने के लिए इनपुट स्पेस के एक जुड़े हुए ओपन क्षेत्र में विशिष्ट एनालिटिक वैनिशिंग कंडीशंस (जैसे, इनपुट/आउटपुट सबस्पेस के बीच निरंतरता) को संतुष्ट करना आवश्यक है।
• प्रमेय (Theorem): यदि "हानिकारक-क्षेत्र RED-उन्मूलन क्षेत्र" (हानिकारक इनपुट के पास REDs को समाप्त करने के लिए आवश्यक कार्रवाई) और "सौम्य-क्षेत्र व्यवहार क्षेत्र" (सौम्य प्रतिक्रियाओं को बनाए रखने के लिए आवश्यक कार्रवाई) विश्लेतिक रूप से समान नहीं हैं, तो कोई भी एकल पैरामीटर सेटिंग दोनों आवश्यकताओं को सटीक रूप से संतुष्ट नहीं कर सकती है।
• निहितार्थ: यह एक सशर्त सुरक्षा-उपयोगिता ट्रेड-ऑफ (conditional safety–utility trade-off) स्थापित करता है। हानिकारक क्षेत्र में REDs (और इस प्रकार जेलब्रेक क्षमता) को पूरी तरह से समाप्त करना गणितीय रूप से सौम्य क्षेत्र में सौम्य व्यवहार की गिरावट की आवश्यकता दे सकता है, जब तक कि मॉडल की ज्यामिति पूरी तरह से संरेखित न हो।

मुख्य योगदान

1. RED का परिचय: जेलब्रेक क्षमता का अध्ययन करने के लिए एक निरंतर इनपुट-परिवर्तन दृष्टिकोण के तहत एक सैद्धांतिक वस्तु के रूप में Refusal-Escape Directions को औपचारिक रूप दिया।
2. सटीक अपघटन: सिद्ध किया कि REDs को मॉडल के आर्किटेक्चर के आधार पर ऑपरेटर-स्तरीय स्रोतों (नॉर्मलाइजेशन, सेल्फ-अटेंशन, MLP, रेसिडुअल-वायरिंग और टर्मिनल स्रोतों) के योगदान में सटीक रूप से विघटित किया जा सकता है।
3. विश्लेतिक बाधाओं की पहचान: नॉर्मलाइजेशन, रेसिडुअल-वायरिंग और टर्मिनल स्रोतों को विश्लेतिक रूप से बाधित पहचाना। दिखाया कि REDs को समाप्त करना एक सशर्त सुरक्षा-उपयोगिता ट्रेड-ऑफ को जन्म देता है, जो यह समझाता है कि क्यों पूर्ण सुरक्षा और उपयोगिता सटीक उन्मूलन बाधाओं के तहत परस्पर अनन्य (mutually exclusive) हो सकते हैं।
4. प्रायोगिक सत्यापन: पांच मॉडल्स (Qwen3, Llama-3.1, Gemma-3) और पांच हमलों (GCG, AutoDAN, GPTFuzzer, TAP, ReNeLLM) पर RED का विश्लेषण किया।

प्रयोगात्मक परिणाम

प्रयोग दो पूरक दृष्टिकोणों से सिद्धांत को मान्य करते हैं:

1. एडेड टोकन डायमेंशन RED को उजागर करते हैं:

   • "क्लीन" हानिकारक इनपुट में (पैडिंग के बिना), विभिन्न ऑपरेटर-स्तरीय स्रोतों से प्राप्त योगदान अक्सर एक-दूसरे को रद्द कर देते हैं, जिसके परिणामस्वरूप लगभग शून्य RED होता है।
   • जब "प्लेसहोल्डर" टोकन डायमेंशन जोड़े जाते हैं (जो कई जेलब्रेक की संरचना की नकल करते हैं), तो यह रद्दीकरण (cancellation) टूट जाता है। जोड़े गए डायमेंशन नए ट्रांसपोर्ट चैनल्स बनाते हैं, जिससे एक महत्वपूर्ण, गैर-शून्य RED उजागर होता है।
   • निष्कर्ष: टर्मिनल सोर्स, उजागर RED में सबसे स्थिर और प्रमुखता से योगदान देता है, जो यह सुझाव देता है कि सफल जेलब्रेक मॉडल के प्राथमिक हानिकारक-अर्थ व्याख्या के बाहर के साइड-चैनल का लाभ उठाते हैं।

2. जेलब्रेक ट्रांजिशन टर्मिनल सोर्सेज के साथ संरेखित होते हैं:

   • हानिकारक से जेलब्रेक प्रॉम्प्ट के निरंतर रूपांतरण का विश्लेषण करते हुए, लेखकों ने पाया कि कई मामलों में "इनकार-से-उत्तर" (refusal-to-answer) का बदलाव रूपांतरण के पहले आधे हिस्से के भीतर होता है।
   • रूपांतरण के साथ स्थानीय व्यवहार परिवर्तन काफी हद तक RED ($\rho_R \approx 1$) द्वारा समझाया जा सकता है।
   • निष्कर्ष: ट्रांसफॉर्मेशन टेंजेंट (रूपांतरण स्पर्श रेखा) सबसे लगातार टर्मिनल-सोर्स योगदानों के साथ संरेखित होती है। यह सुझाव देता है कि सफल जेलब्रेक नई प्रक्रियाएं नहीं बनाते हैं, बल्कि मौजूदा, दृश्यमान REDs (विशेष रूप से टर्मिनल साइड-चैनल) का लाभ उठाते हैं जो प्रारंभिक हानिकारक इनपुट पर भी मौजूद होते हैं।

महत्व और दावे

पेपर का दावा है कि यह केवल घटनात्मक अवलोकनों से आगे बढ़कर ऑपरेटर-स्तरीय अपघटन पर आधारित एक सैद्धांतिक ढांचे के माध्यम से यह समझाने के लिए एक संरचनात्मक स्पष्टीकरण प्रदान करता है कि संरेखित LLMs जेलब्रेक करने योग्य क्यों बने रहते हैं।

• संरचनात्मक भेद्यता: जेलब्रेक क्षमता केवल प्रशिक्षण डेटा की विफलता नहीं है, बल्कि एक संरचनात्मक गुण है जहाँ मॉडल में "एस्केप डायरेक्शंस" बने रहते हैं जो अर्थ परिवर्तन के बिना व्यवहार मॉड्यूलेशन की अनुमति देते हैं।
• ट्रेड-ऑफ: पेपर का तर्क है कि पूर्ण सुरक्षा प्राप्त करने में कठिनाई केवल एक अनुकूलन (optimization) चुनौती नहीं है, बल्कि संभावित रूप से एक मौलिक सीमा है। REDs को समाप्त करने (सुरक्षा) और सौम्य प्रतिक्रियाओं को बनाए रखने (उपयोगिता) की आवश्यकता साझा एक्सप्रेसिव मॉड्यूल्स (Self-Attention और MLP) पर परस्पर विरोधी विश्लेतिक बाधाएं लगाती है।
• रक्षा निहितार्थ: लेखक सुझाव देते हैं कि भविष्य की संरेखण रणनीतियों को केवल पूर्ण किए गए जेलब्रेक प्रॉम्प्ट की गणना करने पर ध्यान केंद्रित नहीं करना चाहिए। इसके बजाय, रक्षाओं का लक्ष्य हानिकारक इनपुट के आसपास स्थानीय REDs को दबाना होना चाहिए, जिसमें टर्मिनल-सोर्स योगदानों पर विशेष ध्यान दिया जाना चाहिए, जो जेलब्रेक के लिए सबसे स्थिर और शोषण योग्य मार्ग प्रतीत होते हैं।

पेपर विनम्रतापूर्वक समाप्त होता है, यह नोट करते हुए कि हालांकि इसने इन संरचनात्मक कमजोरियों और ट्रेड-ऑफ की पहचान की है, व्यावहारिक रक्षाओं के लिए सटीक RED उन्मूलन की आवश्यकता नहीं हो सकती है, बल्कि उपयोगी दहलीज (threshold) से नीचे दबाना आवश्यक है, और सुरक्षा-उपयोगिता ट्रेड-ऑफ के लिए विशिष्ट स्थितियों के लिए आगे के अनुभवजन्य और सैद्धांतिक अन्वेषण की आवश्यकता है।