Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models

यहाँ शोध पत्र "Minimal, Local, Causal Explanations for Jailbreak Success in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को हानिकारक अनुरोधों को अस्वीकार करने के लिए सुरक्षा-संरेखित (safety-aligned) किया जाता है, फिर भी वे उन "जेलब्रेक" हमलों के प्रति संवेदनशील बने रहते हैं जो इन अस्वीकारों को दरकिनार कर देते हैं। जबकि पूर्ववर्ती मैकेनिस्टिक इंटरप्रिटेबिलिटी अनुसंधान ने रिप्रजेंटेशन स्पेस में उन वैश्विक दिशाओं (global directions) की पहचान की है जो "हानिकारकपन" (harmfulness) और "अस्वीकृति" (refusal) जैसे अवधारणाओं को एनकोड करती हैं, इन वैश्विक स्पष्टीकरणों (global explanations) की महत्वपूर्ण सीमाएँ हैं:

• विशिष्टता का अभाव (Lack of Specificity): वे यह मान लेते हैं कि सभी जेलब्रेक एक ही तंत्र (जैसे, हानिकारकपन को दबाना) के माध्यम से सफल होते हैं, जबकि विभिन्न रणनीतियाँ अलग-अलग मध्यवर्ती अवधारणाओं (intermediate concepts) में हेरफेर कर सकती हैं।
• गैर-स्थानीय (Non-Local): वे यह स्पष्ट नहीं करते कि एक विशिष्ट जेलब्रेक उदाहरण क्यों सफल हुआ।
• गैर-कारण (Non-Causal): वे अक्सर अस्वीकृति के साथ सह-संबंधित होते हैं, न कि यह सिद्ध करते हैं कि विशिष्ट रिप्रजेंटेशन पर हस्तक्षेप करना मॉडल को अस्वीकार करने के लिए कारणात्मक (causal) रूप से प्रेरित करता है।
• गैर-न्यूनतम (Non-Minimal): मौजूदा विधियों के लिए अक्सर बड़े पैमाने पर, गैर-लक्षित हस्तक्षेपों (जैसे, सभी टोकन को स्टीयर करना) की आवश्यकता होती है ताकि अस्वीकृति प्रेरित की जा सके, जिससे वे अक्षम और व्याख्या करने में कठिन हो जाते हैं।

लेखक स्थानीय, कारणात्मक और न्यूनतम (Local, Causal, and Minimal) स्पष्टीकरणों की आवश्यकता प्रस्तावित करते हैं: एक सफल जेलब्रेक के मध्यवर्ती रिप्रजेंटेशन में ऐसे विशिष्ट, व्याख्या योग्य परिवर्तनों के सबसे छोटे सेट की पहचान करना जो मॉडल को अस्वीकार करने के लिए कारणात्मक रूप से प्रेरित करते हैं।

2. कार्यप्रणाली: LOCA

लेखक LOCA (Local, CAusal explanations) पेश करते हैं, जो एक विधि है जिसे एक सफल जेलब्रेक प्रतिक्रिया को वापस एक अस्वीकृति (refusal) में बदलने के लिए न्यूनतम हस्तक्षेप खोजने के लिए डिज़ाइन किया गया है।

मुख्य घटक

1. टोकन मिलान (Token Matching):

   • चूंकि जेलब्रेक प्रॉम्प्ट ($x_j$) और मूल प्रॉम्प्ट ($x_o$) अक्सर लंबाई और संरचना में भिन्न होते हैं, LOCA एक विशिष्ट मिलान योजना का उपयोग करता है।
   • यह सिस्टम टोकन ($T_{sys}$) को अनदेखा करता है।
   • यह निर्देश टोकन ($T_{inst}$) को मिलान करने के लिए उन्हें रीसैंपल (अपसैंपल या डाउनसैंपल) करता है, जिससे एक-से-एक मैपिंग संभव हो सके।
   • यह पोस्ट-इंस्ट्रक्शन टोकन ($T_{post-inst}$) को सीधे मैच करता है।
   • यह संरचनात्मक रूप से भिन्न प्रॉम्प्ट्स के बीच एक्टिवेशन पैचिंग (Activation Patching) को सक्षम बनाता है।

2. स्टीयरिंग के बजाय एक्टिवेशन पैचिंग (Activation Patching over Steering):

   • पूर्ववर्ती कार्यों के विपरीत जो एक्टिवेशन स्टीयरिंग (सभी टोकन में वेक्टर जोड़ना) का उपयोग करते हैं, LOCA एक्टिवेशन पैचिंग का उपयोग करता है। यह जेलब्रेक प्रॉम्प्ट में विशिष्ट मध्यवर्ती एक्टिवेशन को मूल अस्वीकृत प्रॉम्प्ट के संगत एक्टिवेशन से बदल देता है। यह सुनिश्चित करता है कि परिवर्तन "ऑन-मैनिफोल्ड" (मान्य मॉडल अवस्थाओं के वितरण के भीतर) रहें।

3. व्याख्या योग्य दिशाएँ (SAEs):

   • LOCA मनमाने ढंग से दिशाओं को पैच नहीं करता है। यह मॉडल के रेसिडुअल स्ट्रीम पर प्रशिक्षित स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders - SAEs) से प्राप्त कॉन्सेप्ट वेक्टर्स (concept vectors) के साथ पैच करता है। ये वेक्टर्स मानव-व्याख्या योग्य अवधारणाओं (जैसे, "हिंसा", "कोड जनरेशन") का प्रतिनिधित्व करते हैं।

4. पुनरावृत्ति, टोकन-विशिष्ट प्रथम-क्रम सन्निकटन (Iterative, Token-Specific First-Order Approximation):

   • उद्देश्य: जेलब्रेक के पहले आउटपुट टोकन ($p_j$) और अस्वीकृत मूल के पहले आउटपुट टोकन ($p_o$) के बीच KL डाइवर्जेंस (KL Divergence) को कम करना।
   • सन्निकटन (Approximation): प्रत्येक संभावित पैच के लिए पूर्ण प्रतिक्रिया उत्पन्न करने के बजाय (जो गणनात्मक रूप से अव्यवहार्य है), LOCA दिशा $v$ के साथ टोकन $i$ को पैच करने के प्रभाव का अनुमान लगाने के लिए एक प्रथम-क्रम सन्निकटन का उपयोग करता है:
     $$d(i, v) = [\nabla_{h_{j,i}} KL(p_o || p_j) v] \cdot (h_{o, M(i)} - h_{j,i}) v$$
     जहाँ $h$ एम्बेडिंग्स को दर्शाता है, $M(i)$ मैच किया गया संदर्भ टोकन है, और कोष्ठक में दी गई टर्म डायरेक्शनल डेरिवेटिव (directional derivative) है।
   • पुनरावृत्ति एल्गोरिदम (Iterative Algorithm):
     1. मूल जेलब्रेक एम्बेडिंग्स के साथ प्रारंभ करें।
     2. वह टोकन $i$ और कॉन्सेप्ट वेक्टर $v$ खोजें जो सन्निकटन मीट्रिक को कम करता है।
     3. पैच लागू करें (दिशा $v$ के साथ $h_{j,i}$ को $h_{o, M(i)}$ से बदलें)।
     4. नए स्टेट के आधार पर प्रथम-क्रम सन्निकटन की पुनर्गणना करें (इंटरैक्शन प्रभावों को ध्यान में रखते हुए)।
     5. जब तक अस्वीकृति की स्थिति पूरी न हो जाए या स्टॉपिंग क्राइटेरिया तक न पहुँच जाए, तब तक दोहराएं।

3. प्रमुख योगदान

1. एल्गोरिदम संबंधी नवीनता: LOCA पहला तरीका है जो जेलब्रेक को समझाने के लिए टोकन-विशिष्टता, पुनरावृत्ति गणना, और SAE-आधारित व्याख्यात्मकता को जोड़ता है।
2. दक्षता (Efficiency): LOCA पूर्ववर्ती विधियों (जो अक्सर 20 हस्तक्षेपों के बाद भी विफल हो जाती हैं) की तुलना में काफी कम हस्तक्षेपों (Llama के लिए औसतन 6, Gemma के लिए 12-16) के साथ अस्वीकृति प्रेरित करता है।
3. स्थानीयकरण अंतर्दृष्टि (Localization Insights): विधि यह प्रकट करती है कि अस्वीकृति तंत्र लेयर की गहराई के अनुसार भिन्न होता है:
   • प्रारंभिक परतें (Early Layers): अस्वीकृति निर्देश टोकन ($T_{inst}$) में परिवर्तनों द्वारा संचालित होती है, जिसमें टोकन प्रकार (शब्द बनाम विराम चिह्न) के प्रति कोई मजबूत पूर्वाग्रह नहीं होता है।
   • मध्य/बाद की परतें (Middle/Later Layers): अस्वीकृति लगभग विशेष रूप से पोस्ट-इंस्ट्रक्शन टोकन ($T_{post-inst}$) और विराम चिह्न (punctuation) टोकनों द्वारा संचालित होती है।
4. एब्लेशन सत्यापन (Ablation Validation): प्रयोग पुष्टि करते हैं कि टोकन-विशिष्ट ग्रेडिएंट गणना और एल्गोरिदम की पुनरावृत्ति प्रकृति दोनों ही प्रदर्शन के लिए महत्वपूर्ण हैं; गैर-पुनरावृत्ति या औसत-ग्रेडिएंट वेरिएंट खराब प्रदर्शन करते हैं।

4. प्रयोगात्मक परिणाम

• डेटासेट और मॉडल: Gemma-2-2B-IT और Llama-3.1-8B-Instruct पर WhatFeatures डेटासेट (10,800 जेलब्रेक्स) पर मूल्यांकन किया गया।
• बेसलाइन: Lee et al. (2025) और Yeo et al. (2025) की विधियों के विरुद्ध तुलना की गई।
• मीट्रिक्स:
  • मिनिमल पैचेस (MP): LOCA ~6 पैच (Llama) में अस्वीकृति प्राप्त करता है, जबकि बेसलाइन के लिए यह >20 है।
  • रिफ्यूज़ल रेट (RR): LOCA विशिष्ट परतों (Llama के लिए लेयर 7, Gemma के लिए लेयर 17) पर 100% RR तक पहुँच जाता है, जबकि बेसलाइन लेयर्स बढ़ने के साथ RR सुधारने में संघर्ष करती है।
  • KL-AUC / LD-AUC: LOCA प्रति पैच काफी कम त्रुटि (अस्वीकृत आउटपुट के साथ बेहतर संरेखण) दिखाता है।
• केस स्टडी (AutoDAN): अवैध हथियारों (illegal firearms) से संबंधित AutoDAN जेलब्रेक पर लागू किया गया। LOCA ने पहचाना कि जेलब्रेक निम्नलिखित कारणों से सफल हुआ:
  1. एक "हानिकारक अनुरोध" (harmful request) अवधारणा (Concept #31126) को दबाना।
  2. अनुरोध को हानिरहित बनाने के लिए "हानिरहित कोड जनरेशन" (harmless code generation) अवधारणा (Concept #125009) को मजबूत करना।
  3. इन विशिष्ट वैचारिक बदलावों को उलटने के लिए विराम चिह्न टोकन को पैच करना आवश्यक था।

5. महत्व और निष्कर्ष

यह शोध पत्र LLM सुरक्षा में वैश्विक (global) से स्थानीय (local) मैकेनिस्टिक इंटरप्रिटेबिलिटी की ओर एक बदलाव का प्रतिनिधित्व करता है।

• मैकेनिस्टिक समझ: यह प्रदर्शित करता है कि जेलब्रेक की सफलता एक अखंड घटना नहीं है, बल्कि मध्यवर्ती अवधारणाओं पर विशिष्ट, न्यूनतम कारणात्मक हस्तक्षेपों का एक संग्रह है।
• दक्षता: यह पहचानकर कि सुरक्षा बहाल करने के लिए केवल कुछ विशिष्ट टोकन-कॉन्सेप्ट इंटरैक्शन को बदलने की आवश्यकता होती है, LOCA एक अधिक संक्षिप्त और मानव-समझने योग्य स्पष्टीकरण प्रदान करता है।
• भावी दिशाएँ: यह कार्य रेखांकित करता है कि विभिन्न परतें और टोकन प्रकार अस्वीकृति तंत्र में अलग-अलग भूमिका निभाते हैं, जो यह सुझाव देता है कि सुरक्षा संरेखण रणनीतियों को लेयर-जागरूक (layer-aware) होने की आवश्यकता हो सकती है। जबकि सीमाएँ मौजूद हैं (जैसे, प्रारंभिक Llama परतों की व्याख्या करने में कठिनाई और SAE इष्टतमता), LOCA विशिष्ट जेलब्रेक कमजोरियों को निदान करने और संभावित रूप से उन्हें कम करने के लिए एक मजबूत ढांचा प्रदान करता है।