Safety Cost of Steering Vectors Is Separable and Reducible

तकनीकी सारांश: "क्या इन्फरेंस-टाइम हस्तक्षेप संरेखण (Alignment) को सुरक्षित रख सकते हैं? स्टीयरिंग वेक्टर्स की सुरक्षा लागत विभाज्य और न्यून करने योग्य है"

समस्या विवरण
स्टीयरिंग वेक्टर्स, मॉडल के रेसिडुअल स्ट्रीम एक्टिवेशन में एक विशिष्ट दिशा जोड़ने द्वारा, इन्फरेंस के समय लार्ज लैंग्वेज मॉडल (LLM) के व्यवहार को नियंत्रित करने के लिए एक हल्का तंत्र प्रदान करते हैं। हालांकि, हाल के साक्ष्य संकेत देते हैं कि प्रतीत होने वाले सौम्य (benign) स्टीयरिंग वेक्टर्स अनजाने में मॉडल की सुरक्षा से समझौता कर सकते हैं, जिससे हानिकारक अनुरोधों (जेलब्रेक्स) के प्रति अनुपालन और इनकार तंत्र (refusal mechanisms) में गिरावट आती है। जबकि पूर्व कार्य ने सुझाव दिया था कि सुरक्षा क्षरण ज्ञात "इनकार दिशाओं" (refusal directions) के साथ ओवरलैप से उत्पन्न होता है, ज्ञात दिशाओं का सरल एब्लेशन (ablation) भी सुरक्षा को विश्वसनीय रूप से बहाल करने में विफल रहता है। ऐसा इसलिए है क्योंकि इनकार व्यवहार कई यांत्रिक रूप से स्वतंत्र दिशाओं के उच्च-आयामी उपस्थान (subspace) द्वारा संचालित होता है, और एक स्टीयरिंग वेक्टर का विशिष्ट सुरक्षा-क्षयकारी घटक आवश्यक रूप से किसी भी पूर्व-निर्धारित इनकार दिशा के साथ संरेखित नहीं होता है। इसके अलावा, सुरक्षा क्षरण का मुकाबला करने के लिए इनकार को मजबूत करने से अक्सर सौम्य इनपुट पर अनुचित 'फॉल्स रिफुलल' (false refusals) में वृद्धि होती है।

कार्यप्रणाली: CAST (सुरक्षित स्टीयरिंग के लिए नियंत्रित एब्लेशन - Constrained Ablation for Safe STeering)
लेखक CAST का प्रस्ताव करते हैं, जो मॉडल को पुन: प्रशिक्षित किए बिना स्टीयरिंग वेक्टर्स को शुद्ध (sanitize) करने की एक पोस्ट-हॉक विधि है। मुख्य परिकल्पना यह है कि सुरक्षा-क्षयकारी घटक, स्टीयरिंग वेक्टर के व्यवहारिक रूप से प्रभावी घटक से ज्यामितीय रूप से अलग (separable) है। CAST सुरक्षा-क्षयकारी घटक की पहचान और निष्कासन को एक नियंत्रित अनुकूलन (constrained optimization) समस्या के रूप में तैयार करता है।

1. पैरामीटराइजेशन (Parameterization): शुद्ध वेक्टर $v^*$ को मूल स्टीयरिंग वेक्टर $v$ से एक सीखे गए उपस्थान $S$ को प्रोजेक्ट करके प्राप्त किया जाता है। मुख्य प्रयोगों में, यह एक रैंक-1 सन्निकटन (approximation) है जहाँ एक एकल सीखा गया यूनिट वेक्टर $\hat{r}$ सुरक्षा-क्षयकारी दिशा को कैप्चर करता है: $v^* = v - \hat{r}\hat{r}^\top v$।
2. ऑब्जेक्टिव फंक्शन (Objective Function): यह विधि सुरक्षा हानि ($L_{safety}$) को कम करती है, जो हानिकारक प्रॉम्प्ट्स पर अनस्टीयर्ड (unsteered) बेसलाइन और स्टीयर्ड मॉडल के बीच इनकार-टोकन संभावनाओं के विचलन को मापती है।
3. बाधाएं (Constraints): यह सुनिश्चित करने के लिए कि उपयोगिता बनी रहे और अत्यधिक इनकार (over-refusal) न हो, अनुकूलन दो स्पष्ट बाधाओं के अधीन है जिन्हें लैग्रेंजियन प्रिमल-ड्यूल (Lagrangian primal-dual) दृष्टिकोण के माध्यम से लागू किया जाता है:
   • प्रभाव संरक्षण ($L_{effect}$): लक्षित व्यवहार को प्रेरित करने के लिए डिज़ाइन किए गए प्रॉम्प्ट्स पर शुद्ध वेक्टर का आउटपुट वितरण, मूल स्टीयरिंग वेक्टर के करीब रहना चाहिए।
   • फॉल्स रिफुलल नियंत्रण ($L_{frr}$): सौम्य प्रॉम्प्ट्स पर इनकार की संभावना अनस्टीयर्ड बेसलाइन की तुलना में बढ़नी नहीं चाहिए।
4. अनुकूलन (Optimization): समस्या को प्रिमल-ड्यूल अपडेट का उपयोग करके हल किया जाता है। प्रिमल वेरिएबल ($\hat{r}$) को ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है, जबकि ड्यूल वेरिएबल्स ($\lambda_e, \lambda_f$) बाधाओं को लागू करने के लिए दंड भार (penalty weights) को अनुकूल रूप से समायोजित करते हैं। सुरक्षा हानि गैर-डिफरेंशिएबल जजों के बजाय इनकार-सूचक टोकन (जैसे, "I cannot," "sorry") के विचलन पर आधारित एक डिफरेंशिएबल प्रॉक्सी का उपयोग करती है।

मुख्य परिणाम
विधि का मूल्यांकन तीन मॉडलों (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-14B), तीन व्यवहारिक डोमेन (Corrigibility, Power-Seeking, Self-Awareness), और सात जेलब्रेक हमले परिदृश्यों (स्थिर टेम्पलेट्स और GCG एवं AutoDAN जैसे एडेप्टिव हमलों सहित) में किया गया।

• सुरक्षा बहाली (Safety Restoration): CAST स्टीयरिंग वेक्टर्स द्वारा प्रेरित अटैक सक्सेस रेट (ASR) को काफी कम कर देता है। सभी मॉडलों और व्यवहारों में, शुद्ध वेक्टर्स ने औसत ASR को अनस्टीयर्ड बेसलाइन स्तरों के बराबर या उससे नीचे ला दिया। इसके विपरीत, ज्ञात इनकार दिशाओं के एब्लेशन ने केवल मामूली सुधार प्रदान किया।
• सामान्यीकरण (Generalization): सीखा गया सुरक्षा-क्षयकारी दिशा अनदेखे हमले प्रकारों (जैसे, प्रशिक्षण के दौरान न देखे गए एडेप्टिव हमले) और विभिन्न स्टीयरिंग मल्टीप्लायर्स ($\alpha$) में प्रभावी ढंग से सामान्यीकृत हुआ।
• प्रभाव संरक्षण (Effect Preservation): स्टीयरिंग वेक्टर्स के व्यवहारिक प्रभाव काफी हद तक संरक्षित रहे। कई कॉन्फ़िगरेशन में, शुद्ध वेक्टर्स ने मूल वेक्टर्स की तुलना में इच्छित व्यवहारिक बदलाव को बनाए रखा या थोड़ा मजबूत किया, जो यह सुझाव देता है कि सुरक्षा और उपयोगिता घटक न केवल अलग-अलग हैं बल्कि आंशिक रूप से प्रतिस्पर्धी भी हैं।
• फॉल्स रिफुलल (False Refusal): CAST ने फॉल्स रिफुलल की वृद्धि को सफलतापूर्वक रोका। मानक सौम्य डेटासेट्स (Alpaca) पर, फॉल्स रिफुलल दर अपरिवर्तित रही या कम हुई। चुनौतीपूर्ण बॉर्डरलाइन प्रॉम्प्ट्स (XSTest) पर, वृद्धि न्यूनतम थी (आमतौर पर 1-2% से कम), जो सुरक्षा जोखिमों में महत्वपूर्ण कमी के विरुद्ध एक अनुकूल ट्रेड-ऑफ का प्रतिनिधित्व करती है।
• रैंक विश्लेषण (Rank Analysis): उच्च-आयामी एब्लेशन उपस्थानों ($k > 1$) के साथ प्रयोगों ने घटते प्रतिफल (diminishing returns) दिखाए। एक रैंक-1 एब्लेशन ने सबसे अच्छा संतुलन प्राप्त किया, जबकि उच्च रैंकों ने इच्छित व्यवहारिक प्रभाव के साथ ओवरलैप करने वाले घटकों को हटाने की प्रवृत्ति दिखाई, बिना आनुपातिक सुरक्षा लाभ प्रदान किए।

महत्व और दावे
पेपर का दावा है कि इन्फरेंस-टाइम हस्तक्षेपों का "सुरक्षा टैक्स" (safety tax) एक्टिवेशन स्टीयरिंग का एक अपरिहार्य परिणाम नहीं है। इसके बजाय, सुरक्षा क्षरण स्टीयरिंग वेक्टर के भीतर एक विशिष्ट, हटाने योग्य घटक से उत्पन्न होता है जो इसके उपयोगिता घटक से ज्यामितीय रूप से अलग है। वेक्टर पर एक नियंत्रित अनुकूलन के रूप में समस्या को तैयार करके, CAST एक सामान्य रेसिपी प्रदान करता है कि सुरक्षा से समझौता किए बिना या फॉल्स रिफुलल को प्रेरित किए बिना एक्टिवेशन-स्तर के हस्तक्षेप कैसे लागू किए जाएं। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण एक सर्जिकल, व्याख्या योग्य सुधार प्रदान करता है जो मॉडल की सुरक्षा को बहाल करते हुए इच्छित व्यवहारिक नियंत्रण को बनाए रखता है, जिससे एक्टिवेशन स्टीयरिंग तैनाती के लिए एक अधिक विश्वसनीय उपकरण बन जाता है।