Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs

यहाँ शोध पत्र "Guiding Giants: Lightweight Controllers for Weighted Activation Steering in LLMs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) हानिकारक, पक्षपाती या विषाक्त (toxic) सामग्री उत्पन्न करने के प्रति संवेदनशील होते हैं। वर्तमान सुरक्षा शमन रणनीतियों (safety mitigation strategies) में महत्वपूर्ण सीमाएँ हैं:

• फाइन-ट्यूनिंग (SFT/RLHF): यह संसाधन-गहन है, इसमें "कैटास्ट्रॉफिक फॉरगेटिंग" (सामान्य क्षमताओं का कम होना) का जोखिम होता है, और नई सुरक्षा मांगों के लिए इसे पुन: प्रशिक्षित करने की आवश्यकता होती है।
• मौजूदा इन्फरेंस-टाइम स्टीयरिंग (Existing Inference-Time Steering): ActAdd या फिक्स्ड स्टीयरिंग जैसे तरीके अक्सर सभी परतों (layers) पर समान हस्तक्षेप लागू करते हैं। अनुकूलन क्षमता (adaptivity) की इस कमी से एक ट्रेड-ऑफ पैदा होता है: अत्यधिक हस्तक्षेप के कारण मॉडल निर्दोष प्रॉम्प्ट्स को भी अस्वीकार कर देता है (over-refusal), जबकि कमजोर हस्तक्षेप हानिकारक आउटपुट को रोकने में विफल रहता है।
• अंतराल (The Gap): एक ऐसे हल्के, अनुकूलनीय तंत्र की आवश्यकता है जो बेस मॉडल के वेट्स (weights) को बदले बिना, विशिष्ट इनपुट प्रॉम्प्ट के आधार पर सुरक्षा हस्तक्षेप की तीव्रता (strength) और स्थान (location) (लेयर-विशिष्ट) को गतिशील रूप से समायोजित कर सके।

2. कार्यप्रणाली: वेटेड एक्टिवेशन स्टीयरिंग (Methodology: Weighted Activation Steering - WAS)

लेखक Weighted Activation Steering (WAS) का प्रस्ताव करते हैं, जो एक इन्फरेंस-टाइम कंट्रोल तंत्र है। यह एक हल्के, प्रशिक्षण योग्य कंट्रोलर नेटवर्क का उपयोग करता है जो एक पूर्व-निर्धारित "रिफ्यूज़ल डायरेक्शन" (refusal direction) वेक्टर को नियंत्रित करता है।

मुख्य घटक (Core Components)

1. पूर्व-निर्धारित स्टीयरिंग वेक्टर ($d_{steer}$):

   • एक फिक्स्ड वेक्टर जो "रिफ्यूज़ल दिशा" का प्रतिनिधित्व करता है, इसकी गणना मॉडल के आउटपुट एम्बेडिंग मैट्रिक्स से रिफ्यूज़ल से संबंधित टोकन (जैसे, "I cannot," "I apologize") और उत्तर-संबंधी टोकन (जैसे, "Sure," "Here is") के औसत एम्बेडिंग्स के अंतर से की जाती है।
   • सूत्र: $d_{steer} = \frac{\bar{e}_{refuse} - \bar{e}_{answer}}{||\bar{e}_{refuse} - \bar{e}_{answer}||_2}$।

2. लाइटवेट कंट्रोलर नेटवर्क ($f_c$):

   • एक छोटा मल्टी-लेयर पर्सेप्ट्रॉन (MLP) जो फ्रोजन (frozen) LLM के इंटरमीडिएट एक्टिवेशन्स पर कार्य करता है।
   • इनपुट: प्रॉम्प्ट के अंतिम टोकन पर मॉडल की अंतिम एक-तिहाई परतों के कंबाइंड हिडन स्टेट्स ($h_l$)।
   • आउटपुट:
     • एक ग्लोबल स्केलर मैग्नीट्यूड ($s$): जो हस्तक्षेप की समग्र तीव्रता निर्धारित करता है।
     • लेयर-विशिष्ट वेट्स का एक वेक्टर ($w$): जो यह निर्धारित करता है कि प्रत्येक विशिष्ट परत पर हस्तक्षेप कितना लागू किया जाएगा।

3. डायनेमिक मॉड्यूलेशन (Dynamic Modulation):

   • इन्फरेंस के दौरान, कंट्रोलर प्रॉम्प्ट के एक्टिवेशन्स को देखता है और $(s, w)$ की भविष्यवाणी करता है।
   • लेयर $l$ पर लगाया गया स्टीयरिंग पैच इस प्रकार है:
     $$\Delta h_{l} = s \cdot w_l \cdot \alpha_{global} \cdot d_{steer}$$
   • जहाँ $\alpha_{global}$ समग्र प्रभाव को स्केल करने वाला एक फिक्स्ड हाइपरपैरामीटर है।
   • अंतिम हिडन स्टेट बनता है: $h'_l = h_l + \Delta h_l$।

प्रशिक्षण प्रक्रिया (Training Procedure)

• डेटा: हानिकारक प्रॉम्प्ट्स (Anthropic के HH-RLHF "rejected" सेट से) और निर्दोष प्रॉम्प्ट्स (Alpaca dataset से) का उपयोग किया जाता है।
• उद्देश्य: मीन स्क्वेर्ड एरर (MSE) का उपयोग करके डिस्क्रिमिनेटिव ट्रेनिंग।
  • हानिकारक प्रॉम्प्ट्स के लिए लक्ष्य: $s \approx 1.0$।
  • निर्दोष प्रॉम्प्ट्स के लिए लक्ष्य: $s \approx 0.0$।
• इंप्लिसिट लर्निंग (Implicit Learning): हालांकि लॉस फंक्शन केवल स्पष्ट रूप से स्केलर $s$ को सुपरवाइज करता है, ग्रेडिएंट्स एक साझा हिडन लेयर के माध्यम से लेयर-वेट हेड ($w_{logits}$) तक प्रवाहित होते हैं। यह नेटवर्क को हानिकारक बनाम निर्दोष इनपुट के लिए विशिष्ट आंतरिक प्रतिनिधित्व (internal representations) सीखने के लिए मजबूर करता है, जो बदले में, बिना किसी स्पष्ट प्रति-लेयर सुपरविजन के, एक संरचित, गैर-समान लेयर वेट्स ($w$) उत्पन्न करता है।

3. मुख्य योगदान (Key Contributions)

• नवल आर्किटेक्चर: एक प्रशिक्षण योग्य कंट्रोलर का परिचय जो एक ग्लोबल स्केलिंग फैक्टर और लेयर-विशिष्ट वेट्स दोनों की भविष्यवाणी करता है, जिससे सूक्ष्म (fine-grained), अनुकूलनीय स्टीयरिंग संभव होती है।
• दक्षता (Efficiency): इस पद्धति के लिए बेस LLM को फाइन-ट्यून करने की आवश्यकता नहीं है। कंट्रोलर एक बहुत छोटा MLP है, जो बेस मॉडल की तुलना में नगण्य इन्फरेंस ओवरहेड जोड़ता है।
• अनुकूलन क्षमता (Adaptivity): फिक्स्ड स्टीयरिंग विधियों के विपरीत, WAS प्रॉम्प्ट के एक्टिवेशन पैटर्न के आधार पर हस्तक्षेप की शक्ति को गतिशील रूप से समायोजित करता है, जिससे निर्दोष कार्यों पर ओवर-रिफ्यूजल को रोका जा सकता है।
• ओपन सोर्स: इसका कार्यान्वयन सार्वजनिक रूप से उपलब्ध है, जो पुनरुत्पादकता (reproducibility) को बढ़ावा देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama-3.1-8B, Llama-3.2-1B, और Mistral-7B पर WAS का मूल्यांकन किया, और इसकी तुलना बेस (Base), CAST, ACT, और ITI जैसे बेसलाइन से की।

सुरक्षा प्रदर्शन (Refusal Rates)

• ToxicChat: WAS ने Llama-3.1-8B पर 93.0% रिफ्यूज़ल प्राप्त किया, जो बेस (32.0%), CAST (46.0%), और ITI (49.6%) से काफी बेहतर है।
• AdvBench: WAS ने Llama-3.1-8B पर 98.8% रिफ्यूज़ल प्राप्त किया।
• Jailbreak Prompts: WAS ने 78.9% रिफ्यूज़ल हासिल किया, जो अधिकांश बेसलाइन से बेहतर है।
• निरंतरता (Consistency): WAS ने सभी मॉडल्स और बेंचमार्क्स पर लगातार उच्चतम या उच्चतम के करीब रिफ्यूज़ल दरें प्रदान कीं।

उपयोगिता संरक्षण (Utility Preservation - General Capabilities)

• AlpacaEval: WAS ने बेस मॉडल के मुकाबले ~49.8% की जीत दर (win rate) बनाए रखी (जो 50% के सांख्यिकीय रूप से अविभेद्य है), यह सिद्ध करता है कि यह निर्दोष कार्यों पर हेल्पफुलनेस को कम नहीं करता है।
• अकादमिक बेंचमार्क: MMLU, HellaSwag, और GSM8K पर न्यूनतम प्रभाव। उदाहरण के लिए, MMLU 63.0% से घटकर केवल 60.8% रह गया।

दक्षता विश्लेषण (Efficiency Analysis)

• लेटेंसी (Latency): WAS सुरक्षा और गति के बीच एक बेहतर संतुलन प्रदान करता है। यह ITI (जिसमें उच्च रनटाइम ओवरहेड है) की तुलना में काफी तेज़ है, जबकि CAST (जो तेज़ है लेकिन कम प्रभावी है) की तुलना में बहुत अधिक रिफ्यूज़ल दर प्रदान करता है।

एब्लेशन स्टडीज (Ablation Studies)

• लेयर वेट्स (Layer Weights): सीखे गए लेयर वेट्स को हटाने (यूनिफॉर्म वेट्स का उपयोग करने) से ToxicChat रिफ्यूज़ल दरों में ~21% की गिरावट आई, जिससे सिद्ध होता है कि लेयर-विशिष्ट अनुकूलनशीलता अत्यंत महत्वपूर्ण है।
• लेयर चयन (Layer Selection): "मिडल + लेट" (Middle + Late) परयर्स पर स्टीयरिंग लगाने से लगभग उतना ही अच्छा प्रदर्शन हुआ जितना कि सभी परयर्स पर लगाने से, यह पुष्टि करता है कि रिफ्यूज़ल फीचर्स गहरी परतों में केंद्रित होते हैं।
• हाइपरपैरामीटर्स: सुरक्षा और उपयोगिता को संतुलित करने के लिए 2.0 का एक इष्टतम $\alpha_{global}$ पाया गया; उच्च मानों के कारण ओवर-रिफ्यूज़ल होने लगा।

5. महत्व और निष्कर्ष (Significance and Conclusion)

Guiding Giants यह प्रदर्शित करता है कि Weighted Activation Steering LLM सुरक्षा के लिए फाइन-ट्यूनिंग का एक अत्यधिक प्रभावी, कम लागत वाला विकल्प है।

• वैज्ञानिक अंतर्दृष्टि: यह अध्ययन बताता है कि सुरक्षा फीचर्स समान रूप से वितरित नहीं होते हैं; कंट्रोलर विशिष्ट "हॉटस्पॉट्स" (जैसे, लेयर्स 8, 14-16, 24) को लक्षित करना सीखता है, जो प्रकार के नुकसान (जैसे, उत्पीड़न बनाम गलत सूचना) के आधार पर भिन्न होते हैं।
• व्यावहारिक प्रभाव: WAS एक "सेफ्टी लेयर" प्रदान करता है जिसे मौजूदा फ्रोजन मॉडल्स के साथ जोड़ा जा सकता है ताकि बिना पुन: प्रशिक्षण के सुरक्षा में तुरंत सुधार किया जा सके, जो उन प्रोडक्शन एनवायरनमेंट के लिए आदर्श है जहाँ मॉडल वेट्स को स्थिर रखना आवश्यक है।
• सीमाएँ: यह पद्धति पूर्व-निर्धारित स्टीयरिंग वेक्टर की गुणवत्ता और प्रशिक्षण डेटा वितरण पर निर्भर करती है। यह नए, अनदेखे नुकसान की श्रेणियों या कंट्रोलर के एक्टिवेशन पैटर्न को धोखा देने के लिए डिज़ाइन किए गए परिष्कृत एडवरसेरियल हमलों (adversarial attacks) के साथ संघर्ष कर सकती है।

संक्षेप में, WAS फिक्स्ड स्टीयरिंग की कठोरता और फाइन-ट्यूनिंग की लागत के बीच के अंतर को पाटता है, जो LLMs को सुरक्षा बाधाओं के साथ संरेखित करने के लिए एक गतिशील, व्याख्यात्मक (interpretable) और कुशल समाधान प्रदान करता है।