💻 computer science

Contextual Linear Activation Steering of Language Models

यह शोध पत्र कॉन्टेक्स्टुअल लीनियर एक्टिवेशन स्टीयरिंग (CLAS) को प्रस्तुत करता है, जो एक ऐसी विधि है जो इनपुट संदर्भ के अनुसार स्टीयरिंग स्ट्रेंथ को गतिशील रूप से अनुकूलित करती है, और सीमित लेबल वाले डेटा के साथ कई बेंचमार्क और मॉडल परिवारों में मानक लीनियर एक्टिवेशन स्टीयरिंग से बेहतर प्रदर्शन करते हुए ReFT और LoRA के प्रदर्शन के बराबर या उससे अधिक परिणाम देती है।

मूल लेखक: Brandon Hsu, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Mikhail Belkin

प्रकाशित 2026-04-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Brandon Hsu, Daniel Beaglehole, Adityanarayanan Radhakrishnan, Mikhail Belkin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अविश्वसनीय रूप से प्रतिभाशाली ऑर्केस्ट्रा के रूप में करें। हर बार जब यह एक नोट बजाता है (एक शब्द उत्पन्न करता है), तो यह अपने प्रशिक्षण द्वारा लिखे गए एक जटिल स्कोर का पालन कर रहा होता है। कभी-कभी, आप चाहते हैं कि ऑर्केस्ट्रा एक विशिष्ट शैली बजाए—शायद गणित की समस्या का एक "जैज़" (jazz) संस्करण, या समाचार लेख का एक "दुखी" (sad) संस्करण।

पुराना तरीका: फिक्स्ड वॉल्यूम नॉब (The Fixed Volume Knob)
पहले, शोधकर्ता लिनियर एक्टिवेशन स्टीयरिंग (LAS) नामक तकनीक का उपयोग करते थे। इसे ऐसे समझें कि आपके पास पूरे ऑर्केस्ट्रा के लिए एक एकल, स्थिर वॉल्यूम नॉब है। यदि आप चाहते हैं कि संगीत अधिक "जैज़ी" लगे, तो आप नॉब को एक निश्चित मात्रा में घुमा देते हैं।

समस्या: यह नॉब "कॉन्टेक्स्ट-ब्लाइंड" (संदर्भ के प्रति अंधा) है। यह नॉब उसी तरह वॉल्यूम बढ़ाता है चाहे ऑर्केस्ट्रा एक कोमल लोरी बजा रहा हो या एक तेज़ रॉक गाना।
- यदि गाना पहले से ही तेज़ है, तो नॉब को घुमाने से वह कान फोड़ने वाला हो जाता है (ओवर-स्टीयरिंग)।
- यदि गाना शांत है, तो वही घुमाव जैज़ सुनने के लिए पर्याप्त नहीं होगा (अंडर-स्टीयरिंग)।
- सही सेटिंग खोजने के लिए, आपको नॉब का हजारों बार मैन्युअल रूप से परीक्षण करना पड़ता है, जो धीमा और महंगा है।

नया तरीका: स्मार्ट कंडक्टर (CLAS)
यह पेपर कॉन्टेक्स्टुअल लिनियर एक्टिवेशन स्टीयरिंग (CLAS) पेश करता है। एक एकल, मूर्ख वॉल्यूम नॉब के बजाय, CLAS ऑर्केस्ट्रा को एक स्मार्ट कंडक्टर देता है जो वास्तविक समय में संगीत को सुनता है।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "सेंसिंग" वेक्टर (कंडक्टर के कान)

पुराने तरीके में, स्टीयरिंग की शक्ति एक निश्चित संख्या थी (जैसे एक स्थिर वॉल्यूम सेटिंग)। CLAS में, सिस्टम एक "सेंसिंग वेक्टर" सीखता है।

उपमा: कल्पना करें कि कंडक्टर के पास विशेष कान हैं जो वर्तमान में बजाए जा रहे नोट और कमरे के मूड को सुनते हैं।
यह कैसे काम करता है: सिस्टम मॉडल की वर्तमान स्थिति (संदर्भ) को देखता है और पूछता है, "इस विशिष्ट क्षण को कितनी स्टीयरिंग की आवश्यकता है?"
परिणाम: यदि मॉडल पहले से ही थोड़ा "जैज़ संगीतकार" की तरह व्यवहार कर रहा है, तो कंडक्टर एक बहुत हल्का सा धक्का (nudge) देता है। यदि मॉडल एक "शास्त्रीय संगीतकार" की तरह व्यवहार कर रहा है, तो कंडक्टर एक ज़ोरदार धक्का देता है। स्टीयरिंग की शक्ति गतिशील रूप से, प्रति सेकंड बदलती रहती है।

2. "स्टीयरिंग" वेक्टर (शीट म्यूज़िक)

पेपर अभी भी मॉडल को निर्देशित करने के लिए उसी "दिशा" (direction) का उपयोग करता है (वह "जैज़" दिशा)।

उपमा: यह वह शीट म्यूज़िक है जो ऑर्केस्ट्रा को बताता है कि क्या बजाना है। पेपर इस दिशा को खोजने के लिए RFM (रिकर्सिव फीचर मशीन) नामक एक विधि का उपयोग करता है।
नवाचार: पेपर केवल दिशा ही नहीं खोजता; यह यह भी पता लगाता है कि अभी जो हो रहा है उसके आधार पर उस दिशा में कितनी ज़ोर से धक्का देना है।

3. प्रशिक्षण प्रक्रिया (रिहर्सल)

वे इस कंडक्टर को कैसे सिखाते हैं?

पुराना तरीका (LAS): आपको हजारों गाने उत्पन्न करने होते हैं, उन्हें सुनना होता है, और मैन्युअल रूप से अनुमान लगाना होता है कि कौन सी वॉल्यूम नॉब सेटिंग सबसे अच्छी थी। यह रेडियो को ट्यून करने जैसा है जहाँ आप तब तक डायल घुमाते हैं जब तक कि शोर (static) साफ न हो जाए।
नया तरीका (CLAS): आप कंडक्टर को उदाहरणों का एक छोटा सेट (प्रॉम्प्ट्स और वांछित उत्तर) देते हैं। कंडक्टर त्रुटियों को कम करने के लिए वॉल्यूम को स्वचालित रूप से समायोजित करना सीख जाता है, ठीक वैसे ही जैसे एक छात्र शिक्षक को सुनकर वाद्य यंत्र बजाना सीखता है। यह बहुत तेज़ है और इसमें कम डेटा की आवश्यकता होती है।

उन्होंने क्या पाया?

शोधकर्ताओं ने चार अलग-अलग मॉडलों का उपयोग करके 11 विभिन्न कार्यों (जैसे गणित की समस्याओं को हल करना, भाषाओं का अनुवाद करना, या कोड लिखना) पर इस "स्मार्ट कंडक्टर" का परीक्षण किया।

बेहतर प्रदर्शन: CLAS ने लगातार पुराने "फिक्स्ड नॉब" तरीके से बेहतर प्रदर्शन किया। यह अधिक सटीक था और संदर्भ बदलने पर मॉडल को खराब नहीं करता था।
हेवीवेट्स को पछाड़ना: इसने LoRA और ReFT (जो ऑर्केस्ट्रा के लिए हर नए गाने के लिए पूरी शीट म्यूज़िक को फिर से लिखने जैसे हैं) जैसे अधिक जटिल तरीकों को टक्कर दी या उनसे बेहतर प्रदर्शन किया। CLAS ने मॉडल में बहुत कम बदलावों के साथ यह उपलब्धि हासिल की।
गति: क्योंकि इसे हजारों बार अनुमान लगाने और जांचने की आवश्यकता नहीं होती है, इसलिए CLAS सेटअप करने में काफी तेज़ है।
व्याख्यात्मकता (Interpretability): जिस "दिशा" को मॉडल सीखता है, वह अभी भी स्पष्ट और समझने योग्य है (कुछ ब्लैक-बॉक्स तरीकों के विपरीत)। आप अभी भी देख सकते हैं कि मॉडल किस अवधारणा की ओर झुक रहा है।

निष्कर्ष

CLAS एक मैनुअल, फिक्स्ड-वॉल्यूम रेडियो से एक स्मार्ट, एडेप्टिव साउंड सिस्टम में अपग्रेड करने जैसा है। यह केवल मॉडल को एक दिशा में नहीं धकेलता; यह इस बात पर निर्भर करता है कि मॉडल वर्तमान में क्या कर रहा है, यह उतने ही बल से धकेलता है जितनी आवश्यकता है। यह AI मॉडल्स को भारी डेटा या महंगे कंप्यूटिंग पावर की आवश्यकता के बिना नए व्यवहार सिखाने का एक शक्तिशाली, तेज़ और विश्वसनीय तरीका बनाता है।

यहाँ शोध पत्र "Contextual Linear Activation Steering of Language Models" (CLAS) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में अंतर्निहित क्षमताएं (जैसे कि तर्क करने की क्षमता, सेंटिमेंट कंट्रोल, सेफ्टी रिफ्यूज़ल) होती हैं जिन्हें Linear Activation Steering (LAS) के माध्यम से जागृत किया जा सकता है। LAS "लीनियर रिप्रेजेंटेशन हाइपोथेसिस" पर कार्य करता है, जो यह मानता है कि सिमेंटिक कॉन्सेप्ट्स (semantic concepts) मॉडल के एक्टिवेशन स्पेस में एक निश्चित लीनियर दिशाओं के रूप में दर्शाए जाते हैं। मॉडल के आंतरिक एक्टिवेशन में एक स्केल किए गए स्टीयरिंग वेक्टर ( $\alpha d$ ) को जोड़कर, व्यवहार को संशोधित किया जा सकता है।

हालाँकि, मौजूदा LAS विधियाँ दो महत्वपूर्ण सीमाओं से ग्रस्त हैं:

संदर्भ-स्वतंत्रता (Context-Independence): वर्तमान विधियाँ सभी टोकन और प्रॉम्प्ट्स पर समान रूप से एक निश्चित स्केलर गुणांक ( $\alpha$ ) लागू करती हैं। यह इनपुट कॉन्टेक्स्ट की सूक्ष्मता की अनदेखी करता है, जिससे प्रॉम्प्ट के आधार पर स्टीयरिंग की गुणवत्ता असंगत (अंडर-स्टीयरिंग या ओवर-स्टीयरिंग) हो जाती है।
ट्यूनिंग अक्षमता (Tuning Inefficiency): इष्टतम (optimal) निश्चित $\alpha$ का चयन करने के लिए हर नए कार्य के लिए मानव या LLM इवैल्यूएटर्स के साथ महंगे ग्रिड सर्च की आवश्यकता होती है, जो इस दृष्टिकोण को नाजुक और स्केल करने में कठिन बनाता है।

2. कार्यप्रणाली: कॉन्टेक्स्टुअल लीनियर एक्टिवेशन स्टीयरिंग (CLAS)

लेखक CLAS का प्रस्ताव करते हैं, जो एक विधि है जो निश्चित स्केलर गुणांक को एक संदर्भ-निर्भर, सीखे गए स्टीयरिंग गुणांक से बदल देती है।

मुख्य तंत्र (Core Mechanism)

$\tilde{h}_{\ell,t} = h_{\ell,t} + \alpha d_\ell$ के बजाय, CLAS वर्तमान एक्टिवेशन और एक सीखे गए सेंसिंग वेक्टर के आधार पर एक डायनेमिक गुणांक की गणना करता है:
$\tilde{h}_{\ell,t} = h_{\ell,t} + (c_\ell \cdot [h_{\ell,t}, 1]) d_\ell$
जहाँ:

$h_{\ell,t}$ ब्लॉक $\ell$ और टोकन $t$ पर एक्टिवेशन है।
$d_\ell$ एक प्रोब से निकाला गया स्टीयरिंग वेक्टर (दिशा) है।
$c_\ell \in \mathbb{R}^{k+1}$ एक सीखा गया सेंसिंग वेक्टर है जो ब्लॉक $\ell$ के लिए विशिष्ट है।
$[h_{\ell,t}, 1]$ एक कांस्टेंट बायस टर्म के साथ एक्टिवेशन का संयोजन (concatenation) है।
पद $(c_\ell \cdot [h_{\ell,t}, 1])$ डायनेमिक स्टीयरिंग गुणांक $\alpha_{\ell,t}$ के रूप में कार्य करता है।

दो-चरणीय प्रशिक्षण प्रक्रिया (Two-Stage Training Process)

CLAS स्टीयरिंग दिशा के निष्कर्षण (extraction) को स्टीयरिंग स्ट्रेंथ की ट्यूनिंग से अलग करता है:

स्टीयरिंग वेक्टर निष्कर्षण (दिशा - Direction):
- यह प्रॉम्प्ट-कॉन्सेप्ट लेबल जोड़ों के डेटासेट का उपयोग करता है।
- प्रत्येक ट्रांसफार्मर ब्लॉक में Recursive Feature Machines (RFM) का उपयोग करके एक Activation Probe को प्रशिक्षित करता है। RFM टास्क-रेलेवेंट फीचर्स को सीखने के लिए इटरेटिवली एवरेज ग्रेडिएंट आउटर प्रोडक्ट (AGOP) की गणना करता है, जो स्टैंडर्ड लीनियर प्रोब्स से बेहतर प्रदर्शन करता है।
- स्टीयरिंग वेक्टर $d_\ell$ , अंतिम AGOP मैट्रिक्स का प्रिंसिपल आइजनवेक्टर (principal eigenvector) है, जो कॉन्सेप्ट लेबल्स के साथ सकारात्मक रूप से सह-संबंधित (correlate) है।
- नोट: यह चरण बैकप्रोपैगेशन-मुक्त (backpropagation-free) और तेज़ है।
सेंसिंग वेक्टर लर्निंग (स्ट्रेंथ - Strength):
- यह प्रॉम्प्ट-कम्प्लीशन जोड़ों के एक छोटे डेटासेट का उपयोग करता है (जहाँ प्रॉम्प्ट में विशिष्ट कार्य निर्देश का अभाव होता है, लेकिन कम्प्लीशन वांछित व्यवहार प्रदर्शित करता है)।
- यह सभी LLM पैरामीटर्स को फ्रीज कर देता है और केवल स्टैंडर्ड नेक्स्ट-टोकन प्रेडिक्शन लॉस को कम करके सेंसिंग वेक्टर्स $\{c_\ell\}$ को सीखता है।
- यह मॉडल को आउटपुट जेनरेट और स्कोर किए बिना, इनपुट कॉन्टेक्स्ट के आधार पर यह सीखने की अनुमति देता है कि कब और कितना स्टीयर करना है।

3. प्रमुख योगदान (Key Contributions)

संदर्भ-निर्भर स्टीयरिंग (Context-Dependent Steering): इनपुट कॉन्टेक्स्ट के आधार पर डायनेमिक रूप से स्टीयरिंग स्ट्रेंथ को नियंत्रित करने के लिए एक तंत्र पेश करता है, जो फिक्स्ड-कोएफिशिएंट विधियों की भंगुरता (brittleness) को हल करता है।
कुशल ट्यूनिंग (Efficient Tuning): महंगे ग्रिड सर्च और बाहरी इवैल्यूटर्स की आवश्यकता को समाप्त करता है। CLAS स्टैंडर्ड नेक्स्ट-टोकन प्रेडिक्शन लॉस के माध्यम से ट्यून होता है, जो काफी तेज़ और अधिक स्केलेबल है।
डिकपल्ड आर्किटेक्चर (Decoupled Architecture): यह "क्या" (RFM प्रोब्स के माध्यम से स्टीयरिंग दिशा) के डिस्कवरी को "कितना" (सेंसिंग वेक्टर्स के माध्यम से फाइन-ट्यूनिंग) से अलग करता है, जिससे स्टीयरिंग दिशाओं की व्याख्यात्मकता (interpretability) बनी रहती है।
व्याख्यात्मकता का संरक्षण (Interpretability Preservation): उन PEFT विधियों के विपरीत जो अपारदर्शी (opaque) लो-रैंक मैट्रिसेस सीखते हैं, CLAS अपने लीनियर प्रोब दिशाओं को बनाए रखता है, जिससे सटीक कॉन्सेप्ट मॉनिटरिंग संभव होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 4 मॉडल परिवारों (Qwen2.5-7B, Llama-3.1-70B/8B, Llama-3.2-1B) में 11 विविध स्टीयरिंग कार्यों (जैसे स्टेप-बाय-स्टेप रीजनिंग, मल्टीलिंगुअल ट्रांसलेशन, जेलब्रेक रेजिस्टेंस, सेंटिमेंट शिफ्ट) पर CLAS का मूल्यांकन किया।

प्रदर्शन बेंचमार्क (Performance Benchmarks):

Standard LAS के विरुद्ध: CLAS लगभग सभी मॉडल-टास्क पेयर्स पर लगातार स्टैंडर्ड LAS (फिक्स्ड $\alpha$ ) से बेहतर प्रदर्शन करता है, जो अक्सर काफी बड़े अंतर से आगे रहता है।
PEFT (LoRA और ReReft) के विरुद्ध: CLAS सीमित-डेटा सेटिंग्स में LoRA और Reft (Rank-1) के प्रदर्शन के बराबर या उससे बेहतर है।
- गति: CLAS, LAS (जिसके लिए ग्रिड सर्च की आवश्यकता होती है) की तुलना में ट्यून करने में काफी तेज़ है और LoRA/Reft के समान या उससे भी तेज़ है।
- मजबूती (Robustness): इंटरफेरेंस टेस्ट में (एक कार्य के लिए स्टीयर करना और अन्य पर मूल्यांकन करना), CLAS अन्य क्षमताओं में होने वाली गिरावट को न्यूनतम रखता है, जबकि LoRA और Reft के साथ अक्सर महत्वपूर्ण गिरावट देखी जाती है।
कॉन्सेप्ट मॉनिटरिंग (Concept Monitoring): कॉन्सेप्ट्स का पता लगाने के लिए लीनियर प्रोब्स के रूप में उपयोग किए जाने पर, CLAS द्वारा उपयोग की गई RFM-व्युत्पन्न दिशाओं ने LoRA और Reft (औसत ~68-74%) की तुलना में काफी उच्च सटीकता (औसत ~96-97%) प्राप्त की। यह पुष्टि करता है कि CLAS दिशाएं लक्षित कॉन्सेप्ट्स के साथ अधिक सिमेंटिक रूप से संरेखित (aligned) हैं।

विशिष्ट निष्कर्ष:

JailbreakBench कार्य पर, CLAS ही एकमात्र तरीका था जिसने सभी मॉडल्स में एंटी-रिफ्यूज़ल व्यवहार को सफलतापूर्वक प्रेरित किया, जबकि LoRA और Reft पूरी तरह विफल रहे।
CLAS अधिकांश मॉडल्स के लिए 10/11 कार्यों पर उच्चतम औसत सटीकता प्राप्त करने में सफल रहा।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र प्रदर्शित करता है कि फिक्स्ड कोएफिशिएंट से संदर्भ-जागरूक (context-aware), सीखे गए कोएफिशिएंट की ओर बढ़कर लीनियर एक्टिवेशन स्टीयरिंग को स्केलेबल और मजबूत बनाया जा सकता है।

स्केलेबिलिटी (Scalability): प्रति-प्रॉम्प्ट ट्यूनिंग या ग्रिड सर्च की आवश्यकता को हटाकर, CLAS एक्टिवेशन स्टीयरिंग को वास्तविक दुनिया के परिनियोजन (deployment) के लिए व्यवहार्य बनाता है जहाँ इनपुट गतिशील रूप से बदलते रहते हैं।
व्याख्यात्मकता (Interpretability): यह यांत्रिक समझ (प्रोब्स) की व्याख्यात्मकता और फाइन-ट्यूनिंग के प्रदर्शन के बीच के अंतर को पाटता है। स्टीयरिंग वेक्टर्स व्याख्यात्मक लीनियर दिशाएं बने रहते हैं, जो LoRA/Reft के अपारदर्शी वेट्स के विपरीत है।
सामान्यीकरण (Generalization): यह विधि सिद्ध करती है कि मौजूदा स्टीयरिंग दिशाओं को केवल संदर्भ-निर्भर गुणांकों के साथ मॉड्युलेट करके काफी प्रभावी बनाया जा सकता है, जो पूर्ण फाइन-ट्यूनिंग के बिना LLM व्यवहार को नियंत्रित करने के लिए एक नया प्रतिमान (paradigm) प्रदान करता है।

संक्षेप में, CLAS पारंपरिक एक्टिवेशन स्टीयरिंग और पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग दोनों के लिए एक स्केलेबल, व्याख्यात्मक और सटीक विकल्प प्रदान करता है, विशेष रूप से उन परिदृश्यों में जहाँ लेबल किया गया डेटा सीमित है।