🤖 machine learning

Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control

यह शोध पत्र एक क्लोज्ड-लूप एक्टिवेशन स्टीयरिंग पद्धति प्रस्तावित करता है जो LLMs की अनुभवजन्य रूप से देखी गई स्थानीय रैखिकता (local linearity) का लाभ उठाते हुए अनुमान (inference) को एक लीनियर टाइम-वेरिंग सिस्टम के रूप में मॉडल करती है, जिससे बिना ऑफलाइन ट्रेनिंग के मजबूत, सूक्ष्म और सैद्धांतिक रूप से गारंटीकृत व्यवहार मॉड्यूलेशन के लिए लीनियर क्वाड्रेटिक रेगुलेटर (LQR) कंट्रोल का उपयोग सक्षम होता है।

मूल लेखक: Julian Skifstad, Xinyue Annie Yang, Glen Chou

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Julian Skifstad, Xinyue Annie Yang, Glen Chou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना करें जो एक विशाल, अविश्वसनीय रूप से स्मार्ट, लेकिन थोड़े अराजक ऑर्केस्ट्रा (वाद्यवृंद) की तरह है। प्रत्येक संगीतकार (लेयर) एक भूमिका निभाता है, और वे मिलकर एक सिम्फनी (टेक्स्ट) रचते हैं। कभी-कभी ऑर्केस्ट्रा खूबसूरती से बजता है, लेकिन अन्य समय में, वे गलती से एक बेसुरा नोट (टॉक्सिसिटी/विषाक्तता) बजा सकते हैं, संगीत के बारे में झूठ बोल सकते हैं (अनट्रुथफुलनेस/असत्यता), या अनुरोधित गीत बजाने से मना कर सकते हैं (रिफ्यूज़ल/अस्वीकृति)।

लंबे समय तक, यदि आप ऑर्केस्ट्रा को ठीक करना चाहते थे, तो आपको संगीतकारों को फिर से प्रशिक्षित करना पड़ता था। यह पूरी बैंड को निकालने और नए लोगों को काम पर रखने जैसा था, जो महंगा, धीमा है, और इससे वे अन्य गीतों को बजाना भूल सकते हैं।

वर्तमान सुधारों के साथ समस्या
कुछ लोगों ने संगीत बजते समय ही संगीतकारों को निर्देश चिल्लाकर ठीक करने की कोशिश की। इसे "एक्टिवेशन स्टीयरिंग" कहा जाता है। हालाँकि, पिछले तरीके ऐसे कंडक्टर की तरह थे जो केवल "ज़ोर से बजाओ!" या "धीरे बजाओ!" चिल्लाते थे, बिना यह सुने कि ध्वनि हॉल में कैसे गूँजती है। उन्होंने इस बात पर ध्यान नहीं दिया कि शुरुआत में दी गई एक पुकार अंत तक संगीत को कैसे बदल सकती है। इसने सुधारों को भद्दा बना दिया और अक्सर संगीत की गुणवत्ता को खराब कर दिया।

बड़ी खोज: ऑर्केस्ट्रा "लोकल लीनियर" है
लेखकों ने एक दिलचस्प खोज की। भले ही ऑर्केस्ट्रा जटिल और अराजक है, लेकिन यदि आप समय के एक बहुत छोटे क्षण (मॉडल की एक सिंगल लेयर) पर ज़ूम इन करते हैं, तो संगीतकार आश्चर्यजनक रूप से सीधे और पूर्वानुमानित तरीके से व्यवहार करते हैं।

इसे कार चलाने के उदाहरण से समझें। सड़क लंबी दूरी पर बुरी तरह मुड़ सकती है (नॉन-लीनियर), लेकिन यदि आप अगले 10 फीट को देखते हैं, तो सड़क पूरी तरह से सीधी दिखती है। आप उस छोटी दूरी के लिए सीधी रेखा में गाड़ी चला सकते हैं। लेखकों ने पाया कि LLMs भी वैसे ही हैं: एक पल के लिए, उनका आंतरिक तर्क सरल और रैखिक (लीनियर) होता है।

समाधान: A-LQR (स्मार्ट कंडक्टर)
इस खोज का उपयोग करके, लेखकों ने A-LQR (एक्टिवेशन-LQR) नामक एक नया तरीका बनाया। यह कैसे काम करता है, इसके लिए एक रचनात्मक उपमा देखें:

मानचित्र (द मॉडल): अनुमान लगाने के बजाय, नए कंडक्टर के पास ऑर्केस्ट्रा के "लोकल स्ट्रेट रोड" का एक सटीक मानचित्र है। वह जानता है कि वायलिन सेक्शन को दिए गए एक हल्के से धक्के से ड्रम्स तक लहरें कैसे पहुँचेंगी।
फीडबैक लूप (क्लोज्ड-लूप कंट्रोल): पुराने तरीकों के विपरीत, जो केवल एक बार चिल्लाते थे और फिर उम्मीद करते थे, A-LQR लगातार सुनता है। यह हर मिलीसेकंड में संगीत की जाँच करता है। यदि वायलिन सुर से भटकने लगते हैं, तो यह तुरंत एक छोटा, सटीक समायोजन करता है।
लक्ष्य (सेटपॉइंट्स): कंडक्टर केवल यह नहीं कहता कि "बेहतर बजाओ।" उनके पास एक विशिष्ट लक्ष्य होता है, जैसे " 'सत्य' वाला नोट बजाओ" या "'दयालुता' वाला नोट बजाओ।" वे गणना करते हैं कि लय को तोड़े बिना ऑर्केस्ट्रा को उस नोट तक पहुँचाने के लिए न्यूनतम और सटीक कितना धक्का देने की आवश्यकता है।

यह गेम-चेंजर क्यों है

सटीकता: यह हथौड़े के बजाय लेजर पॉइंटर का उपयोग करने जैसा है। यह बाकी प्रदर्शन (मॉडल की बुद्धिमत्ता) को खराब किए बिना विशिष्ट समस्या (जैसे विषाक्तता) को ठीक करता है।
गति: इसे मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। यह बस एक स्मार्ट "ऑटोपायलट" लेयर जोड़ देता है जो रीयल-टाइम में चलता है।
बहुमुखी प्रतिभा: यह लगभग किसी भी मॉडल पर काम करता है, छोटे से लेकर विशाल मॉडल्स तक, और उन्हें अधिक सत्यवादी, कम विषाक्त, या यहाँ तक कि "कुत्तों" या "फुटबॉल" जैसे विशिष्ट विषयों पर बात करने के लिए निर्देशित कर सकता है।

"जेलब्रेक" मोड़
पेपर यह भी दिखाता है कि इस शक्तिशाली उपकरण का उपयोग उल्टा भी किया जा सकता है। जिस तरह आप कार को उसकी लेन में रहने के लिए निर्देशित कर सकते हैं, उसी तरह आप उसे लेन से बाहर जाने के लिए भी निर्देशित कर सकते हैं। लेखकों ने दिखाया कि A-LQR का उपयोग मॉडल को "जेलब्रेक" करने के लिए किया जा सकता है, जिससे उन्हें सुरक्षा नियमों को अनदेखा करने और हानिकारक सामग्री उत्पन्न करने के लिए मजबूर किया जा सके। यह एक दोधारी तलवार को उजागर करता है: वही तकनीक जो AI को सुरक्षित बना सकती है, उसे तोड़ने के लिए भी इस्तेमाल किया जा सकता है।

संक्षेप में
यह पेपर इस बारे में है कि AI मॉडल हमारे अनुमान से कहीं अधिक सरल हैं (लघु अवधि में)। उन्हें एक अनुमानित प्रणाली की तरह मानकर, हम उन्नत गणित (कंट्रोल थ्योरी) का उपयोग करके उन्हें अच्छे व्यवहार की ओर और बुरे व्यवहार से दूर धीरे से निर्देशित कर सकते हैं, और यह भी सुनिश्चित कर सकते हैं कि संगीत स्वाभाविक और उच्च गुणवत्ता वाला बना रहे। यह एक भद्दे शोर और एक मास्टर कंडक्टर के सटीक बैटन (छड़ी) के बीच का अंतर है।

यहाँ शोध पत्र "Local Linearity of LLMs Enables Activation Steering via Model-Based Linear Optimal Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर असुरक्षित, विषाक्त (toxic) या बेईमान आउटपुट उत्पन्न करते हैं। जबकि फाइन-ट्यूनिंग (जैसे RLHF) एक सामान्य संरेखण (alignment) विधि है, यह गणनात्मक रूप से महंगी, डेटा-गहन है, और असंबंधित कार्यों पर प्रदर्शन को कम कर सकती है। एक्टिवेशन स्टीयरिंग (Activation steering) जनरेशन के दौरान मॉडल के वेट्स (weights) को बदले बिना, लेटेंट एक्टिवेशन्स (latent activations) को संशोधित करके इन्फरेंस-टाइम का एक विकल्प प्रदान करती है।

हालाँकि, मौजूदा स्टीयरिंग विधियाँ तीन मुख्य सीमाओं से ग्रस्त हैं:

नॉन-एंटीसिपेटिव/ओपन-लूप कंट्रोल (Non-anticipative/Open-loop Control): अधिकांश विधियाँ प्रत्येक लेयर पर स्वतंत्र रूप से स्टेटिक परटर्बेशन (जैसे एक वेक्टर जोड़ना) लागू करती हैं, जो यह अनदेखा करती हैं कि ये परटर्बेशन बाद की ट्रांसफॉर्मर लेयर्स में कैसे प्रसारित होते हैं।
ऑनलाइन फीडबैक का अभाव (Lack of Online Feedback): वे वर्तमान एक्टिवेशन स्टेट से वास्तविक समय के एरर फीडबैक का उपयोग करने में विफल रहती हैं, जिससे विचलन (deviations) को ठीक करने में कमी आती है, जिसके परिणामस्वरूप सब-ऑप्टिमल कंट्रोल होता है।
अक्षमता (Inefficiency): जटिल ऑफलाइन ट्रेनिंग या रीइन्फोर्समेंट लर्निंग पर निर्भर विधियाँ धीमी होती हैं और सामान्यीकरण (generalization) की समस्याओं के प्रति संवेदनशील होती हैं।

मुख्य चुनौती एक ऐसा स्टीयरिंग मैकेनिज्म डिजाइन करने की है जो प्रेडिक्टिव (लेयर प्रोपेगेशन का पूर्वानुमान लगाने वाला), क्लोज्ड-लूप (रियल-टाइम फीडबैक का उपयोग करने वाला), और बिना रिट्रेनिंग के कंप्यूटेशनल रूप से कुशल हो।

2. कार्यप्रणाली: A-LQR (Activation-LQR)

लेखक A-LQR प्रस्तावित करते हैं, जो LLM इन्फरेंस को एक लीनियर टाइम-वेरिंग (LTV) डायनेमिकल सिस्टम के रूप में मॉडल करता है और इष्टतम नियंत्रण इनपुट (optimal control inputs) की गणना करने के लिए लीनियर क्वाड्रेटिक रेगुलेटर (LQR) को लागू करता है।

A. सैद्धांतिक आधार: लोकल लिनैरिटी (Theoretical Foundation: Local Linearity)

पेपर का केंद्रीय परिकल्पना यह है कि ट्रांसफॉर्मर ब्लॉक्स की नॉन-लीनियर प्रकृति के बावजूद, एक विशिष्ट लेयर के भीतर की डायनेमिक्स लोकल लीनियर होती है।

जैकबियन कपलिंग (Jacobian Coupling): अनुभवजन्य विश्लेषण (Empirical analysis) दिखाता है कि एक ही लेयर के भीतर विभिन्न सुलभ एक्टिवेशन्स पर ट्रांसफॉर्मर ब्लॉक के जैकबियन ( $\frac{\partial \phi_k}{\partial z}$ ) अत्यधिक सह-संबंधित (correlated) होते हैं।
LTV एप्रोक्सिमेशन: यह LLM को एक LTV सिस्टम के रूप में अनुमानित करने की अनुमति देता है:
$\delta z_{k+1} \approx A_k \delta z_k + B_k \delta u_k$
जहाँ $z_k$ एक्टिवेशन है, $u_k$ स्टीयरिंग इंटरवेंशन है, और $A_k, B_k$ एक नॉमिनल ट्राजेक्टरी से प्राप्त जैकबियन मैट्रिसेस हैं।

B. कंट्रोल फॉर्मूलेशन (Control Formulation)

स्टीयरिंग समस्या को एक वांछित सिमेंटिक सेटपॉइंट (semantic setpoint) और इंटरवेंशन के परिमाण को दंडित करने वाले कॉस्ट फंक्शन $J$ को मिनिमाइज़ करने के रूप में प्रस्तुत किया गया है:
$\min \sum (z_k - \bar{z}_k)^T Q_k (z_k - \bar{z}_k) + u_k^T R_k u_k$

फीडबैक पॉलिसी (Feedback Policy): इसका समाधान कंट्रोल लॉ $u_k^* = -K_k \delta z_k$ देता है, जहाँ $K_k$ रिकैटि रिकर्सन (Riccati recursions) के माध्यम से पूर्व-गणना किए गए गेन मैट्रिसेस हैं।
क्लोज्ड-लूप ऑपरेशन (Closed-Loop Operation): ओपन-लूप विधियों के विपरीत, A-LQR इन्फरेंस के समय देखे गए वास्तविक एक्टिवेशन $z_k$ के आधार पर इंटरवेंशन $u_k$ की गणना करता है, जिससे यह डिस्टर्बेंस को रिजेक्ट करने और त्रुटियों को गतिशील रूप से सुधारने में सक्षम होता है।

C. लीनियर फीचर सेटपॉइंट (Linear Feature Setpoint - LFS)

कंट्रोलर के लिए लक्षित "सेटपॉइंट" को परिभाषित करने के लिए, लेखक एक अनुकूली (adaptive) विधि पेश करते हैं:

फीचर डायरेक्शन (Feature Direction): प्रत्येक लेयर पर एक कंट्रास्टिव वेक्टर $v_k$ (पॉजिटिव बनाम नेगेटिव उदाहरणों के औसत एक्टिवेशन के बीच का अंतर) की गणना करें।
एडाप्टिव सेटपॉइंट (Adaptive Setpoint): एक फिक्स्ड टारगेट के बजाय, वांछित फीचर स्ट्रेंथ $\beta^*_k$ को लेयर के एक्टिवेशन नॉर्म ( $\mu_k$ ) और एक हाइपरपै參數 $\lambda$ द्वारा स्केल किया जाता है:
$\beta^*_k = \lambda \mu_k$
यह सुनिश्चित करता है कि टारगेट मॉडल की आंतरिक स्थिति के साथ उचित रूप से स्केल हो, जिससे लेयर्स के बीच मजबूत ट्रैकिंग सक्षम होती है।

D. कार्यान्वयन दक्षता (Implementation Efficiency)

ऑफलाइन कंप्यूटेशन (Offline Computation): जैकबियन्स ( $A_k$ ) और LQR गेन्स ( $K_k$ ) ऑफलाइन कंप्यूट किए जाते हैं।
ऑनलाइन इन्फरेंस (Online Inference): जनरेशन के दौरान, इस विधि को केवल वर्तमान एक्टिवेशन को मापने और $u_k$ की गणना करने के लिए मैट्रिक्स-वेक्टर मल्टीप्लिकेशन करने की आवश्यकता होती है। यह ऑनलाइन ऑप्टिमाइजेशन समस्या को हल करने की आवश्यकता को समाप्त करता है, जिससे ओवरहेड कम रहता है।

3. मुख्य योगदान (Key Contributions)

लोकल लिनैरिटी विश्लेषण (Local Linearity Analysis): पेपर अनुभवजन्य साक्ष्य प्रदान करता है कि ट्रांसफॉर्मर लेयर डायनेमिक्स अलग-अलग एक्टिवेशन्स के बीच मजबूत जैकबियन अलाइनमेंट प्रदर्शित करते हैं, जो कंट्रोल सिंथेसिस के लिए LTV एप्रोक्सिमेशन को न्यायसंगत बनाता है।
एक्टिवेशन-LQR (A-LQR): एक नवीन, ट्रेनिंग-फ्री एल्गोरिदम जो शास्त्रीय LQR को LLMs के अनुकूल बनाता है, जो एक गणितीय रूप से सुदृढ़, क्लोज्ड-लूप स्टीयरिंग पॉलिसी प्रदान करता है।
सैद्धांतिक गारंटी (Theoretical Guarantees): लेखक ट्रैकिंग एरर पर वर्स्ट-केस बाउंड्स (worst-case bounds) निकालते हैं, यह सिद्ध करते हुए कि यदि क्लोज्ड-लूप डायनेमिक्स लीनियराइजेशन एरर्स के सापेक्ष पर्याप्त रूप से कॉन्ट्रैक्ट करते हैं, तो स्टीयरिंग प्रदर्शन की गारंटी दी जा सकती है।
लीनियर फीचर सेटपॉइंट (LFS): सिमेंटिक टारगेट्स उत्पन्न करने के लिए एक स्वचालित प्रक्रिया जो मॉडल की स्थिति के अनुकूल होती है, जिससे प्रभावी डिस्टर्बेंस रिजेक्शन संभव होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न स्केल्स (1B से 70B पैरामीटर्स) पर कई मॉडल्स (Llama-3, Gemma-2, Qwen-2.5) पर A-LQR का मूल्यांकन किया।

टॉक्सिसिटी मिटिगेशन (Toxicity Mitigation): A-LQR ने उच्च आउटपुट विविधता (Dist scores) और फ्लुएंसी (Perplexity) बनाए रखते हुए स्टेट-ऑफ-द-आर्ट (SOTA) टॉक्सिसिटी रिडक्शन (बेस मॉडल्स की तुलना में 50x तक की कमी) हासिल किया। इसने ITI, ActAdd और PID-AcT जैसे बेसलाइन्स को काफी पीछे छोड़ दिया।
ट्रुथफुलनेस (Truthfulness): TruthfulQA डेटासेट पर, A-LQR ने बेस मॉडल्स की तुलना में ट्रुथफुलनेस स्कोर में ~17% का सुधार किया, जबकि अन्य विधियों ने अक्सर सूचनात्मकता (informativeness) की कीमत पर सत्यता हासिल की।
कॉन्सेप्ट एलिसिटेशन (Concept Elicitation): विधि ने ओपन-एंडेड जनरेशन में मनचाहे कॉन्सेप्ट्स (जैसे, "dog", "football") को $\lambda$ पैरामीटर के माध्यम से सूक्ष्म नियंत्रण के साथ सफलतापूर्वक प्रेरित किया।
जेलब्रेकिंग (Jailbreaking): A-LQR का एक वेरिएंट (सभी टोकन पर हस्तक्षेप करना, न कि केवल अंतिम पर) मैकेनिस्टिक जेलब्रेकिंग में SOTA अटैक सक्सेस रेट प्राप्त करने में सफल रहा, जो सुरक्षा संरेखण (safety alignments) को ओवरराइड करने की इसकी क्षमता को प्रदर्शित करता है।
दक्षता (Efficiency): A-LQR ने बेस मॉडल की तुलना में न्यूनतम लेटेंसी (लगभग 10–20 टोकन/सेकंड की धीमी गति) जोड़ी, जो ऑनलाइन ऑप्टिमाइजेशन की आवश्यकता वाली विधियों की तुलना में काफी तेज़ है।

5. महत्व और प्रभाव (Significance and Impact)

प्रतिमान परिवर्तन (Paradigm Shift): यह पेपर एक्टिवेशन स्टीयरिंग को ह्यूरिस्टिक, ओपन-लूप वेक्टर एडिशन से एक कठोर मॉडल-बेस्ड कंट्रोल थ्योरी फ्रेमवर्क में ले जाता है।
मजबूती (Robustness): क्लोज्ड-लूप फीडबैक का उपयोग करके, A-LQR स्टैटिक स्टीयरिंग विधियों की तुलना में मॉडल की नॉन-लिनैरिटी और डिस्ट्रीब्यूशन शिफ्ट के प्रति अधिक मजबूत है।
दोहरा उपयोग (Dual-Use Nature): यह कार्य एक महत्वपूर्ण दोहरे उपयोग वाली क्षमता को उजागर करता: वही तंत्र जो मॉडल्स को मजबूती से सुरक्षित (टॉक्सिसिटी कम करना, सत्यता बढ़ाना) कर सकता है, उसका उपयोग मॉडल्स को जेलब्रेक करने (इनकार/refusals को ओवरराइड करने) के लिए भी किया जा सकता है। यह LLMs के आंतरिक प्रतिनिधित्व को समझने और नियंत्रित करने की आवश्यकता को रेखांकित करता है।
स्केलेबिलिटी (Scalability): यह विधि बिना रिट्रेनिंग के विभिन्न मॉडल साइज और आर्किटेक्चर के बीच स्केलेबल है, जो इसे इन्फरेंस-टाइम एलाइनमेंट के लिए एक व्यावहारिक उपकरण बनाती है।

निष्कर्षतः, यह कार्य प्रदर्शित करता है कि LLMs की "लोकल लिनैरिटी" एक ऐसी संपत्ति है जिसका लाभ उठाया जा सकता है, जो बड़े भाषा मॉडलों में सटीक, मजबूत और कुशल व्यवहार संशोधन प्राप्त करने के लिए शास्त्रीय ऑप्टिमल कंट्रोल थ्योरी के अनुप्रयोग को सक्षम बनाती है।