💬 NLP

Beyond Linear Steering: Unified Multi-Attribute Control for Language Models

यह शोधपत्र K-Steering को प्रस्तुत करता है, जो एक एकीकृत इन्फरेंस-टाइम विधि है जो लीनियर स्टीयरिंग की सीमाओं को दूर करने के लिए एक नॉन-लीनियर मल्टी-लेबल क्लासिफायर और ग्रेडिएंट-आधारित हस्तक्षेपों का लाभ उठाती है, जिससे बड़े भाषा मॉडलों में प्रति-एट्रिब्यूट ट्यूनिंग के बिना कई व्यवहार संबंधी गुणों पर गतिशील और सटीक नियंत्रण सक्षम होता है।

मूल लेखक: Narmeen Oozeer, Luke Marks, Shreyans Jain, Fazl Barez, Amirali Abdullah

प्रकाशित 2026-04-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Narmeen Oozeer, Luke Marks, Shreyans Jain, Fazl Barez, Amirali Abdullah

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा जिद्दी, रोबोटिक दोस्त (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकता है, सलाह दे सकता है, या किसी बात पर बहस कर सकता है। आमतौर पर, आप इस रोबोट को क्या करना है यह बताने के लिए एक प्रॉम्प्ट टाइप करते हैं, जैसे "मजाकिया लहजे में एक कहानी लिखें।" लेकिन क्या होगा अगर आप चाहते हैं कि यह रोबोट एक साथ तीन चीजें करे? क्या होगा अगर आप चाहते हैं कि यह एक ही वाक्य में मजाकिया, विशेषज्ञ (expert) और सतर्क (cautious) हो?

वर्तमान में, एक रोबोट से एक साथ कई काम करवाना ऐसा है जैसे आप कार को उसके अगले बम्पर से बंधी तीन अलग-अलग रस्सियों को खींचकर चलाने की कोशिश कर रहे हों। यदि आप "मजाकिया" वाली रस्सी खींचते हैं, तो "विशेषज्ञ" वाली रस्सी उलझ सकती है, और कार गोल-गोल घूमने लगेगी या खाई में गिर जाएगी।

यह पेपर इन रोबोटों को नियंत्रित करने का एक नया तरीका पेश करता है जिसे K-Steering कहा जाता है। यह कैसे काम करता है, यहाँ कुछ सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:

1. पुराना तरीका: "लीनियर" (रैखिक) समस्या

रोबोट के मस्तिष्क को एक विशाल मानचित्र की तरह समझें। अतीत में, वैज्ञानिकों ने रोबोट को नियंत्रित करने के लिए इस मानचित्र पर एक सीधी रेखा खींचने की कोशिश की थी।

समस्या: यदि आप चाहते हैं कि रोबोट "मजाकिया" (बिंदु A) और "गंभीर" (बिंदु B) हो, तो पुराना तरीका बस उनके बीच में एक सीधी रेखा खींच देता था। लेकिन मानवीय व्यवहार एक सीधी रेखा नहीं है! "मजाकिया" और "गंभीर" एक ही समय में होना एक अजीब, तीसरा अहसास पैदा करता है जो केवल उन दोनों का मिश्रण नहीं है।
परिणाम: रोबोट भ्रमित हो जाता, वह जो कह रहा था उसे भूल जाता, या बेतुकी बातें (hallucinations) करने लगता क्योंकि "सीधी रेखा" वाला नियंत्रण मानवीय भाषा की जटिल, घुमावदार वास्तविकता में फिट नहीं बैठता था।

2. नया तरीका: K-Steering (एक "स्मार्ट जीपीएस")

लेखकों ने एक K-Steering सिस्टम बनाया है। एक सीधी रेखा खींचने के बजाय, उन्होंने एक स्मार्ट जीपीएस बनाया है जो इलाके (terrain) को समझता है।

क्लासिफायर (जीपीएस मैप): सबसे पहले, वे एक छोटे, स्मार्ट सहायक (क्लासिफर) को प्रशिक्षित करते हैं जो रोबोट के आंतरिक विचारों (activations) को देख सके और कह सके, "आह, यह विचार 'विशेषज्ञ' जैसा लग रहा है," या "यह 'सतर्क' जैसा लग रहा है।"
ग्रेडिएंट (एक दिशा-सूचक/कंपास): सिर्फ रस्सी खींचने के बजाय, K-Steering जीपीएस से पूछता है: "यदि मैं अधिक 'विशेषज्ञ' और कम 'सतर्क' होना चाहता हूँ, तो मुझे अभी रोबोट के मस्तिष्क को किस दिशा में थोड़ा सा धकेलना चाहिए?"
द नज़ (हल्का सा धक्का/नज): यह एक सूक्ष्म, सटीक धक्का (ग्रेडient) की गणना करता है ताकि रोबोट के विचारों को सही दिशा में धकेला जा सके। यह इसे गतिशील रूप से (dynamically) करता है, जिसका अर्थ है कि यह हर शब्द को उत्पन्न करते समय स्टीयरिंग व्हील को एडजस्ट करता है, न कि केवल शुरुआत में एक बार।

उपमा: कल्पना कीजिए कि आप एक घने जंगल (रोबोट का मस्तिष्क) में चल रहे हैं।

पुराना तरीका: आपके पास एक कंपास है जो उत्तर की ओर इशारा करता है। आप बस उत्तर की ओर चलते हैं। यदि आप "उत्तर-पूर्व" जाना चाहते हैं, तो आप थोड़ी देर उत्तर चलते हैं, फिर पूर्व की ओर मुड़ते हैं। आप टेढ़े-मेढ़े चलते हैं और रास्ता भटक जाते हैं।
K-Steering: आपके पास एक गाइड है जो जंगल को पूरी तरह जानता है। वे आपसे फुसफुसाकर कहते हैं, "एक कदम बाएं लें, फिर दो कदम आगे बढ़ें, फिर इस टहनी के नीचे से झुककर निकलें।" वे आपका मार्गदर्शन एक सुचारू, घुमावदार पथ पर करते हैं जो आपको ठीक वहीं ले जाता है जहाँ आप जाना चाहते हैं, भले ही वह गंतव्य "उत्तर" और "पूर्व" का एक जटिल मिश्रण क्यों न हो।

3. नए खेल के मैदान: TONEBANK और DEBATEMIX

अपने तरीके को साबित करने के लिए, लेखकों ने रोबोट का परीक्षण करने के लिए दो नए वीडियो गेम स्तर (डेटासेट) बनाए:

TONEBANK: एक स्तर जहाँ रोब गए अलग-अलग "आवाजों" (जैसे, एक गुस्सैल विशेषज्ञ, एक देखभाल करने वाला दोस्त, या एक सतर्क वकील) में सवालों के जवाब देने होते हैं।
DEBATEMIX: एक स्तर जहाँ रोबोट को विशिष्ट बहस शैलियों (जैसे, डेटा का उपयोग करना, उपमाएं देना, या तर्क की खामियों को उजागर करना) का उपयोग करके एक बिंदु पर बहस करनी होती है।

उन्होंने परीक्षण किया कि क्या रोबोट बिना टूटे इन शैलियों के बीच सहजता से स्विच कर सकता है।

4. परिणाम: सुचारू यात्रा

प्रयोगों ने दिखाया कि K-Steering पुराने "रस्सी खींचने" वाले तरीकों से बहुत बेहतर है।

कोई उलझी हुई रस्सियाँ नहीं: रोबोट भ्रमित हुए बिना एक ही समय में "विशेषज्ञ" और "सतर्क" हो सकता है।
बेहतर नियंत्रण: इसने केवल दोनों शैलियों का औसत नहीं निकाला; इसने दोनों के बीच का सही संतुलन खोज लिया, जैसे एक शेफ मसालों का सही मिश्रण करता है, न कि केवल आधा जार नमक और आधा जार चीनी डाल देता है।
दक्षता (Efficiency): इसे पूरे रोबोट को फिर से प्रशिक्षित (retrain) करने की आवश्यकता नहीं थी (जो महंगा और धीमा है)। इसने केवल रोबोट के बात करते समय उसे एडजस्ट किया।

5. एक कमी (सीमाएँ)

इसका एक नुकसान है। "स्मार्ट जीपीएस" साधारण कंपास की तुलना में थोड़ा अधिक कम्प्यूटेशनल रूप से महंगा है।

लागत: हर चरण पर उन सटीक धक्कों (nudges) की गणना करने के लिए थोड़े अधिक कंप्यूटर पावर की आवश्यकता होती है। यह एक ऐसी कार चलाने जैसा है जिसमें सुपर-स्मार्ट ऑटोपायलट है जो बेसिक क्रूज कंट्रोल की तुलना में अधिक ईंधन का उपयोग करता है, लेकिन यह आपको आपके गंतव्य तक अधिक सुरक्षित और सटीक रूप से पहुँचाता है।

सारांश

K-Steering एक नया उपकरण है जो हमें एआई रोबोटों को बहुत अधिक बारीकी के साथ नियंत्रित करने की अनुमति देता है। उन्हें एक सीधी रेखा में मजबूर करने के बजाय, यह एक स्मार्ट, लचीले गाइड का उपयोग करता है जो उन्हें मानवीय भाषा के जटिल, घुमावदार परिदृश्य में नेविगेट करने में मदद करता है, जिससे वे अपना मानसिक संतुलन खोए बिना एक ही समय में कई चीजें बन पाते हैं।

यहाँ शोध पत्र "Beyond Linear Steering: Unified Multi-Attribute Control for Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को इन्फरेंस के समय एक साथ कई व्यवहार संबंधी गुणों (जैसे कि एक विशिष्ट लहजा और एक विशिष्ट बहस की शैली) को प्रदर्शित करने के लिए नियंत्रित करना एक महत्वपूर्ण चुनौती है। मौजूदा विधियाँ दो प्राथमिक सीमाओं का सामना करती हैं:

रैखिकता की धारणा (Linearity Assumption): अधिकांश वर्तमान स्टीयरिंग तकनीकें (जैसे, कॉन्ट्रास्टिव एक्टिवेशन एडिशन, CAA) यह मानती हैं कि व्यवहार संबंधी गुण मॉडल के एक्टिवेशन स्पेस में योगात्मक (additive) होते हैं। वे प्रत्येक गुण के लिए एक एकल वेक्टर की गणना करती हैं और उन्हें जोड़ देती हैं। इससे अक्सर हस्तक्षेप (interference) होता है, जहाँ गुण एक-दूसरे को निरस्त कर देते हैं, या प्रवाह में गिरावट (degraded fluency) आती है।
स्केलेबिलिटी और ट्यूनिंग (Scalability and Tuning): पारंपरिक दृष्टिकोणों के लिए प्रत्येक नए गुणों के संयोजन के लिए अलग-अलग वेक्टर प्रशिक्षित करने और व्यापक हाइपरपैरामीटर ट्यूनिंग (जैसे, इष्टतम स्केलिंग फैक्टर $\alpha$ खोजना) करने की आवश्यकता होती है।
कंपोजिशनल बेंचमार्क का अभाव (Lack of Compositional Benchmarks): ऐसे डेटासेट्स की कमी है जो "वास्तविक" कंपोजिशनल कंट्रोल का परीक्षण करने के लिए डिज़ाइन किए गए हों, जहाँ कई गुणों को एक सुसंगत प्रतिक्रिया में मिलाया जाना आवश्यक हो।

2. कार्यप्रणाली: K-Steering

लेखक K-Steering का प्रस्ताव करते हैं, जो एक एकीकृत, गैर-रैखिक (non-linear) दृष्टिकोण है जो योगात्मक वेक्टर मॉडल के स्थान पर एक मल्टी-लेबल क्लासिफायर द्वारा निर्देशित ग्रेडिएंट-आधारित अनुकूलन ढांचे (optimization framework) को प्रतिस्थापित करता है।

मुख्य घटक

नॉन-लीनियर मल्टी-लेबल क्लासिफायर (MLP):
- अलग-अलग वेक्टर सीखने के बजाय, लेखक LLM के हिडन एक्टिवेशन्स पर एक मल्टी-लेयर परसेप्ट्रॉन (MLP) को प्रशिक्षित करते हैं।
- आर्किटेक्चर: इनपुट डायमेंशन $d_{model}$ , दो हिडन लेयर्स (256 यूनिट्स, ReLU), और $K$ (लक्ष्य गुणों की संख्या) आकार की एक आउटपुट लेयर जिसमें Softmax है।
- प्रशिक्षण: क्लासिफायर को हिडन स्टेट्स से $K$ श्रेणियों (जैसे, टोन या बहस की शैलियाँ) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है। इसे सीक्वेंस के अंतिम स्थान पर प्रशिक्षित किया जाता है लेकिन इन्फरेंस के दौरान सभी स्थानों पर लागू किया जाता है।
ग्रेडिएंट-आधारित हस्तक्षेप (Gradient-Based Intervention):
- इन्फरेंस के समय, विधि प्रशिक्षित क्लासिफायर ( $g_\phi$ ) द्वारा निर्देशित लॉस फंक्शन ( $L$ ) के सापेक्ष एक्टिवेशन्स ( $a_i$ ) के ग्रेडिएंट की गणना करके मॉडल के एक्टिवेशन्स को संशोधित करती है।
- अपडेट नियम:
  $a'_i = a_i - \alpha \nabla_{a_i} L(g_\phi(a_i))$
- लॉस फंक्शन: लॉस को लक्षित वर्गों ( $T^+$ ) के लिए लॉजिट्स को अधिकतम करने और बचने वाले वर्गों ( $T^-$ ) के लिए लॉजिट्स को न्यूनतम करने के लिए डिज़ाइन किया गया है।
  $L = -\text{mean}(g_\phi(a_i)_{T^+}) + \text{mean}(g_\phi(a_i)_{T^-})$
दो हस्तक्षेप एल्गोरिदम:
- एल्गोरिदम 1 (इटरेटिव ग्रेडिएंट-बेस्ड स्टीयरिंग): घटते हुए लर्निंग रेट के साथ कई ग्रेडिएंट डिसेंट स्टेप्स करता है। यह विधि को नॉन-लीनियर लॉस लैंडस्केप में नेविगेट करने की अनुमति देता है, जिससे उस पथ को खोजा जा सके जिसे रैखिक विधियाँ मिस कर सकती हैं।
- एल्गोरिदम 2 (प्रोजेक्शन रिमूवल): अवांछित गुणों को हटाने के लिए एक विशेष, सिंगल-स्टेप विधि। यह "अनचाहे" क्लास के ग्रेडिएंट के लंबवत हाइपरप्लेन के पार एक्टिवेशन वेक्टर को प्रोजेक्ट करने के लिए हाउसहोल्डर रिफ्लेक्शन (Householder reflection) का उपयोग करता है। यह बिना इटरेटिव कंप्यूटेशन के, अवांछित व्यवहार के लिए जिम्मेदार एक्टिवेशन के घटक को प्रभावी रूप से उलट देता है।

3. प्रमुख योगदान

एकीकृत ढांचा (Unified Framework): K-Steering एक एकल क्लासिफायर का उपयोग करके कई व्यवहारों पर एक साथ नियंत्रण सक्षम करता है, जिससे प्रति-गुण वेक्टर ट्यूनिंग की आवश्यकता समाप्त हो जाती है और रैखिक योगात्मकता की धारणा से बचा जा सकता है।
नवीन बेंचमार्क:
- TONEBANK: 1,184 प्रॉम्प्ट्स का एक डेटासेट जिसे छह अलग-अलग संवादात्मक लहजों (जैसे, एक्सपर्ट, एम्पैथेटिक, कॉशियस) में उत्तर देने के लिए डिज़ाइन किया गया है।
- DEBATEMIX: 978 प्रॉम्प्ट्स का एक डेटासेट जिसे दस अलग-अलग बयानबाजी वाली बहस की शैलियों (जैसे, रेडुक्टियो एड अब्सर्डम, अपील टू प्रीसीडेंट) में उत्तर देने के लिए डिज़ाइन किया गया है।
- ये डेटासेट्स विशेष रूप से कंपोजिशनल कंट्रोल (जैसे, "एम्पैथेटिक" + "कॉन्साइज" या "बर्डन ऑफ प्रूफ" + "स्ट्रॉमैन") का परीक्षण करते हैं।
मूल्यांकन प्रोटोकॉल: स्टीयरिंग मैग्नीट्यूड ( $\alpha$ ) को कैलिब्रेट करने के लिए बाइनरी सर्च का उपयोग करने वाला एक सेमी-ऑटोमेटेड प्रोटोकॉल, जो वितरण बदलाव (कोहेरेंस लॉस) को कम करते हुए एट्रिब्यूट की उपस्थिति को अधिकतम करता है। मूल्यांकन एक्टिवेशन-आधारित क्लासिफायर और LLM जजों दोनों के माध्यम से किया जाता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन तीन मॉडल परिवारों में किया गया: Llama-3.2-3B, Mistral-7B, और OLMo-2-7B।

बेसलाइन्स के विरुद्ध प्रदर्शन: K-Steering ने लगातार मजबूत बेसलाइन्स, विशेष रूप से कॉन्ट्रास्टिव एक्टिवेशन एडिशन (CAA) और डीप कॉज़ल ट्रांसकोडिंग (DCT) को पछाड़ दिया।
- TONEBANK और DEBATEMIX पर, K-Steering ने $K=1, 2, 3$ एट्रिब्यूट संयोजनों के लिए लक्षित गुणों के लिए उच्च एक्टिवेशन क्लासिफायर स्कोर प्राप्त किया।
- उन मामलों में जहाँ $K=3$ था, CAA अक्सर विफल रहा (स्कोर लगभग 0), जबकि K-Steering ने मजबूत प्रदर्शन बनाए रखा।
मल्टी-लेयर और मल्टी-स्टेप विश्लेषण:
- मल्टी-लेयर: सभी रेसिडुअल स्ट्रीम लेयर्स (एकल लेयर के बजाय) में स्टीयरिंग लागू करने से प्रदर्शन में सुधार हुआ, जो "हाइड्रा इफेक्ट" सिद्धांत के अनुरूप है जहाँ सूचना लेयर्स के बीच बनी रहती है।
- मल्टी-स्टेप: छोटे स्टेप साइज़ के साथ कई ग्रेडिएंट स्टेप्स (एल्गोरिदम 1) का उपयोग करने से नॉन-लीनियर लॉस लैंडस्केप के सुचारू नेविगेशन में मदद मिली, जिससे छोटे $\alpha$ मानों के लिए स्टीयरिंग स्कोर में सुधार हुआ। हालांकि, बड़े स्टेप साइज़ के कारण कोहेरेंस (सुसंगतता) ध्वस्त हो गई।
सामान्य क्षमताएं: MMLU बेंचमार्क पर, K-Steering ने अनस्टीयर्ड बेसलाइन और CAA के समान मॉडल सटीकता को बनाए रखा, जो दर्शाता है कि स्टीयरिंग आवश्यक रूप से सामान्य तर्क क्षमताओं को कम नहीं करती है।
प्रोजेक्शन रिमूवल: हाउसहोल्डर रिफ्लेक्शन विधि (एल्गोरिदम 2) ने विशिष्ट बहस शैलियों को हटाने में मानक डायरेक्शनल एब्लेशन (CAA) की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से DEBATEMIX कार्य पर।

5. महत्व और निहितार्थ

सैद्धांतिक प्रगति: यह शोध पत्र प्रचलित "लीनियर स्टीयरिंग" प्रतिमान को चुनौती देता है, यह प्रदर्शित करते हुए कि LLMs में व्यवहार संबंधी गुण अक्सर नॉन-लीनियर रूप से परस्पर क्रिया करते हैं। एक नॉन-लीनियर क्लासिफायर से ग्रेडिएंट का उपयोग करके, K-Steering इन जटिल अंतःक्रियाओं को कैप्चर करता है।
व्यावहारिक उपयोगिता: यह एक हल्का, रिट्रेनिंग-फ्री तंत्र प्रदान करता है जो डायनेमिक व्यवहार नियंत्रण के लिए है। यह उच्च-जोखिम वाले अनुप्रयोगों के लिए महत्वपूर्ण है जहाँ मॉडल्स को एक साथ कई बाधाओं (जैसे, सुरक्षा, लहजा और शैली) के अनुकूल होने की आवश्यकता होती है, बिना फाइन-ट्यूनिंग की कम्प्यूटेशनल लागत के।
स्केलेबिलिटी: एकीकृत दृष्टिकोण गुणों के बढ़ते सेट के साथ स्वाभाविक रूप से स्केल करता है, जिससे रैखिक विधियों के लिए आवश्यक वेक्टर संयोजनों का घातांकीय विस्फोट (exponential explosion) नहीं होता है।
सीमाएं: लेखक नोट करते हैं कि मल्टी-स्टेप स्टीयरिंग में कम्प्यूटेशनल लागत में रैखिक वृद्धि होती है (CAA की तुलना में कई गुना अधिक) और वर्तमान डेटासेट्स सिंथेटिक हैं, जिन्हें प्राकृतिक रूप से उत्पन्न होने वाले कंपोजिशनल डेटा पर और अधिक सत्यापन की आवश्यकता है।

निष्कर्षतः, K-Steering भाषा मॉडल्स की नियंत्रणीयता (controllability) में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो कठोर, रैखिक वेक्टर जोड़ से लचीले, ग्रेडिएंट-आधारित अनुकूलन की ओर बढ़ता है जो मॉडल एक्टिवेशन्स की नॉन-लीनियर ज्यामिति का सम्मान करता है।