💬 NLP

Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs

Steer2Adapt एक हल्का ढांचा (lightweight framework) है जो जटिल कार्यों को संबोधित करने के लिए पुन: प्रयोज्य, निम्न-आयामी अर्थपूर्ण आधार वेक्टर्स (low-dimensional semantic basis vectors) के रैखिक संयोजन को गतिशील रूप से संयोजित करके कुशल और लचीला LLM अनुकूलन सक्षम बनाता है।

मूल लेखक: Pengrui Han, Xueqiang Xu, Keyang Xuan, Peiyang Song, Siru Ouyang, Runchu Tian, Yuqing Jiang, Cheng Qian, Pengcheng Jiang, Jiashuo Sun, Junxia Cui, Ming Zhong, Ge Liu, Jiawei Han, Jiaxuan You

प्रकाशित 2026-02-10

📖 3 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Pengrui Han, Xueqiang Xu, Keyang Xuan, Peiyang Song, Siru Ouyang, Runchu Tian, Yuqing Jiang, Cheng Qian, Pengcheng Jiang, Jiashuo Sun, Junxia Cui, Ming Zhong, Ge Liu, Jiawei Han, Jiaxuan You

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक हाई-टेक, बहुउद्देश्यीय किचन रोबोट है। यह रोबोट अद्भुत है—यह केक बना सकता है, सब्जियां काट सकता है और सुशी बना सकता है। हालाँकि, यह हर चीज़ में परफेक्ट नहीं है। यदि आप इसे कोई बहुत ही विशिष्ट, जटिल व्यंजन बनाने के लिए कहते हैं, जैसे कि "स्पाइसी थाई-स्टाइल सुशी रोल," तो इसे संघर्ष करना पड़ सकता है क्योंकि इसे उस सटीक संयोजन के लिए विशेष रूप से प्रोग्राम नहीं किया गया है।

वर्तमान में, इसे ठीक करने के दो तरीके हैं:

"री-ट्रेनिंग" का तरीका: आप उस एक रेसिपी को सिखाने के लिए घंटों तक एक पूरा नया सॉफ्टवेयर पैकेज डाउनलोड करने में बिता देते हैं। यह धीमा और महंगा है।
"सिंगल इंस्ट्रक्शन" का तरीका: आप इसे एक कमांड देते हैं जैसे "थोड़ा और तीखा बनाओ।" लेकिन अगर आप ऐसा करते हैं, तो रोबोट सुशी को तो तीखा बना सकता है, लेकिन वह गलती से केक को भी तीखा बना सकता है! यह बहुत ही अनगढ़ उपकरण है।

Steer2Adapt उस रोबोट को एक "फ्लेवर स्पाइस रैक" (स्वाद का मसाला स्टैंड) देने जैसा है।

अवधारणा: स्पाइस रैक दृष्टिकोण

रोबोट को एक पूरा नया प्रोग्राम सिखाने के बजाय, शोधकर्ताओं ने महसूस किया कि अधिकांश जटिल कार्य बुनियादी "फ्लेवर्स" (अवधारणाओं) के विभिन्न संयोजन मात्र हैं।

AI की दुनिया में, इन "फ्लेवर्स" को स्टीयरिंग वेक्टर्स (Steering Vectors) कहा जाता है। उदाहरण के लिए:

रीज़निंग फ्लेवर्स: व्यवस्थित होना, जिज्ञासु होना, या शांत रहना।
सेफ्टी फ्लेवर्स: ईमानदार होना, निष्पक्ष होना, या कुछ खतरनाक करने से मना करना।

यह कैसे काम करता है: "सीक्रेट रेसिपी"

AI में एक ही "दिशा" बदलने की कोशिश करने के बजाय, Steer2Adapt तीन चतुर काम करता है:

स्पाइस रैक बनाना (द सबस्पेस): सबसे पहले, यह बुनियादी "फ्लेवर्स" (जैसे नमक, चीनी, तीखापन और खटास) के एक छोटे सेट की पहचान करता है। ये व्यवहार के निर्माण खंड (building blocks) हैं।
एक छोटा नमूना चखना (द ऑप्टिमाइज़ेशन): आपको AI को हज़ार उदाहरण देने की ज़रूरत नहीं है। आपको बस उसे एक छोटा सा "टेस्टिंग मेनू" (कार्य के केवल कुछ उदाहरण) देना होता है।
परफेक्ट सॉस मिलाना (द कंपोज़िशन): एक स्मार्ट गणितीय प्रक्रिया (जिसे बेयसियन ऑप्टिमाइज़ेशन कहा जाता है) का उपयोग करके, सिस्टम सटीक "रेसिपी" का पता लगाता है। यह कहता है: "इस विशिष्ट कोडिंग कार्य को हल करने के लिए, हमें '2 यूनिट व्यवस्थित', '0.5 यूनिट जिज्ञासु' और 'एक चुटकी शांत' की आवश्यकता है।" फिर यह इस विशिष्ट "सॉस" को AI के सोचने के दौरान उसके दिमाग में इंजेक्ट कर देता है।

यह बड़ी बात क्यों है? (परिणाम)

यह तेज़ और हल्का है: इसके लिए भारी काम या भारी मात्रा में डेटा की आवश्यकता नहीं होती है। यह पूरे किचन को फिर से बनाने के बजाय केवल मसाला डालने जैसा है।
यह सटीक है: क्योंकि यह कई फ्लेवर्स को मिलाता है, यह जटिल कार्यों को संभाल सकता है। यह एक ही समय में "स्मार्ट" और "सेफ" हो सकता है बिना एक दूसरे को खराब किए।
यह विश्वसनीय है: अधिकांश तरीके "सब कुछ या कुछ भी नहीं" वाले होते हैं। Steer2Adapt स्थिर है; यह AI के प्रदर्शन में सुधार करता है (औसतन लगभग 8% तक) बिना सामान्य अंग्रेजी बोलना "भूल" जाए।

संक्षेप में: Steer2-Adapt AI को नई भाषाएं सिखाना बंद करता है और उसे किसी भी नए कार्य में महारत हासिल करने के लिए सही "व्यवहार संबंधी सामग्री" (behavioral ingredients) को मिलाना सिखाता है।

तकनीकी सारांश: Steer2Adapt

Steer2Adapt: डायनेमिक रूप से स्टीयरिंग वेक्टर्स का संयोजन LLMs के कुशल अनुकूलन को प्रेरित करता है

1. समस्या विवरण (Problem Statement)

विशिष्ट व्यवहारों या कार्यों के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को अनुकूलित करने की वर्तमान विधियाँ दक्षता और लचीलेपन के बीच एक द्वंद्व का सामना करती हैं।

प्री-ट्रेनिंग/पोस्ट-ट्रेनिंग: अत्यधिक प्रभावी लेकिन तीव्र तैनाती के लिए कम्प्यूटेशनल रूप से महंगी और धीमी।
इन-कॉन्टेक्स्ट लर्निंग (ICL): लचीली लेकिन प्रॉम्प्ट विविधताओं के प्रति नाजुक।
एक्टिवेशन स्टीयरिंग (Activation Steering): एक आशाजनक इन्फरेंस-टाइम हस्तक्षेप, लेकिन मौजूदा प्रतिमान सीमित हैं। टास्क-वेक्टर स्टीयरिंग के लिए बड़े पैमाने पर डेटा की आवश्यकता होती है और इसमें व्याख्यात्मकता (interpretability) की कमी होती है, जबकि सिमेंटिक-ड्रिवन स्टीयरिंग स्थिर, पूर्व-निर्धारित वेक्टर्स का उपयोग करती है जो अक्सर जटिल, बहु-आयामी कार्यों (जैसे, एक कार्य जिसमें उच्च तर्क और विशिष्ट सुरक्षा बाधाएं दोनों की आवश्यकता हो) को संभालने के लिए आवश्यक अभिव्यक्ति की कमी रखते हैं।

लेखक पहचानते हैं कि अधिकांश स्टीयरिंग विधियाँ किसी कार्य के लिए एक एकल स्थिर दिशा (single static direction) खोजने का प्रयास करती हैं, जो वास्तविक दुनिया के अनुप्रयोगों के लिए आवश्यक समन्वित नियंत्रण को पकड़ने में विफल रहती है।

2. कार्यप्रणाली (Methodology)

लेखक STEER2ADAPT प्रस्तावित करते हैं, जो एक ऐसा ढांचा है जो एक एकल "दिशा" खोजने के बजाय एक "रेसिपी" (विधि) खोजने की ओर दृष्टिकोण बदलता है—जो मौजूदा सिमेंटिक कॉन्सेप्ट वेक्टर्स का एक डायनेमिक लीनियर कॉम्बिनेशन (रैखिक संयोजन) है।

A. पूर्व सिमेंटिक सबस्पेस निर्माण (Prior Semantic Subspace Construction):
शून्य से सीखने के बजाय, यह ढांचा एक पुन: प्रयोज्य, लो-डायमेंशनल सिमेंटिक सबस्पेस बनाने के लिए डोमेन ज्ञान का लाभ उठाता है। एक दिए गए डोमेन (जैसे, रीजनिंग या सेफ्टी) के लिए, लेखक $k$ प्रमुख व्यवहारिक आयामों (जैसे, रीजनिंग के लिए "बिग फाइव" व्यक्तित्व लक्षण, या सेफ्टी के लिए फेयरनेस/ऑनेस्टी) की पहचान करते हैं। रिप्रेजेंटेशन इंजीनियरिंग (RepE) का उपयोग करके, वे इन अवधारणाओं का प्रतिनिधित्व करने वाले स्टीयरिंग वेक्टर्स $\{v_1, \dots, v_k\}$ निकालते हैं। इसके बाद कोई भी स्टीयरिंग हस्तक्षेप इस सबस्पेस के भीतर ही सीमित होता है:
$h' = h + \sum_{i=1}^{k} \alpha_i v_i$
जहाँ $\alpha$ उन गुणांकों (कोएफिशिएंट्स) को दर्शाता है जिन्हें अनुकूलित किया जाना है (अर्थात, "रेसिपी")।

B. बायेसियन ऑप्टिमाइज़ेशन के माध्यम से कंपोज्ड वेक्टर सर्च:
केवल कुछ उदाहरणों का उपयोग करके इष्टतम गुणांक $\alpha$ खोजने के लिए, लेखक बायेसियन ऑप्टिमाइज़ेशन (BO) का उपयोग करते हैं। ओवरफिटिंग या सही व्यवहारों को "भूलने" की सामान्य समस्या को रोकने के लिए, वे एक स्टेबिलिटी-अवेयर ऑब्जेक्टिव फंक्शन पेश करते हैं:
$J(\alpha) = \sum_{x \in B_{err}} \Delta p(y|x) - \sum_{x \in B_{corr}} L_{reg}(x)$

एडैप्टेशन गेन (Adaptation Gain): उन उदाहरणों ( $B_{err}$ ) के लिए सही उत्तर की लॉग-प्रोबेबिलिटी बढ़ाने के लिए पुरस्कृत करता है जो पहले गलत थे।
हाइरार्किकल सेफ्टी रेगुलराइजेशन ( $L_{reg}$ ): मॉडल को दंडित करता है यदि वह एक सही भविष्यवाणी को गलत में बदल देता है (उच्च दंड) या यदि यह एक सही भविष्यवाणी के आत्मविश्वास को महत्वपूर्ण रूप से कम कर देता है (मध्यम दंड)। यह सुनिश्चित करता है कि अनुकूलन मॉडल के मौजूदा ज्ञान के संबंध में "लॉसलेस" (बिना नुकसान के) है।

3. मुख्य योगदान (Key Contributions)

कंपोजिशनल स्टीयरिंग प्रतिमान (Compositional Steering Paradigm): कार्य-विशिष्ट वेक्टर लर्निंग से हटकर व्यवस्थित रूप से पुन: प्रयोज्य सिमेंटिक बेसिस वेक्टर्स के पुन: उपयोग और संयोजन की ओर बढ़ना।
लाइटवेट एडैप्टेशन फ्रेमवर्क: एक ऐसी विधि प्रदान करता है जिसमें कोई ग्रेडिएंट अपडेट की आवश्यकता नहीं होती है और जो कुशल ब्लैक-बॉक्स ऑप्टिमाइज़ेशन के माध्यम से न्यूनतम डेटा (कुछ उदाहरणों) के साथ काम करती है।
स्टेबिलिटी-अवेयर ऑब्जेक्टिव: एक नवीन ऑप्टिमाइज़ेशन लक्ष्य जो मॉडल स्थिरता को प्राथमिकता देता है और सही उत्तरों पर प्रतिगमन (regression) को रोकता है।
डोमेन-विशिष्ट सबस्पेस: रीजनिंग और सेफ्टी के लिए स्थापित, पुन: प्रयोज्य सिमेंटिक सबस्पेस प्रदान करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन 9 कार्यों और 3 बैकबोन मॉडल्स (Llama-3.1, Qwen-2.5, और Mistral-7B) पर किया गया।

प्रदर्शन लाभ (Performance Gains): STEER2ADAPT ने सभी कार्यों में औसतन 8.2% का प्रदर्शन सुधार हासिल किया। इसने प्रॉम्प्टिंग-आधारित (Few-Shot, ICL) और मौजूदा रिप्रेजेंटेशन-आधारित (CAA, REP) बेसलाइन्स को लगातार पछाड़ दिया।
सामान्यीकरण (Generalization): पद्धति ने मजबूत टास्क जनरलाइजेशन (एक डोमेन के भीतर विभिन्न कार्यों में प्रदर्शन में सुधार) और मॉडल जनरलाइजेशन (विभिन्न मॉडल आर्किटेक्चरों में प्रभावी ढंग से काम करना) प्रदर्शित किया।
स्थिरता और विश्वसनीयता: बेसलाइन्स के विपरीत, जो उच्च विचरण (variance) और महत्वपूर्ण प्रदर्शन गिरावट दिखाते हैं, STEER2ADAPT ने कॉम्पैक्ट, पॉजिटिवली सेंटर्ड गेन डिस्ट्रीब्यूशन दिखाया, जो विश्वसनीय और अनुमानित व्यवहार का संकेत देता है।
दक्षता (Efficiency): इसने सर्वोत्तम प्रदर्शन-से-इन्फरेंस-लागत ट्रेड-ऑफ प्राप्त किया, क्योंकि स्टीयरिंग वेक्टर्स ICL के लिए आवश्यक लंबे प्रॉम्प्ट्स की तुलना में नगण्य ओवरहेड जोड़ते हैं।
भाषाई संरक्षण (Linguistic Preservation): विश्लेषण से पता चला कि जबकि कार्य प्रदर्शन में वृद्धि हुई, सामान्य भाषाई क्षमता (BLiMP के माध्यम से मापी गई) काफी हद तक बरकरार रही।

5. महत्व (Significance)

STEER2ADAPT व्याख्या योग्य और कुशल इन्फरेंस-टाइम अनुकूलन की ओर एक महत्वपूर्ण कदम है। अनुकूलन को "दिशा की खोज" के बजाय "अवधारणाओं के संयोजन" के रूप में मानकर, यह विकसित होते वास्तविक दुनिया के कार्यों के लिए LLM व्यवहार को कस्टमाइज़ करने का एक स्केलेबल तरीका प्रदान करता है। न्यूनतम डेटा के साथ काम करने की इसकी क्षमता और इसकी स्थिरता इसे उन गतिशील वातावरणों में तैनाती के लिए अत्यधिक उपयुक्त बनाती है जहाँ तीव्र, सुरक्षित और पारदर्शी मॉडल नियंत्रण की आवश्यकता होती है।