🤖 AI

COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics

COLD-Steer एक प्रशिक्षण-मुक्त (training-free) फ्रेमवर्क है जो इन-कॉन्टेक्स्ट उदाहरणों पर ग्रेडिएंट डिसेंट के प्रतिनिधि परिवर्तनों का अनुमान लगाकर लार्ज लैंग्वेज मॉडल्स को निर्देशित करता है, जिससे मौजूदा विधियों की तुलना में 50 गुना कम नमूनों के साथ 95% तक स्टीयरिंग प्रभावशीलता प्राप्त होती है।

मूल लेखक: Kartik Sharma, Rakshit S. Trivedi

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kartik Sharma, Rakshit S. Trivedi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही स्मार्ट, बहुत शक्तिशाली रोबोट है (एक लार्ज लैंग्वेज मॉडल, या LLM) जो कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और आपसे चैट कर सकता है। लेकिन कभी-कभी, यह रोबोट थोड़ा ज़्यादा बातूनी हो जाता है, तथ्य गढ़ने लगता है, या साधारण सवालों के जवाब देने से मना कर देता है।

आमतौर पर, इन बुरी आदतों को ठीक करने के लिए, आपको दो में से एक चीज़ करनी पड़ती है:

"स्कूल" विधि: रोबोट को "अच्छे व्यवहार" के हज़ारों उदाहरणों के साथ शून्य से फिर से प्रशिक्षित (retrain) करना। इसमें बहुत समय लगता है, बहुत पैसा खर्च होता है, और एक विशाल क्लासरूम की आवश्यकता होती है।
"फुसफुसाहट" (Whisper) विधि: बातचीत में रोबट को कुछ उदाहरण देना (जैसे "मैं चाहता हूँ कि आप इस तरह बात करें") और उम्मीद करना कि वह माहौल को समझ जाएगा। लेकिन वर्तमान तरीके ऐसे हैं जैसे किसी इंसान को डिक्शनरी दिखाकर नई भाषा सिखाना; उन्हें सही होने के लिए सैकड़ों उदाहरणों की आवश्यकता होती है।

पेश है, COLD-Steer।

इस पेपर के लेखक (कार्तिक शर्मा और रक्षित एस. त्रिवेदी) ने COLD-Steer नामक एक चतुर ट्रिक निकाली है। इसे रोबोट के लिए एक "टाइम-ट्रैवलिंग ट्यूटर" (समय की यात्रा करने वाला शिक्षक) समझें।

बड़ा विचार: एक पाठ का अनुकरण (Simulating a Lesson)

कल्पना कीजिए कि आप रोबोट को तथ्य गढ़ने (hallucinating) से रोकने के लिए सिखाना चाहते हैं।

पुराना तरीका: आप रोबोट को "तथ्य बनाम कल्पना" के 500 उदाहरण दिखाते हैं, और वह दिनों के प्रशिक्षण के दौरान धीरे-धीरे पैटर्न को सीखता है।
COLD-Steer का तरीका: आप रोबोट को केवल दो उदाहरण दिखाते हैं। रोबोट के सीखने का इंतज़ार करने के बजाय, COLD-Steer पूछता है: "यदि इस रोबोट ने वास्तव में इन दो उदाहरणों को एक पल के लिए भी पढ़ा होता, तो इसके दिमाग में क्या बदलाव आता?"

इसके बाद यह तुरंत उस सूक्ष्म सीखने की प्रक्रिया का अनुकरण (simulate) करता है और आपके सवाल का जवाब देने से पहले ही रोबोट के दिमाग में वह बदलाव लागू कर देता है। यह रोबोट की सीखने की प्रक्रिया को 'फास्ट-फॉरवर्ड' करने जैसा है ताकि वह बिना कभी पढ़ाई किए ही उस सबक को "जान" सके।

यह कैसे काम करता है (दो उपकरण)

यह पेपर इस सिमुलेशन को करने के दो तरीके प्रदान करता है, जैसे टूलबॉक्स में दो अलग-अलग उपकरण होते हैं:

"औसत अनुमान" (COLLED-Kernel):
कल्पना कीजिए कि विशेषज्ञों का एक समूह (उदाहरण) है जो व्यवहार करने के तरीके पर सहमत है। यह तरीका उन विशेषज्ञों की "औसत राय" लेता है और रोबोट को धीरे से उस दिशा में धकेलता है। यह सरल, तेज़ है, और आश्चर्यजनक रूप से अच्छा काम करता है क्योंकि अवधारणाओं के मामले में रोबोट का मस्तिष्क आश्चर्यजनक रूप से रैखिक (एक सीधी रेखा की तरह) होता है।
"सूक्ष्म धक्का" (COLD-FD):
यह अधिक सटीक उपकरण है। कल्पना कीजिए कि आप जानना चाहते हैं कि स्टीयरिंग व्हील को किस दिशा में घुमाना है। आप पहिए को एक बहुत ही मामूली, अदृश्य मात्रा में बाईं ओर धकेलते हैं, देखते हैं कि क्या होता है, फिर दाईं ओर धकेलते हैं, और देखते हैं कि क्या होता है। दोनों की तुलना करके, आपको पता चल जाता है कि किस दिशा में मुड़ना है। COLD-FD रोबोट के मस्तिष्क के साथ गणितीय रूप से यही करता है। यह पूछता है, "यदि मैं आपके उदाहरणों के आधार पर रोबोट की आंतरिक सेटिंग्स में थोड़ा सा बदलाव करूँ, तो उत्तर कैसे बदलेगा?" फिर यह उस सटीक बदलाव को लागू करता है।

यह एक बड़ी बात क्यों है?

यह एक "सैंपल सेवर" है: वर्तमान तरीकों को काम करने के लिए सैकड़ों उदाहरणों की आवश्यकता होती है। COLD-Steer केवल दो या दस उदाहरणों के साथ लगभग उतना ही अच्छा काम करता है। यह एक अवधारणा को सीखने के लिए पूरी लाइब्रेरी की आवश्यकता होने बनाम केवल एक पोस्ट-इट नोट पढ़ने के बीच का अंतर है।
यह "ट्रेनिंग-फ्री" है: आपको रोबोट को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस उस विशिष्ट बातचीत के लिए उसके दिमाग को थोड़ा सा बदल देते हैं।
यह लचीला है: आप इसका उपयोग रोबोट को अधिक रचनात्मक, अधिक तथ्यात्मक बनाने के लिए, या यहाँ तक कि उसे एक विशिष्ट व्यक्तित्व (जैसे कोई विशिष्ट राजनीतिक दृष्टिकोण या सांस्कृतिक पृष्ठभूमि) दिखाने के लिए कर सकते हैं, बस उस शैली के कुछ उदाहरण दिखाकर।

एक वास्तविक दुनिया का उदाहरण (Analogy)

रोबोट को एक संगीत वाद्ययंत्र (जैसे गिटार) के रूप में सोचें।

पुनः प्रशिक्षण (Retraining) गिटार को खोलने, उसकी लकड़ी को फिर से बनाने और उसे अलग तरह से बजने के लिए फिर से तार लगाने जैसा है। इसमें बहुत समय लगता है और आप बजाते समय ऐसा नहीं कर सकते।
वर्तमान स्टीयरिंग (Steering) संगीतकार से "थोड़ा जैज़ संगीत की तरह बजने की कोशिश करें" कहने और यह उम्मीद करने जैसा है कि वह 1,000 गाने बजाने के बाद इसे समझ जाएगा।
COLD-Steer एक जादुई ट्यूनर की तरह है। आप ट्यूनर को "जैज़" के दो उदाहरण दिखाते हैं, और ट्यूनर तुरंत आपके बजाते समय ही तारों के तनाव को एडजस्ट कर देता है ताकि गिटार तुरंत जैज़ की तरह सुनाई दे। आपने गिटार को दोबारा नहीं बनाया; आपने बस उस क्षण के लिए इसे पूरी तरह से निर्देशित किया।

परिणाम

अपने परीक्षणों में, COLD-Steer पिछले सर्वोत्तम तरीकों की तुलना में 50 गुना कम उदाहरणों का उपयोग करते हुए, रोबोट को बिल्कुल इच्छित व्यवहार (जैसे झूठ बोलने से रोकना या उसे अधिक विनम्र बनाना) की ओर ले जाने में 95% प्रभावशीलता के साथ सक्षम था।

संक्षेप में: COLD-Steer केवल कुछ उदाहरणों का उपयोग करके, गणितीय रूप से यह सिम्युलेट करके कि यदि AI ने वास्तव में उनसे सीखा होता तो क्या होता, तुरंत एक सुपर-स्मार्ट AI को एक नया व्यवहार "सिखाने" का एक तरीका है। यह कुशल, तेज़ है और इसमें AI को शून्य से फिर से बनाने की आवश्यकता नहीं है।

यहाँ शोध पत्र "COLD-STEER: STEERING LARGE LANGUAGE MODELS VIA IN-CONTEXT ONE-STEP LEARNING DYNAMICS" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विशिष्ट व्यवहार प्रदर्शित करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को निर्देशित (steer) करने की वर्तमान विधियाँ (जैसे कि मतिभ्रम/hallucinations को कम करना, विशिष्ट व्यक्तित्व अपनाना, या विविध मूल्यों के साथ संरेखित होना) सैंपल दक्षता (sample efficiency) और स्टीयरिंग प्रभावशीलता (steering effectiveness) के बीच एक मौलिक समझौते (trade-off) का सामना करती हैं:

पैरामीटर-ट्यूनिंग विधियाँ (जैसे ReFT): ये मॉडल पैरामीटर्स को अनुकूलित करके प्रभावी स्टीयरिंग वेक्टर्स सीखती हैं। हालांकि ये सुदृढ़ हैं, लेकिन इनके लिए सैकड़ों से हजारों लेबल किए गए उदाहरणों और महत्वपूर्ण कंप्यूटेशनल संसाधनों की आवश्यकता होती है।
कॉन्ट्रास्टिव/केवल एक्टिवेशन-आधारित विधियाँ (जैसे CAA, DiffMean): ये ट्रेनिंग-फ्री और सैंपल-एफिशिएंट हैं, लेकिन अक्सर पॉजिटिव और नेगेटिव पेयर्स के बीच सरल एक्टिवेशन अंतर पर निर्भर करती हैं। ये अक्सर जटिल, लॉस-संचालित व्यवहारों को पकड़ने में विफल रहती हैं या बहुत कम उदाहरणों के साथ सामान्यीकरण (generalize) नहीं कर पाती हैं।
अंतराल (The Gap): मनुष्य कुछ उदाहरणों (दहाई में) से व्यवहारिक बदलाव सीख सकते हैं, जबकि वर्तमान मॉडल नियंत्रण विधियों को तुलनीय नियंत्रण प्राप्त करने के लिए अक्सर आदेशों (orders of magnitude) अधिक डेटा की आवश्यकता होती है।

यह शोध पत्र इन-कॉन्टेक्स्ट बिहेवियरल स्टीयरिंग (In-Context Behavioral Steering) की समस्या को संबोधित करता है: मॉडल को पुन: प्रशिक्षित (retraining) किए बिना, इन-कॉन्टेक्स्ट उदाहरणों के एक छोटे सेट $\{(x_i, y_i)\}$ का उपयोग करके वांछित व्यवहार $B$ की ओर LLM के आउटपुट को कैसे निर्देशित किया जाए, ताकि वांछित व्यवहार उत्पन्न करने की संभावना को अधिकतम किया जा सके।

2. कार्यप्रणाली: COLD-Steer

COLD-Steer का मुख्य अंतर्दृष्टि यह है कि उदाहरणों के एक छोटे सेट पर मॉडल को फाइन-ट्यून करने का प्रभाव, उन उदाहरणों पर एक सिंगल ग्रेडिएंट डिसेंट स्टेप से होने वाले रिप्रजेंटेशनल परिवर्तनों का अनुकरण (simulate) करके अनुमान (inference) के समय प्राप्त किया जा सकता है। एक स्थिर दिशा खोजने के बजाय, यह विधि लर्निंग डायनेमिक्स (learning dynamics) को मॉडल करती है।

यह ढांचा मॉडल के इंटरमीडिएट एक्टिवेशन्स में जोड़ने के लिए स्टीयरिंग वेक्टर $\Delta Z$ की गणना करने हेतु दो पूरक, ट्रेनिंग-फ्री दृष्टिकोण प्रस्तावित करता है:

A. COLD-Kernel-Steer (Kernel Approximation)

यह विधि न्यूरल टेंगेंट कर्नेल (NTK) से व्युत्पन्न कर्नेल-आधारित दृष्टिकोण का उपयोग करके ग्रेडिएंट अपडेट का अनुमान लगाती है।

तंत्र (Mechanism): यह चेन रूल का उपयोग करके ग्रेडिएंट टर्म $\nabla_\theta L$ का विस्तार करता है। यह क्वेरी इनपुट और इन-कॉन्टेक्स्ट उदाहरणों के बीच के इंटरैक्शन को एक कर्नेल फंक्शन $\kappa$ का उपयोग करके अनुमानित करता है।
यूनिट कर्नेल एप्रोक्सिमेशन (Unit Kernel Approximation): महंगे पूर्ण NTK (जिसके लिए बैकप्रोपैगेशन की आवश्यकता होती है) की गणना करने के बजाय, लेखक एक यूनिट कर्रल ( $\kappa(f_i, f_j) = 1$ $κ (f_{i}, f_{j}) = 1$ ) का प्रस्ताव करते हैं।
- तर्क (Rationale): लीनियर रिप्रजेंटेशन हाइपोथीसिस के आधार पर, अवधारणाएँ (concepts) रैखिक रूप से एनकोड होती हैं। एक ही अवधारणा के उदाहरणों के लिए ग्रेडिएंट्स अत्यधिक संरेखित होते हैं और एक साझा दिशा द्वारा संचालित होते हैं। अतः, ग्रेडिएंट्स का आंतरिक उत्पाद (inner product) एक स्थिर (यूनिट) मान का अनुमान लगाता है।
गणना (Computation): इसमें लॉस ग्रेडिएंट्स की गणना करने के लिए इन-कॉन्टेक्स्ट उदाहरणों पर $N$ बैकवर्ड पासेस की आवश्यकता होती है, लेकिन नए क्वेरी के लिए केवल एक फॉरवर्ड पास की आवश्यकता होती है।

B. COLD-FD-Steer (Finite-Difference Approximation)

यह विधि ग्रेडिएंट की फाइनाइट-डिफरेंस परिभाषा का उपयोग करके बैकप्रोपैगेशन को पूरी तरह से समाप्त कर देती है।

तंत्र (Mechanism): यह ग्रेडिएंट अपडेट को एक लिमिट के रूप में फिर से लिखता है:
$\Delta Z \approx -\frac{\eta}{\epsilon N} \left( Z(x; \theta + \epsilon \sum \nabla_\theta L) - Z(x; \theta) \right)$
गणना (Computation):
1. इन-कॉन्टेक्स्ट उदाहरणों पर लॉस के कुल ग्रेडिएंट (aggregate gradient) की गणना करें (वैचारिक रूप से)।
2. मॉडल पैरामीटर्स $\theta$ को इस कुल ग्रेडिएंट द्वारा विक्षेपित (perturb) करें (वैचारिक रूप से)।
3. नए इनपुट $x$ पर दो फॉरवर्ड पासेस करें: एक मूल पैरामीटर्स $\theta$ के साथ और दूसरा विक्षेपित पैरामीटर्स $\theta + \epsilon \sum \nabla_\theta L$ के साथ।
4. इन दोनों पासेस के एक्टिवेशन्स के बीच का अंतर स्टीयरिंग वेक्टर का अनुमान लगाता है।
लाभ (Advantage): इसमें इन्फरेंस के दौरान कोई बैकप्रोपैगेशन आवश्यक नहीं है, जो इसे अत्यधिक कुशल और स्केलेबल बनाता है।

3. प्रमुख योगदान (Key Contributions)

नया फ्रेमवर्क: COLD-Steer पेश किया गया, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो इन-कॉन्टेक्स्ट उदाहरणों पर वन-स्टेप ग्रेडिएंट डिसेंट से प्रेरित रिप्रजेंटेशनल परिवर्तनों का अनुमान लगाकर LLMs को निर्देशित करता है।
सैद्धांतिक एकीकरण (Theoretical Unification): इन्होंने दिखाया कि मौजूदा कॉन्ट्रास्टिव विधियाँ (जैसे DiffMean) विशिष्ट लॉस फंक्शन्स और कर्नेल धारणाओं के तहत स्पष्ट रूप से ग्रेडिएंट दिशाओं का अनुमान लगा रही हैं। COLD-Steer इसे लर्निंग डायनेमिक्स को स्पष्ट रूप से मॉडल करके सामान्यीकृत करता है।
दो कुशल अनुमान (Two Efficient Approximations):
- COLD-Kernel: यूनिट कर्नेल एप्रोक्सिमेशन के लिए लीनियर रिप्रजेंटेशन हाइपोथीसिस का लाभ उठाता है।
- COLD-FD: केवल दो फॉरवर्ड पासेस के साथ ग्रेडिएंट का अनुमान लगाने के लिए फाइनाइट डिफरेंस का उपयोग करता है, चाहे उदाहरणों की संख्या कुछ भी हो।
बहुलतावादी संरेखण (Pluralistic Alignment): व्यापक प्रदर्शन डेटा के बिना, विविध जनसांख्यिकीय-विशिष्ट दृष्टिकोणों (बहुलतावादी संरेखण) की ओर मॉडल्स को निर्देशित करने की क्षमता प्रदर्शित की, एक ऐसा कार्य जहाँ पिछली विधियाँ संघर्ष करती थीं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न LLMs (Llama-2, Qwen, Mistral, Gemma) पर कई डेटासेट्स (CAA, BiPO, OpinionsQA) पर COLD-Steer का मूल्यांकन किया।

सैंपल दक्षता (Sample Efficiency): COLD-Steer सबसे अच्छे बेसलाइन (ReFT) की तुलना में 50 गुना कम सैंपल्स का उपयोग करके 95% तक स्टीयरिंग प्रभावशीलता प्राप्त करता है। यह मात्र 10-20 उदाहरणों के साथ शिखर प्रदर्शन तक पहुँच जाता है, जबकि बेसलाइन्स को अक्सर सैकड़ों की आवश्यकता होती है।
सटीकता (Accuracy):
- COLD-FD व्यवहार चयन कार्यों में सभी बेसलाइन्स (DiffMean, ReFT, ICV) से लगातार बेहतर रहा, और लगभग सभी कार्यों और मॉडल्स में शीर्ष रैंकिंग हासिल की।
- मतिभ्रम (Hallucination) कार्य में, COLD-FD ने Qwen-2.5-7B पर ~96% सटीकता प्राप्त की, जो बेसलाइन्स से काफी बेहतर है।
बहुलतावादी संरेखण (Pluralistic Alignment): OpinionsQA डेटासेट (विशिष्ट जनसांख्यिकीय समूहों की ओर स्टीयर करने के लिए) पर, COLD-Kernel अन्य सभी विधियों से काफी बेहतर रहा, जिससे विशिष्ट समूहों के लिए KL-डाइवर्जेंस ~2.4 से घटकर ~0.86 हो गया। यह सुझाव देता है कि कर्नेल-आधारित स्टीयरिंग बहुलतावादी सेटिंग्स में वितरण निष्ठा (distributional fidelity) बनाए रखने के लिए बेहतर है।
दक्षता (Efficiency):
- COLD-Kernel सबसे कुशल विधि है, जो सरल कॉन्ट्रास्टिव बेसलाइन्स के तुलनीय है।
- COLD-FD पैरामीटर-ट्यूनिंग विधियों (ReFT) की तुलना में काफी अधिक कुशल है और कॉन्ट्रास्टिव विधियों के तुलनीय या उससे थोड़ा धीमा है, लेकिन बहुत अधिक सटीकता प्रदान करता है।
गुणात्मक विश्लेषण (Qualitative Analysis): केस स्टडीज ने दिखाया कि COLD-FD लचीले ढंग से मतिभ्रम को नियंत्रित कर सकता है (गलत तथ्यों को दबाते हुए प्रवाह/fluency बनाए रखना) और टोन को अनुकूलित कर सकता है (जैसे भावनात्मक से पेशेवर में बदलना) स्टीयरिंग दिशा ( $\eta = 1$ बनाम $\eta = -1$ ) के आधार पर।

5. महत्व और प्रभाव (Significance and Impact)

सिद्धांत और व्यवहार के बीच सेतु: COLD-Steer LLMs द्वारा व्यवहारों को एनकोड करने (लीनियर रिप्रजेंटेशन, लर्निंग डायनेमिक्स) की सैद्धांतिक समझ और कुशल, अनुकूलन योग्य नियंत्रण की व्यावहारिक आवश्यकता के बीच के अंतर को पाटता है।
नियंत्रण का लोकतंत्रीकरण (Democratization of Control): डेटा की आवश्यकता को सैकड़ों से घटाकर दहाई में लाकर, यह मॉडल स्टीयरिंग को विशिष्ट कार्यों, व्यक्तिगत सहायकों और बिना फाइन-ट्यूनिंग लागत के तीव्र प्रोटोटाइपिंग के लिए सुलभ बनाता है।
बहुलतावादी AI (Pluralistic AI): यह "बहुलतावादी संरेखण" के लिए एक व्यावहारिक तंत्र प्रदान करता है, जिससे एक एकल मॉडल को बिना पुन: प्रशिक्षित किए विविध मानवीय मूल्यों और सांस्कृतिक संदर्भों के अनुकूल गतिशील रूप से ढलने की अनुमति मिलती है, जो AI सुरक्षा और नैतिकता में एक महत्वपूर्ण चुनौती को संबोधित करता है।
भविष्य की दिशाएं: यह कार्य अनुकूलन योग्य, संदर्भ-जागरूक मॉडल नियंत्रण के लिए नए रास्ते खोलता है, जो यह सुझाव देता है कि इन्फरेंस-टाइम हस्तक्षेप के लिए लर्निंग डायनेमिक्स का अनुकरण करना स्टैटिक ऑप्टिमाइज़ेशन की तुलना में एक अधिक शक्तिशाली प्रतिमान (paradigm) है।

संक्षेप में, COLD-Steer स्टीयरिंग को सिम्युलेटेड लर्निंग (Simulated Learning) के रूप में पुन: परिभाषित करता है, जिससे न्यूनतम डेटा और बिना किसी पैरामीटर अपडेट के LLMs पर उच्च-परिशुद्धता नियंत्रण सक्षम होता है।