Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering
यह शोध पत्र एक एकीकृत बेयसियन ढांचे (Bayesian framework) का प्रस्ताव करता है जो इन-कॉन्टेक्स्ट लर्निंग (in-context learning) और एक्टिवेशन स्टीयरिंग (activation steering) दोनों को लेटेंट कॉन्सेप्ट्स (latent concepts) में भाषा मॉडल के विश्वास को बदलने वाले तंत्रों के रूप में स्पष्ट करता है, जहाँ पूर्ववर्ती साक्ष्य संचित करता है और उत्तरवर्ती प्रायर्स (priors) को स्थानांतरित करता है, जिससे उनके संयुक्त प्रभावों का एक भविष्य कहनेवाला मॉडल सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक बहुत ही बुद्धिमान, लेकिन थोड़ा भ्रमित अभिनेता की तरह है जो मंच पर खड़ा है। उसने एक विशाल लाइब्रेरी के स्क्रिप्ट (उसका ट्रेनिंग डेटा) रट रखे हैं, लेकिन जब आप उसे एक नया दृश्य देते हैं, तो उसे यह तय करना पड़ता है कि उसे कौन सा "चरित्र" निभाना है।
यह पेपर इस बारे में है कि हम इस अभिनेता को कौन सा चरित्र निभाने के लिए दो अलग-अलग तरीकों से निर्देश दे सकते हैं, और लेखकों ने खोजा कि वास्तव में ये दोनों तरीके गहराई में बिल्कुल एक ही काम कर रहे हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:
अभिनेता को निर्देशित करने के दो तरीके
- इन-कॉन्टेक्स्ट लर्निंग (ICL) = "स्क्रिप्ट" विधि
कल्पना कीजिए कि आप अभिनेता को मंच पर जाने से पहले नोट्स का एक ढेर थमा देते हैं।
- फ्यू शॉट्स (Few shots): "हे, एक समुद्री डाकू (pirate) की तरह अभिनय करो।" (वे अभी भी थोड़े अपने जैसे लग सकते हैं)।
- मेनी शॉट्स (Many shots): आप उन्हें नोट्स के 100 पन्ने थमा देते हैं जहाँ हर एक लाइन समुद्री डाकू की भाषा में लिखी है। "Arrr, matey!" "Shiver me timbers!"
- परिणाम: पर्याप्त नोट्स पढ़ने के बाद, अभिनेता अपने बारे में सोचना छोड़ देता है और पूरी तरह से समुद्री डाकू बन जाता है। आप उन्हें जितने अधिक नोट्स देते हैं, वे उतने ही अधिक आश्वस्त होते जाते हैं।
- एक्टिवेशन स्टीयरिंग (Activation Steering) = "रिमोट कंट्रोल" विधि
कल्पना कीजिए कि आप अभिनेता को कोई नोट्स नहीं देते। इसके बजाय, आपके पास एक गुप्त रिमोट कंट्रोल है जिससे आप सीधे उनके मस्तिष्क के रसायन विज्ञान (brain chemistry) में बदलाव कर सकते हैं।
- आप "पाइरेट मोड" लेबल वाला बटन दबाते हैं।
- परिणाम: अचानक, अभिनेता एक समुद्री डाकू की तरह बात करने लगता है, भले ही उसने एक भी नोट न पढ़ा हो। आप इस बटन पर "वॉल्यूम" को बढ़ा या घटा सकते हैं ताकि वे अधिक या कम समुद्री डाकू की तरह लगें।
बड़ी खोज: यह सब "विश्वास" के बारे में है
लेखकों ने महसूस किया कि नोट्स का ढेर (ICL) और रिमोट कंट्रोल (Steering) दोनों वास्तव में एक ही तरह से अभिनेता के विश्वास (belief) को बदल रहे हैं।
उन्होंने इसे समझाने के लिए एक गणितीय मॉडल ("बेयसियन बिलीफ डायनेमिक्स" मॉडल) बनाया। सोचिए कि अभिनेता का मन एक तराजू की तरह है जिसके दो पक्ष हैं:
पक्ष A: "मैं एक सामान्य व्यक्ति हूँ।"
पक्ष B: "मैं एक समुद्री डाकू हूँ।"
नोट्स (ICL) कैसे काम करते हैं: हर बार जब आप नोट्स के ढेर में एक "समुद्री डाकू" वाला नोट जोड़ते हैं, तो आप पक्ष B पर एक भारी वजन गिराते हैं। आप जितने अधिक नोट्स जोड़ते हैं, वजन उतना ही भारी होता जाता है। अंततः, तराजू पूरी तरह से झुक जाता है, और अभिनेता विश्वास करता है कि वह एक समुद्री डाकू है।
रिमोट (Steering) कैसे काम करता है: आप नोट्स नहीं जोड़ते। इसके बजाय, आप अभिनेता द्वारा नोट्स देखने से पहले ही गुप्त रूप से पक्ष B पर एक छिपा हुआ वजन जोड़ देते हैं। यदि आप रिमोट को पर्याप्त जोर से दबाते हैं, तो तराजू तुरंत झुक जाता है, भले ही शून्य नोट्स हों।
तीन दिलचस्प चीजें जो उन्होंने पाईं
1. "टिपिंग पॉइंट" (सिग्मॉइड कर्व)
जब आप समुद्री डाकू के नोट्स जोड़ना शुरू करते हैं, तो अभिनेता तुरंत नहीं बदलता। शुरू में, वे नोट्स को अनदेखा करते हैं। फिर, अचानक, वे चरित्र में ढल जाते हैं।
- उपमा: यह एक छेद वाले बाल्टी को भरने जैसा है। शुरू में, पानी का स्तर मुश्किल से बढ़ता है। लेकिन एक बार जब आप इतना पानी डाल देते हैं कि वह छेद को ढक ले, तो स्तर अचानक ऊपर की ओर भागता है। लेखकों ने पाया कि "नोट्स" विधि ठीक इसी कर्व का पालन करती है।
2. "वॉल्यूम नॉब" प्रभाव
रिमोट कंट्रोल (Steering) अभिनेता के विश्वास के लिए एक वॉल्यूम नॉब की तरह काम करता है।
- उपमा: यदि आप रिमोट को ऊपर करते हैं, तो अभिनेता तेजी से समुद्री डाकू बनता है। आपको उन्हें समझाने के लिए कम नोट्स की आवश्यकता होती है। यदि आप रिमोट को नीचे करते हैं (या "एंटी-पाइरेट" सेट करते हैं), तो आपको उन्हें समुद्री डाकू बनाने के लिए बहुत अधिक नोट्स की आवश्यकता होगी। दोनों तरीके आपस में पूरी तरह से तालमेल बिठाते हैं।
3. "फेज चेंज" (खतरे का क्षेत्र)
चूंकि ये दोनों तरीके जुड़ जाते हैं, इसलिए एक "टिपिंग पॉइंट" होता है जहाँ अभिनेता का व्यवहार नाटकीय रूप से और अचानक बदल जाता है।
- उपमा: कल्पना कीजिए कि आप पतली बर्फ पर चल रहे हैं। आप काफी देर तक चल सकते हैं। लेकिन अगर आप बस एक और कदम लेते हैं (एक और नोट जोड़ते हैं) या यदि बर्फ एक डिग्री और ठंडी हो जाती है (रिमोट को थोड़ा घुमाते हैं), तो बर्फ टूट जाती है, और आप नीचे गिर जाते हैं।
- यह क्यों मायने रखता है: यह "जेलब्रेकिंग" (jailbreaking) की व्याख्या करता है। कभी-कभी, यदि आप AI को "बुरे" उदाहरणों (नोट्स) की सही मात्रा के साथ, थोड़े से "बुरे" स्टीयरिंग के साथ देते हैं, तो AI अचानक मददगार से हानिकारक में बदल जाता है। लेखक अब यह अनुमान लगा सकते हैं कि वह "बर्फ" ठीक कहाँ टूटेगी।
मुख्य निष्कर्ष (The Takeaway)
यह एक एकीकृत सिद्धांत (unifying theory) है। यह हमें बताता है कि चाहे आप AI से बात कर रहे हों (प्रॉम्प्टिंग) या उसके मस्तिष्क को हैक कर रहे हों (स्टीयरिंग), आप मूल रूप से एक ही काम कर रहे हैं: AI के उस विश्वास को अपडेट करना कि उसे क्या होना चाहिए।
इस "विश्वास प्रणाली" को समझकर, हम:
- अनुमान लगा सकते हैं कि AI अपना मन कब बदलेगा।
- इसे सुरक्षित रूप से नियंत्रित कर सकते हैं क्योंकि हमें पता है कि उसे ट्रैक पर रखने के लिए कितने "वजन" (नोट्स या रिमोट प्रेशर) की आवश्यकता है।
- समझ सकते हैं कि AI केवल एक जादुई बॉक्स नहीं है; यह एक ऐसी प्रणाली है जो सबूतों और पूर्व विश्वासों को तौलती है, ठीक वैसे ही जैसे एक इंसान करता है।
संक्षेप में: चाहे आप एक स्क्रिप्ट लिखें या एक बटन दबाएं, आप केवल अभिनेता को यह विश्वास दिलाने की कोशिश कर रहे हैं कि वह कोई और है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।