Controlling Tool Use with Heading-Specific Activation Steering
यह शोध पत्र प्रदर्शित करता है कि जबकि हेडिंग-एंकर (heading-anchors) से निकाले गए स्टीयरिंग वेक्टर्स (steering vectors) बड़े भाषा मॉडलों में टूल इवोकेशन (tool invocation) को प्रभावी ढंग से नियंत्रित कर सकते हैं, ज्यामितीय विश्लेषण यह प्रकट करता है कि इन वेक्टर्स में पैरामीट्रिक अवधारणाओं की विशिष्ट स्वच्छ रैखिक संरचना का अभाव है, और इसके बजाय वे विसरित, द्वि-आयामी संरेखण (bimodal alignments) और विभिन्न टूल प्रकारों के लिए विशिष्ट हस्ताक्षरों को प्रदर्शित करते हैं जो बाहरी टूल्स की गैर-पैरामीट्रिक प्रकृति को दर्शाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़े लैंग्वेज मॉडल (LLM) की कल्पना एक अत्यंत बुद्धिमान और जानकार शेफ के रूप में करें, जिसने लाखों रेसिपी याद कर रखी हैं (पैरामीट्रिक नॉलेज)। हालाँकि, इस शेफ के पास बाहरी उपकरणों से भरी एक दराज भी है: एक सर्च इंजन, एक कैलकुलेटर, और स्पष्टीकरण के लिए ग्राहक को फोन करने के लिए एक फोन।
समस्या यह है कि यह शेफ कभी-कभी थोड़ा घबरा जाता है। भले ही उसे अपनी याददाश्त से उत्तर पता हो, फिर भी वह घबराहट में अनावश्यक रूप से कैलकुलेटर उठा लेता है या ग्राहक को फोन कर देता है। इससे समय बर्बाद होता है, पैसा खर्च होता है, और काम की गति धीमी हो जाती है।
यह शोध पत्र इस बात की जांच करता है कि शेफ के मस्तिष्क को कैसे "स्टीयर" (नियंत्रित) किया जाए ताकि वह इन अनावश्यक कार्यों को करना बंद कर दे, बिना शेफ को शुरू से दोबारा प्रशिक्षित किए। यहाँ उनकी खोज का विवरण दिया गया है:
1. मस्तिष्क में "ट्रैफिक लाइट"
शोधकर्ताओं ने पाया कि जब मॉडल यह निर्णय लेने वाला होता है कि, "क्या मुझे टूल का उपयोग करना चाहिए?" या "क्या मुझे बस इस पर विचार करना चाहिए?", तो उसके आंतरिक प्रसंस्करण (internal processing) में एक विशिष्ट क्षण आता है (ठीक उससे पहले जब वह ### Code या ### Search जैसी हेडिंग लिखता है) जहाँ एक निर्णय लिया जाता है।
उन्होंने एक "स्टीयरिंग वेक्टर" (steering vector) की खोज की—इसे एक जादुई धक्के या ट्रैफिक लाइट सिग्नल के रूप में समझें—जो उस सटीक क्षण में मॉडल के मस्तिष्क में रहता है।
- धक्का (The Nudge): यदि आप इस विशिष्ट सिग्नल को मॉडल के मस्तिष्क में जोड़ते हैं, तो यह एक "स्टॉप" साइन की तरह कार्य करता है, जो प्रभावी रूप से मॉडल को बताता है, "टूल का उपयोग न करें; बस सोचें।"
- विपरीत धक्का (The Reverse Nudge): यदि आप इस सिग्नल को हटा देते हैं (मॉडल की गतिविधि को विपरीत दिशा में प्रोजेक्ट करके), तो यह एक "गो" साइन की तरह कार्य करता है, जिससे मॉडल सामान्य से अधिक टूल्स का उपयोग करने लगता है।
यह आश्चर्यजनक है क्योंकि टूल्स मॉडल की याददाश्त में तथ्यों की तरह "हार्ड-कोडेड" नहीं होते; वे केवल बातचीत के संदर्भ (context) में मौजूद होते हैं। फिर भी, मॉडल के पास एक स्थिर आंतरिक सिग्नल है कि उसे कब उनकी आवश्यकता महसूस होती है।
2. "गोल्डिलॉक्स" प्रभाव (यह गणित के लिए सबसे अच्छा काम करता है)
शोधकर्ताओं ने तीन प्रकार के कार्यों पर इसका परीक्षण किया:
- गणित (Math): ये वे समस्याएँ हैं जिन्हें शेफ आमतौर पर अपने दिमाग (याददाश्त) से हल कर सकता है।
- समय (Time): इनके लिए वर्तमान डेटा देखने की आवश्यकता होती है (जैसे, "अभी टोक्यो में क्या समय हुआ है?")।
- इरादा (Intention): इनके लिए उपयोगकर्ता से छूटी हुई जानकारी पूछने की आवश्यकता होती है (जैसे, "आपको कौन सा रंग चाहिए?")।
परिणाम:
- गणित में, "स्टॉप" सिग्नल ने बहुत खूबसूरती से काम किया। शेफ ने साधारण जोड़-घटाव के लिए कैलकुलेटर उठाने के बजाय उसे अपने दिमाग में ही हल करना शुरू कर दिया। उत्तर अभी भी सही थे, लेकिन टूल का उपयोग नाटकीय रूप से कम हो गया।
- समय और इरादा में, "स्टॉप" सिग्नल बहुत अधिक शक्तिशाली था। जब उन्होंने शेफ को कहा "टूल का उपयोग न करें," तो शेफ ने समय देखना या विवरण पूछना बंद कर दिया, और उत्तर गलत हो गए।
सबक: स्टीयरिंग तब बहुत अच्छा काम करती है जब मॉडल को टूल्स का उपयोग नहीं करना चाहिए, लेकिन जब मॉडल को सही उत्तर पाने के लिए टूल्स की आवश्यकता होती है, तो इसे अंधाधुंध उपयोग करना खतरनाक है।
3. "मैसी मैप" (ज्यामिति अजीब है)
आमतौर पर, जब वैज्ञानिक कंप्यूटर के मस्तिष्क के अंदर कोई "कॉन्सेप्ट" (जैसे "ईमानदारी" या "मना करना") पाते हैं, तो वह एक मानचित्र पर एक साफ, सीधी रेखा की तरह दिखता है। यदि आप उस रेखा पर चलते हैं, तो व्यवहार अनुमानित रूप से बदलता है।
हालाँकि, शोधकर्ताओं ने पाया कि "टूल यूज़" (Tool Use) का सिग्नल मैसी (अव्यवस्थित) है।
- उपमा: कल्पना करें कि आप एक मानचित्र पर "उत्तर" दिशा खोजने की कोशिश कर रहे हैं। "ईमानदारी" के लिए, उत्तर एक सीधी रेखा है। "टूल यूज़" के लिए, उत्तर धुंध के एक बादल जैसा दिखता है जिसमें दो अलग-अलग क्लस्टर हैं। मॉडल का मस्तिष्क "मुझे एक टूल की जरूरत है" का कोई एकल, साफ बटन नहीं रखता है। इसके बजाय, यह संकेतों का एक बिखरा हुआ, धुंधला संग्रह है जो केवल ज़ूम आउट करने पर एक निर्णय की तरह दिखता है।
- अलग-अलग टूल्स, अलग-अलग मैप: "सर्च" के लिए आंतरिक सिग्नल "यूजर से पूछने" के सिग्नल से काफी अलग है। वे आपस में ज्यादा मेल नहीं खाते। यह ऐसा है जैसे शेफ के पास कैलकुलेटर का उपयोग करने के लिए ग्राहक को कॉल करने वाले तंत्रिका तंत्र से बिल्कुल अलग तंत्रिकाएं हैं।
4. यह क्यों काम करता है यदि मैप मैसी है?
यही वह सबसे बड़ा रहस्य है जिसे यह शोध पत्र खुला छोड़ देता है। भले ही "टूल यूज़" का आंतरिक मानचित्र धुंधला और बिखरा हुआ है, फिर भी "जादुई धक्का" मॉडल को टूल्स का उपयोग करने से रोकने के लिए पूरी तरह से काम करता है।
लेखकों का सुझाव है कि ऐसा इसलिए है क्योंकि मॉडल अपना निर्णय एक बहुत ही विशिष्ट "बॉटलनेक" (bottleneck) पर लेता है—उस क्षण पर जब उसे हेडिंग (जैसे ### Code) लिखनी होती है। भले ही उस निर्णय तक पहुँचने का रास्ता अव्यवस्थित हो, लेकिन सही धक्के के साथ उस विशिष्ट बॉटलनेक को हिट करना परिणाम बदलने के लिए पर्याप्त है।
सारांश
यह शोध पत्र सिद्ध करता है कि आप मॉडल के मस्तिष्क में एक विशिष्ट सिग्नल को बदलकर यह नियंत्रित कर सकते हैं कि वह बाहरी टूल्स का उपयोग करेगा या नहीं।
- अच्छी खबर: आप इसे उन टूल्स पर समय बर्बाद करने से रोक सकते हैं जिनकी इसे आवश्यकता नहीं है (जैसे गणित में)।
- बुरी खबर: यदि आप सिग्नल को बहुत अधिक कम कर देते हैं, तो यह उन टूल्स का उपयोग करना बंद कर देता है जिनकी इसे वास्तव में आवश्यकता होती है (जैसे समय की जाँच करना)।
- ट्विस्ट: इस निर्णय के लिए आंतरिक तंत्र मैसी और बिखरा हुआ है, न कि एक साफ सीधी रेखा, जो इसे AI के सोचने के तरीके का एक अनूठा और कठिन हिस्सा बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।