Tunable Tool-Call Rates in LLM Agents via Representation Steering
यह शोध पत्र यह प्रदर्शित करता है कि मॉडल के रेसिडुअल स्ट्रीम (residual stream) से निकाले गए एक एकल, प्रशिक्षण-मुक्त रैखिक स्टीयरिंग दिशा (linear steering direction) को लागू करके, बिना पुन: प्रशिक्षण के, इन्फरेंस के समय LLM एजेंटों में टूल-कॉल दरों को सटीक रूप से नियंत्रित किया जा सकता है, जो विविध आर्किटेक्चर और टूल प्रकारों में सटीकता-लागत के बीच संतुलन को अनुकूलित करने के लिए कॉल प्रवृति (call propensity) को निरंतर रूप से समायोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) टेक्स्ट के शक्तिशाली इंजन हैं, जो प्रश्न पूछने, कहानियाँ लिखने और समस्याओं को हल करने में सक्षम हैं। फिर भी, ये सिस्टम एक मौलिक सीमा के साथ काम करते हैं: वे पूरी तरह से अपनी आंतरिक मेमोरी में संग्रहीत जानकारी पर निर्भर करते हैं। जब किसी प्रश्न के लिए ऐसे तथ्यों की आवश्यकता होती है जो बहुत ही दुर्लभ, बहुत हालिया या इतने जटिल हों कि उन्हें याद न रखा जा सके, तो मॉडल अक्सर खतरनाक आत्मविश्वास के साथ अनुमान लगाने लगता है, जिससे ऐसे उत्तर मिलते हैं जो सुनने में तो तर्कसंगली लगते हैं लेकिन पूरी तरह से गलत होते हैं। इसे ठीक करने के लिए, डेवलपर्स ने इन मॉडल्स को बाहरी उपकरणों (tools), जैसे कि वेब सर्च इंजन या कैलकुलेटर का उपयोग करने के लिए प्रशिक्षित किया है, ताकि उत्तर देने से पहले वे जानकारी खोज सकें। हालाँकि, मॉडल को यह सिखाना कि उसे कब रुकना है और किसी टूल का सहारा लेना है, आश्चर्यजनक रूप से कठिन है। यदि मॉडल बहुत अधिक बार टूल का उपयोग करता है, तो वह समय और पैसा बर्बाद करता है, और अनचाहे कार्यों को ट्रिगर करने का जोखिम उठाता है। यदि वह बहुत कम बार टूल का उपयोग करता है, तो वह सही उत्तर खोजने का अवसर खो देता है और आत्मविश्वास के साथ गलत बना रहता है।
शोधकर्ता इन निर्णयों को अधिक विश्वसनीय बनाने के तरीके खोजने का लंबे समय से प्रयास कर रहे हैं, आमतौर पर नए उदाहरणों के साथ मॉडल को फिर से प्रशिक्षित करके या उसे दिए गए निर्देशों को सावधानीपूर्वक बदलकर। ये तरीके महंगे और कठोर हैं; एक बार जब मॉडल को एक निश्चित तरीके से प्रशिक्षित या प्रॉम्प्ट किया जाता है, तो उसके व्यवहार को बदलने के लिए पूरी प्रक्रिया को फिर से शुरू करना पड़ता है। यूसी सांता क्रूज़ और यूसी बर्कले के शोधकर्ताओं का एक नया अध्ययन एक अलग दृष्टिकोण का सुझाव देता है। उन्होंने पाया कि टूल का उपयोग करने का निर्णय एक जटिल, छिपी हुई प्रक्रिया नहीं है जिसके लिए पुन: प्रशिक्षण की आवश्यकता हो। इसके बजाय, यह मॉडल के आंतरिक कामकाज के भीतर एक एकल, सरल संकेत (signal) द्वारा नियंत्रित होता है जिसे बिना मॉडल के प्रशिक्षण या निर्देशों को बदले, वास्तविक समय में एक 'डायल' की तरह घुमाकर समायोजित किया जा सकता है।
शोधकर्ताओं ने सबसे पहले यह अवलोकन किया कि जब एक भाषा मॉडल को उपलब्ध उपकरणों की एक सूची (जैसे कि सर्च इंजन, कैलकुलेटर और कोडिंग इंटरप्रेटर) प्रस्तुत की जाती है, तो वह कैसा व्यवहार करता है। उन्होंने देखा कि मॉडल के वास्तव में उत्तर बोलने या लिखने से पहले, वह एक विशिष्ट आंतरिक संकेत उत्पन्न करता है जो यह दर्शाता है कि क्या वह किसी भी टूल का उपयोग करने का इरादा रखता है। यह पहचानने के लिए कि मॉडल टूल का उपयोग करने का निर्णय लेता है या अपनी स्मृति से उत्तर देने का, टीम ने मॉडल की आंतरिक स्थिति की तुलना की। इस प्रक्रिया में, उन्होंने मॉडल के गणितीय स्थान (mathematical space) में एक विशिष्ट दिशा की पहचान की जो टूल कॉल करने की "तड़प" (urge) का प्रतिनिधित्व करती है। यह दिशा किसी विशिष्ट टूल जैसे कि कैलकुलेटर या सर्च इंजन से जुड़ी नहीं है; बल्कि, यह एक सामान्य संकेत है जिसका अर्थ केवल "एक टूल का उपयोग करें" है।
इस खोज का परीक्षण करने के लिए, शोधकर्ताओं ने मॉडल को पुन: प्रशिक्षित नहीं किया और न ही उसके प्रॉम्प्ट बदले। इसके बजाय, उन्होंने इस पहचाने गए दिशा को उत्तर उत्पन्न करने के दौरान मॉडल की आंतरिक प्रोसेसिंग में जोड़ा। इस संकेत की थोड़ी मात्रा जोड़कर, वे मॉडल को अधिक बार टूल्स का उपयोग करने के लिए प्रोत्साहित कर सके। इसे घटाकर, वे टूल के उपयोग की इच्छा को पूरी तरह से दबा सके। उन्होंने पाया कि यह समायोजन उल्लेखनीय सटीकता के साथ काम करता है। जैसे-जैसे उन्होंने संकेत की शक्ति बढ़ाई, टूल्स कॉल करने की दर शून्य के करीब से बढ़कर लगभग सौ प्रतिशत तक सुचारू रूप से बढ़ती गई। महत्वपूर्ण बात यह है कि मॉडल ने बेतरतीब ढंग से टूल्स का उपयोग करना शुरू नहीं किया। जब शोधकर्ताओं ने मॉडल को अधिक बार टूल्स का उपयोग करने के लिए प्रेरित किया, तो उसने विशेष रूप से उन प्रश्नों को लक्षित किया जिन्हें वह स्वयं हल नहीं कर सकता था, जैसे कि दुर्लभ ऐतिहासिक तथ्य या जटिल गणनाएँ, जबकि उन प्रश्नों को अनदेखा कर दिया जिन्हें वह पहले से जानता था।
अध्ययन ने यह भी खुलासा किया कि यह नियंत्रण तंत्र अत्यधिक अनुकूलन योग्य है। शोधकर्ताओं ने तीन विशिष्ट उपकरणों वाले सेटअप से "टूल-यूज़" संकेत निकाला और फिर इसे मौसम के पूर्वानुमान, स्टॉक मार्केट लुकअप और ईमेल भेजने सहित पूरी तरह से अलग उपकरणों के सेट पर लागू किया। उसी संकेत ने इन नए उपकरणों का उपयोग करने के लिए मॉडल को उतनी ही प्रभावशीलता के साथ प्रेरित किया, जितनी कि यदि उन्हें विशेष रूप से उनके लिए प्रशिक्षित किया गया होता। इसके अलावा, यह विधि विभिन्न प्रकार के मॉडल आर्किटेक्चर में काम करती है, छोटे, मानक मॉडल्स से लेकर उद्योग में उपयोग किए जाने वाले विशाल, जटिल सिस्टम तक। हर मामले में, एकल संकेत ने शोधकर्ताओं को मॉडल की सही वाक्य बनाने या टूल का उचित चयन करने की क्षमता को बाधित किए बिना, टूल-कॉलिंग व्यवहार को ऊपर या नीचे करने की अनुमति दी।
जब शोधकर्ताओं ने इस पद्धति का परीक्षण एक लाइव वातावरण में किया जहाँ मॉडल वास्तव में वेब खोज (web search) कर सकता था, तो परिणाम चौंकाने वाले थे। कठिन तथ्यात्मक प्रश्नों के एक सेट पर, अन-एडजस्टेड मॉडल केवल लगभग 29 प्रतिशत बार सही उत्तर दे पाया, और अक्सर वहाँ भी अनुमान लगा लेता था जहाँ उसे सर्च करना चाहिए था। टूल के उपयोग को प्रोत्साहित करने के लिए स्टीयरिंग सिग्नल लगाने से, सटीकता बढ़कर 56 प्रतिशत हो गई, जो प्रदर्शन को लगभग दोगुना कर देती है। यह सुधार एक प्रबंधनीय लागत के साथ आया, क्योंकि मॉडल प्रति प्रश्न लगभग एक सर्च कॉल करता है। शोधकर्ता एक प्रश्न के उपयोग की लागत और उत्तरों की सटीकता के बीच एक स्पष्ट मार्ग को ट्रेस करने में सक्षम थे, जिससे पता चला कि ऑपरेटरों के पास अपनी आवश्यकताओं के अनुरूप एक विशिष्ट संतुलन चुनने का विकल्प है।
यह कार्य इस धारणा को चुनौती देता है कि एआई के व्यवहार को नियंत्रित करने के लिए भारी पुन: प्रशिक्षण या जटिल प्रॉम्प्ट इंजीनियरिंग की आवश्यकता होती है। यह प्रदर्शित करता है कि एक महत्वपूर्ण निर्णय लेने की प्रक्रिया—यह जानना कि बाहरी मदद कब लेनी है—मॉडल की आंतरिक स्थिति में एक सरल, रैखिक दिशा (linear direction) में एनकोडेड है। इस दिशा को खोजकर और समायोजित करके, शोधकर्ता मॉडल के मौलिक प्रशिक्षण को बदले बिना एआई एजेंटों को अधिक विश्वसनीय और कुशल बना सकते हैं। यह विधि एआई सिस्टम की लागत और सटीकता को ट्यून करने का एक हल्का तरीका प्रदान करती है, यह सुनिश्चित करती है कि वे अपने टूल्स का उपयोग केवल तभी करें जब आवश्यक हो और अत्यधिक निर्भरता तथा खतरनाक अनुमानों के जाल से बचें। हालाँकि यह तकनीक टूल के निष्पादन (execution) में होने वाली त्रुटियों को ठीक नहीं करती है, लेकिन यह एक एआई एजेंट द्वारा किए जाने वाले सबसे बुनियादी और महंगे निर्णय को प्रबंधित करने के लिए एक शक्तिशाली नया लीवर प्रदान करती है: कि वह अपने आप कार्य करे या सहायता मांगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।