Looped Language Models Improve Compositional Tool Calling
यह शोध पत्र प्रदर्शित करता है कि लूप वाले भाषा मॉडल (looped language models), विशेष रूप से गतिशील रूप से गणना आवंटित करने के लिए एडेप्टिव इन्फरेंस (adaptive inference) का उपयोग करते समय, कई API कॉल्स को प्रभावी ढंग से समन्वित करके, अवस्था (state) बनाए रखकर और निर्भरताओं का प्रबंधन करके, कंपोजिशनल टूल-कॉलिंग परिदृश्यों में प्रदर्शन को महत्वपूर्ण रूप से बढ़ाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते परिदृश्य में, एक महत्वपूर्ण बदलाव आ रहा है—उन मॉडलों से जो केवल प्रश्नों के उत्तर देते हैं, उन प्रणालियों की ओर जो कार्य करने में सक्षम हैं। ये नई प्रणालियाँ, जिन्हें अक्सर 'एजेंट्स' कहा जाता है, जटिल समस्याओं को हल करने के लिए बाहरी उपकरणों—जैसे सॉफ्टवेयर प्रोग्राम या डेटाबेस—का उपयोग करने के लिए डिज़ाइन की गई हैं। एक ऐसे डिजिटल सहायक की कल्पना करें जो न केवल आपको मौसम के बारे में बताता है बल्कि वास्तव में एक उड़ान बुक करता है, आपका कैलेंडर चेक करता है, और यात्रा की पुष्टि करने के लिए ईमेल भेजता है। इन एजेंटों के काम करने के लिए, उन्हें कई चरणों को एक साथ जोड़ने में सक्षम होना चाहिए, यानी एक क्रिया के परिणाम को याद रखकर अगली क्रिया को सूचित करना चाहिए। इसके लिए एक प्रकार की संरचित सोच की आवश्यकता होती है जहाँ सिस्टम एक अनुक्रम (सीक्वेंस) की योजना बनाता है, उसे निष्पादित करता है, और यदि कुछ गलत हो जाता है तो खुद को ढालता है। शोधकर्ताओं के लिए चुनौती यह थी कि कैसे इन लार्ज लैंग्वेज मॉडल्स को इतना विश्वसनीय बनाया जाए कि वे इस तरह के बहु-चरणीय वर्कफ्लो को बिना भटके या बीच में त्रुटियां किए संभाल सकें।
कैम्ब्रिज विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने के लिए एक विशिष्ट वास्तुशिल्प दृष्टिकोण (architectural approach) की जांच की है, जो "लूप वाले" (looped) लैंग्वेज मॉडल के रूप में ज्ञात डिज़ाइन पर केंद्रित है। मानक मॉडलों के विपरीत, जो इनपुट से आउटपुट तक एक ही सीधे प्रवाह में जानकारी को प्रोसेस करते हैं, ये लूप वाले मॉडल सिस्टम को उत्तर देने से पहले अपने आंतरिक विचारों पर कई बार विचार करने और उन्हें परिष्कृत करने की अनुमति देते हैं। इसे एक ऐसे व्यक्ति की तरह समझें जो एक कठिन पहेली सुलझा रहा है और हर कुछ चालों के बाद अपने काम की दोबारा जांच करने के लिए रुकता है, बजाय इसके कि वह एक ही बार में दौड़कर फिनिश लाइन तक पहुँच जाए। शोधकर्ता यह जानना चाहते थे कि क्या सोचने में बिताया गया यह अतिरिक्त समय—यह पुनरावृत्ति सुधार (iterative refinement)—मॉडल्स को जटिल टूल उपयोग, जैसे कि सही क्रम में कई API कॉल करने या उन निर्भरताओं (dependencies) को प्रबंधित करने में बेहतर बनाने में मदद करेगा जहाँ एक टूल का आउटपुट दूसरे टूल का इनपुट बन जाता है।
इसका परीक्षण करने के लिए, टीम ने टूल-कॉलिंग क्षमताओं को मापने के लिए डिज़ाइन किए गए तीन अलग-अलग बेंचमार्क का उपयोग करके नियंत्रित प्रयोगों की एक श्रृंखला आयोजित की। ये परीक्षण सरल कार्यों, जैसे कि एक प्रश्न का उत्तर देने के लिए एक एकल फंक्शन चुनना, से लेकर अत्यधिक जटिल परिदृश्यों तक विस्तृत थे जिनमें कई स्वतंत्र कॉल उत्पन्न करने या नेस्टेड अनुक्रमों को प्रबंधित करने की आवश्यकता थी जहाँ एक कॉल का आउटपुट अगले के लिए अनिवार्य था। उन्होंने मानक मॉडलों की तुलना "नेटिव" लूप वाले मॉडलों (जिन्हें शुरुआत से ही इस पुनरावृत्त क्षमता के साथ बनाया गया था) और "रिट्रोफिटेड" मॉडलों (जहाँ लूप वाले व्यवहार को मौजूदा मानक मॉडलों में जोड़ा गया था) दोनों से की। शोधकर्ताओं ने एक निष्पक्ष तुलना सुनिश्चित करने के लिए इन मॉडलों को समान डेटासेट और समान ऑप्टिमाइज़ेशन सेटिंग्स पर प्रशिक्षित किया, जिससे केवल लूपिंग तंत्र के प्रभाव को अलग किया जा सके।
परिणाम बताते हैं कि मॉडल को अपने निर्णयों पर विचार करने के लिए अधिक समय देने से जटिल, बहु-चरणीय कार्यों को संभालने की उसकी क्षमता में काफी सुधार होता है। उन बेंचमार्क पर, जिनमें मॉडल को कई टूल कॉल को समन्वित करने या उनके बीच की निर्भरताओं को प्रबंधित करने की आवश्यकता थी, लूप वाले मॉडल अपने गैर-लूप वाले समकक्षों की तुलना में लगातार बेहतर प्रदर्शन करते रहे। सुधार सबसे अधिक उन कार्यों में देखा गया जहाँ मॉडल को कई निर्णयों के बीच एक संरचित योजना बनाए रखनी थी, जैसे कि जब पहले टूल कॉल का आउटपुट दूसरे टूल के तर्क (argument) के रूप में पास किया जाना आवश्यक था। इन परिदृश्यों में, अपने आंतरिक प्रतिनिधित्व को परिष्कृत करने की क्षमता ने मॉडल को फंक्शन चयन, तर्क ग्राउंडिंग और कॉल्स के क्रम में त्रुटियों को सुधारने में मदद की। उदाहरण के लिए, एक देखे गए मामले में, एक मॉडल शुरू में एक आवश्यक निर्भरता को पहचानने में विफल रहा, लेकिन कुछ राउंड के आंतरिक सुधार के बाद, उसने सफलतापूर्वक लापता कड़ी की पहचान की और कार्यों का सही क्रम तैयार किया।
हालाँकि, सभी प्रकार के कार्यों में लाभ समान नहीं थे। जब कार्य में एक एकल, अलग टूल कॉल शामिल था, तो लूप वाले दृष्टिकोण का लाभ बहुत कम था और यह विशिष्ट मॉडल के आधार पर भिन्न होता था। यह इंगित करता है कि अतिरिक्त कम्प्यूटेशनल प्रयास तब सबसे मूल्यवान होता है जब समस्या में नियोजन और समन्वय की आवश्यकता होती है, न कि केवल साधारण पुनर्प्राप्ति (retrieval) की। शोधकर्ताओं ने यह भी पता लगाया कि क्या इस अतिरिक्त सोचने के समय का अधिक कुशलता से उपयोग किया जा सकता है। उन्होंने पाया कि मॉडल को यह निर्णय लेने की अनुमति देकर कि उसे रुकने से पहले कितनी बार लूप करने की आवश्यकता है, वे एक निश्चित, गहरे लूप का उपयोग करने के समान उच्च प्रदर्शन प्राप्त कर सकते थे, लेकिन काफी कम कम्प्यूटेशनल लागत के साथ। यह अनुकूल दृष्टिकोण (adaptive approach) का अर्थ है कि मॉडल कठिन, जटिल समस्याओं पर अधिक समय खर्च कर सकता है जबकि सरल समस्याओं के माध्यम से तेजी से आगे बढ़ सकता है।
अध्ययन निष्कर्ष निकालता है कि लूप वाले लैंग्वेज मॉडल अधिक विश्वसनीय एजेंटिक सिस्टम बनाने के लिए एक आशाजनक आधार का प्रतिनिधित्व करते हैं। निष्कर्ष बताते हैं कि लेटेंट रिप्रेजेंटेशन (latent representations) को पुनरावृत्त रूप से परिष्कृत करने की क्षमता मॉडलों को जटिल वर्कफ़्लो की संरचना बनाए रखने में मदद करती है, जिससे वे योजना बनाने, समन्वय करने और कंपोजिशनल टूल उपयोग को निष्पादित करने में बेहतर बनते हैं। जबकि रिट्रोफिटेड मॉडलों ने सुधार दिखाया, नेटिव लूप वाले मॉडल आमतौर पर गहराई से नेस्टेड कार्यों पर बेहतर प्रदर्शन करते हैं, जो संकेत देता है कि मॉडल का प्री-ट्रेनिंग का तरीका इस प्रकार के रिकर्सिव रिफाइनमेंट से लाभ उठाने की क्षमता को आकार देता है। अंततः, यह शोध एक ऐसे भविष्य की ओर इशारा करता है जहाँ AI एजेंट अपने कम्प्यूटेशनल संसाधनों को गतिशील रूप से आवंटित कर सकते हैं, यानी जटिलता की मांग होने पर ही गहराई से सोचना, जिससे वे गति और सटीकता के बीच एक अधिक कुशल संतुलन प्राप्त कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।