Joint Optimization of Tool Creation and Use for Large Language Model Agents

मानव प्रगति हमेशा उन उपकरणों पर निर्भर रही है जिन्हें हमने बनाया है। हर नई समस्या को शून्य से हल करने के बजाय, हम पीढ़ियों से परिष्कृत उपकरणों पर भरोसा करते हैं, साधारण लीवर से लेकर उस जटिल सॉफ़्टवेयर तक जो हमारी आधुनिक दुनिया को चलाता है। लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल), जो मानव भाषा को समझने और उत्पन्न करने में सक्षम उन्नत कंप्यूटर प्रोग्राम हैं, एक समान सीमा का सामना करते हैं। हालाँकि उनके पास अपनी आंतरिक मेमोरी में सूचनाओं का विशाल भंडार है, लेकिन वे सटीक गणना, अद्यतित तथ्यों तक पहुँच, या विश्वसनीय तार्किक तर्क की आवश्यकता वाले कार्यों में संघर्ष करते हैं। इसे दूर करने के लिए, शोधकर्ताओं ने इन मॉडल्स को बाहरी उपकरणों का उपयोग करना सिखाया है, जैसे कैलकुलेटर या सर्च इंजन, ठीक वैसे ही जैसे एक इंसान कठिन गणित की समस्या हल करने के लिए कैलकुलेटर का सहारा ले सकता है। हालाँकि, वर्तमान प्रणालियाँ सीमित हैं क्योंकि वे केवल उन्हीं उपकरणों का उपयोग कर सकती हैं जिन्हें मनुष्यों ने पहले से लिखा और प्रदान किया है। यदि किसी नए कार्य के लिए किसी मनुष्य ने विशिष्ट उपकरण नहीं बनाया है, तो मॉडल वहीं अटक जाता है।

इस सीमा ने एक अधिक गतिशील दृष्टिकोण की ओर झुकाव पैदा किया है: मॉडल्स को मांग पर अपने स्वयं के उपकरण बनाने के लिए सिखाना। विचार यह है कि एक मॉडल किसी समस्या को देखे, उसे हल करने के लिए कोड का एक छोटा सा हिस्सा लिखे, और फिर उस कोड का उपयोग करके उत्तर खोजे। फिर भी, इसे करने के मौजूदा तरीकों में एक मौलिक दोष है। वे आमतौर पर उपकरण लिखने के लिए एक शक्तिशाली, महंगे मॉडल का और उसका उपयोग करने के लिए एक कमजोर मॉडल का उपयोग करते हैं। क्योंकि उपकरण लिखने वाले मॉडल को स्वयं उसका उपयोग कभी नहीं करना पड़ता, इसलिए उसके पास ऐसे उपकरण लिखने का कोई प्रोत्साहन नहीं होता जो वास्तव में स्पष्ट, विश्वसनीय या बुलाने (invoke करने) में आसान हों। यह एक बढ़ई की तरह है जो एक हथौड़ा बनाता है लेकिन उसे कभी चलाना नहीं पड़ता; वह शायद एक ऐसा हैंडल बना सकता है जो बहुत फिसलन भरा हो या एक ऐसा सिर जो बहुत भारी हो, केवल इसलिए क्योंकि उसे खराब डिज़ाइन के परिणामों का अहसास नहीं होता।

एक टीम ऑफ रिसर्चर्स ने इस विसंगति को दूर करने के लिए 'SMITH' नामक एक नया फ्रेमवर्क पेश किया है। मुख्य नवाचार एक प्रशिक्षण पद्धति है जो एक ही मॉडल को उपकरण निर्माता और उपकरण उपयोगकर्ता दोनों के रूप में कार्य करने के लिए मजबूर करती है। इस प्रणाली में, मॉडल को उदाहरण समस्याओं का एक सेट दिया जाता है और एक उपकरण लिखने के लिए कहा जाता है, जिसमें कोड का एक हिस्सा और उसे उपयोग करने के स्पष्ट निर्देश होते हैं। इसके तुरंत बाद, वही मॉडल उस सटीक उपकरण का उपयोग करके एक अलग, अनदेखी समस्या को हल करने का प्रयास करता है। यदि विवरण भ्रमित करने वाला है या कोड टूटा हुआ है, तो मॉडल समस्या को हल करने में विफल रहता है और उसे एक स्पष्ट संकेत मिलता है कि उसे सुधार करने की आवश्यकता है। यह एक सीधा फीडबैक लूप बनाता है जहाँ मॉडल सीखता है कि एक उपकरण उतना ही अच्छा है जितना कि स्वयं उसके द्वारा उपयोग किए जाने की उसकी क्षमता।

शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण चार बिलियन पैरामीटर्स वाले एक मॉडल का उपयोग करके किया, जो इस क्षेत्र में अक्सर उपयोग किए जाने वाले विशाल मॉडल्स की तुलना में अपेक्षाकृत छोटा आकार है। उन्होंने इसे अंकगणितीय पहेलियों से लेकर तार्किक खेलों तक, तेरह विभिन्न प्रकार के तर्क कार्यों पर प्रशिक्षित किया। परिणाम आश्चर्यजनक थे। प्रशिक्षित मॉडल ने उन समस्याओं पर उच्च स्तर की सटीकता प्राप्त की जो उसने पहले कभी नहीं देखी थीं, और इसने उन तरीकों को भी पीछे छोड़ दिया जो जटिल, मानव-निर्मित निर्देशों पर निर्भर करते हैं या यहाँ तक कि उन बड़े मॉडल्स को भी पीछे छोड़ दिया जो केवल उपयोग के समय उपकरण लिखने के लिए प्रेरित (prompt) किए जाते हैं। वास्तव में, इस विधि से प्रशिक्षित छोटा मॉडल नए कार्यों के लिए उपकरण बनाने के मामले में तीस बिलियन पैरामीटर्स वाले अनप्रशिक्षित मॉडल से बेहतर प्रदर्शन करता है। यह सुझाव देता है कि उपकरण बनाने और उपयोग करने का कौशल सीखना, केवल कच्चे मेमोरी के बड़े भंडार होने से अधिक महत्वपूर्ण है।

शायद सबसे आश्चर्यजनक खोज यह थी कि उनके द्वारा बनाए गए उपकरण अन्य मॉडल्स में कितनी अच्छी तरह स्थानांतरित (transfer) हुए। छोटे, प्रशिक्षित मॉडल द्वारा लिखे गए उपकरण एक बहुत छोटे मॉडल (जिसमें केवल 350 मिलियन पैरामीटर्स थे) को एक बहुत बड़े, अनप्रशिक्षित मॉडल के समान प्रदर्शन करने में मदद करने में सक्षम थे। इसके विपरीत, जब छोटे मॉडल द्वारा लिखे गए उपकरणों को एक बहुत बड़े मॉडल को उपयोग करने के लिए दिया गया, तो बड़े मॉडल ने अपने स्वयं के उपकरण लिखने के प्रयास की तुलना में बेहतर प्रदर्शन किया। यह इंगित करता है कि SMITH फ्रेमवर्क द्वारा बनाए गए उपकरण वास्तव में उच्च गुणवत्ता वाले और पुन: प्रयोज्य (reusable) हैं, न कि केवल एक विशिष्ट मॉडल के लिए काम करने वाली कोई ट्रिक। उपकरण इतने प्रभावी थे कि उन्होंने पूरी तरह से नए प्रकार के कार्यों, जैसे जटिल तालिकाओं (tables) की व्याख्या करने या छवियों के बारे में प्रश्नों का उत्तर देने में भी प्रदर्शन में सुधार किया, भले ही मॉडल को तालिकाओं या छवियों से संबंधित डेटा पर प्रशिक्षित नहीं किया गया था।

अध्ययन ने यह भी स्पष्ट किया कि सीखने की प्रक्रिया को कैसे संरचित किया जाना चाहिए। शोधकर्ताओं ने पाया कि केवल मॉडल को कोड लिखने के लिए कहना पर्याप्त नहीं है; मॉडल को इस आधार पर भी आंका जाना चाहिए कि क्या उपकरण का विवरण कोड से मेल खाता है और क्या वह उपकरण वास्तव में कॉल (invoke) किए जाने पर काम करता है। गुणवत्ता के इन विभिन्न पहलुओं को अलग करके और मॉडल को प्रत्येक को सही ढंग से करने के लिए पुरस्कृत करके, यह प्रणाली उन सामान्य कमियों से बचती है जहाँ एक मॉडल ऐसा कोड लिख सकता है जो दिखने में तो अच्छा हो लेकिन उपयोग योग्य न हो, या ऐसा विवरण लिख सकता है जो स्पष्ट तो हो लेकिन कोड से मेल न खाता हो। इस सावधानीपूर्वक संतुलन ने मॉडल को एक मजबूत कौशल सीखने में मदद की: एक ऐसा उपकरण बनाने की क्षमता जो सही भी हो और उपयोग योग्य भी।

अंत में, यह कार्य प्रदर्शित करता है कि अधिक सक्षम कृत्रिम बुद्धिमत्ता (AI) का मार्ग हमेशा बड़े मॉडल्स बनाने में नहीं, बल्कि मॉडल्स को उनकी अपनी क्षमताओं को बेहतर बनाने के लिए तैयार करने में निहित है। निर्माण और उपयोग के बीच के चक्र को पूरा करके, शोधकर्ताओं ने दिखाया है कि एक मॉडल ऐसे उपकरण डिजाइन करना सीख सकता है जो स्वयं के उपयोग के लिए और दूसरों के उपयोग के लिए विश्वसनीय हों। यह दृष्टिकोण कृत्रिम बुद्धिमत्ता की क्षमताओं को विस्तारित करने का एक स्केलेबल तरीका प्रदान करता है, जिससे यह नए कार्यों के अनुकूल बन सकता है और विशिष्ट उपकरणों को बनाने की क्षमता रखता है, बजाय इसके कि वह मनुष्यों द्वारा उन्हें प्रदान किए जाने की प्रतीक्षा करे। निष्कर्ष बताते हैं कि टूल-ऑगमेंटेड इंटेलिजेंस का भविष्य पूर्व-निर्मित उपकरणों की स्थिर लाइब्रेरी में नहीं, बल्कि मॉडल्स की अपने समाधानों को गढ़ने की गतिशील, स्व-सुधारने की क्षमता में निहित है।