MidTool: Mid-training Data Synthesis for Agentic Tool Use
यह शोध पत्र MidTool को प्रस्तुत करता है, जो एक ओपन कॉर्पस कंस्ट्रक्शन पाइपलाइन है जो बड़े भाषा मॉडलों (large language models) के लिए समर्पित मिड-ट्रेनिंग को सक्षम करने हेतु विविध डेटा को संश्लेषित करता है, और यह प्रदर्शित करता है कि यह दृष्टिकोण केवल पोस्ट-ट्रेनिंग पर निर्भर रहने की तुलना में सामान्य एजेंटिक टूल-उपयोग क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) डिजिटल सहायकों की एक नई पीढ़ी के पीछे के इंजन हैं, जो मानवीय प्रवाह के साथ पढ़ने, लिखने और तर्क करने में सक्षम हैं। इन प्रणालियों के वास्तव में उपयोगी होने के लिए, उन्हें केवल प्रश्नों के उत्तर देने से कहीं अधिक करना होगा; उन्हें कार्य करने में सक्षम होना चाहिए। इसका अर्थ है यह जानना कि कब किसी उपकरण, जैसे कि कैलकुलेटर, सर्च इंजन, या सॉफ्टवेयर इंटरफेस का उपयोग करना है, और फिर समस्या को हल करने के लिए उसका सही ढंग से उपयोग करना। आर्टिफिशियल इंटेलिजेंस के वर्तमान परिदृश्य में, शोधकर्ताओं ने मुख्य रूप से इस क्षमता को प्रशिक्षण के अंतिम चरण के रूप में माना है। वे एक शक्तिशाली, प्री-ट्रेन्ड मॉडल लेते हैं और फिर उसे विशेष रूप से फंक्शन कॉल करने या सॉफ्टवेयर के साथ बातचीत करने के लिए फाइन-ट्यूनिंग की प्रक्रिया के माध्यम से सिखाते हैं। हालाँकि, यह दृष्टिकोण उस अंतिम चरण पर भारी बोझ डालता है, जिससे मॉडल को कार्यों के अनुक्रम की योजना बनाने या लुप्त जानकारी से उबरने जैसे जटिल व्यवहारों को एक साथ सीखने के लिए मजबूर होना पड़ता है, जो अक्सर इस आधार के बिना होता है कि वे उपकरण वास्तव में वास्तविक दुनिया में कैसे काम करते हैं।
वाशिंगटन विश्वविद्यालय और स्नोफ्लेक (Snowflake) के शोधकर्ताओं की एक टीम ने एक अलग मार्ग प्रस्तावित किया है। उनका सुझाव है कि उपकरणों का उपयोग करने की क्षमता को मॉडल के जीवन के शुरुआती चरण में, यानी प्रारंभिक व्यापक शिक्षण और अंतिम विशिष्ट निर्देश के बीच के मध्य चरण के दौरान विकसित किया जाना चाहिए। वे इस प्रक्रिया को "मिड-ट्रेनिंग" (mid-training) कहते हैं। इस विचार का परीक्षण करने के लिए, उन्होंने एक विशाल, कस्टम डेटासेट बनाया जो विशेष रूप से मॉडल्स को उपकरणों के साथ बातचीत करना सिखाने के लिए डिज़ाइन किया गया था। उन्होंने अपने प्रोजेक्ट को 'मिडटूल' (MidTool) नाम दिया। अपने मॉडल्स को अंतिम प्रशिक्षण चरणों से पहले इस विशिष्ट डेटा को खिलाकर, उन्होंने पाया कि मॉडल्स ने मानक अंतिम प्रशिक्षण प्राप्त करने वाले मॉडल्स की तुलना में, कार्यों की योजना बनाने और त्रुटियों को संभालने की बेहतर समझ के साथ, उपकरणों का उपयोग अधिक प्रभावी ढंग से सीखा।
शोधकर्ताओं ने सबसे पहले उन सामग्रियों का एक विविध संग्रह एकत्र किया जिसमें उपकरणों के काम करने का कच्चा ज्ञान समाहित है। उन्होंने केवल उपकरणों के उपयोग के उदाहरण ही नहीं खोजे; उन्होंने मैनुअल, कोड, दस्तावेज़ और तकनीकी विनिर्देश (technical specifications) भी एकत्र किए जो यह वर्णन करते हैं कि उन उपकरणों को कैसे कार्य करना चाहिए। इसमें लाखों वेब पेज, पीडीएफ प्रारूप में हजारों तकनीकी दस्तावेज़, कंप्यूटर कोड के विशाल भंडार और वास्तविक दुनिया के एप्लिकेशन प्रोग्रामिंग इंटरफेस (APIs) की संरचित परिभाषाएं शामिल थीं। उन्होंने इन स्रोतों को अपने एआई छात्रों के लिए "पाठ्यपुस्तकों" के रूप में माना। इस कच्चे माल से, उन्होंने 20.3 बिलियन टोकन (जो संसाधित टेक्स्ट की मात्रा का एक माप है) वाला एक प्रशिक्षण मिश्रण तैयार किया। यह मिश्रण सावधानीपूर्वक संतुलित था, जिसमें लगभग 42 प्रतिशत वेब दस्तावेजों से, 26 प्रतिशत कोड से, 23 प्रतिशत पीडीएफ से और 9 प्रतिशत एजेंटों द्वारा उपकरणों का उपयोग करने के प्रत्यक्ष, संश्लेषित उदाहरणों से लिया गया था।
इस स्थिर दस्तावेज़ संग्रह को एक गतिशील सीखने के अनुभव में बदलने के लिए, शोधकर्ताओं ने प्रशिक्षण उदाहरण उत्पन्न करने के लिए दो-आयामी दृष्टिकोण का उपयोग किया। पहला तरीका 'ग्राउंडिंग' (grounding) पर केंद्रित था। उन्होंने तकनीकी दस्तावेज़ों और कोड को लिया और मॉडल से उन परिदृश्यों की कल्पना करने को कहा जहाँ एक उपयोगकर्ता को उन उपकरणों का उपयोग करने की आवश्यकता होगी जिनका वर्णन उन ग्रंथों में किया गया है। मॉडल को एक अव्यवस्थित मैनुअल या जटिल कोड स्निपेट को पढ़ना, उपलब्ध उपकरणों की पहचान करना और यह समझना सीखना था कि उन्हें उपयोग करने के लिए किस जानकारी की आवश्यकता है। इसने मॉडल को एक उपकरण की "अफोर्डेंस" (affordance)—कि वह क्या करने में सक्षम है—को संदर्भ के आधार पर पहचानने के बारे में सिखाया। दूसरा तरीका 'एक्जीक्यूशन' (execution) पर केंद्रित था। यहाँ, शोधकर्ताओं ने वास्तविक टूल डेफिनिशन का उपयोग करके एक एजेंट द्वारा समस्या हल करने की चरण-दर-चरण कहानियाँ उत्पन्न कीं। इन कहानियों में एजेंट द्वारा एक योजना बनाना, एक टूल को कॉल करना, प्रतिक्रिया प्राप्त करना और फिर यह निर्णय लेना शामिल था कि आगे क्या करना है। महत्वपूर्ण रूप से, इन उदाहरणों में वे परिदृश्य भी शामिल थे जहाँ जानकारी गायब थी या टूल विफल हो गया था, जिससे मॉडल ने हार मानने या अनुमान लगाने के बजाय सुधार करने और स्पष्टीकरण मांगने के बारे में सीखा।
टीम ने इस दृष्टिकोण का परीक्षण एक बेस लैंग्वेज मॉडल के दो संस्करणों का उपयोग करके किया, एक 4 बिलियन पैरामीटर्स वाला और दूसरा 8 बिलियन वाला। उन्होंने इन मॉडल्स को अपने नए मिडटूल डेटासेट पर प्रशिक्षित किया और फिर अन्य शोधकर्ताओं द्वारा उपयोग किए जाने वाले मानक अंतिम प्रशिक्षण चरणों को लागू किया। इसके बाद उन्होंने मॉडल्स को तीन अलग-अलग बेंचमार्क पर परखा, जो यह मापने के लिए डिज़ाइन किए गए थे कि एक एआई उपकरणों का उपयोग कितनी अच्छी तरह कर सकता है। ये परीक्षण सरल एकल-चरणीय कमांड से लेकर जटिल, बहु-चरणीय कार्यों तक विस्तृत थे जिनमें वास्तविक सॉफ्टवेयर वातावरण के साथ बातचीत करने की आवश्यकता थी। परिणामों ने एक स्पष्ट पैटर्न दिखाया: जिन मॉडल्स को मिड-ट्रेनिंग प्राप्त हुई, वे लगातार उन मॉडल्स से बेहतर प्रदर्शन करते थे जिन्हें नहीं मिली थी। सुधार सबसे अधिक कठिन कार्यों में देखा गया, विशेष रूप से उन कार्यों में जिनमें कई चरणों की आवश्यकता थी या अपरिचित उपकरणों को संभालने की क्षमता की आवश्यकता थी। उदाहरण के लिए, एक मल्टी-टर्न कन्वर्सेशन में टूल का उपयोग करने की क्षमता को मापने वाले परीक्षण पर, 4-बिलियन-पैरामीटर वाले मॉडल ने केवल अंतिम प्रशिक्षण प्राप्त करने वाले मॉडल की तुलना में अपने स्कोर में 10 अंकों से अधिक की वृद्धि देखी।
अध्ययन ने इस दृष्टिकोण की सीमाओं को भी उजागर किया। जबकि मिड-ट्रेन्ड मॉडल्स गहरे और गहन वेब सर्च से संबंधित एक विशिष्ट बेंचमार्क पर परीक्षण किए जाने पर विशेषज्ञ नहीं बने, वे सामान्य टूल उपयोग में काफी बेहतर हो गए। जब उन्हें गहन, पुनरावृत्ति वेब सर्च से जुड़े एक विशिष्ट बेंचमार्क पर परखा गया, तो मॉडल्स ने समान स्तर का सुधार नहीं दिखाया। यह सुझाव देता है कि जबकि एक सामान्य आधार यह समझने में मदद करता है कि उपकरणों का उपयोग कैसे किया जाए और निर्देशों का पालन कैसे किया जाए, अत्यधिक विशिष्ट व्यवहार जैसे कि गहरा शोध या जटिल अन्वेषण के लिए अपने समर्पित प्रशिक्षण डेटा की आवश्यकता हो सकती है। शोधकर्ताओं ने पाया कि मिड-ट्रेनिंग ने एक मजबूत, स्थिर आधार प्रदान किया जिससे बाद का अंतिम प्रशिक्षण अधिक कुशल हो गया। मॉडल्स ने तेजी से अभिसरण (converge) करना सीखा और उच्च स्तर के प्रदर्शन तक पहुँचे, जो यह दर्शाता है कि मिड-ट्रेनिंग चरण ने उन्हें यह समझने में मदद की कि उपकरण एक साथ कैसे जुड़ते हैं।
यह कार्य इस प्रचलित धारणा को चुनौती देता है कि टूल का उपयोग केवल मॉडल के विकास के बिल्कुल अंत में जोड़ा जाने वाला एक कौशल है। इसके बजाय, यह सुझाव देता है कि उपकरणों के माध्यम से दुनिया के साथ बातचीत करने की क्षमता एक मौलिक क्षमता है जिसे मॉडल के मूल ज्ञान में बुना जाना चाहिए। मॉडल्स को टूल डॉक्यूमेंटेशन की संरचना और टूल वर्कफ़्लो के तर्क के संपर्क में लाकर, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो अधिक मजबूत और अनुकूलनीय है। निष्कर्षों का तात्पर्य है कि अगली पीढ़ी के एआई एजेंटों के वास्तव में प्रभावी होने के लिए, उनके प्रशिक्षण में एक समर्पित चरण शामिल होना चाहिए जहाँ वे न केवल यह सीखें कि कौन से उपकरण मौजूद हैं, बल्कि यह भी कि उन्हें कैसे पहचानें, उनके साथ योजना बनाएं और चीजें गलत होने पर कैसे सुधार करें। यह मध्य प्रशिक्षण चरण कृत्रिम बुद्धिमत्ता में एक अधिक स्वाभाविक और विश्वसनीय एजेंसी को अनलॉक करने की कुंजी प्रतीत होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।