SynthTools: A Framework for Scaling Synthetic Tools for Agent Development
यह शोध पत्र SynthTools का परिचय देता है, जो एक पूर्णतः LLM-आधारित ढांचा है जो स्वचालित रूप से विविध सिंथेटिक टूल वातावरण और कार्यों को उत्पन्न, सत्यापित और स्केल करता है, यह प्रदर्शित करते हुए कि इस सिंथेटिक डेटा पर एजेंटों को प्रशिक्षित करने से वास्तविक दुनिया के बेंचमार्क पर उनके टूल-उपयोग प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को घर ठीक करने के लिए एक विशाल, जटिल टूलबॉक्स का उपयोग करना सिखाना चाहते हैं। समस्या यह है कि आप रोबोट को वास्तविक औजारों (जैसे असली हथौड़ा या असली ड्रिल) वाला वास्तविक टूलबॉक्स सीधे नहीं दे सकते क्योंकि:
- असली औजार अव्यवस्थित होते हैं: वे टूट जाते हैं, उन्हें बैटरी की आवश्यकता होती है, और कभी-कभी जब आप उनका उपयोग करने की कोशिश करते हैं तो वे काम नहीं करते।
- वे पर्याप्त नहीं हैं: आप केवल वास्तविक औजारों का उपयोग करके हर संभव उपकरण के लिए प्रशिक्षण पाठ्यक्रम नहीं बना सकते।
- "अभ्यास समस्याएँ" बनाना कठिन है: यदि आप रोबोट को कहते हैं, "लीकेज ठीक करो," तो उसे शायद पता नहीं चलेगा कि किन औजारों का उपयोग कैसे करना है या किस क्रम में करना है।
SynthTools एक नया फ्रेमवर्क है जो इसे हल करता है—यह पूरी तरह से कंप्यूटर के भीतर एक विशाल, पूर्ण, आभासी सिमुलेशन फैक्ट्री बनाकर काम करता है। वास्तविक औजारों के बजाय, यह एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) का उपयोग करता है जो हजारों नकली औजारों और अभ्यास समस्याओं को आविष्कार करने, परीक्षण करने और व्यवस्थित करने के लिए बनाया गया है।
यहाँ SynthTools फैक्ट्री कैसे काम करती है, इसे तीन सरल चरणों में विभाजित किया गया है:
1. द आर्किटेक्ट (टॉप-डाउन जनरेशन)
इसे मास्टर डिज़ाइनर के रूप में सोचें।
केवल औजारों की एक सूची बेतरतीब ढंग से लिखने के बजाय, AI एक बड़े विचार से शुरू होता है, जैसे "वित्तीय व्यापार" (Financial Trading) या "ई-कॉमर्स"। फिर यह उस बड़े विचार को छोटे पड़ोस (सब-डोमेन) में तोड़ता है, फिर विशिष्ट नौकरियों (टास्क) में, और अंत में उन नौकरियों के लिए आवश्यक विशिष्ट औजारों का आविष्कार करता है।
- उपमा: कल्पना कीजिए कि एक वीडियो गेम डिजाइन कर रहे हैं। आप बस जमीन पर यादृच्छिक वस्तुएं नहीं फेंकते। आप तय करते हैं, "यह एक अस्पताल का स्तर है," इसलिए आप एक "स्टेथोस्कोप," एक "सिरिंज," और एक "हार्ट मॉनिटर" का आविष्कार करते हैं जो तार्किक रूप से एक साथ फिट बैठते हैं। SynthTools 100 अलग-अलग "दुनियाओं" (जैसे वित्त, लॉजिस्टिक्स, स्वास्थ्य सेवा) के लिए ऐसा ही करता है, जिससे 73,000 से अधिक अद्वितीय औजार बनते हैं।
2. द क्वालिटी कंट्रोल इंस्पेक्टर (सिमुलेशन और वैलिडेशन)
यह एक सख्त फोरमैन है।
सिर्फ इसलिए कि AI ने एक औजार का आविष्कार किया है, इसका मतलब यह नहीं है कि वह काम करता है। फोरमैन हर एक औजार को स्ट्रेस टेस्ट से गुजारता है।
- परीक्षण: फोरमैन औजार का उपयोग अलग-अलग तरीकों से करने की कोशिश करता है। "क्या होगा यदि मैं आपको गलत पासवर्ड दूँ?" "क्या होगा यदि उड़ान पूरी तरह से बुक हो?"
- परिणाम: यदि औजार भ्रमित करने वाला उत्तर देता है या क्रैश हो जाता है, तो फोरमैन उसे कचरे में डाल देता है। यदि वह गलती को पूरी तरह से संभाल लेता है (जैसे, क्रैश होने के बजाय "क्षमा करें, कोई सीट खाली नहीं है" कहना), तो उसे मंजूरी का स्टैम्प मिल जाता है।
- पैमाना: उन्होंने लगभग 80,000 औजारों का परीक्षण किया। सिस्टम इतना अच्छा है कि यह खराब औजारों को पकड़ लेता है, जिससे केवल विश्वसनीय 73,883 औजार ही बचते हैं। यह एक ऐसी फैक्ट्री की तरह है जो केवल उन्हीं उत्पादों को भेजती है जो 97% सटीकता परीक्षण पास कर लेते हैं।
3. द पज़ल मेकर (बॉटम-अप टास्क जनरेशन)
अब जब उनके पास स्वीकृत औजारों का ढेर है, तो उन्हें रोबोट के लिए अभ्यास पहेलियाँ बनाने की आवश्यकता है।
- विधि: AI से "एक कठिन समस्या बनाने" के लिए कहने के बजाय, वे समस्या को ज़मीन से ऊपर की ओर बनाते हैं। वे कुछ स्वीकृत औजारों (जैसे, एक "रिटर्न रिक्वेस्ट" टूल और एक "ईमेल सेंडर" टूल) को लेते हैं और उन्हें एक साथ जोड़ते हैं।
- परिणाम: वे एक चरण-दर-चरण कहानी बनाते हैं: "एक ग्राहक शर्ट वापस करना चाहता है। पहले, जांचें कि क्या वह पात्र है। दूसरा, एक लेबल प्रिंट करें। तीसरा, उन्हें ईमेल भेजें।"
- जादू: क्योंकि AI ने पहेली को उन औजारों का उपयोग करके बनाया है जिन्हें वह जानता है कि काम करते हैं, इसलिए वह सटीक समाधान भी जानता है। यह एक ऐसे शिक्षक की तरह है जो एक साथ गणित का टेस्ट लिखता है और उसका उत्तर कुंजी (answer key) भी लिखता है। यह सुनिश्चित करता है कि प्रत्येक कार्य हल करने योग्य और सत्यापन योग्य है। उन्होंने लगभग 80,000 ऐसी पहेलियाँ बनाईं।
बड़ा प्रयोग: क्या यह काम करता है?
शोधकर्ताओं ने एक मानक AI मॉडल (Qwen3) को लिया और उसे "मिड-ट्रेनिंग" सत्र दिया। इसे इन सिंथेटिक पहेलियों का उपयोग करके AI को एक ड्राइविंग स्कूल भेजने के रूप में समझें।
- प्रशिक्षण: AI ने इन 80,000 नकली लेकिन यथार्थवादी समस्याओं को हल करने का अभ्यास किया।
- परीक्षण: इसके बाद, उन्होंने AI का वास्तविक बेंचमार्क (वास्तविक API और वास्तविक फंक्शन-कॉलिंग परीक्षणों का उपयोग करके) पर परीक्षण किया।
- परिणाम: वह AI जिसने सिंथेटिक फैक्ट्री पर अभ्यास किया था, वास्तविक उपकरणों का उपयोग करने में काफी बेहतर हो गया। यह वैसा ही है जैसे एक परफेक्ट ड्राइविंग सिम्युलेटर पर अभ्यास करने से ड्राइवर वास्तविक कार को बारिश वाले दिन संभालने में बेहतर हो जाता है।
सारांश
SynthTools एक पाइपलाइन है जो AI का उपयोग करके नकली औजारों और नकली समस्याओं की एक विशाल, स्व-जांच करने वाली लाइब्रेरी बनाने के लिए करती है। यह "हमारे पास रोबोट को प्रशिक्षित करने के लिए पर्याप्त वास्तविक डेटा नहीं है" की समस्या को हल करता है, जिससे यह अपने स्वयं के उच्च-गुणवत्ता वाले, विविध और सत्यापित प्रशिक्षण डेटा उत्पन्न करता है। परिणाम एक ऐसा फ्रेमवर्क है जो लाखों औजारों और कार्यों तक स्केल हो सकता है, जिससे AI एजेंट वास्तविक दुनिया में भी अधिक प्रभावी ढंग से टूल्स का उपयोग करना सीख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।