Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents
यह शोध पत्र सिंथेटिक प्रशिक्षण डेटा उत्पन्न करने के लिए एक नवीन विधि प्रस्तावित करता है जो हस्त-निर्मित नियमों पर निर्भर हुए बिना भाषाई और तर्क संबंधी विविधता को अनुकूलित करती है, जिसके परिणामस्वरूप फंक्शन-कॉलिंग एजेंटों ने स्टेट-ऑफ-द-आर्ट बेसलाइन की तुलना में BFCL बेंचमार्क पर 7.4% सटीकता वृद्धि और बेहतर आउट-ऑफ-डिस्ट्रीब्यूशन प्रदर्शन प्राप्त किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट सहायक को एक विशाल टूलबॉक्स का उपयोग करना सिखा रहे हैं, जिसमें हजारों अलग-अलग उपकरण (जैसे मौसम के ऐप्स, स्टॉक मार्केट ट्रैकर, या कैलेंडर शेड्यूलर) भरे हुए हैं। इस रोबोट को सिखाने के लिए, आपको लोगों द्वारा मदद मांगने के उदाहरण और सही टूल चुनने वाले रोबोट के उदाहरण दिखाने होंगे।
समस्या यह है कि इस रोबोट को प्रशिक्षित करने के लिए उपयोग किए जाने वाले "पाठ्यपुस्तकें" (डेटासेट) अक्सर बहुत दोहराव वाली होती हैं। यह एक कुकिंग क्लास की तरह है जहाँ हर छात्र को केवल पेपरोनी के साथ चीज़ पिज्जा बनाना सिखाया जाता है। यदि कोई ग्राहक "एक्स्ट्रा बेसिल के साथ वीगन डीप-डिश" मांगता है, तो रोबोट भ्रमित हो जाता है क्योंकि उसने पहले कभी इस विशिष्ट अनुरोध को नहीं देखा है।
लेखकों ने इसे कैसे ठीक किया, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: डेटा का "इको चैंबर" (गूँज कक्ष)
डेटा बनाने के पिछले तरीके यह सुनिश्चित करने में अच्छे थे कि रोबोट को कई अलग-अलग टूल्स के बारे में पता हो। हालाँकि, वे दो महत्वपूर्ण चीजों में विफल रहे:
- भाषाई विविधता (Linguistic Diversity): उन्होंने रोबोट को केवल तब जवाब देना सिखाया जब लोग बिल्कुल एक ही तरह के औपचारिक तरीके से सवाल पूछते थे। उन्होंने उसे यह नहीं सिखाया कि वह स्लैंग (बोलचाल की भाषा), अनौपचारिक बातचीत, या अजीब वाक्य संरचनाओं को कैसे संभाले।
- तर्क विविधता (Argument Diversity): उन्होंने रोबोट को केवल सबसे लोकप्रिय विकल्पों के बारे में ही सिखाया। उदाहरण के लिए, यदि टूल स्टॉक के बारे में है, तो प्रशिक्षण डेटा में हमेशा "Apple" (AAPL) और "Microsoft" (MSFT) का ही उल्लेख किया गया। रोबोट ने यह कभी नहीं सीखा कि यदि कोई किसी बहुत छोटी, अज्ञात कंपनी के बारे में पूछे तो क्या करना है।
2. समाधान: "डाइवर्सिटी शेफ" (विविधतापूर्ण रसोइया)
लेखकों ने सिंथेटिक प्रशिक्षण डेटा बनाने के लिए एक नया तरीका बनाया। इस तरीके को एक "डाइवर्सिटी शेफ" के रूप में सोचें जो केवल रेसिपी बुक का पालन नहीं करता है। इसके बजाय, इस शेफ के पास एक विशेष नियम है: "हर बार जब मैं एक नया व्यंजन बनाऊंगा, तो वह पिछले 100 व्यंजनों से अलग स्वाद वाला होना चाहिए।"
- कोई कठोर नियम नहीं: अन्य तरीकों के विपरीत जो "लोगों के प्रकारों" की एक निश्चित सूची (जैसे, "व्यवसायी," "छात्र") पर निर्भर करते हैं, इस शेफ को किसी पूर्व-लिखित सूची की आवश्यकता नहीं है। यह स्वचालित रूप से अनुरोधों में भिन्नता लाना सीख जाता है।
- "सीमांत योगदान" (Marginal Contribution) की ट्रिक: शेफ पहले से बने व्यंजनों के ढेर को देखता है। एक नया व्यंजन बनाने पर विचार करते समय, वह पूछता है: "यदि मैं इस नए व्यंजन को ढेर में जोड़ता हूँ, तो क्या यह पूरे संग्रह को अधिक दिलचस्प बनाता है?" यदि उत्तर 'हाँ' है, तो वह उस व्यंजन को रखता है। यदि वह व्यंजन पहले से मौजूद किसी चीज़ की नकल मात्र है, तो वह उसे फेंक देता है।
3. उन्होंने वास्तव में क्या किया
शोधकर्ताओं ने फंक्शन-कॉलिंग एजेंटों के लिए नए प्रशिक्षण उदाहरण बनाने के लिए इस "डाइवर्सिटी शेफ" का उपयोग किया। उन्होंने दो मुख्य सामग्रियों पर ध्यान केंद्रित किया:
- अनुरोध (ऑर्डर): उन्होंने ऐसे उपयोगकर्ता प्रश्न उत्पन्न किए जो बोलने के तरीके में बहुत विविध थे (छोटे, लंबे, औपचारिक, स्लैंगी, भ्रमित करने वाले)।
- तर्क (सामग्री/Ingredients): उन्होंने सुनिश्चित किया कि अनुरोधों में उपयोग किए गए विशिष्ट मान (values) भी विविध हों। शहर के लिए हमेशा "New York" का उपयोग करने के बजाय, उन्होंने "Nairobi," "Reykjavik," और "Buenos Aires" का उपयोग किया। मुद्रा के लिए हमेशा "USD" के बजाय, उन्होंने "NOK," "RUB," और "XRP" का उपयोग किया।
4. परिणाम: एक बेहतर रोबोट
उन्होंने अपने नए "डाइवर्सिटी शेफ" डेटा का परीक्षण अन्य शीर्ष-स्तरीय तरीकों (जैसे ToolAce और APIGen) के मुकाबले किया।
- विविधता स्कोर (Diversity Score): उनका डेटा काफी अधिक विविध था। यह केवल थोड़ा अलग नहीं था; यह विविधता की एक पूरी नई दुनिया थी।
- "आउट-ऑफ-डिस्ट्रीब्यूशन" टेस्ट: यह सबसे महत्वपूर्ण हिस्सा है। उन्होंने इस विविध डेटा पर एक रोबोट को प्रशिक्षित किया और फिर उसका परीक्षण उन नए प्रश्नों पर किया जिन्हें उसने पहले कभी नहीं देखा था (अन्य डेटासेट से प्राप्त प्रश्न)।
- उपमा: कल्पना कीजिए कि आपने एक छात्र को केवल 2020 के गणित के सवालों पर प्रशिक्षित किया। फिर आपने उन्हें 2025 के सवालों के साथ टेस्ट लिया।
- परिणाम: लेखकों के विविध डेटा पर प्रशिक्षित रोबोट ने इन नए, अनदेखे टेस्ट पर बहुत बेहतर प्रदर्शन किया। पुराने, कम विविध तरीकों पर प्रशिक्षित रोबोटों की तुलना में, यह एक प्रमुख बेंचमार्क (BFCL) पर लगभग 7.4% अधिक प्रश्नों को सही करने में सफल रहा।
सारांश
पेपर का दावा है कि इस बात को सुनिश्चित करने के लिए कि प्रशिक्षण डेटा भाषाई रूप से विविध (बोलने के विभिन्न तरीके) और तर्क रूप से विविध (विभिन्न विशिष्ट मान) है, एक स्मार्ट, स्वचालित प्रक्रिया का उपयोग करने से, आप एक बहुत अधिक मजबूत AI एजेंट बना सकते हैं। यह एजेंट केवल विशिष्ट उदाहरणों को याद नहीं करता है; यह यह सीखने के लिए तैयार होता है कि वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित वास्तविकता को कैसे संभाला जाए, जहाँ लोग वास्तव में कैसे बात करते हैं और वे वास्तव में क्या पूछते हैं।
उन्होंने यह दावा नहीं किया:
- उन्होंने यह दावा नहीं किया कि यह मल्टी-टर्न बातचीत (लंबी बातचीत) के लिए काम करता है; उन्होंने पूरी तरह से सिंगल-टर्न अनुरोधों पर ध्यान केंद्रित किया।
- उन्होंने यह दावा नहीं किया कि यह अंग्रेजी के अलावा अन्य भाषाओं के लिए काम करता है।
- उन्होंने यह दावा नहीं किया कि यह सभी AI समस्याओं के लिए एक "सर्वव्यापी समाधान" (cure-all) है, बल्कि विशेष रूप से एजेंटों को सही ढंग से टूल कॉल करना सिखाने के कार्य के लिए है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।