Benchmarking LLM Tool-Use in the Wild
यह शोध पत्र WildToolBench प्रस्तुत करता है, जो वास्तविक दुनिया के उपयोगकर्ता व्यवहारों पर आधारित एक नया बेंचमार्क है ताकि जटिल, अव्यवस्थित और लचीले मल्टी-टर्न टूल-उपयोग परिदृश्यों को संभालने में वर्तमान लार्ज लैंग्वेज मॉडल्स की महत्वपूर्ण सीमाओं को उजागर किया जा सके, जिससे यह पता चलता है कि ऑर्केस्ट्रेशन, प्रासंगिक अनुमान और गतिशील निर्देश संक्रमणों की चुनौतियों के कारण कोई भी मूल्यांकित मॉडल 15% सटीकता से अधिक नहीं है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र "Benchmarking LLM Tool-Use in the Wild" की व्याख्या दी गई है।
बड़ी तस्वीर: "परफेक्ट स्टूडेंट" बनाम "असली दुनिया"
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (AI) है जिसने लाइब्रेरी की हर किताब पढ़ ली है। आप उसे एक ऐसी परीक्षा देते हैं जहाँ प्रश्न पूरी तरह से लिखे गए हैं, निर्देश स्पष्ट हैं, और चरण 1, 2 और 3 के रूप में क्रमबद्ध हैं। छात्र को A+ मिलता है।
अब, कल्पना कीजिए कि आप उसी छात्र को एक व्यस्त, शोर-शराबे वाले कॉफी शॉप में ले जाते हैं। एक ग्राहक आता है, भीगे हुए छाते को पकड़े हुए कुछ बुदबुदाता है, खुद ही अपनी बात बीच में काट देता है, मौसम के बारे में पूछने के लिए खुद को रोकता है, बीच में ही अपना विचार बदल देता है, और फिर तीन मिनट पहले जिक्र किए गए एक फिल्म के आधार पर सुझाव मांगता है। छात्र जम जाता है। वह भ्रमित हो जाता है, गलत वेटर को बुला लेता है, या बस खाली आँखों से देखता रह जाता है।
यह शोध पत्र उसी कॉफी शॉप के बारे में है।
शोधकर्ता तर्क देते हैं कि वर्तमान AI परीक्षण "परफेक्ट टेक्स्टबुक एग्जाम" की तरह हैं। वे यह नहीं दर्शाते कि वास्तविक मनुष्य वास्तव में AI से कैसे बात करते हैं। इसे ठीक करने के लिए, उन्होंने WildToolBench नामक एक नया परीक्षण बनाया जो मानव बातचीत की अव्यवस्थित और अप्रत्याशित वास्तविकता का अनुकरण करता है।
तीन "वाइल्ड" (Wild) चुनौतियाँ
शोध पत्र तीन विशिष्ट तरीकों की पहचान करता है जिनसे वास्तविक मनुष्य गड़बड़ी करते हैं (या कहें कि चीज़ों को जटिल बना देते हैं) जिनसे वर्तमान AI संघर्ष करता है:
1. "पिज्जा ऑर्डर करने" की चुनौती (कंपोजिशनल टास्क)
परिदृश्य: आप सिर्फ यह नहीं कहते, "एक पिज्जा ऑर्डर करो।" आप कहते हैं, "मुझे एक पिज्जा चाहिए, लेकिन इसे ग्लूटेन-फ्री रखें, चेक करें कि टॉपिंग्स ताज़ा हैं या नहीं, और अगर डिलीवरी में बहुत देरी हो रही है, तो पिकअप पर स्विच कर दें। ओह, और मुझे एक सोडा भी चाहिए।"
AI की समस्या: वर्तमान AI एक सीधी रेखा (A → B → C) का पालन करने में अच्छा है। वास्तविक जीवन एक पेड़ (tree) की तरह है। आपको कुछ चीजें एक साथ (parallel) करनी होती हैं और कुछ एक के बाद एक (sequential) करनी होती हैं।
उपमा: AI को एक शेफ के रूप में सोचें। टेस्ट में, शेफ को बताया जाता है, "प्याज काटें, फिर उन्हें तलें।" वाइल्ड में, ग्राहक कहता है, "प्याज काटें, लेकिन साथ ही यह भी चेक करें कि ओवन प्रीहीट हुआ है या नहीं, और अगर लहसुन खराब है, तो नया ले आएं, लेकिन जब तक प्याज तैयार न हो जाएं तब तक तलना शुरू न करें।" AI इन ओवरलैपिंग निर्देशों को संभालने की कोशिश में अक्सर लड़खड़ा जाता है।
2. "लाइनों के बीच पढ़ना" की चुनौती (हिडन इंटेंट)
परिदृश्य: आप कहते हैं, "बारिश हो रही है।" फिर आप कहते हैं, "उस दूसरे वाले के बारे में क्या?"
AI की समस्या: AI को नहीं पता कि "वह दूसरा वाला" क्या है। क्या आपका मतलब दूसरे शहर से था? दूसरे छाते से? या दूसरे दिन से? वास्तविक जीवन में, मनुष्य खाली जगहों को भरने के लिए पिछली वाक्यों के संदर्भ (context) पर भरोसा करते हैं।
उपमा: "टेलीफोन" (Telephone) गेम खेलने की कल्पना करें जहाँ AI आखिरी व्यक्ति है। यदि पहला व्यक्ति फुसफुसाता है, "नीली कार," और दूसरा कहता है, "क्या यह तेज़ है?", तो AI को जानना होगा कि आप किस नीली कार की बात कर रहे हैं। यदि AI संदर्भ भूल जाता है, तो वह पूछता है, "कौन सी कार?" और बातचीत का प्रवाह टूट जाता है। शोध पत्र दिखाता है कि AI तीन टर्न पहले की "नीली कार" को याद रखने में बहुत बुरा है।
3. "गिरगिट" (Chameleon) की चुनौती (इंस्ट्रक्शन ट्रांजिशन)
परिदृश्य: आप मौसम के बारे में पूछने से शुरू करते हैं। फिर आप एक चुटकुले के लिए पूछते हैं। फिर एक फ्लाइट बुकिंग के लिए। फिर आप कहते हैं, "दरअसल, रहने दो, बस एक कहानी सुनाओ।"
AI की समस्या: AI को लगातार "टोपी" (hats) बदलनी पड़ती है। एक सेकंड वह मौसम रिपोर्टर है, अगले ही पल कॉमेडियन, फिर ट्रैवल एजेंट, और फिर कहानीकार।
उपमा: एक ऐसे वेटर की कल्पना करें जो ऑर्डर लेने में बहुत अच्छा है लेकिन भ्रमित हो जाता है जब आप अचानक मेनू मांगते हैं, फिर बिल मांगते हैं, फिर शेफ के कुत्ते के बारे में पूछते हैं, और फिर आरक्षण (reservation) मांगते हैं। AI अक्सर एक ही मोड में "अटक" जाता है। यदि वह केवल टूल्स का उपयोग कर रहा था (जैसे मौसम की जाँच करना), तो वह तब भी टूल्स का उपयोग करने की कोशिश करता रहता है जब आप केवल चैट करना चाहते हैं।
परिणाम: "15% रियलिटी चेक"
शोधकर्ताओं ने 57 अलग-अलग AI मॉडल्स (गूगल, ओपनएआई और अन्य के सबसे स्मार्ट मॉडल्स सहित) का इस नए "वाइल्ड" टेस्ट पर परीक्षण किया।
चौंकाने वाला परिणाम:
सबसे अच्छे AI मॉडल्स भी पूरी बातचीत को शुरू से अंत तक सही ढंग से करने में 15% से कम स्कोर कर पाए।
- "टेक्स्टबुक" परीक्षणों में: AI का स्कोर 80-90% है।
- "वाइल्ड" परीक्षणों में: AI का स्कोर 15% है।
इसका क्या अर्थ है?
इसका मतलब है कि जबकि AI सख्त निर्देशों का पालन करने में बहुत अच्छा हो रहा है, वह अभी भी लोगों को समझने में बहुत बुरा है। यह एक ऐसे रोबोट की तरह है जो गणित का समीकरण तो पूरी तरह से हल कर सकता है, लेकिन जब आप उससे पूछते हैं, "हे, क्या आपको लगता है कि बाहर जाना एक अच्छा विचार है?", तो वह खो जाता है।
यह क्यों महत्वपूर्ण है
लेखक कहते हैं कि हमें केवल ऐसा AI बनाने से बचना चाहिए जो केवल "टूल्स निष्पादित (execute)" करता है, बल्कि हमें ऐसा AI बनाना चाहिए जो "इंसानों को समझता" है।
- वर्तमान AI: "आपने 'मौसम' कहा। मैं मौसम API को कॉल करूँगा।"
- भविष्य का AI: "आपने 'मौसम' कहा, लेकिन आपकी आवाज़ बारिश को लेकर उदास लग रही थी। शायद आप घर के अंदर की गतिविधियों के बारे में जानना चाहते हैं? या क्या मुझे सिर्फ पूर्वानुमान बताना चाहिए?"
मुख्य निष्कर्ष (Takeaway)
शोध पत्र निष्कर्ष निकालता है कि हम केवल AI को अधिक डेटा या बड़ा दिमाग देकर स्मार्ट नहीं बना सकते। हमें इसे अव्यवस्थित, मानवीय बातचीत को संभालना सिखाना होगा। जब तक AI "वाइल्ड" (कॉफी शॉप, ऑफिस, फैमिली डिनर) में नेविगेट नहीं कर सकता, तब तक वह एक वास्तव में सहायक असिस्टेंट नहीं बन पाएगा, चाहे उसके पास कितने भी टूल्स क्यों न हों।
संक्षेप में: AI रेसिपी का पालन करने में जीनियस है, लेकिन जब ग्राहक अपना ऑर्डर बदलता रहता है, सामग्री भूल जाता है और अपनी दिनचचर्या के बारे में बातें करता है, तो खाना बनाने में वह अभी भी एक आपदा (disaster) है। WildToolBench वह नया टेस्ट है यह देखने के लिए कि क्या AI आखिरकार वास्तविक दुनिया में खाना बनाना सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।