From Text to Voice: A Reproducible and Verifiable Framework for Evaluating Tool Calling LLM Agents
यह शोध पत्र एक पुनरुत्पादक (reproducible), डेटासेट-अज्ञेय (dataset-agnostic) ढांचे को प्रस्तुत करता है जो बिना पुन: एनोटेशन के टेक्स्ट-आधारित टूल-कॉलिंग बेंचमार्क को ऑडियो मूल्यांकन में परिवर्तित करता है, जो टेक्स्ट और वॉयस के बीच महत्वपूर्ण मॉडल-निर्भर प्रदर्शन अंतराल को प्रकट करता है और प्रभावी, गोपनीयता-संरक्षण जज के रूप में ओपन-सोर्स LLMs को प्रमाणित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक स्मार्ट असिस्टेंट बना रहे हैं जो आपसे बात कर सकता है और आपके काम भी कर सकता है, जैसे आपका कैलेंडर चेक करना या फ्लाइट बुक करना। आपके पास इसे बनाने के दो मुख्य तरीके हैं:
- "अनुवादक" दृष्टिकोण (कैस्केड): असिस्टेंट आपकी आवाज़ सुनता है, एक इंसान जैसे अनुवादक को काम पर रखता है जो आपके द्वारा कही गई बातों को ठीक से लिख देता है, और फिर एक बहुत ही बुद्धिमान टेक्स्ट-रीडर उस नोट को पढ़ता है ताकि यह तय किया जा सके कि क्या करना है।
- "सुपर-लिसनर" दृष्टिकोण (ओमनी-मोडल): असिस्टेंट सीधे आपकी आवाज़ सुनता है और बिना पहले लिखे, सीधे समझ जाता है कि क्या करना है।
बड़ा सवाल यह है: क्या "सुपर-लिसनर" वास्तव में बेहतर काम करता है, या "अनुवादक" दृष्टिकोण अभी भी जीतता है?
यह पेपर इस सवाल का जवाब देने के लिए एक चतुर, पुनरुत्पादक (reproducible) "टेस्ट ट्रैक" पेश करता है, ताकि बिना शून्य से नए वॉयस रिकॉर्डिंग सेट बनाए इसका उत्तर दिया जा सके।
समस्या: "टेक्स्ट-ओनली" जाल
इन स्मार्ट असिस्टेंट्स के अधिकांश परीक्षण टेक्स्ट (पाठ) का उपयोग करके किए जाते हैं। आप एक कमांड टाइप करते हैं, और कंप्यूटर जवाब देता है।
- मौजूदा परीक्षण एक बिल्कुल चिकनी, खाली रेसट्रैक (टेक्स्ट) पर कार चलाने की तरह हैं।
- वास्तविक जीवन, ऊबड़-खाबड़, बारिश वाली सड़क पर ट्रैफिक के बीच कार चलाने जैसा है (वॉयस)।
शोधकर्ता जानना चाहते थे कि: यदि हम इन परफेक्ट टेक्स्ट टेस्ट को वॉयस टेस्ट में बदल दें, तो प्रदर्शन में कितनी गिरावट आती है?
समाधान: "वॉयस-ट्रांसलेटर" फ्रेमवर्क
मौजूदा टेक्स्ट टेस्ट को स्वचालित रूप से वॉयस टेस्ट में बदलने के लिए शोधकर्ताओं ने एक रेसिपी बनाई, बजाय इसके कि हजारों असली लोगों की आवाज़ रिकॉर्ड की जाए (जो महंगा और अव्यवस्थित है)।
इसे ऐसे समझें:
- उन्होंने लिखित निर्देशों (टेक्स्ट बेंचमार्क) की एक सूची ली।
- उन्होंने उन्हें हाई-टेक "टेक्स्ट-टू-स्पीच" मशीनों (जैसे एक बहुत उन्नत रोबोटिक आवाज़) में डाला ताकि ऑडियो फाइलें बनाई जा सकें।
- उन्होंने वास्तविकता लाने के लिए बैकग्राउंड शोर (जैसे एक व्यस्त कॉफी शॉप या कार का इंजन) जोड़ा।
- महत्वपूर्ण बात: उन्होंने "उत्तर कुंजी" (गोल्ड लेबल्स) को बिल्कुल वैसा ही रखा।
यह उन्हें एक ही प्रश्न को दो बार टेस्ट करने की अनुमति देता है: एक बार टेक्स्ट के रूप में, और एक बार वॉयस के रूप में। इससे वे सटीक रूप से माप सकते हैं कि वॉयस जोड़ने से सिस्टम में कितना "शोर" (noise) आता है।
दौड़: कौन जीता?
उन्होंने सात अलग-अलग "सुपर-लिसनर" मॉडल्स (OpenAI, Google और Alibaba जैसी कंपनियों के) का दो अलग-अलग प्रकार के कार्यों पर परीक्षण किया:
- कॉन्फेटी (Confetti): एक कार्य जहाँ असिस्टेंट को सही टूल चुनना होता है और विवरण सही ढंग से भरना होता है (जैसे, "मंगलवार को लंदन के लिए एक फ्लाइट बुक करें")।
- वेन2कॉल (When2Call): एक कार्य जहाँ असिस्टेंट को यह तय करना होता है कि क्या उसे टूल का उपयोग करने की आवश्यकता है, या क्या उसे केवल चैट करनी चाहिए।
परिणाम:
- कोई एक-आकार-सबके-लिए-फिट नहीं: कोई भी एक मॉडल सबसे अच्छा नहीं था।
- "कॉन्फेटी" कार्य पर, Gemini-3.1-Flash-Live चैंपियन था।
- "वेन2कॉल" कार्य पर, GPT-Realtime-1.5 ने ताज पहना।
- "वॉयस टैक्स" (Voice Tax): टेक्स्ट से वॉयस पर स्विच करते समय हर मॉडल का प्रदर्शन थोड़ा गिर गया।
- कुछ मॉडल्स (जैसे Qwen3) की सटीकता में बहुत मामूली कमी आई (जैसे एक धावक जो बारिश में थोड़ा धीमा हो जाता है)।
- अन्य मॉडल्स (जैसे GPT-Realtime-1.5) की सटीकता में काफी कमी आई (जैसे एक धावक जो कीचड़ में फिसल जाता है)।
- "अनुवादक" बनाम "सुपर-लिसनर" मुकाबला:
- कुछ मॉडल्स के लिए, "अनुवादक" दृष्टिकोण (आवाज़ -> टेक्स्ट -> एक्शन) वास्तव में "सुपर-लिसनर" की तुलना में थोड़ा बेहतर या बराबर था।
- अन्य के लिए, "सुपर-लिसनर" बेहतर था।
- निष्कर्ष: आप यह मानकर नहीं चल सकते कि एक आर्किटेक्चर हमेशा बेहतर होता है। यह पूरी तरह से इस बात पर निर्भर करता है कि आप कौन सा मॉडल उपयोग कर रहे हैं और कौन सा कार्य कर रहे हैं।
वे कहाँ विफल होते हैं?
शोधकर्ताओं ने गलतियों का अध्ययन किया और एक दिलचस्प पैटर्न पाया:
- "गलत विवरण सुनने" की समस्या: ज्यादातर समय, मॉडल्स ने बड़ी तस्वीर सही पकड़ी (उन्हें पता था कि फ्लाइट बुक करनी है), लेकिन वे विवरणों में चूक गए (उन्होंने गलत दिन या गलत शहर के लिए बुक कर दिया)।
- यह एक वेटर की तरह है जो समझ जाता है कि आपको "डिनर" चाहिए, लेकिन ऑर्डर गलत सुनने के कारण वह "ब्रेकफास्ट" ले आता है।
"जज" की समस्या
वास्तविक दुनिया में, कंपनियों के पास अक्सर यह जांचने के लिए "उत्तर कुंजी" नहीं होती कि AI ने सही काम किया या नहीं। इसलिए, पेपर ने प्रदर्शन को ग्रेड करने के लिए अन्य AI मॉडल्स को "जज" के रूप में उपयोग करने का परीक्षण किया।
- उन्होंने पाया कि पर्याप्त बुद्धिमत्ता (कम से कम 8 बिलियन पैरामीटर्स) वाले ओपन-सोर्स जज (मुफ्त, गोपनीयता-अनुकूल मॉडल्स) महंगे, प्रोप्रायटरी जजों की तरह ही काम को ग्रेड कर सकते हैं। यह उन कंपनियों के लिए अच्छी खबर है जो गोपनीयता को लेकर चिंतित हैं।
मुख्य निष्कर्ष (Takeaway)
यदि आप एक वॉयस असिस्टेंट बना रहे हैं, तो केवल अनुमान न लगाएं कि "सुपर-लिसनर" या "अनुवादक" का उपयोग करना बेहतर है।
- अपने स्वयं के डेटा पर परीक्षण करें: अपने टेक्स्ट लॉग को वॉयस टेस्ट में बदलने के लिए इस फ्रेमवर्क का उपयोग करें।
- "वॉयस टैक्स" की जाँच करें: देखें कि वॉयस जोड़ने पर आपके विशिष्ट मॉडल के प्रदर्शन में कितनी गिरावट आती है।
- अस्पष्टता (Ambiguity) पर नज़र रखें: यदि आपके उपयोगकर्ता अस्पष्ट प्रश्न पूछते हैं, तो सिस्टम और भी अधिक विफल होगा, चाहे वह टेक्स्ट हो या वॉयस।
संक्षेप में: यह पेपर कंपनियों को एक "स्ट्रेस टेस्ट" देता है कि क्या उनके वॉयस असिस्टेंट वास्तविक दुनिया के लिए तैयार हैं, और यह साबित करता है कि सबसे अच्छा विकल्प किसी सामान्य नियम के बजाय विशिष्ट मॉडल और विशिष्ट कार्य पर निर्भर करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।