🤖 AI

A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks

मौजूदा एजेंट बेंचमार्क की संतृप्ति और सीमित टूल-उपयोग कवरेज को संबोधित करने के लिए, यह शोध पत्र TASTE पेश करता है, जो एक स्वचालित विधि है जो चुनौतीपूर्ण, उच्च-कवरेज $\tau^c$ -Bench उत्पन्न करने के लिए टूल अनुक्रमों को विकसित करके कार्य निर्माण प्रक्रिया को उलट देती है, जो यह प्रकट करता है कि वर्तमान अत्याधुनिक मॉडल इन अधिक जटिल और विविध कार्यों का सामना करने पर महत्वपूर्ण प्रदर्शन गिरावट का शिकार होते हैं।

मूल लेखक: Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

प्रकाशित 2026-05-28

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह परीक्षण करने की कोशिश कर रहे हैं कि एक नया रोबोट शेफ खाना बनाने में कितना कुशल है।

समस्या: "आसान मेनू" खत्म हो चुका है
अभी हमारे पास एक मानक परीक्षण मेनू (जिसे $\tau$ -Bench कहा जाता है) है जहाँ रोबोट को "सैंडविच बनाना" या "पिज्जा ऑर्डर करना" जैसे निर्देशों का पालन करना होता है। समस्या यह है कि सबसे स्मार्ट रोबोट शेफ ने पहले से ही इस मेनू को रट लिया है। वे बेहतरीन स्कोर प्राप्त करते हैं, लेकिन यह इसलिए नहीं है क्योंकि वे जीनियस हैं; बल्कि इसलिए क्योंकि परीक्षण बहुत आसान और दोहराव वाला है। यह बिल्कुल वैसा ही है जैसे कोई छात्र गणित के टेस्ट में A+ प्राप्त करता है क्योंकि शिक्षक उससे केवल एक अंक वाली संख्याओं को जोड़ने के लिए कहता है।

साथ ही, नए, कठिन परीक्षण प्रश्न बनाना एक बुरा सपना है। इसके लिए मनुष्यों को बैठने, जटिल कहानियाँ लिखने, यह तय करने कि रोबोट को सटीक रूप से क्या कदम उठाने चाहिए, और यह जाँचने की आवश्यकता होती है कि कहानी का अर्थ बनता है या नहीं। यह धीमा, महंगा है, और हमें केवल उन्हीं प्रकार की कहानियों तक सीमित कर देता है जो मनुष्य सोच पाते हैं।

समाधान: TASTE (द "रिवर्स रेसिपी" मशीन)
लेखकों ने TASTE (टास्क सिंथेसिस फ्रॉम टूल सीक्वेंस इवोल्यूशन) नामक एक नई प्रणाली बनाई है। एक कहानी से शुरू करके उसके चरणों को समझने के बजाय, TASTE इस प्रक्रिया को उल्टा कर देता है।

इसे इस तरह सोचें:

"टूल सीक्वेंस" (चरण): सबसे पहले, सिस्टम क्रियाओं की हजारों यादृच्छिक सूचियाँ बनाता है, जैसे "फ्रिज खोलें, दूध उठाएं, गिलास में डालें, फ्रिज बंद करें।"
"प्लॉसिबिलिटी फ़िल्टर" (स्वाद परीक्षण): यह इन सूचियों को देखने के लिए एक सुपर-स्मार्ट AI जज का उपयोग करता है और कहता है, "नहीं, यह असंभव है। आप फ्रिज खोलने से पहले दूध नहीं डाल सकते," या "हाँ, यह घटनाओं का एक वैध क्रम है।" यह अपनी गलतियों से सीखता है, वैध बनाम अमान्य चरणों को पहचानने में बेहतर होता जाता है।
"क्लस्टरिंग" (स्वाद के आधार पर समूहीकरण): यह वैध अनुक्रमों को एक साथ समूहित करता है। यदि एक समूह "नाश्ता बनाने" के बारे में है और दूसरा "सैंडविच बनाने" के बारे में है, तो यह सुनिश्चित करने के लिए कि परीक्षण विभिन्न परिदृश्यों को कवर करे, यह प्रत्येक समूह से सबसे प्रतिनिधि उदाहरण चुनता है।
"इवोल्यूशन" (मसाला लगाना): यही असली सीक्रेट सॉस है। एक बार जब इसके पास एक बुनियादी कार्य (जैसे, "पिज्जा ऑर्डर करें") होता है, तो यह जानबूझकर इसे कठिन बनाता है। यह ऐसा कर सकता है:
- ग्राहक (सिम्युलेटेड यूजर) को अपने ऑर्डर का विवरण भूलने के लिए प्रेरित करना।
- मेनू में "डिकॉय" (भटकाने वाले) विकल्प जोड़ना जो सही दिखते हैं लेकिन वास्तव में गलत हैं (जैसे कि एक पिज्जा जो बिक चुका है)।
- ग्राहक को असहयोगी या भ्रमित करने वाला बनाना।

परिणाम: $\tau^c$ -Bench
इस विधि का उपयोग करके, उन्होंने एक नया, बहुत कठिन परीक्षण बनाया जिसे $\tau^c$ -Bench कहा जाता है।

जब उन्होंने "चैंपियन" रोबोट शेफ (जैसे Gemini-3-Flash) का इस नए मेनू पर परीक्षण किया, तो परिणाम चौंकाने वाले थे।

पुराने, आसान मेनू पर, इन रोबोटों का स्कोर 0.90 (लगभग पूर्ण) था।
नए, TASTE-जनरेटेड मेनू पर, उनका स्कोर 0.30 या उससे कम गिर गया।

यह क्यों मायने रखता है
यह पेपर तर्क देता है कि पुराने परीक्षणों पर उच्च स्कोर एक "गलत सूचना" (false alarm) था। रोबोट वास्तव में जटिल, वास्तविक दुनिया की समस्याओं को हल करने में उतने अच्छे नहीं थे; वे बस पुराने टेस्ट प्रश्नों को रट चुके थे।

नई विधि सिद्ध करती है कि:

कवरेज: नए परीक्षण रोबोटों को उपकरणों और संयोजनों की एक बहुत विस्तृत श्रृंखला का उपयोग करने के लिए मजबूर करते हैं, न कि केवल उन्हीं कुछ पुराने तरीकों का।
कठिनाई: परीक्षण वास्तव में कठिन हैं क्योंकि उनमें भ्रम, अधूरी जानकारी और पेचीदा परिदृश्य शामिल हैं।
स्वचालन (ऑटोमेशन): हमें अब इन कठिन परीक्षणों को लिखने के लिए मनुष्यों की आवश्यकता नहीं है। सिस्टम चुनौतीपूर्ण, वैध और विविध कार्यों की एक अंतहीन आपूर्ति उत्पन्न कर सकता है ताकि जैसे-जैसे रोबोट स्मार्ट होते जाएं, उनका परीक्षण किया जा सके।

संक्षेप में, TASTE एक ऐसी मशीन है जो स्वचालित रूप से AI एजेंटों के लिए "बॉस बैटल्स" (कठिन मुकाबले) का आविष्कार करती है, जिससे हम यह सुनिश्चित कर सकें कि हम एक ऐसे रोबोट के बीच अंतर कर सकें जिसने स्क्रिप्ट रट ली है और एक ऐसे रोबोट के बीच जो वास्तव में सोच सकता है।

तकनीकी सारांश: TASTE का मामला: एजेंट बेंचमार्क के कवरेज और कठिनाई में सुधार

समस्या विवरण

जैसे-जैसे टूल-उपयोग करने वाले एजेंटों की क्षमताएं उन्नत हो रही हैं, मौजूदा बेंचमार्क (जैसे $\tau^2$ -Bench) तेजी से संतृप्त (saturated) होते जा रहे हैं, जहाँ अग्रणी मॉडल लगभग उच्चतम प्रदर्शन प्राप्त कर लेते हैं। हालाँकि, नए, अधिक चुनौतीपूर्ण बेंचमार्क कार्यों का निर्माण करना एक जटिल, महंगी और श्रम-साध्य प्रक्रिया है जो मैनुअल लेखन पर निर्भर करती है। इसके अलावा, मानक निर्माण दृष्टिकोण—जहाँ लेखक पहले प्राकृतिक भाषा के परिदृश्य (scenarios) लिखते हैं और फिर टूल अनुक्रमों (tool sequences) को व्युत्पन्न करते हैं—विशिष्ट रूप से वैध टूल संयोजनों के स्थान (space) का अन्वेषण करने में विफल रहता है। फलस्वरूप, वर्तमान बेंचमार्क अक्सर टूल-उपयोग पैटर्न के केवल एक संकीर्ण उपसमुच्चय (subset) को कैप्चर करते हैं, जिससे "संतृप्ति" (saturation) होती है जहाँ उच्च स्कोर विविध चुनौतियों की कमी को दर्शाते हैं न कि मजबूत कार्य-समाधान क्षमताओं को। स्वचालित बेंचमार्क जनरेशन विधियों की तत्काल आवश्यकता है जो यह सुनिश्चित कर सकें कि वे वैधता (कार्य हल करने योग्य और सत्यापन योग्य हैं), कठिनाई (कार्य एजेंट की क्षमताओं के बीच सार्थक अंतर पैदा करते हैं), और कवरेज (कार्य संरचनात्मक रूप से विविध टूल-उपयोग पैटर्न को कवर करते हैं) को पूरा करें।

कार्यप्रणाली: TASTE

लेखक TASTE (Task Synthesis from Tool Sequence Evolution) का प्रस्ताव करते हैं, जो पारंपरिक निर्माण प्रक्रिया को उलटकर चुनौतीपूर्ण एजेंट बेंचमार्क कार्य उत्पन्न करने की एक स्वचालित विधि है। परिदृश्यों से शुरू करने के बजाय, TASTE टूल अनुक्रमों से शुरू होता है और उनके इर्द-गिर्द पूर्ण कार्य संश्लेषित करता है। यह विधि तीन चरणों में कार्य करती है:

चरण 1: टूल अनुक्रम नमूनाकरण (Tool Sequence Sampling)

कवरेज और वैधता को संबोधित करने के लिए, TASTE टूल अनुक्रमों के स्थान पर प्रशिक्षित एक अनुकूली विरोधाभासी n-ग्राम मॉडल (Adaptive Contrastive n-gram model) का उपयोग करता है।

मॉडल आर्किटेक्चर: मॉडल "तर्कसंगत रूप से वैध" और "अतर्कसंगत रूप से वैध" अनुक्रमों में देखे गए n-ग्राम के लिए अलग-अलग काउंट टेबल ( $C^+$ और $C^-$ ) बनाए रखता है।
प्रशिक्षण: यह एक पुनरावृत्त जनरेट-एंड-वैलिडेट लूप का उपयोग करता है। अनुक्रमों को ऑटोरिग्रेसिव रूप से सैंपल किया जाता है और तर्कसंगतता के लिए एक लार्ज लैंग्वेज मॉडल (LLM) द्वारा जांचा जाता है। वैध अनुक्रम $C^+$ को अपडेट करते हैं, जबकि अमान्य अनुक्रम $C^-$ को अपडेट करते हैं।
विरोधाभासी नमूनाकरण (Contrastive Sampling): अगले टूल के लिए सैंपलिंग प्रोबेबिलिटी धनात्मक और ऋणात्मक स्कोर के अनुपात से प्राप्त की जाती है, जो उन n-ग्राम को दंडित करती है जो अमान्य अनुक्रमों से जुड़े होते हैं। यह मॉडल को वैध अनुक्रमों पर संभाव्यता द्रव्यमान (probability mass) केंद्रित करते हुए टूल-संयोजन स्थान का अन्वेषण करने की अनुमति देता है।

चरण 2: क्लस्टरिंग और चयन (Clustering and Selection)

यह सुनिश्चित करने के लिए कि बेंचमार्क बिना किसी अतिरेक (redundancy) के विविध पैटर्न का प्रतिनिधित्व करे, TASTE सैंपल किए गए पूल से प्रतिनिधि अनुक्रमों का एक उपसमुच्चय चुनता है।

क्लस्टरिंग: लेखक हजारों उम्मीदवार अनुक्रमों के पूल को $K$ क्लस्टर्स में विभाजित करने के लिए K-medoids क्लस्टरिंग का उपयोग करते हैं (जहाँ $K$ लक्षित बेंचमार्क आकार है)।
दूरी मीट्रिक (Distance Metric): मानक एडिट डिस्टेंस के बजाय एक वेटेड लेवेनश्टीन डिस्टेंस (weighted Levenshtein distance) का उपयोग किया जाता है। समान कार्यों या प्रकारों वाले टूल (जैसे, दो सर्च टूल्स) के लिए प्रतिस्थापन लागत कम है और भिन्न प्रकारों (जैसे, read बनाम write) के लिए अधिक है। यह सुनिश्चित करता है कि क्लस्टर अर्थपूर्ण रूप से सुसंगत हों।
चयन: प्रत्येक क्लस्टर के मेडॉइड (केंद्रीय अनुक्रम) को एक प्रतिनिधि के रूप में चुना जाता है। अमान्य मेडॉइड को क्लस्टर के अगले निकटतम वैध सदस्य द्वारा बदल दिया जाता है।

चरण 3: कार्य जनरेशन और विकास (Task Generation and Evolution)

प्रत्येक चयनित टूल अनुक्रम को एक पूर्ण बेंचमार्क कार्य में स्थापित किया जाता है और फिर कठिनाई बढ़ाने के लिए विकसित किया जाता है।

आधार कार्य जनरेशन (Base Task Generation): एक LLM एक सुसंगत वास्तविक दुनिया का परिदृश्य (यूजर निर्देश $u$ ) बनाता है और विशिष्ट टूल अनुक्रम का समर्थन करने के लिए डेटाबेस अवस्था ( $s_0$ ) को इनिशियलाइज़ करता है।
वैधता सत्यापन (Validity Verification): कार्यों को नियम-आधारित जाँच और एक हिंट-असिस्टेड वेरीफायर एजेंट सिमुलेशन से गुजरना पड़ता है। वेरीफायर गोल्ड टूल अनुक्रम के शफल किए गए और आंशिक रूप से मास्क किए गए संस्करण का उपयोग करके कार्य को हल करने का प्रयास करता है। सफलता पुष्टि करती है कि कार्य हल करने योग्य है।
कठिनाई विकास (Difficulty Evolution): वास्तविक, प्रतिकूल स्थितियों का अनुकरण करने के लिए, आधार कार्य को तीन चरणों के माध्यम से विकसित किया जाता है:
1. रणनीति विश्लेषण (Strategy Analysis): भ्रम के अवसरों (जैसे, नीति उल्लंघन, अस्पष्ट अनुरोध) की पहचान करना।
2. पर्यावरण विक्षोभ (Environment Perturbation): "डेकॉय" (decoy) डेटाबेस रिकॉर्ड जोड़ना (जैसे, वांछित मार्ग पर पूरी तरह से बुक की गई उड़ान) जो लक्ष्य के समान दिखते हैं लेकिन अमान्य हैं।
3. परिदृश्य पुनर्लेखन (Scenario Rewriting): यूजर निर्देश को कम सहकारी, अस्पष्ट या प्रतिकूल बनाने के लिए पुनर्लेखित करना, जो एजेंट को नीति का पालन करते हुए भ्रम के बीच नेविगेट करने के लिए मजबूर करता है।

मुख्य योगदान

बेंचमार्क के लिए वांछनीय गुण (Desiderata): यह पेपर टूल-उपयोग करने वाले एजेंट बेंचमार्क के लिए तीन महत्वपूर्ण गुणों को स्पष्ट करता है और संचालित करता है: वैधता, कठिनाई और कवरेज। महत्वपूर्ण रूप से, यह कवरेज को सतही भाषाई भिन्नता के बजाय गोल्ड टूल अनुक्रमों की विविधता के संदर्भ में परिभाषित करता है।
TASTE फ्रेमवर्क: TASTE का प्रस्ताव, जो एक पूर्णतः स्वचालित पाइपलाइन है जो मैनुअल क्यूरेशन के बिना तीन वांछनीय गुणों को संतुष्ट करने वाले कार्य उत्पन्न करने के लिए सीधे टूल-अनुक्रम स्थान का अन्वेषण करती है।
$\tau^c$ -Bench: तीन डोमेन (एयरलाइन, रिटेल, टेलीकॉम) में $\tau^2$ -Bench का एक चुनौतीपूर्ण विस्तार, $\tau^c$ -Bench का निर्माण। इस डेटासेट में अपने पूर्ववर्ती की तुलना में काफी अधिक कठिनाई और व्यापक कवरेज है।

परिणाम

लेखकों ने $\tau^c$ -Bench पर 11 एजेंट/यूजर LLM पेयर्स का मूल्यांकन किया और उनकी तुलना मूल $\tau^2$ -Bench (Verified version, $\tau_{BV}$ ) पर प्रदर्शन से की।

प्रदर्शन में गिरावट: जो मॉडल $\tau_{BV}$ में लगभग संतृप्त हो गए थे, वे $\tau^c$ -Bench पर गंभीर प्रदर्शन गिरावट का शिकार हुए। उदाहरण के लिए, Gemini-3-Flash का स्कोर $\tau_{BV}$ पर 0.82–0.94 से गिरकर $\tau^c$ -Bench पर 0.28–0.61 (80% तक की सापेक्ष गिरावट) हो गया।
बढ़ी हुई कठिनाई: विकसित किए गए कार्य काफी कठिन थे, जिसमें उपयोग किए गए इवोल्यूशन मॉडल के आधार पर सफलता दर में 16-55% की कमी आई।
विस्तारित कवरेज: $\tau^c$ $τ^{c}$ -Bench ने उन अद्वितीय टूल संयोजनों की संख्या को दोगुने से अधिक कर दिया जिन्हें एजेंटों को निष्पादित करना होगा।
- वेटेड एडिट डिस्टेंस (WED): 124% तक बढ़ा।
- टाइप-टोकन रेश्यो (TTR): 111% तक बढ़ा, जो n-gram टूल अनुक्रमों की बहुत अधिक विविधता को दर्शाता है।
- एन्ट्रॉपी (Entropy): टूल-फ्रीक्वेंसी डिस्ट्रीब्यूशन एन्ट्रॉपी में 35% की वृद्धि हुई, जो टूल के कम झुके हुए (skewed), अधिक विविध उपयोग को दर्शाती है।

महत्व और दावे

पेपर दावा करता है कि मौजूदा बेंचमार्क पर उच्च स्कोर अक्सर मजबूत कार्य-समाधान क्षमता के बजाय संतृप्ति (saturation) को दर्शाते हैं। यह प्रदर्शित करके कि अत्याधुनिक मॉडल TASTE-जनरेटेड कार्यों के साथ संघर्ष करते हैं, लेखक तर्क देते हैं कि वर्तमान बेंचमार्क टूल-उपयोग पैटर्न की पूर्ण जटिलता को कैप्चर करने में विफल रहते हैं।

TASTE का महत्व इसकी कठिन, उच्च-कवरेज बेंचमार्क को स्वचालित रूप से उत्पन्न करने की क्षमता में निहित है, जो भविष्य के एजेंटों के निरंतर और स्केलेबल मूल्यांकन को सक्षम बनाता है। टूल अनुक्रमों को प्राथमिकता देने के लिए निर्माण प्रक्रिया को उलटकर, TASTE यह सुनिश्चित करता है कि बेंचमार्क मनमाने लेखक विकल्पों पर निर्भर रहने के बजाय एजेंट व्यवहारों की संरचनात्मक विविधता का अन्वेषण करें। लेखक इस कार्य को एजेंट क्षमताओं के बढ़ने के साथ मूल्यांकन ठहराव (evaluation stagnation) को रोकने के लिए एक आवश्यक कदम के रूप में प्रस्तुत करते हैं।