AgentSLABench: Evaluating and Benchmarking Agentic Systems Under Resource Constraints

कल्पना कीजिए एक ऐसी दुनिया की जहाँ हम डिजिटल मददगार बना रहे हैं—छोटे, अदृश्य रोबोट जो विशाल मस्तिष्क से संचालित होते हैं और जो आपकी उड़ान बुक कर सकते हैं, आपका कोड लिख सकते हैं, या बिक चुके जूतों के लिए आपको विकल्प ढूंढ कर दे सकते हैं। इन्हें "स्वायत्त एजेंट" (autonomous agents) कहा जाता है। लंबे समय तक, इन रोबोट्स का परीक्षण करने वाले वैज्ञानिक किसी होमवर्क को ग्रेड देने वाले माता-पिता की तरह रहे हैं: उन्हें केवल इस बात से मतलब होता है कि उत्तर सही है या नहीं। "क्या रोबोट ने जूता ढूंढ लिया?" हाँ? बहुत बढ़िया, इसे 'A' ग्रेड दो! लेकिन वास्तविक दुनिया में, एक आदर्श उत्तर जो दस मिनट बाद आता है या जिसे बनाने में आपकी पूरी पॉकेट मनी खर्च हो जाए, वह बेकार है। यह वैसा ही है जैसे आपने पिज्जा ऑर्डर किया और वह अगले दिन आया और साथ में लाखों रुपये का बिल भी आया; तकनीकी रूप से, आपको पिज्जा तो मिल गया, लेकिन आप उसे खा नहीं सकते।

यहीं पर "रिसोर्स प्रोफाइलिंग" (resource profiling) नामक एक नया विचार आता है। इसे एक रेस कार की जांच करने वाले मैकेनिक की तरह समझें। वे केवल यह नहीं पूछते, "क्या कार फिनिश लाइन पार कर गई?" वे यह भी देखते हैं: उसने कितना ईंधन जलाया? क्या इंजन गर्म हुआ? क्या ड्राइवर तेज गाड़ी चला रहा था? कंप्यूटर विज्ञान की दुनिया में, हमारे पास ऐसे उपकरण हैं जो यह मापते हैं कि एक प्रोग्राम कितना "ईंधन" (जैसे कंप्यूटर मेमोरी, समय और पैसा) उपयोग करता है। लेकिन अब तक, हमारे पास यह मापने का कोई तरीका नहीं था कि रोबलेट अपना काम सही ढंग से कर रहा है या नहीं, साथ ही यह भी कि वह उन चीजों का उपयोग कैसे कर रहा है। यह शोध पत्र इन डिजिटल मददगारों का परीक्षण करने का एक नया तरीका पेश करता है, जो उन्हें रेस कारों की तरह मानता है जिन्हें दौड़ पूरी करनी है और अपने ईंधन और समय की सीमाओं के भीतर रहना है ताकि उन्हें विजेता माना जा सके।

इस अध्ययन के पीछे के शोधकर्ताओं, मेहर भास्कर मदिरु और मेहर साई प्रीतम मदिरु ने, AGENTSLABENCH नामक एक नया परीक्षण स्थल बनाया है। आप इसे एक विशाल, हाई-टेक बाधा दौड़ (obstacle course) के रूप में देख सकते हैं जिसे विशेष रूप से यह देखने के लिए डिज़ाइन किया गया है कि क्या ये AI एजेंट वास्तविक दुनिया में जीवित रह सकते हैं, न कि केवल एक आदर्श, असीमित काल्पनिक दुनिया में।

आमतौर पर, जब हम AI का परीक्षण करते हैं, तो हम उन्हें असीमित समय और पैसे के साथ स्वतंत्र छोड़ देते हैं। यह एक छात्र को डिक्शनरी, कैलकुलेटर और तीन घंटे के साथ परीक्षा देने देने जैसा है, जबकि वास्तविक परीक्षा में केवल एक पेन और दस मिनट की अनुमति होती है। लेखक तर्क देते हैं कि यह वास्तविकता के लिए तैयार करने का एक बुरा तरीका है। इसलिए, उन्होंने 16 अलग-अलग चुनौतियाँ सेट कीं, जो "मुझे इस आउट-ऑफ-स्टॉक शर्ट के लिए एक विकल्प ढूंढ कर दें" से लेकर "एक सख्त बजट के साथ यात्रा की योजना बनाएं" तक फैली हुई हैं। लेकिन यहाँ एक मोड़ है: प्रत्येक चुनौती का एक सख्त नियम पुस्तिका है। एजेंट को बताया जाता है, "आपके पास 180 सेकंड हैं, आप केवल इतनी ही कंप्यूटर मेमोरी का उपयोग कर सकते हैं, और आप कुछ सेंट से अधिक खर्च नहीं कर सकते।" यदि एजेंट इससे अधिक उपयोग करने की कोशिश करता है, तो परीक्षण रुक जाता है, और इसे विफलता के रूप में चिह्नित किया जाता है।

उन्होंने दो प्रकार के रोबोटों को परीक्षण के लिए रखा। पहले, उन्होंने "सामान्य उद्देश्य" (General Purpose) एजेंटों को आजमाया—ये स्मार्ट, सर्व-समावेशी विचारक हैं जो तर्क और समझ का उपयोग करके किसी भी समस्या को हल करने की कोशिश करते हैं। फिर, उन्होंने "विशेषज्ञ" (Specialized) एजेंटों को आजमाया—वे रोबोट जो विशेष रूप से एक काम के लिए बनाए गए हैं, जैसे कि जूता विशेषज्ञ या ट्रैवल प्लानर, जिनके पास उस विशिष्ट कार्य के लिए अंतर्निहित शॉर्टकट और नियम हैं।

परिणाम चौंकाने वाले थे। सामान्य-उद्देश्य वाले रोबोट, हालांकि सरल प्रश्नों के उत्तर देने में बहुत अच्छे हैं, वास्तविक दुनिया के कार्यों का सामना करते ही पूरी तरह विफल हो गए। जब उन्हें सख्त समय और पैसे की सीमा के भीतर एक शर्ट की खरीदारी करने या यात्रा की योजना बनाने के लिए कहा गया, तो वे 100% बार विफल रहे। या तो उन्होंने बहुत अधिक समय लिया, या बहुत अधिक पैसा खर्च किया, या वे बस भ्रमित हो गए। यह ऐसा था जैसे एक बुद्धिमान दार्शनिक ने लीक होते नल को ठीक करने की कोशिश की और अंत में घर को ही जलमग्न कर दिया।

दूसरी ओर, विशेषज्ञ एजेंट शो के सितारे थे। "रिटेल एजेंट" ने 83.3% बार जूतों के विकल्प सफलतापूर्वक खोजे, "ट्रैवल एजेंट" ने 83.3% बार यात्राओं की योजना बनाई, और "वेब शॉपिंग एजेंट" ने 100% बार इसे सफलतापूर्वक पूरा किया। महत्वपूर्ण बात यह है कि उन्होंने यह सब समय और पैसे के अपने बजट के भीतर रहते हुए किया। उन्होंने केवल सही उत्तर नहीं दिया; उन्होंने इसे उसी तरह किया जैसे एक वास्तविक व्यवसाय को इसकी आवश्यकता होती है: तेज़, सस्ता और विश्वसनीय।

यह शोध पत्र एक नया स्कोर पेश करता है जिसे EASR (Efficiency-Adjusted Success Rate) कहा जाता है। इसे एक "गोल्ड स्टार" की तरह समझें जो आपको तभी मिलता है जब आप दौड़ पूरी करते हैं और आपका ईंधन भी खत्म नहीं होता। यदि कोई एजेंट सही उत्तर प्राप्त करता है लेकिन बहुत अधिक समय लेता है या बहुत अधिक खर्च करता है, तो उसका EASR स्कोर शून्य हो जाता है। इस स्कोर ने खुलासा किया कि पुराने परीक्षणों का "विजेता" (सामान्य रोबोट) वास्तव में एक वास्तविक स्टोर या कार्यालय में आपदा साबित होगा, जबकि विशेषज्ञ रोबोट काम पर जाने के लिए तैयार हैं।

लेखकों ने यह भी सुनिश्चित किया कि यह परीक्षण निष्पक्ष और दोहराने योग्य हो। उन्होंने परीक्षण के प्रश्नों को एक डिजिटल तिजोरी में बंद कर दिया ताकि कोई नियमों को दरकिनार न कर सके, और उन्होंने परिणामों को केवल भाग्य नहीं बनाने के लिए कई बार परीक्षण किया। उन्होंने पाया कि हालांकि विशेषज्ञ एजेंट अपने विशिष्ट कार्यों में महान हैं, फिर भी वे गलतियाँ करते हैं—जैसे ट्रैवल एजेंट का जटिल बजट नियमों में फंस जाना या कोड जनरेटर का कभी-कभी फर्जी निर्देश बनाना। लेकिन यह सटीक रूप से मापकर कि वे कहाँ और क्यों विफल होते हैं (जैसे समय या मेमोरी की कमी), शोधकर्ता इंजीनियरों को उन विशिष्ट समस्याओं को ठीक करने में मदद कर सकते हैं।

संक्षेप में, यह शोध पत्र सुझाव देता है कि हमें AI एजेंटों को वीडियो गेम की तरह मानना बंद करना चाहिए जहाँ अनंत जीवन और पैसा होता है। उन्हें वास्तविक दुनिया में उपयोगी बनाने के लिए, हमें उनका परीक्षण वैसे ही करना चाहिए जैसे हम कारों या हवाई जहाजों का परीक्षण करते हैं: यह जाँचते हुए कि क्या वे न केवल काम करते हैं, बल्कि क्या वे कुशल, सुरक्षित और वास्तविक दुनिया की सीमाओं के भीतर काम करते हैं। अध्ययन दिखाता है कि जबकि सामान्य "स्मार्ट" मस्तिष्क संघर्ष कर रहे हैं, विशिष्ट नियमों और शॉर्टकट के साथ बनाए गए रोबोट ही वे हैं जो वास्तव में काम पूरा करने के लिए तैयार हैं।