तकनीकी सारांश: एजेंट मूल्यांकन कब समाप्त होता है?

समस्या विवरण (Problem Statement)

वर्तमान एजेंट मूल्यांकन ढांचे आमतौर पर मॉडलों को उस स्थिति के आधार पर स्कोर करते हैं जो रन (run) रुकने के समय दृश्यमान होती है (जिसे "एंडपॉइंट" कहा जाता है)। यह दृष्टिकोण यह मान लेता है कि एंडपॉइंट एक साथ दो महत्वपूर्ण स्थितियों को स्थापित करता है: परिणाम की अंतिमता (Outcome Finality) (परिणाम तय हो चुका है और बदल नहीं सकता) और क्रॉस-यूनिट पृथक्करण (Cross-Unit Separation) (वर्तमान रन पिछले या भविष्य के रनों से स्वतंत्र है)।

यह शोध पत्र तर्क देता है कि ये दो स्थितियाँ स्वतंत्र हैं और अक्सर एंडपॉइंट पर पूरी नहीं होती हैं।

1. परिणाम की अंतिमता (Outcome Finality): एक रन तब रुक सकता है जब एसिंक्रोनस ऑपरेशन्स (जैसे कि विलंबित राइट्स या बैकग्राउंड प्रोसेस) अभी भी लंबित हों। एंडपॉइंट पर ही स्कोरिंग करने से गलत लेबल मिल सकते हैं (उदाहरण के लिए, किसी कार्य को विफल के रूप में चिह्नित करना जबकि एक विलंबित राइट सफल हो सकता था, या इसके विपरीत)।
2. क्रॉस-यूनिट पृथक्करण (Cross-Unit Separation): यदि वातावरण रन के बीच स्टेट (state) बनाए रखता है (जैसे साझा डेटाबेस, स्थायी खाते, या बिना साफ किए गए आर्टिफैक्ट्स), तो एक पिछला रन बाद के रन की शुरुआती स्थितियों या परिणाम को बदल सकता है। यह इस धारणा का उल्लंघन करता है कि परीक्षण स्वतंत्र और समान रूप से वितरित (i.i.d.) हैं, जिससे संचित मेट्रिक्स (जैसे $pass@k$) अमान्य हो जाते हैं।

मौजूदा ऑडिट बेंचमार्क दोषों या रीसेट तंत्र की जांच तो करते हैं, लेकिन वे इस बात में अंतर करने में विफल रहते हैं कि स्कोर किया गया परिणाम केवल "अधूरा" है या जहाँ रनों के बीच के संबंध का हिसाब नहीं रखा गया है।

कार्यप्रणाली (Methodology)

लेखक इन मुद्दों की जांच करने के लिए तीन-आयामी दृष्टिकोण अपनाते हैं:

1. सैद्धांतिक ढांचा (पूर्णता का तर्क - The Completion Argument):
   लेखक एक तार्किक ढांचे को विकसित करते हैं जो एंडपॉइंट (जब इंटरैक्शन रुकता है) और पूर्णता (जब परिणाम तय हो जाता है और सीमाएं सुरक्षित होती हैं) के बीच अंतर करता है। यह एक अंतिम लेबल को न्यायसंगत ठहराने बनाम रनों को अलग परीक्षणों के रूप में मानने के लिए आवश्यक साक्ष्य को परिभाषित करता है।

2. नियंत्रित रिप्ले प्रयोग (Controlled Replay Experiment):
   AgentDojo 0.1.35 का उपयोग करके, लेखक ने बाउंड्री विकल्पों को अलग करने के लिए एक प्रणाली बनाई।

   • सेटअप: एक स्टैंडअलोन रनर ने निश्चित टूल कॉल्स और ऑपरेशन शेड्यूल्स को फिर से चलाया। एक स्थानीय HTTP सेवा ने एसिंक्रोनस देरी (0, 25, 100, 250 ms) और स्टेट पर्सिस्टेंस का अनुकरण किया।
   • चर (Variables): अध्ययन में स्कोरिंग टाइमिंग (स्नैपशॉट एट एंडपॉइंट बनाम टर्मिनल स्टेट के लिए प्रतीक्षा करना) और स्टेट मैनेजमेंट (शेयर्ड स्टेट बनाम नेमस्पेस स्टेट बनाम वेरिफाइड रीसेट) को बदला गया।
   • मेट्रिक्स: प्रयोग ने एंडपॉइंट लेबल और टर्मिनल लेबल (फिनलिटी) के बीच असहमति और क्रॉस-रन एक्सपोजर की आवृत्ति को मापा।

3. दस्तावेज़ समीक्षा (Documentation Review):
   लेखक ने दस प्रमुख एजेंट बेंचमार्क्स के सार्वजनिक दस्तावेज़ों और शोध पत्रों की समीक्षा की: WebArena, WorkArena, OSWorld, SWE-bench, tau-bench, ToolSandbox, TheAgentCompany, RE-Bench, Cybench, और AgentCanary।

   • मानदंड: उन्होंने रन परिभाषाओं, स्टॉप रूल्स, स्टेट पर्सिस्टेंस, रीसेट तंत्र और रनों को अलग परीक्षणों के रूप में मानने के साक्ष्य के संबंध में स्पष्ट कथनों को कोड किया।
   • सीमाएं: समीक्षा में केवल स्पष्ट रूप से रिपोर्ट की गई जानकारी पर ध्यान केंद्रित किया गया, न कि अनकही विशेषताओं का अनुमान लगाने पर।

मुख्य योगदान (Key Contributions)

1. वैचारिक अंतर: परिणाम की अंतिमता बनाम क्रॉस-यूनिट पृथक्करण

यह शोध पत्र स्थापित करता है कि ये दो अलग-अलग आवश्यकताएं हैं जिनके लिए अलग-अलग साक्ष्य चाहिए:

• परिणाम की अंतिमता (Outcome Finality): इसके लिए आवश्यक है कि हर प्रासंगिक ऑपरेशन या घटना, जो परिणाम को बदल सकती है, हल हो जाए, सीमित हो जाए या रद्द होने की पुष्टि हो जाए।
• क्रॉस-यूनिट पृथक्करण (Cross-Unit Separation): इसके लिए आवश्यक है कि कोई भी प्रासंगिक मार्ग (साझा स्टेट, क्रेडेंशियल्स, आर्टिफैक्ट्स) एक रन को दूसरे रन की स्थितियों या परिणाम को प्रभावित करने की अनुमति न दे।
• निहितार्थ: आप पृथक्करण के बिना अंतिमता प्राप्त कर सकते हैं (जैसे, एक राइट के पूरा होने की प्रतीक्षा करना, लेकिन अगली रन के लिए फ़ाइल को सुलभ छोड़ देना) और अंतिमता के बिना पृथक्करण प्राप्त कर सकते हैं (जैसे, रन को अलग करना, लेकिन विलंबित ऑपरेशन के पूरा होने से पहले स्कोर करना)।

2. पूर्णता का तर्क (The Completion Argument)

लेखक मूल्यांकनकर्ताओं के लिए एक निर्णय ढांचा प्रस्तावित करते हैं:

• अंतिम लेबल के लिए: एक सफलता/विफलता लेबल तभी उचित है जब उन सभी मार्गों को ब्लॉक कर दिया गया हो, जिनका पालन किया जा सके, या उन्हें मजबूती से सीमित किया गया हो, जो परिणाम को बदल सकते हैं। अन्यथा, परिणाम को अनसुलझा (unresolved) रिपोर्ट किया जाना चाहिए।
• अलग परीक्षणों के लिए: रन को केवल तभी अलग विश्लेषण इकाइयों के रूप में गिना जा सकता है जब उनके बीच के सभी मार्गों को ब्लॉक कर दिया गया हो या यह सिद्ध किया गया हो कि वे परिणाम को प्रभावित करने में असमर्थ हैं। यदि कोई संबंध बना रहता है, तो रनों को एक जुड़े हुए यूनिट के रूप में मॉडल किया जाना चाहिए या समूह में रखा जाना चाहिए।

3. ओपन-इफेक्ट्स रिकॉर्ड (The Open-Effects Record)

लेखक एक नया रिपोर्टिंग मानक प्रस्तावित करते हैं: एक ओपन-इफेक्ट्स रिकॉर्ड। इस रिकॉर्ड को उन ऑपरेशन्स या संसाधनों को सूचीबद्ध करना चाहिए जो एंडपॉइंट के बाद भी प्रासंगिक रहते हैं, उनकी वर्तमान स्थिति, और क्या वे स्कोर किए गए परिणाम को बदल सकते हैं या किसी अन्य रन को प्रभावित कर सकते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

नियंत्रित रिप्ले निष्कर्ष

• फिनलिटी (Finality): गैर-शून्य देरी पर, 100% मामलों में (150/150 ट्रायल) एंडपॉइंट लेबल और टर्मिनल लेबल के बीच असहमति पाई गई। स्नैपशॉट स्कोरिंग ने 50 सफलताएं दर्ज कीं, जबकि समाधान (reconciliation - पूर्णता की प्रतीक्षा करना) ने 200 सफलताएं दर्ज कीं। सत्यापित रद्दीकरण (verified cancellation) ने लंबित राइट्स को विफलता के रूप में सही ढंग से पहचाना।
• सेपरेशन (Separation): शेयर्ड स्टेट के तहत, 75% जोड़ों (150/200) ने एक्सपोजर दिखाया जहां रन A ने रन B के परिणाम को बदल दिया। नेमस्पेस्ड स्टेट, वेरिफाइड रीसेट, या जब रन B रन A से पहले चला, तो यह एक्सपोजर समाप्त हो गया (0/200)।
• निष्कर्ष: एंडपॉइंट अकेले अंतिम लेबल या विश्लेषण इकाई को न्यायसंगत नहीं ठहरा सकता। स्कोरिंग का समय और स्टेट मैनेजमेंट पॉलिसी सीधे परिणाम की वैधता निर्धारित करती है।

दस्तावेज़ समीक्षा निष्कर्ष

• रीसेट/रिटेंशन (Reset/Retention): 10/8 प्रोटोकॉल में स्पष्ट रूप से प्रलेखित है; 2/10 में आंशिक रूप से।
• अधूरे ऑपरेशन्स (Unfinished Operations): बहुत कम लगातार रिपोर्ट किया गया। 6/10 प्रोटोकॉल ने शेल, ब्राउज़र या सेवाओं को उजागर किया बिना यह बताए कि क्या वंशज प्रक्रियाएं (descendant processes) या विलंबित प्रभाव समाप्त, रद्द या स्कोरिंग से पहले जांचे गए हैं।
• पृथक्करण के लिए साक्ष्य (Evidence for Separation): केवल 3/10 प्रोटोकॉल ने अलग अवलोकन के रूप में मानने के लिए स्पष्ट साक्ष्य प्रदान किए। सात प्रोटोकॉल ने रीसेट प्रक्रियाओं का वर्णन किया लेकिन संसाधनों के दायरे या सफल बहाली के सत्यापन को पूरी तरह से बताने में विफल रहे।
• अंतराल (Gap): कोई भी प्रोटोकॉल लगातार उन समय अवधियों का दस्तावेजीकरण नहीं करता था जिनके दौरान प्रासंगिक प्रभाव परिणाम को बदल सकते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि वर्तमान मूल्यांकन अभ्यास अक्सर इंटरैक्शन के अंत और कार्य की कारण श्रृंखला (causal chain) के अंत को मिला देते हैं। इसका महत्व इस प्रकार है:

1. मेट्रिक वैधता को सुधारना: यह दर्शाता है कि बिना अंतिमता और पृथक्करण को सत्यापित किए, संचित मेट्रिक्स (जैसे पास रेट) कार्य प्रदर्शन और पर्यावरणीय आर्टिफैक्ट्स का मिश्रण हो सकते हैं।
2. मूल्यांकन सीमाओं को परिष्कृत करना: यह तर्क देता है कि "मूल्यांकन सीमा" एक एकल क्षण नहीं है, बल्कि रुकने, स्कोर करने और रनों को अलग करने के संबंध में निर्णयों का एक सेट है।
3. रिपोर्टिंग मानक का प्रस्ताव करना: "ओपन-इफेक्ट्स रिकॉर्ड" को पेश करके, यह पेपर मूल्यांकनकर्ताओं को अनसुलझी स्थितियों और निरंतर संसाधनों को पारदर्शी रूप से रिपोर्ट करने का एक ठोस तंत्र प्रदान करता है, जिससे पाठक दावा किए गए परिणामों की वैधता का आकलन कर सकते हैं।

लेखक एक विनम्र रुख बनाए रखते हैं, यह नोट करते हुए कि उनकी दस्तावेज़ समीक्षा दस प्रोटोकॉल तक सीमित है और उनके प्रयोगात्मक आंकड़े प्रकाशित बेंचमार्क के व्यापक परिदृश्य में इन मुद्दों की आवृत्ति के बजाय निर्मित स्थितियों को दर्शाते हैं। मुख्य तर्क यह है कि एक अंतिम लेबल केवल तभी उचित है जब वह सब कुछ जो अभी भी दावा किए गए परिणाम को बदल सकता है, हल हो गया हो, सीमित हो गया हो, या अनिश्चितता के रूप में बना रहे।