तकनीकी सारांश: REALCLAWBENCH

समस्या विवरण

वर्तमान एजेंट बेंचमार्क अक्सर तैनात किए गए डेवलपर-एजेंट सत्रों की वास्तविकता को दर्शाने में विफल रहते हैं। हालांकि मौजूदा बेंचमार्क (जैसे, SWE-bench, WebArena, AgentBench) ने निष्पादन क्षमता (executability) और टूल-जागरूकता में सुधार किया है, वे मुख्य रूप से रचित कार्यों (authored tasks), सार्वजनिक आर्टिफैक्ट्स, या क्यूरेटेड वातावरण पर निर्भर करते हैं। यह एक "यथार्थता अंतराल" (realism gap) पैदा करता है जहाँ बेंचमार्क निष्पादन योग्य और कठिन तो हो सकते हैं, लेकिन उनमें वह स्थानीय अवस्था (local state), अंतर्निहित उपयोगकर्ता इरादा (implicit user intent), और स्वाभाविक रूप से उत्पन्न होने वाले सफलता मानदंड नहीं होते हैं जो वास्तविक उत्पादन वर्कफ़्लो में पाए जाते हैं।

वास्तविक दुनिया के डेवलपर-एजेंट सत्र (विशेष रूप से OpenClaw पारिस्थितिकी तंत्र के भीतर) बेंचमार्किंग के लिए अनूठी चुनौतियाँ पेश करते हैं:

• संदर्भ निर्भरता (Context Dependency): कार्य अक्सर स्थानीय निष्पादन वातावरण और विशिष्ट प्रोजेक्ट अवस्थाओं पर निर्भर करते हैं।
• अंतर्निहित इरादा (Implicit Intent): उपयोगकर्ता के अनुरोधों में अक्सर अपूर्ण लक्ष्य या संवादात्मक संक्षिप्तता (conversational ellipsis) होती है।
• सत्यापन की कठिनाई (Verification Difficulty): सफलता के मानदंड अक्सर गैर-नियतत्ववादी (non-deterministic) होते या व्यक्तिपरक निर्णय की आवश्यकता होती है, जिससे स्वचालित स्कोरिंग कठिन हो जाती है।

परिणामस्वरूप, मौजूदा मूल्यांकन वास्तविक उपयोग के वितरण से प्राप्त कार्यों को हल करने की एजेंट की क्षमता को सटीक रूप से मापने में सक्षम नहीं हो सकते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र REALCLAWBENCH पेश करता है, जो सीधे वास्तविक OpenClaw उपयोगकर्ता सत्रों से निर्मित एक लाइव बेंचमार्क फ्रेमवर्क है। मुख्य कार्यप्रणाली एक पाइपलाइन है जो कच्चे, संवेदनशील डिप्लॉयमेंट लॉग्स को पुनरुत्पादक (reproducible), गोपनीयता-स्क्रीन किए गए, और स्वचालित रूप से स्कोर किए गए कार्यों में बदल देती है।

1. स्रोत वितरण एंकरिंग (Source Distribution Anchoring)

यह फ्रेमवर्क OpenClaw से 76,155 तैनात टूल-यूज़ सत्रों को स्रोत वितरण के रूप में उपयोग करता है। पिछले दृष्टिकोणों के विपरीत, जो अंतिम क्यूरेटेड पूलों से नमूने लेते हैं, REALCLAWBENCH अपने सैंपलिंग को अंतिम गुणवत्ता फ़िल्टरिंग से पहले क्लीन टूल-यूज़ स्ट्रीम पर एंकर करता है। यह सुनिश्चित करता है कि बेंचमार्क वास्तविक उपयोगकर्ता मांगों के अनुभवजन्य वितरण (empirical distribution) को संरक्षित करे, जिसमें दुर्लभ श्रेणियां और विशिष्ट कार्य मिश्रण शामिल हैं।

2. सत्र-से-कार्य पाइपलाइन (Session-to-Task Pipeline)

प्रत्येक जारी किया गया इंस्टेंस चार चरणों वाली रूपांतरण प्रक्रिया (चित्र 2 में दर्शित) के माध्यम से निर्मित होता है:

• पर्यावरण पुनर्निर्माण ($E_0$): प्रारंभिक वर्कस्पेस को सत्र साक्ष्यों से भौतिक रूप दिया जाता है, जिसमें फाइलें, डिपेंडेंसीज, कमांड संदर्भ और स्कीमा शामिल हैं। निजी सेवाओं पर निर्भर कार्यों को या तो फिक्स्चर-बैकड बनाया जाता है या अस्वीकार कर दिया जाता है।
• अनुरोध पुनलेखन ($x$): मूल उपयोगकर्ता संदेशों को स्टैंडअलोन निर्देशों में परिवर्तित किया जाता है। यह प्रक्रिया स्थानीय संदर्भों और संवादात्मक संक्षिप्तता को हल करती है और निजी पहचानकर्ताओं को हटा देती है। महत्वपूर्ण बात यह है कि पुनलेखन मूल कार्य श्रेणी को बनाए रखता है और इसमें समाधान के संकेत (solution hints) नहीं जोड़ता है।
• सत्यापनकर्ता निर्माण ($V$): अंतिम वर्कस्पेस, stdout और बाउंडेड सबप्रोसेस को सत्यापित करने के लिए एक नियतत्ववादी (deterministic) प्रोग्राम बनाया जाता है। सत्यापनकर्ता संरचनात्मक परिणामों (जैसे, फ़ाइल अस्तित्व, स्कीमा वैधता) की जाँच करते हैं। ऐसे कार्य जिनमें व्यक्तिपरक या सौंदर्यपूर्ण निर्णय की आवश्यकता होती है, उन्हें स्वचालित, नियतत्ववादी स्कोरिंग सुनिश्चित करने के लिए बाहर रखा जाता है।
• फिडेलिटी समीक्षा (Fidelity Review): बग्स, अस्पष्ट शब्दों, या "लीकी" निर्देशों का पता लगाने के लिए ड्राफ्ट इंस्टेंस की जांच की जाती है। केवल वे इंस्टेंस जो पुनर्रचनात्मकता (reconstructability) और सत्यापनकर्ता-वैधता जाँचों को पास करते हैं, उन्हें ही जारी किया जाता है।

3. लाइव रिलीज़ तंत्र (Live Release Mechanism)

REALCLAWBENCH वर्जन की गई लाइव रिलीज़ का समर्थन करता है। भविष्य के लॉग्स के गैर-ओवरलैपिंग टेम्पोरल विंडोज़ पर समान निर्माण मानचित्र ($T$) लागू किया जा सकता है। यह बेंचमार्क को एक नियंत्रित मूल्यांकन प्रोटोकॉल बनाए रखते हुए उपयोगकर्ता मांग में होने वाले टेम्पोरल बदलावों को ट्रैक करने की अनुमति देता है।

प्रमुख योगदान

1. यथार्थता अंतराल की पहचान: यह पेपर एजेंट बेंचमार्क की निष्पादन क्षमता और वास्तविक रूप से तैनात डेवलपर-एजेंट उपयोग के बीच के अंतर को औपचारिक रूप से परिभाषित करता है, जो वर्तमान डेटासेट में स्थानीय अवस्था और अंतर्निहित इरादे की कमी को उजागर करता है।
2. सत्र-से-कार्य पाइपलाइन: एक नवीन पाइपलाइन जो पर्यावरण पुनर्निर्माण, इरादा-संरक्षण पुनलेखन और नियतत्ववादी सत्यापनकर्ताओं का उपयोग करके कच्चे, गोपनीयता-संवेदनशील डिप्लॉयमेंट लॉग्स को पुनरुत्पादक बेंचमार्क कार्यों में बदल देती है।
3. लाइव बेंचमार्क रिलीज़: 281 निष्पादन योग्य कार्यों वाला एक वितरण-एंकरित बेंचमार्क, जो वास्तविक सत्रों से नमूने लेकर बनाया गया है। यह प्रदर्शित करता है कि निर्माण प्रक्रिया को भविष्य के लॉग्स पर बिना फिल्टर को फिर से डिज़ाइन किए चलाया जा सकता है।

परिणाम

वितरण संबंधी निष्ठा (Distributional Fidelity)

निर्माण पाइपलाइन वास्तविक उपयोगकर्ता वितरण के आकार को सफलतापूर्वक संरक्षित करती है।

• जेन्सन-शैनन डायवर्जेंस (JSD): अंतिम 281-कार्य रिलीज़ चार अक्षों पर स्रोत वितरण (76,155 सत्र) के विरुद्ध अधिकतम 0.0448 का JSD बनाए रखती है: कार्य प्रकार, उपयोगकर्ता टर्न, परिभाषित टूल्स, और टूल कॉल्स।
• फ़िल्टरिंग प्रभाव: आक्रामक फ़िल्टरिंग (कच्चे कॉल्स से अंतिम सेट तक) ने महत्वपूर्ण वितरण विचलन (drift) उत्पन्न नहीं किया, जिसमें सभी आसन्न-चरण बदलाव 0.05 बिट्स से नीचे रहे।

मॉडल प्रदर्शन (लीडरबोर्ड)

बेंचमार्क का उपयोग एक साझा OpenClaw हार्नेस के तहत 14 समकालीन मॉडलों (Claude Opus/Sonnet, GPT-5.5, DeepSeek, Gemini आदि सहित) के मूल्यांकन के लिए किया गया था, जिसमें 600 सेकंड का टाइमआउट था।

• शीर्ष प्रदर्शन: सर्वश्रेष्ठ प्रदर्शन करने वाला मॉडल, Claude Opus 4.7, ने 65.8% का सैंपल-औसत सफलता दर प्राप्त किया।
• हेडरूम (Headroom): तथ्य यह है कि शीर्ष मॉडल केवल ~66% कार्यों को हल करता है, यह वास्तविक डेवलपर वर्कलोड पर वर्तमान एजेंटों के लिए पर्याप्त हेडरूम को प्रकट करता है।
• लागत-दक्षता: प्रदर्शन और लागत आपस में मजबूती से जुड़े नहीं हैं। उदाहरण के लिए, MiMo V2.5 Pro ने GPT-5.5 ($61.87) जैसे उच्च-लागत वाले मॉडलों की तुलना में काफी कम लागत ($11.87) पर एक अनुकूल ट्रेड-ऑफ प्रदान किया, जो निचले स्थान पर रहा।
• लॉन्ग-टेल व्यवहार: मैक्रो-एवरेज्ड स्कोर (जो कार्य प्रकारों के असंतुलित वितरण को ध्यान में रखते हैं) ने सरल सैंपल औसत की तुलना में अलग रैंकिंग दिखाई, जो विविध, वास्तविक दुनिया के कार्य श्रेणियों में प्रदर्शन का मूल्यांकन करने के महत्व को रेखांकित करता है।

लाइव बेंचमार्किंग सत्यापन

पाइपलाइन का परीक्षण बाद के टेम्पोरल विंडो ($W_{live}$) पर बिना फिल्टर या नियमों को बदले किया गया।

• उपज (Yield): पाइपलाइन ने लाइव विंडो से 34 अंतिम मामले सफलतापूर्वक उत्पादित किए, जिसमें रिटेंशन अनुपात बेस विंडो के तुलनीय था।
• ड्रिफ्ट (Drift): लाइव विंडो बेस विंडो के वितरण के करीब रही (अधिकतम JSD 0.0411), जो पुष्टि करता है कि प्रोटोकॉल तुलनात्मकता बनाए रखते हुए मांग के बदलावों को ट्रैक कर सकता है।

महत्व और दावे

यह पेपर दावा करता है कि REALCLAWBENCH वास्तविक उपयोग में एजेंट क्षमता को बेहतर ढंग से मापने के लिए एक व्यावहारिक मार्ग प्रदान करता है। वास्तविक तैनात सत्रों को नियंत्रित मूल्यांकन इंस्टेंस में बदलकर, यह फ्रेमवर्क रचित (authored) बेंचमार्क की सीमाओं को संबोधित करता है।

प्रमुख दावों में शामिल हैं:

• यथार्थता: बेंचमार्क तैनात एजेंट उपयोग के वितरण, विविधता और वास्तविक दुनिया की कठिनाई को कैप्चर करता है, जिसे अक्सर क्यूरेटेड डेटासेट द्वारा छोड़ दिया जाता है।
• पुनरुत्पादकता: यह प्रदर्शित करता है कि वास्तविक सत्रों को स्रोत वितरण के "मापे गए आकार" को खोए बिना पुनरुत्पादक, स्वचालित रूप से स्कोर किए गए कार्यों में परिवर्तित किया जा सकता है।
• गतिशील मूल्यांकन: फ्रेमवर्क लाइव, वर्जन की गई रिलीज़ का समर्थन करता है जो डेटा के पुराना होने (staleness) और डेटा कंटैमिनेशन को कम करता है, जिससे बेंचमार्क को तैनात एजेंट उपयोग के साथ विकसित होने की अनुमति मिलती है।

लेखक इस बात पर जोर देते हैं कि बेंचमार्क OpenClaw पारिस्थितिकी तंत्र और डेवलपर-उन्मुख उपयोगकर्ता आबादी के लिए विशिष्ट है, और प्रोग्रामेटिक स्कोरर्स उन परिणामों को प्राथमिकता देते हैं जिन्हें अंतिम वर्कस्पेस में जांचा जा सकता है, जिससे कोड रखरखाव या आंशिक प्रगति जैसे गुणों को छूट मिल सकती है। हालाँकि, यह फ्रेमवर्क वास्तविक दुनिया के डिप्लॉयमेंट डेटा में एजेंट मूल्यांकन को ग्राउंड करने के लिए एक नया मानक स्थापित करता है।