🤖 AI

Results and Retrospective Analysis of the CODS 2025 AssetOpsBench Challenge

यह शोध पत्र CODS 2025 AssetOpsBench चुनौती का एक पूर्वव्यापी विश्लेषण प्रदान करता है, जो सार्वजनिक नियोजन स्कोर की संतृप्ति, सार्वजनिक और निजी निष्पादन मूल्यांकनों के बीच नकारात्मक सहसंबंध, अंतिम रैंकिंग पर t-match शब्द के नगण्य प्रभाव, और इस निष्कर्ष को प्रकट करता है कि सफल रणनीतियाँ नवीन एजेंट आर्किटेक्चर के बजाय मजबूत गार्डरेल्स (guardrails) पर अधिक निर्भर थीं।

मूल लेखक: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: AI रोबोट्स के लिए एक "कुकिंग कॉम्पिटिशन"

कल्पना कीजिए कि एक उच्च-स्तरीय कुकिंग प्रतियोगिता चल रही है, लेकिन शेफ की जगह, प्रतियोगी AI एजेंट (स्मार्ट कंप्यूटर प्रोग्राम) हैं। इस चुनौती को, जिसे CODS 2025 ASSETOPSBENCH कहा गया, सुंदर व्यंजन बनाने के बारे में नहीं था; यह केवल डिजिटल टूल्स का उपयोग करके टूटी हुई औद्योगिक मशीनों (जैसे विशाल एयर कंडीशनर और चिलर्स) को ठीक करने के बारे में था।

आयोजकों ने यह देखने के लिए दो-भागों वाला परीक्षण तैयार किया कि कौन वास्तव में वास्तविक दुनिया में काम कर सकता है, न कि केवल कागज पर। वे जानना चाहते थे: क्या ये AI रोबोट एक मरम्मत की योजना बना सकते हैं, और फिर बिना क्रैश हुए उसे वास्तव में कर सकते हैं?

दो ट्रैक: आर्किटेक्ट बनाम बिल्डर

प्रतियोगिता को निष्पक्ष बनाने के लिए, आयोजकों ने इसे दो अलग-अलग ट्रैक्स में विभाजित किया, जैसे निर्माण दल में दो अलग-अलग भूमिकाएँ होती हैं:

ट्रैक 1 (द आर्किटेक्ट/प्लानर): वह "इंजन" जो वास्तव में मशीन को ठीक करता है, उसे एक ही जगह स्थिर कर दिया गया था। प्रतियोगी केवल ब्लूप्रिंट (प्रॉम्प्ट) को बदल सकते थे। उन्हें AI के लिए बेहतर निर्देश लिखने थे कि उसे कैसे सोचना है और क्या कदम उठाने हैं।
ट्रैक 2 (द बिल्डर/एक्जीक्यूटर): ब्लूप्रिंट लॉक था। प्रतियोगी केवल निर्माण दल (एक्जीक्यूशन कोड) को बदल सकते थे। उन्हें बेहतर सुरक्षा जाल (safety nets) बनाने थे, गलतियों को संभालना था, और यह सुनिश्चित करना था कि अगर कुछ गलत हो जाए तो रोबोट अटक न जाए।

उन्होंने क्या पाया: "प्रैक्टिस टेस्ट" का जाल

सबसे आश्चर्यजनक खोज यह थी कि प्रैक्टिस टेस्ट में अच्छा प्रदर्शन करने का मतलब यह नहीं था कि आप वास्तविक परीक्षा पास कर लेंगे।

पब्लिक लीडरबोर्ड (द प्रैक्टिस टेस्ट): यह 11 प्रैक्टिस परिदृश्यों के आधार पर स्कोर की एक सूची थी जिसे सभी देख सकते थे। कई टीमों ने यहाँ परफेक्ट स्कोर प्राप्त किया।
हिडन टेस्ट (द रियल एग्जाम): इसके बाद आयोजकों ने सर्वश्रेष्ठ प्रविष्टियों को 11 नए, गुप्त परिदृश्यों पर टेस्ट किया जिन्हें पहले किसी ने नहीं देखा था।

परिणाम: प्रैक्टिस स्कोर और सीक्रेट स्कोर के बीच सहसंबंध (correlation) लगभग शून्य था। यह एक छात्र की तरह था जिसने प्रैक्टिस मैथ क्विज़ में 'A' ग्रेड प्राप्त किया लेकिन वास्तविक फाइनल परीक्षा में फेल हो गया क्योंकि प्रश्न थोड़े अलग थे। पेपर ने पाया कि "पब्लिक" स्कोर वास्तव में भ्रामक थे; वे यह भविष्यवाणी नहीं कर सके कि कौन वास्तविक, जटिल औद्योगिक दुनिया को संभाल सकता है।

ऐसा क्यों हुआ?

पेपर उन कारणों की पहचान करता है कि "प्रैक्टिस टेस्ट" एक जाल क्यों था:

"सीलिंग" प्रभाव (The Ceiling Effect): प्रैक्टिस टेस्ट शीर्ष टीमों के लिए बहुत आसान था। एक बार जब एक टीम ने उन विशिष्ट प्रश्नों के लिए परफेक्ट स्कोर प्राप्त करने का तरीका जान लिया, तो उन्होंने सुधार करना बंद कर दिया। उन्होंने केवल अपने उत्तरों को उन विशिष्ट प्रश्नों के लिए परफेक्ट दिखने के लिए ट्यून किया, बजाय इसके कि एक ऐसा रोबोट बनाया जो किसी भी प्रश्न को संभाल सके।
"गार्डरेल" विजेता: जो टीमें हिडन टेस्ट में वास्तव में जीतीं, वे वे नहीं थीं जिनके पास सबसे फैंसी नए AI विचार थे। वे "गार्डरेल इंजीनियर्स" थे। उन्हें सुरक्षा निरीक्षकों के रूप में सोचें। उन्होंने एक नया इंजन नहीं बनाया; उन्होंने बस बेहतर ब्रेक, बेहतर बैकअप प्लान और जब रोबोट भ्रमित हो जाए तो गलतियों को साफ करने के बेहतर तरीके जोड़े। उन्होंने नवाचार (innovation) के बजाय मजबूती (robustness) (क्रैश न होने) पर ध्यान केंद्रित किया।
गणित की समस्या: जिस तरह से अंतिम स्कोर की गणना की गई थी, उसमें एक छोटी सी खामी थी। स्कोर का एक हिस्सा इतना छोटा था कि वह वास्तव में मायने नहीं रखता था, लेकिन वह शीर्ष दो टीमों को आपस में बदलने के लिए पर्याप्त था। यदि आप गणित को थोड़ा बदलते, तो विजेता अलग होता। यह दर्शाता है कि रैंकिंग नाजुक थी।

रोबोट की "लागत"

पेपर ने यह भी देखा कि रोबोटों ने कितने "ईंधन" (कंप्यूटर पावर) का उपयोग किया।

महंगा बनाम सस्ता: कुछ कार्यों के लिए AI को इतिहास के हजारों पन्नों को पढ़ने की आवश्यकता थी (महंगा), जबकि अन्य केवल एक फोन नंबर खोजने के बारे में थे (सस्ता)।
आश्चर्य: कंप्यूटर पावर के मामले में जो कार्य "सस्ते" थे, वे वास्तव में AI के लिए सबसे कठिन थे क्योंकि उनके लिए गहरी समझ की आवश्यकता थी। "महंगे" कार्य वास्तव में आसान थे क्योंकि AI को बस चरणों की एक लंबी, स्पष्ट सूची का पालन करना था।

टेकअवे: भविष्य की प्रतियोगिताओं के लिए इसका क्या अर्थ है

लेखकों का निष्कर्ष है कि यदि आप AI एजेंटों का सही ढंग से परीक्षण करना चाहते हैं, तो आप केवल सार्वजनिक स्कोर के लीडरबोर्ड को देखकर संतुष्ट नहीं हो सकते।

प्रैक्टिस टेस्ट पर भरोसा न करें: आपको एक छिपा हुआ "फाइनल एग्जाम" चाहिए जो अंत तक कोई न देख सके।
सुरक्षा पहले: सर्वश्रेष्ठ एजेंट हमेशा सबसे स्मार्ट नहीं होते; वे वे होते हैं जो जानते हैं कि बिना कुछ तोड़े गलतियों को कैसे संभालना है।
अपना गणित जांचें: यदि आपका स्कोरिंग सिस्टम बहुत संवेदनशील है, तो आपका विजेता केवल एक इत्तेफाक हो सकता है।

संक्षेप में, यह पेपर एक "पोस्ट-गेम एनालिसिस" है जो हमें बताता है: हमने एक बेहतरीन टेस्ट बनाया, लेकिन हमने सीखा कि जो स्कोरबोर्ड हम जनता को दिखा रहे थे, वह हमें वास्तव में सर्वश्रेष्ठ होने के बारे में झूठ बोल रहा था। असली विजेता वे थे जिन्होंने सबसे सुरक्षित, सबसे विश्वसनीय रोबोट बनाए, न कि वे जो कागज पर सबसे अच्छे दिखते थे।

तकनीकी सारांश: CODS 2025 ASSETOPSBENCH चुनौती के परिणामों और पूर्वव्यापी विश्लेषण का विवरण

समस्या विवरण

यह शोध पत्र वास्तविक औद्योगिक सेटिंग्स, विशेष रूप से "इंडस्ट्री 4.0" के भौतिक संपत्ति प्रबंधन डोमेन के भीतर, मल्टी-एजेंट AI सिस्टम के मूल्यांकन की महत्वपूर्ण चुनौती को संबोधित करता है। जबकि हाल के लार्ज लैंग्वेज मॉडल (LLM) एजेंटों के विकास ने तर्क करने और टूल उपयोग की क्षमताओं का प्रदर्शन किया है, इन प्रणालियों को प्रयोगशाला बेंचमार्क से हटाकर परिनियोजन (deployment) की ओर ले जाने पर मूल्यांकन के महत्वपूर्ण अंतराल सामने आते हैं। स्थिर (static) बेंचमार्क अक्सर संकीर्ण रूप से निर्दिष्ट, आसानी से अनुकूलित किए जाने वाले कार्यों का पक्ष लेते हैं, जो आवश्यक परिनियोजन व्यवहारों जैसे कि टूल-उपयोग सुदृढ़ता (robustness), गोपनीयता-संरक्षण निष्पादन और मल्टी-स्टेप ऑर्केस्ट्रेशन को पकड़ने में विफल रहते हैं। लेखक तर्क देते हैं कि प्रतिस्पर्धा-आधारित मूल्यांकन एक मौलिक विकल्प प्रदान करता है क्योंकि यह उन विफलता मोड (जैसे कि प्रगतिशील तर्क विफलताएं) को उजागर करता है जो केवल पुनरावृत्त, ब्लाइंड मूल्यांकन के तहत उभरते हैं। विशिष्ट समस्या एक ऐसी प्रतियोगिता के डिजाइन और पूर्वव्यापी विश्लेषण की है जो एजेंटिक मूल्यांकन, एक भौतिक-संपत्ति औद्योगिक डोमेन और गोपनीयता-प्रतिबंधित परिनियोजन को जोड़ती है, जिसका उद्देश्य यह निर्धारित करना है कि ऐसा मूल्यांकन वास्तव में क्या मापता है और इसके प्रोत्साहन (incentives) वास्तविक क्षमता के साथ कहाँ गलत संरेखित हो सकते हैं।

कार्यप्रणाली

लेखकों ने Codabench प्लेटफॉर्म पर आयोजित CODS 2025 ASSETOPSBENCH चुनौती का एक पूर्वव्यापी विश्लेषण किया। कार्यप्रणाली में केवल एक लीडरबोर्ड रिपोर्ट के बजाय प्रतियोगिता के आर्टिफैक्ट्स का बहु-आयामी विश्लेषण शामिल था।

प्रतियोगिता डिजाइन: चुनौती ने एक "हिडन-सिनारियो" (hidden-scenario) ढांचे का उपयोग किया जिसमें दो पूरक ट्रैक थे:
- ट्रैक 1 (प्लानिंग): प्रतिभागियों ने प्लानिंग प्रॉम्प्ट और डायरेक्टेड एसाइक्लिक ग्राफ (DAG) निर्माण (track1_planning.py) को अनुकूलित किया, जबकि एक्सेक्यूटर और डोमेन एजेंट स्थिर (frozen) रहे।
- ट्रैक 2 (एक्सेक्यूशन): प्रतिभागियों ने वर्कफ़्लो निष्पादन तर्क को अनुकूलित किया, जिसमें पैरेलल पाथ, कॉन्टेक्स्ट एग्रीगेशन और फॉलबैक मैकेनिज्म शामिल थे (track2_execution.py), जबकि प्लानिंग प्रॉम्प्ट और एजेंट स्थिर रहे।
मूल्यांकन प्रोटोकॉल: सबमिशन का मूल्यांकन 11 सार्वजनिक विकास परिदृश्यों और 11 छिपे हुए मूल्यांकन परिदृश्यों (फेज 1 और फेज 2) के विरुद्ध किया गया। स्कोरिंग फॉर्मूला सार्वजनिक स्कोर ( $S_{pub}$ ), छिपे हुए स्कोर ( $S_{priv}$ ) और एक सिमेंटिक t-मैच सिग्नल ( $\tau$ ) को जोड़ता है: $C_t = 0.6 S_{pub}^t + 0.3 S_{priv}^t + 0.1 \tau_t$ ।
डेटा संग्रह: विश्लेषण ने 149 पंजीकृत टीमों (349 मेंबर स्लॉट्स), सबमिशन प्रयासों के 300-रोв सर्वर लॉग और 331 सुलभ सोर्स-लेवल आर्टिफैक्ट्स के डेटा को एकत्रित किया।
विश्लेषणात्मक आयाम: लेखकों ने कॉर्पस का पांच आयामों में विश्लेषण किया:
1. भागीदारी: फनल सांख्यिकी और टीम संरचना।
2. सबमिशन व्यवहार: लर्निंग कर्व्स, स्कोर प्रोग्रेशन और विश्वसनीयता।
3. रैंकिंग सुदृढ़ता (Robustness): मेट्रिक संरचना और सार्वजनिक-छिपे हुए संरेखण के प्रति संवेदनशीलता।
4. कंप्यूटेशनल लागत: टोकन उपयोग, API कॉल और वॉल-क्लॉक ड्यूरेशन फिंगरप्रिंट।
5. रणनीति एट्रिब्यूशन: कार्यान्वयन पैटर्न (आर्केटाइप्स) का क्लस्टरिंग और उनके प्रदर्शन के साथ सहसंबंध।
वैलिडेशन: भविष्य के विश्वसनीय बेंचमार्क के लिए हाल ही में प्रकाशित "एजेंट-इवैल चेकलिस्ट" के विरुद्ध इंफ्रास्ट्रक्चर को क्रॉस-रेफरेंस किया गया ताकि डिजाइन अंतराल की पहचान की जा सके।

मुख्य योगदान

गोपनीयता बाधाओं के साथ प्रथम औद्योगिक एजेंटिक बेंचमार्क: यह शोध पत्र पहले प्रतियोगिता-ट्रैक बेंचमार्क को प्रलेखित करता है जो एजेंटिक मल्टी-स्टेप कार्यों, एक भौतिक-संपत्ति औद्योगिक डोमेन (चिलर्स, एयर-हैंडलिंग यूनिट्स), और गोपनीयता-प्रतिबंधित परिनियोजन (डेटा लीकेज को रोकने के लिए कंटेनरीकृत आइसोलेशन का उपयोग करके) को संयुक्त रूप से जोड़ता है।
नौ-आयामी पूर्वव्यापी ढांचा (Retrospective Framework): लेखक भविष्य की एजेंटिक प्रतियोगिताओं के लिए एक संरचित, नौ-आयामी विश्लेषणात्मक टेम्पलेट प्रस्तावित करते हैं, जो एग्रीगेट लीडरबोर्ड मेट्रिक्स से आगे बढ़कर भागीदारी फनल, स्कोर सैचुरेशन विश्लेषण, कंप्यूटेशनल फिंगरप्रिंट्स और स्ट्रैटेजी क्लस्टरिंग को शामिल करता है।
सार्वजनिक-छिपे हुए (Public-Hidden) के बीच मिसअलाइनमेंट का अनुभवजन्य प्रमाण: अध्ययन ठोस सांख्यिकीय प्रमाण प्रदान करता है कि सार्वजनिक लीडरबोर्ड स्टैंडिंग, छिपी हुई सुदृढ़ता (hidden robustness) की भविष्यवाणी नहीं करती है, विशेष रूप से निष्पादन (execution) कार्यों में।
रणनीति वर्गीकरण और आर्केटाइप विश्लेषण: पेपर एक एजेंट रणनीति टैक्सोनॉमी पेश करता है, जो "प्लानिंग" (प्रॉम्प्ट इंजीनियरिंग) और "एक्सेक्यूशन" (गार्डरेल इंजीनियरिंग) आर्केटाइप्स के बीच अंतर करता है, जिससे पता चलता है कि शीर्ष प्रदर्शन करने वाले अक्सर नवीन आर्किटेक्चर के बजाय सुदृढ़ त्रुटि प्रबंधन (error handling) पर निर्भर करते हैं।

परिणाम

भागीदारी और एट्रिशन (Attrition): 149 पंजीकृत टीमों में से, केवल 11 ने दोनों ट्रैक्स में पूरी तरह से रैंक प्राप्त करने की स्थिति हासिल की। एट्रिशन रेट महत्वपूर्ण था, जिसमें प्लेटफॉर्म कन्फॉर्मेंस इश्यूज (पैकेजिंग/वर्कफ़्लो फॉर्मेट उल्लंघन) के कारण सबमिशन प्रयासों में 17.7% की विफलता दर देखी गई, जो एजेंट मूल्यांकन के लिए एक निश्चित इंफ्रास्ट्रक्चर ओवरहेड स्थापित करती है।
सार्वजनिक बनाम छिपे हुए स्कोर का सहसंबंध:
- प्लानिंग ट्रैक: सार्वजनिक और छिपे हुए स्कोर के बीच मध्यम सहसंबंध ( $\rho = 0.69$ ) देखा गया, हालांकि सार्वजनिक स्कोर व्यवस्थित रूप से आशावादी (optimistic) थे।
- एक्सेक्यूशन ट्रैक: सार्वजनिक और छिपे हुए स्कोर के बीच कोई सहसंबंध नहीं मिला ( $\rho = -0.13, p = 0.71$ )। सार्वजनिक निष्पादन स्कोर छिपे हुए प्रदर्शन के संबंध में रैंडम नॉइज़ के समान थे।
स्कोर सैचुरेशन और संवेदनशीलता: सार्वजनिक प्लानिंग लीडरबोर्ड चार टीमों के लिए 72.73% पर सैचुरेट हो गया, जिससे सार्वजनिक सिग्नल शीर्ष प्रदर्शन करने वालों के बीच अंतर करने में असमर्थ रहा। इसके अलावा, अंतिम रैंकिंग स्कोरिंग फॉर्मूला की संरचना के प्रति अत्यधिक संवेदनशील थी। "t-match" शब्द, जिसे 10% वेट देने के लिए बनाया गया था, स्केल अंतर (0–1 बनाम 0–100) के कारण संख्यात्मक रूप से निष्क्रिय था, जिसने अधिकतम 0.05 अंक का योगदान दिया। इस शब्द को फिर से स्केल करने या ट्रैक वेट को समायोजित करने से शीर्ष दो टीमों के स्थान बदल सकते थे।
कंप्यूटेशनल लागत का उलटाव (Inversion): कंप्यूटेशनल फुटप्रिंट के विश्लेषण से पता चला कि "सबसे सस्ता" डोमेन (टाइम सीरीज़ फोरकास्टिंग, TSFM) सबसे अधिक प्रॉम्प्ट-संवेदनशील (उच्चतम स्ट्रैटेजी वेरिएंस) था, जबकि "सबसे महंगा" डोमेन (वर्क ऑर्डर्स, WO) सबसे अधिक सुदृढ़ था। यह सुझाव देता है कि बेंचमार्क को टोकन लागत के आधार पर वेट देना अनजाने में एजेंट क्षमता के बजाय प्रॉम्प्ट संवेदनशीलता को माप सकता है।
रणनीति पैटर्न:
- प्लानिंग: रणनीतियां बिखरी हुई थीं, जिसमें क्लस्टरिंग में उच्च शोर (noise) देखा गया। शीर्ष सबमिशन अक्सर आर्किटेक्चरल बदलावों के बिना प्रॉम्प्ट एलाबोरेशन (जैसे, लंबे उदाहरण, एजेंट कैटलॉग) के माध्यम से सैचुरेशन प्राप्त करते थे।
- एक्सेक्यूशन: रणनीतियां तीन टाइट क्लस्टर्स में अत्यधिक केंद्रित थीं। शीर्ष प्रदर्शन करने वालों की पहचान "गार्डरेल इंजीनियर्स" के रूप में की गई जो नए एजेंट आर्किटेक्चर पेश करने के बजाय रिस्पॉन्स सिलेक्शन, क्लीनअप और फॉलबैक लॉजिक में सुधार करते हैं।
विफलता मोड (Failure Modes): हॉलुसिनेशन (Hallucination) को एक युग्मित विफलता मोड पाया गया जो समग्र कार्य गुणवत्ता के साथ दृढ़ता से नकारात्मक रूप से सहसंबंधित था ( $r \approx -0.93$ ), जो व्यापक विफलता के अग्रणी संकेतक के रूप में कार्य करता है। ऐतिहासिक रिकॉर्ड पर लॉन्ग-होरिजन रीजनिंग वाले वर्क-ऑर्डर कार्य लगातार क्षमता की सीमा (capability ceiling) बनते रहे।

महत्व और दावे

पेपर का दावा है कि CODS 2025 ASSETOPSBENCH चुनौती यह प्रदर्शित करती है कि क्यों एजेंट प्रतियोगिताओं को केवल रैंकिंग तंत्र के बजाय मूल्यांकन उपकरणों (evaluation instruments) के रूप में विश्लेषण किया जाना चाहिए। लेखक दावा करते हैं कि उनका विश्लेषण वर्तमान बेंचमार्क डिजाइन में महत्वपूर्ण खामियों को उजागर करता है, विशेष रूप से:

लीडरबोर्ड सैचुरेशन: सार्वजनिक सिग्नल जल्दी सैचुरेट हो सकते हैं, जिससे उच्च-प्रदर्शन वाली प्रणालियों के बीच अंतर करने में विफलता होती है।
सार्वजनिक-छिपे हुए मिसअलाइनमेंट: सार्वजनिक पुनरावृत्ति (iteration) उन रणनीतियों को पुरस्कृत कर सकती है जो विशिष्ट परिदृश्यों के सेट के प्रति ओवरफिट होती हैं, जिससे सार्वजनिक स्टैंडिंग और छिपी हुई सुदृढ़ता के बीच विच्छेद पैदा होता है।
मेट्रिक डिजाइन दोष: कम्पोजिट स्कोरिंग फंक्शन संख्यात्मक स्केल विकल्पों (जैसे, t-match शब्द) के प्रति संवेदनशील होते हैं, जो रैंकिंग को मनमाने ढंग से बदल सकते हैं।
गार्डरेल-केंद्रित सफलता: जटिल औद्योगिक सेटिंग्स में, शीर्ष प्रदर्शन अक्सर नवीन आर्किटेक्चरल नवाचारों के बजाय सुदृढ़ त्रुटि प्रबंधन और कॉन्टेक्स्ट कंट्रोल ("गार्डरेल इंजीनियरिंग") द्वारा संचालित होता है।

लेखक निष्कर्ष निकालते हैं कि भविष्य की एजेंटिक प्रतियोगिताओं को क्षमता आयामों को ट्रैक्स के माध्यम से अलग करना चाहिए, स्किल-अवेयर सब-स्कोर्स पेश करना चाहिए, यह सुनिश्चित करना चाहिए कि स्कोरिंग घटक संख्यात्मक रूप से तुलनीय हों, और टीम मेटाडेटा एवं वर्जन्ड कोड को मुख्य डिलिवरेबल्स के रूप में मानना चाहिए। वे अपने नौ-आयामी पूर्वव्यापी को भविष्य के बेंचमार्क के लिए एक पुन: प्रयोज्य टेम्पलेट के रूप में प्रस्तुत करते हैं ताकि यह सुनिश्चित किया जा सके कि प्रतियोगिताएं वैज्ञानिक उपकरण के रूप में कार्य करें जो इस बात का प्रमाण दे सकें कि वास्तव में क्या मापा गया था।