🤖 AI

Stop Comparing LLM Agents Without Disclosing the Harness

यह स्थिति पत्र (position paper) तर्क देता है कि दीर्घ-अवधि वाले कार्यों (long-horizon tasks) के लिए, एजेंट निष्पादन हारनेस (agent execution harness) अक्सर अंतर्निहित भाषा मॉडल की तुलना में प्रदर्शन का एक अधिक मजबूत निर्धारक होता है, जो समुदाय से बुनियादी ढांचे के सुधारों को मॉडल सुधारों के रूप में व्यवस्थित रूप से गलत तरीके से आरोपित करने से रोकने के लिए हारनेस-जागरूक मूल्यांकन प्रोटोकॉल अपनाने का आग्रह करता है।

मूल लेखक: Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: यह केवल इंजन नहीं, बल्कि पूरी कार है

कल्पना कीजिए कि आप यह तय करने की कोशिश कर रहे हैं कि कौन सा कार इंजन सबसे अच्छा है। आप एक फेरारी इंजन को एक जंग लगी, टूटी-फूटी पुरानी सेडान कार में रखते हैं जिसके टायर पंचर हैं और जिसका स्टीयरिंग काम नहीं कर रहा है। फिर, आप एक थोड़ा कम शक्तिशाली इंजन को एक बिल्कुल नई, हाई-टेक रेस कार में रखते हैं जिसमें बेहतरीन टायर और जीपीएस नेविगेशन सिस्टम है।

यदि दूसरी कार दौड़ जीत जाती है, तो क्या वह इसलिए जीती क्योंकि उसका इंजन बेहतर था? नहीं। वह इसलिए जीती क्योंकि वह कार (चेसिस, टायर, नेविगेशन) बेहतर थी।

यह शोध पत्र तर्क देता है कि हम वर्तमान में एआई (AI) के साथ ठीक यही गलती कर रहे हैं।

जब हम एआई "एजेंट्स" (ऐसे एआई प्रोग्राम जो कोड लिखने या सॉफ्टवेयर बग्स ठीक करने जैसे कार्य कर सकते हैं) का परीक्षण करते हैं, तो हम आमतौर पर एक एकल स्कोर देखते हैं और कहते हैं, "वाह, मॉडल A, मॉडल B से बेहतर है।" लेखक कहते हैं कि यह भ्रामक है। उनका तर्क है कि जटिल, दीर्घकालिक कार्यों के लिए, स्कोर इस बात पर बहुत अधिक निर्भर करता है कि "हार्नेस" (AI के चारों ओर का सॉफ्टवेयर इंफ्रास्ट्रक्चर) कैसा है, न कि स्वयं एआई मॉडल पर।

"हार्नेस" (Harness): एआई का शरीर और तंत्रिका तंत्र

शोध पत्र इस इंफ्रास्ट्रक्चर को "हार्नेस" कहता है। एआई मॉडल (जिसे "मस्तिष्क" माना जा सकता है) को एक पायलट की तरह समझें। हार्नेस वह कॉकपिट है, ऑटोपायलट सिस्टम है, फ्यूल गेज है, और संचार रेडियो है।

मॉडल (मस्तिष्क): यह केवल वह हिस्सा है जो सोचता है और टेक्स्ट जेनरेट करता है। यह "ओपन-लूप" है, जिसका अर्थ है कि यह केवल एक उत्तर देता है और अगले प्रॉम्प्ट का इंतजार करता है। इसे तब तक पता नहीं चलता कि इसने कोई गलती की है जब तक कि कोई इसे बताए नहीं।
हार्नेस (कंट्रोलर): यह वह सॉफ्टवेयर लेयर है जो:
- यह तय करती है कि एआई को क्या जानकारी दिखानी है (कॉन्टेक्स्ट/Context)।
- यह जाँचती है कि एआई का उत्तर तर्कसंगत है या नहीं (वेरिफिकेशन/Verification)।
- यदि एआई विफल हो जाता है, तो उसे फिर से प्रयास करने के लिए कहती है (रिट्राय लॉजिक/Retry logic)।
- एआई को बहुत अधिक जानकारी से भ्रमित होने से रोकती है (मेमोरी मैनेजमेंट/Memory management)।

शोध पत्र का दावा है कि लंबे और कठिन कार्यों के लिए, हार्नेस ही "बाइंडिंग कंस्ट्रेंट" (सीमित बाधा) है। इसका मतलब है कि हार्नेस ही बाधा (bottleneck) है। यदि हार्नेस खराब है, तो सबसे बुद्धिमान एआई भी विफल हो जाएगा। यदि हार्नेस शानदार है, तो थोड़ा कम बुद्धिमान एआई भी सफल हो सकता है।

"बाइंडिंग कंस्ट्रेंट थीसिस" (The Binding Constraint Thesis)

लेखक एक सिद्धांत प्रस्तावित करते हैं जिसे "बाइंडिंग कंस्ट्रेंट थीसिस" कहा जाता है। सरल शब्दों में, यह कहता है:

"जब हम कठिन, लंबे कार्यों पर शीर्ष-स्तरीय एआई मॉडल्स की तुलना करते हैं, तो उनके स्कोर में अंतर उनके मॉडल के उपयोग के बजाय इस बात से होता है कि हार्नेस कैसे बनाया गया है।"

उन्होंने पाया कि हार्नेस बदलने से स्कोर में 15 प्रतिशत अंक तक का बदलाव आ सकता है, जबकि मॉडल बदलने से स्कोर आमतौर पर केवल 2 से 4 अंक ही बदलता है।

उपमा: कल्पना कीजिए कि दो धावक हैं। एक ओलंपिक स्प्रिंटर (मॉडल A) है, और दूसरा एक बहुत फिट शौकिया धावक (मॉडल B) है।

यदि आप ओलंपिक स्प्रिंटर को कीचड़ वाले जूते पहनाते हैं और उन्हें एक भारी बैकपैक देते हैं (खराब हार्नेस), तो वे उस शौकिया धावक से हार सकते हैं जो बेहतरीन जूतों में दौड़ रहा है (अच्छा हार्नेस)।
शोध पत्र कहता है कि वर्तमान लीडरबोर्ड एक ऐसी दौड़ की तरह हैं जहाँ हर कोई अलग-अलग जूते पहनता है, लेकिन हम केवल यह रिपोर्ट करते हैं कि कौन जीता, जूतों को अनदेखा कर देते हैं।

वर्तमान लीडरबोर्ड "अधूरे" क्यों हैं

अभी, बेंचमार्क (जैसे SWE-bench या Terminal-Bench) ऐसे व्यवहार करते हैं जैसे वे केवल "मस्तिष्क" का परीक्षण कर रहे हों। लेकिन वास्तव में, वे मस्तिष्क + हार्नेस का परीक्षण कर रहे हैं।

चूंकि शोधकर्ता शायद ही कभी यह प्रकाशित करते हैं कि उन्होंने अपना हार्नेस (कॉकपिट की "रेसिपी") ठीक से कैसे बनाया, इसलिए हम यह नहीं बता सकते कि कोई मॉडल वास्तव में अधिक स्मार्ट है या उस टीम ने उसके चारों ओर एक बेहतर हार्नेस बनाया है।

शोध पत्र के प्रमाण:

वास्तविक उदाहरण: उन्होंने दिखाया कि एक ही एआई मॉडल (Claude Opus) ने एक हार्नेस के साथ 45.9% का स्कोर प्राप्त किया और दूसरे के साथ 55.4% का। यह केवल सॉफ्टवेयर रैपर बदलकर आया एक बहुत बड़ा उछाल है, न कि मॉडल बदलकर।
नियंत्रित प्रयोग: उन्होंने तीन अलग-अलग शीर्ष-स्तरीय मॉडल्स को लिया और उन्हें तीन अलग-अलग हार्नेसेज (मिनिमल, इम्प्रूव्ड, और फुल) के माध्यम से चलाया।
- परिणाम: हार्नेस बदलने से स्कोर में मॉडल बदलने की तुलना में बहुत अधिक बदलाव आया।
- ट्विस्ट: कभी-कभी, एक "बेहतर" हार्नेस के साथ एक "कमजोर" मॉडल ने, एक "खराब" हार्नेस के साथ एक "बेहतर" मॉडल को हरा दिया। रैंकिंग पूरी तरह पलट गई!

समाधान: "डिस्क्लोजर" (प्रकटीकरण) और "वैरिएंस डिकंपोजिशन" (विचलन अपघटन)

शोध पत्र यह नहीं कहता कि हमें मॉडलों का उपयोग करना बंद कर देना चाहिए। यह कहता है कि हमें यह मानना बंद कर देना चाहिए कि हार्नेस का अस्तित्व नहीं है। वे मूल्यांकन का एक नया तरीका प्रस्तावित करते हैं:

"हार्नेस कार्ड" (The Harness Card): जिस तरह खाद्य लेबल सामग्री की सूची देते हैं, उसी तरह प्रत्येक एआई बेंचमार्क सबमिशन को अपना "हार्नेस कार्ड" सूचीबद्ध करना चाहिए। यह कार्ड विस्तार से बताता है कि कॉन्टेक्स्ट कैसे बनाया गया है, त्रुटियों को कैसे संभाला जाता है, और एआई को कैसे सत्यापित किया जाता है।
वैरिएंस डिकंपोजिशन (Variance Decomposition): केवल एक स्कोर देने के बजाय, शोधकर्ताओं को यह रिपोर्ट करना चाहिए:
- स्कोर का कितना अंतर मॉडल के कारण है?
- कितना हार्नेस के कारण है?
- और कितना उन दोनों के बीच के इंटरैक्शन (मेल) के कारण है?

निष्कर्ष (The Takeaway)

यदि आप एक शोधकर्ता, निवेशक, या एआई लीडरबोर्ड देखने वाले उपयोगकर्ता हैं, तो शोध पत्र आपको चेतावनी देता है: रैंकिंग पर आँख मूंदकर भरोसा न करें।

जब तक हम "हार्नेस कार्ड" नहीं देखते, तब तक लीडरबोर्ड रैंकिंग एक ऐसी दौड़ को जज करने जैसा है जिसमें यह नहीं पता कि कौन सी कार कौन चला रहा था। "विजेता" के पास शायद सिर्फ एक बेहतर कार थी, न कि एक बेहतर ड्राइवर। एआई प्रगति को वास्तव में समझने के लिए, हमें केवल मस्तिष्कों की तुलना करना बंद करना होगा और पूरे सिस्टम की तुलना करना शुरू करना होगा—मस्तिष्क और वह शरीर जिसमें वह रहता है।

तकनीकी सारांश: बिना हार्नेस (Harness) का खुलासा किए LLM एजेंटों की तुलना करना बंद करें

1. समस्या विवरण

लंबे समय तक चलने वाले कार्यों (long-horizon tasks) पर लार्ज लैंग्वेज मॉडल (LLM) एजेंटों के मूल्यांकन के वर्तमान अभ्यास व्यवस्थित रूप से मॉडल की क्षमता और एग्जीक्यूशन हार्नेस (execution harness) के प्रदर्शन को आपस में मिला देते हैं। एग्जीक्यूशन हार्नेस वह इंफ्रास्ट्रक्चर लेयर है जो कॉन्टेक्स्ट निर्माण, टूल इंटरेक्शन मध्यस्थता, आउटपुट सत्यापन, ऑर्केस्ट्रेशन (रिट्राय/एस्केलेशन लॉजिक), और स्टॉपिंग क्राइटेरिया के लिए जिम्मेदार है।

मानक लीडरबोर्ड (जैसे, SWE-bench, Terminal-Bench, AgentBench) प्रत्येक {model, benchmark} जोड़ी के लिए एक एकल स्कोर रिपोर्ट करते हैं, जो अप्रत्यक्ष रूप से परिणाम का श्रेय केवल मॉडल को देते हैं। यह पेपर तर्क देता है कि तुलनीय फ्रंटियर मॉडल्स के लिए लंबे समय तक चलने वाले कार्यों के मामले में, हार्नेस अक्सर प्रदर्शन के लिए बाइंडिंग कंस्ट्रेंट (binding constraint) होता है। फलस्वरूप, वर्तमान मूल्यांकन प्रोटोकॉल हार्नेस-स्तर के सुधारों को मॉडल सुधारों के रूप में गलत तरीके से प्रस्तुत करते हैं, जिससे क्रॉस-मॉडल तुलना अविश्वसनीय और भ्रामक हो जाती है। यह घालमेल निम्नलिखित कारणों से होता है:

अवलोकनात्मक साक्ष्य: केवल हार्नेस इंफ्रास्ट्रक्चर को बदलते हुए मॉडल को स्थिर रखने से प्रदर्शन में ऐसे बदलाव (जैसे, 15 प्रतिशत अंक) आ सकते हैं जो रिपोर्ट किए गए मॉडल सुधारों (आमतौर पर 2-4 अंक) से कहीं अधिक बड़े होते हैं।
संरचनात्मक वास्तविकता: एजेंट एक क्लोज्ड-लूप डायनेमिकल सिस्टम के रूप में कार्य करते हैं जहाँ हार्नेस 'कंट्रोलर' के रूप में और LLM एक स्टोकेस्टिक पॉलिसी के रूप में कार्य करता है। लॉन्ग-होरिज़न विश्वसनीयता कंट्रोलर के गुणों (स्थिरता, कॉन्टेक्स्ट ड्रिफ्ट मैनेजमेंट, कंट्रोल लैग) पर निर्भर करती है, न कि केवल पॉलिसी की कच्ची क्षमता पर।

2. कार्यप्रणाली और सैद्धांतिक ढांचा

बाइंडिंग कंस्ट्रेंट थीसिस (The Binding Constraint Thesis)

यह पेपर बाइंडिंग कंस्ट्रेंट थीसिस को औपचारिक रूप देता है: लंबे समय तक चलने वाले कार्यों के शासन में, जहाँ फ्रंटियर मॉडल्स तुलनीय हैं, हार्नेस द्वारा प्रेरित भिन्नता ($HV $) अक्सर मॉडल के चुनाव से प्रेरित भिन्नता ($ MV$) के बराबर या उससे अधिक होती है।

कुल प्रदर्शन भिन्नता को इस प्रकार विभाजित किया गया है:
$\text{Var}(B(M, H)) = \underbrace{\text{Var}_M[E_H[B(M, H)]]}_{MV} + \underbrace{\text{Var}_H[E_M[B(M, H)]]}_{HV} + \underbrace{\text{Var}(\text{interaction})}_{\text{Interaction}}$
थीसिस का दावा है कि वर्तमान मूल्यांकनों में $HV $और इंटरेक्शन टर्म,$ MV$ पर हावी हैं।

कंट्रोल-थ्योरेटिक औपचारिकता (Control-Theoretic Formalization)

लेखक एजेंट निष्पादन को एक साधारण इन्फरेंस लूप के बजाय एक क्लोज्ड-लूप डायनेमिकल सिस्टम के रूप में पुनर्गठित करते हैं:

LLM ( $\pi_\theta$ ): एक ओपन-लूप स्टोकेस्टिक पॉलिसी जो एक कॉन्टेक्स्ट प्रोजेक्शन $c(s_t)$ प्राप्त करती है लेकिन पूर्ण स्थिति $s_t$ तक सीधी पहुंच नहीं रखती है।
हार्नेस ( $C_H$ ): कंट्रोलर जो स्टेट को अपडेट करता है, ऑब्जर्वेशन को फ़िल्टर करता है, और फीडबैक लूप को प्रबंधित करता है।
विश्वसनीयता मात्राएँ (Reliability Quantities): हार्नेस तीन महत्वपूर्ण संरचनात्मक मात्राओं को निर्धारित करता है:
1. स्थिरता (Stability): क्या सिस्टम लक्ष्य की ओर गैर-घटती अपेक्षित प्रगति करता है (Lyapunov-जैसे माप)।
2. कॉन्टेक्स्ट ड्रिफ्ट ( $\delta_t$ ): वह दर जिस पर कार्य-प्रासंगिक जानकारी कॉन्टेक्स्ट विंडो से लुप्त हो जाती है।
3. कंट्रोल लैग ( $\tau$ ): विसंगति का पता चलने और पॉलिसी तक सुधारात्मक संकेत पहुँचने के बीच का विलंब।

अनुभवजन्य दृष्टिकोण (Empirical Approach)

पेपर अपने थीसिस का समर्थन दो प्रमाणों के माध्यम से करता है:

अवलोकनात्मक डेटा: सार्वजनिक लीडरबोर्ड (SWE-bench Pro, Terminal-Bench, HAL) का विश्लेषण दिखाता है कि "स्कैफोल्ड-ओनली" (scaffold-only) विविधताओं (मॉडल को स्थिर रखते हुए केवल हार्नेस इंफ्रास्ट्रक्चर बदलना) के परिणामस्वरूप प्रदर्शन में दोहरे अंकों का उतार-चढ़ाव और रैंकिंग रिवर्सल होता है।
नियंत्रित फैक्टोरियल प्रयोग: SWE-bench Verified के एक स्तरीकृत उपसमुच्चय पर तीन अलग-अलग फ्रंटियर मॉडल्स (GPT-5.4, Kimi K2.6, GLM-5.1) को तीन विशिष्ट हार्नेस कॉन्फ़िगरेशन ( $H_1$ : मिनिमल/ओपन-लूप, $H_2$ : इम्प्रूव्ड/बेसिक क्लोज्ड-लूप, $H_3$ : फुल/एडवांस्ड क्लोज्ड-लूप) के विरुद्ध बदलते हुए एक 3x3 ग्रिड प्रयोग।

3. मुख्य परिणाम

अवलोकनात्मक साक्ष्य

SWE-bench Pro: एक मानकीकृत स्कैफोल्ड के तहत, शीर्ष मॉडल 4.9 अंक तक फैले हुए हैं। हालाँकि, मॉडल (Claude Opus 4.5) को स्थिर रखकर और SEAL स्कैफोल्ड से Claude Code पर स्विच करके स्कोर में 9.5 अंक की वृद्धि होती है।
रैंकिंग रिवर्सल: समान इंफ्रास्ट्रक्चर में एक एकल सर्च सब-एजेंट (WarpGrep) जोड़ने से MiniMax 2.5 और Claude Opus 4.6 के बीच रैंकिंग बदल गई।
क्रॉस-स्कैफोल्ड गैप्स: SWE-bench Verified Mini पर, एक ही मॉडल (जैसे, Claude Sonnet 4.5) ने विभिन्न स्कैफोल्ड्स (SWE-Agent बनाम HAL Generalist) के बीच 34-पॉइंट का अंतर दिखाया।

नियंत्रित फैक्टोरियल प्रयोग के परिणाम

वेरिएंस डोमिनेंस (Variance Dominance): हार्नेस-प्रेरित भिन्नता ($HV $), मॉडल-प्रेरित भिन्नता ($ $), मॉडल - प्रेरितभिन्नता ($ MV$) से 7.80 गुना बड़ी थी।
- औसत $HV$: 18.48 pp²
- औसत $MV$: 2.37 pp²
प्रदर्शन बदलाव: हार्नेस बदलने से स्थिर मॉडल्स के लिए स्कोर 8.5 से 13.0 प्रतिशत अंक तक बदल गया, जबकि एक निश्चित हार्नेस के भीतर मॉडल बदलने से स्कोर केवल 2.5 से 5.0 अंक तक ही बदला।
रैंकिंग अस्थिरता: 9 संभावित मॉडल-पेयर/हार्नेस-पेयर तुलनाओं में से 6 में रैंकिंग रिवर्सल देखे गए।
मैकेनिज्म विश्लेषण:
- $H_1 \to H_2$ लाभ कंट्रोल नॉइज़ (बेहतर फॉर्मेटिंग, रिट्रीवल, एरर हैंडलिंग) को कम करने से प्राप्त हुए।
- $H_2 \to H_3$ लाभ वेरिफिकेशन और रिकवरी लूप (सेल्फ-चेकिंग, विसंगति का पता लगाना, रोलबैक) को क्लोज करने से प्राप्त हुए।

4. प्रस्तावित ढांचा: हार्नेस-अवेयर इवैल्यूएशन (Harness-Aware Evaluation)

पेपर एक नया मूल्यांकन शासन प्रस्तावित करता है जिसमें तीन घटक आवश्यक हैं:

हार्नेस कार्ड (संरचित प्रकटीकरण): प्रत्येक बेंचमार्क सबमिशन में ETCSOVG वर्गीकरण द्वारा व्यवस्थित प्रकटीकरण शामिल होना चाहिए:
- Execution (रनटाइम, सैंडबॉक्सिंग, टाइमआउट)
- Tool (सूची, स्कीमा, एरर कॉन्ट्रैक्ट्स)
- Context (विंडो कैप, कम्प्रेशन, रिट्रीवल, मेमोरी)
- Scheduling (लूप, रिट्राय, एस्केलेशन, रोलबैक)
- Observability (लॉगिंग, ट्रेसेस)
- Verification (पार्सिंग, सेल्फ-चेकिंग, विसंगति का पता लगाना)
- Governance (अनुमतियाँ, साइड-इफेक्ट्स)
वेरिएंस डिकंपोजिशन प्रोटोकॉल: मूल्यांकनों को या तो:
- लॉक्ड-हार्नेस प्रोटोकॉल: स्वच्छ रैंकिंग के लिए सभी मॉडलों पर लागू एक निर्दिष्ट हार्नेस।
- फैक्टोरियल प्रोटोकॉल: $HV$, $MV$, इंटरेक्शन टर्म्स और रैंकिंग रिवर्सल काउंट की रिपोर्ट करने के लिए मॉडल्स और हार्नेसेस दोनों को बदलना।
ट्रैजेक्टरी-लेवल मेट्रिक्स: प्रदर्शन बदलावों को विशिष्ट हार्नेस परतों के साथ जोड़ने के लिए, पेपर प्रस्तावित करता है:
- रिकवरी रेट (RR): $k$ स्टेप्स के भीतर किसी विसंगति के बाद कार्य-बढ़ाने वाली स्थिति में लौटने की संभावना (स्थिरता को मापता है)।
- कॉन्टेक्स्ट रिटेंशन: कॉन्टेक्स्ट में मौजूद कार्य-प्रासंगिक फाइलों/प्रतिबंधों का अंश (ड्रिफ्ट को मापता है)।
- कंट्रोल लैग ( $\tau$ ): विसंगति का पता चलने और सुधारात्मक संकेत के आगमन के बीच के स्टेप्स।

5. महत्व और दावे

पेपर का दावा है कि लंबे समय तक चलने वाले एजेंटों के लिए बेंचमार्क स्कोर क्रॉस-मॉडल तुलना के लिए मान्य नहीं हैं जब तक कि एग्जीक्यूशन हार्नेस का खुलासा न किया जाए।

वैज्ञानिक सटीकता: वर्तमान लीडरबोर्ड मॉडल और हार्नेस का मिश्रण मापते हैं, जिससे व्यवस्थित रूप से गलत एट्रिब्यूशन होता है। यह अनुसंधान प्रोत्साहन को विकृत करता है, जिससे निवेश मॉडल स्केलिंग की ओर निर्देशित होता है जबकि हार्नेस इंजीनियरिंग (जो भिन्नता का एक बड़ा स्रोत है) में कम निवेश होता है।
व्यावहारिक प्रभाव: वर्तमान रैंकिंग पर आधारित तैनाती निर्णय त्रुटिपूर्ण हैं क्योंकि वे मॉडल के योगदान को अलग नहीं करते हैं। "बाइंडिंग कंस्ट्रेंट" अक्सर इंफ्रास्ट्रक्चर होता है, न कि मॉडल वेट्स।
कार्रवाई का आह्वान: क्षेत्र को हार्नेस को एक छिपे हुए चर (hidden variable) के रूप में मानने के बजाय इसे एक प्राथमिक प्रयोगात्मक स्थिति के रूप में मानने की आवश्यकता है। जब तक हार्नेस विनिर्देशों का खुलासा नहीं किया जाता और वेरिएंस डिकंपोजिशन को नियमित नहीं बनाया जाता, तब तक लीडरबोर्ड तुलनाओं को अधूरा माना जाना चाहिए।

पेपर स्पष्ट रूप से इस धारणा को खारिज करता है कि "बेहतर मॉडल इसे हल कर देंगे," यह नोट करते हुए कि जैसे-जैसे मॉडल बेहतर होते हैं, हार्नेसेस और भी जटिल होते जाते हैं (उदाहरण के लिए, क्लाउड कोड द्वारा घटकों को हटाने के बजाय उन्हें फिर से डिजाइन करना) ताकि बढ़ी हुई क्षमता को प्रबंधित किया जा सके। समाधान संरचनात्मक प्रकटीकरण है, न कि केवल मानकीकरण या स्केलिंग।