💻 computer science

ERRORQUAKE: Heavy-Tailed Error Severity Distributions in Open-Weight Large Language Models

यह शोधपत्र Errorquake-10k प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है यह प्रदर्शित करता है कि ओपन-वेट लार्ज लैंग्वेज मॉडल्स समान सटीकता स्तरों पर भी विशिष्ट हेवी-टेल्ड एरर सेवेरिटी डिस्ट्रीब्यूशन प्रदर्शित करते हैं, जो यह सिद्ध करता है कि ये सेवेरिटी प्रोफाइल्स मॉडल विश्वसनीयता के बारे में महत्वपूर्ण, गैर-अतिरेक जानकारी प्रदान करते हैं जिसे स्केलर एरर रेट कैप्चर करने में विफल रहते हैं।

मूल लेखक: Jason Z Wang

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jason Z Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप अपनी कंपनी के लिए रिपोर्ट लिखने हेतु सहायकों की एक टीम रख रहे हैं। आपके पास एक मानक परीक्षण है: आप उनसे 10,000 प्रश्न पूछते हैं और गिनते हैं कि वे कितनी बार गलत उत्तर देते हैं।

AI की दुनिया में, इसे त्रुटि दर (error rate) कहा जाता है। यदि सहायक A 58% उत्तर गलत देता है, और सहायक B भी 58% गलत देता है, तो मानक रिपोर्ट कहती है: "वे दोनों समान रूप से खराब हैं।"

यह शोध पत्र तर्क देता है कि यह रिपोर्ट खतरनाक रूप से भ्रामक है।

लेखक, जेसन जेड वांग और उनके सहयोगियों ने, गलतियों को देखने का एक नया तरीका पेश किया जिसे ERRORQUAKE कहा जाता है। उनका सुझाव है कि सभी गलतियाँ एक समान नहीं होती हैं। एक गलत तारीख एक "नाखून की खरोंच" है, लेकिन एक पूरी तरह से मनगढ़ंत अदालती फैसला जो किसी को जेल भेज सकता है, वह एक "इमारत के ढहने" जैसा है। पुराने सिस्टम में दोनों को "एक त्रुटि" गिना जाता है, लेकिन इनके परिणाम दुनिया से बिल्कुल अलग हैं।

उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करते हुए विवरण यहाँ दिया गया है:

1. भूकंप की उपमा (मूल विचार)

लेखक भूकंप विज्ञान (seismology) की एक अवधारणा को उधार लेते हैं। भूकंप विज्ञानी जानते हैं कि भूकंप एक विशिष्ट पैटर्न का पालन करते हैं: कई छोटे झटके होते हैं, मध्यम वाले कम होते हैं, और बहुत बड़े, विनाशकारी भूकंप बहुत कम होते हैं। वे इस पैटर्न का वर्णन करने के लिए $b$ -value नामक संख्या का उपयोग करते हैं।

उच्च $b$ -value: कई छोटे, परेशान करने वाले झटके, लेकिन बड़े विनाश लगभग न के बराबर। (सोचिए: एक ऐसा मॉडल जो बहुत सारी छोटी टाइपिंग की गलतियाँ या मामूली तथ्यात्मक चूक करता है)।
निम्न $b$ -value: कुल त्रुटियाँ कम हैं, लेकिन जो त्रुटियाँ होती हैं, वे अत्यधिक बड़ी और विनाशकारी होती हैं। (सोचिए: एक ऐसा मॉडल जो ज्यादातर शांत रहता है, लेकिन जब वह बोलता है, तो वह एक फर्जी कानून या एक फर्जी वैज्ञानिक खोज गढ़ देता है)।

खोज: लेखकों ने 21 अलग-अलग ओपन-सोर्स AI मॉडलों का परीक्षण किया। उन्होंने पाया कि भले ही दो मॉडलों की त्रुटि दर बिल्कुल समान हो (जैसे, दोनों 58.6% बार गलत होते हैं), उनके $b$ -values पूरी तरह से अलग थे।

उदाहरण: एक मॉडल (DeepSeek-V3.2) का "निम्न $b$ -value" था, जिसका अर्थ था कि उसकी त्रुटियाँ 'हेवी-टेल्ड' (भारी पूंछ वाली/गंभीर) थीं (दुर्लभ लेकिन विनाशकारी)। दूसरा मॉडल (Ministral-14B) का "उच्च $b$ -value" था, जिसका अर्थ था कि उसकी त्रुटियाँ हल्की और कम खतरनाक थीं।
सीख: आप केवल यह गिनकर किसी मॉडल की सुरक्षा का निर्णय नहीं ले सकते कि वह कितनी बार विफल होता है। आपको यह देखना होगा कि जब वह विफल होता है, तो वह कितनी बुरी तरह विफल होता है।

2. "हेवी-टेल्ड" (Heavy-Tailed) चेतावनी

शोध पत्र इन खतरनाक पैटर्न को "हेवी-टेल्ड एरर डिस्ट्रीब्यूशन" कहता है।
कंकड़ों के एक थैले की कल्पना करें।

सामान्य वितरण (Normal distribution): अधिकांश कंकड़ एक ही आकार के होते हैं।
हेवी-टेल्ड वितरण (Heavy-tailed distribution): थैले में अधिकांश छोटे कंकड़ हैं, लेकिन उनमें कुछ विशाल चट्टानें छिपी हुई हैं। यदि आप केवल "कंकड़ों की संख्या" गिनते हैं, तो आप इस तथ्य को भूल जाते हैं कि उनमें से एक आपके पैर को कुचल सकती है।

लेखकों ने पाया कि बड़े, अधिक शक्तिशाली AI मॉडल (जो "डेंस" हैं) वास्तव में अधिक हेवी-टेल्ड होते हैं।

विरोधाभास: जैसे-जैसे मॉडल बड़े होते हैं, वे छोटी गलतियाँ (जैसे टाइपो या मामूली चूक) कम करते हैं। हालांकि, वे जो गलतियाँ करते हैं, वे अधिक आत्मविश्वासपूर्ण और विस्तृत झूठ (गढ़ंत बातें) होने की संभावना रखते हैं।
उपमा: एक छोटा बच्चा अक्सर लड़खड़ा कर गिर सकता है (कई छोटी त्रुटियाँ)। एक विशालकाय व्यक्ति घंटों तक बिल्कुल सही चल सकता है, लेकिन यदि वह लड़खड़ाता है, तो वह एक घर गिरा सकता है (कम त्रुटियाँ, लेकिन विनाशकारी)।

3. "सीस्मोमीटर" बनाम "क्लिकर"

वर्तमान बेंचमार्क एक क्लिकर की तरह हैं: वे बस हर बार "गलत" पर क्लिक करते हैं जब मॉडल कोई गलती करता है।
लेखकों ने एक नया टूल बनाया है, ERRORQUAKE-10K, जो एक सीस्मोमीटर की तरह कार्य करता है।

केवल "गलत" क्लिक करने के बजाय, यह त्रुटि को 0 से 4 के पैमाने पर रेट करता है:
- 0: सटीक।
- 0.5–1.0: एक मामूली चूक (जैसे, "मीटिंग दोपहर 2 बजे थी" के बजाय 3 बजे थी)।
- 2.0–3.0: एक गंभीर त्रुटि जो पाठक को गुमराह कर सकती है।
- 3.5–4.0: एक पूर्णतः मनगढ़ंत रचना (जैसे, "मीटिंग एक समानांतर ब्रह्मांड में आयोजित की गई थी")।
उन्होंने इसका परीक्षण मानव विशेषज्ञों के साथ किया और पाया कि मानव और AI जज इन रेटिंग्स पर काफी हद तक सहमत थे।

4. यह क्यों मायने रखता है? (तंत्र/Mechanism)

शोध पत्र इस बात की गहराई में जाता है कि ये हेवी टेल्स क्यों होते हैं। उन्होंने गंभीरता बढ़ने के साथ त्रुटियों के प्रकार में बदलाव पाया:

कम गंभीरता: त्रुटियाँ आमतौर पर रिट्रीवल फेल्योर (सूचना प्राप्ति की विफलता) होती हैं (मॉडल एक तथ्य भूल गया या गलत नंबर देख लिया)।
उच्च गंभीरता: त्रुटियाँ आमतौर रूप से फैब्रिकेशंस (मनगढ़ंत रचनाएँ) होती हैं (मॉडल आत्मविश्वास के साथ कुछ ऐसा गढ़ देता है जो कभी हुआ ही नहीं)।

महत्वपूर्ण बात यह है कि बड़े मॉडल इन उच्च-गंभीरता वाले फैब्रिकेशंस के प्रति अधिक प्रवृत्त होते हैं। जैसे-जैसे मॉडल बड़े होते हैं, वे तथ्यों को याद रखने में बेहतर होते जाते हैं (कम रिट्रीवल त्रुटियाँ), लेकिन जब उन्हें उत्तर नहीं पता होता, तो वे अधिक विश्वासपूर्ण झूठ गढ़ने में भी बेहतर होते जाते हैं।

5. निष्कर्ष (Bottom Line)

शोध पत्र निष्कर्ष निकालता है कि उद्योग को केवल "त्रुटि दर" (क्लिकर काउंट) रिपोर्ट करना बंद करने की आवश्यकता है।

पुराना तरीका: "मॉडल A और मॉडल B दोनों 58% गलत हैं।"
नया तरीका: "मॉडल A और मॉडल B दोनों 58% गलत हैं, लेकिन मॉडल A एक टिक-टिक करती टाइम बम की तरह है (हेवी टेल), जबकि मॉडल B केवल एक शोर मचाने वाला पड़ोसी है (लाइट टेल)।"

सिफारिश: जब भी आप रिपोर्ट करें कि एक AI कितनी बार गलतियाँ करता है, तो आपको गंभीरता वितरण (severity distribution) (अर्थात $b$ -value) भी रिपोर्ट करना चाहिए। यह बताता है कि क्या मॉडल मामूली चूक के प्रति प्रवृत्त है या विनाशकारी झूठ के प्रति, ऐसी जानकारी जिसे साधारण त्रुटि दर पूरी तरह से छिपा देती है।

यह शोध पत्र क्या दावा नहीं करता है:

यह नहीं कहता कि ये मॉडल विशिष्ट वास्तविक दुनिया के कार्यों (जैसे चिकित्सा या कानून) के लिए बिना आगे के परीक्षण के "सुरक्षित" या "असुरक्षित" हैं।
यह यह दावा नहीं करता कि बड़े मॉडल कुल मिलाकर "बुरे" हैं; वे बस उनके विफल होने के तरीके में अलग हैं।
यह इस समस्या का समाधान नहीं देता है, केवल इसे मापने का एक तरीका प्रदान करता है।

तकनीकी सारांश: ERRORQUAKE: ओपन-वेट लार्ज लैंग्वेज मॉडल्स में हैवी-टेल्ड एरर सेवेरिटी डिस्ट्रीब्यूशंस

1. समस्या विवरण

मानक मतिभ्रम (hallucination) बेंचमार्क (जैसे, TruthfulQA, HaluEval) मॉडल के प्रदर्शन को एक एकल स्केलर त्रुटि दर ( $\varepsilon$ ) में कम कर देते हैं, जिससे सभी त्रुटियों को समान माना जाता है। यह दृष्टिकोण मॉडल की विफलता के एक महत्वपूर्ण आयाम को मिटा देता है: त्रुटि की गंभीरता (severity)। एक मॉडल जो गलत प्रकाशन तिथि बताता है और एक मॉडल जो पूरी न्यायिक राय गढ़ देता है, दोनों ही $\varepsilon$ में एक एकल गणना जोड़ते हैं, फिर भी उनके डाउनस्ट्रीम परिणाम आदेशों (orders of magnitude) के अंतर से भिन्न होते हैं।

यह शोध पत्र तर्क देता है कि समान सटीकता पर, ओपन-वेट लार्ज लैंग्वेज मॉडल्स (LLMs) अपनी त्रुटि गंभीरता वितरण (error severity distribution) के आकार में पर्याप्त अंतर प्रदर्शित करते हैं। विशेष रूप से, "टेल व्यवहार" (catastrophic errors की आवृत्ति बनाम minor slips) मॉडलों के बीच काफी भिन्न होता है, जो कि स्केलर त्रुटि दरों द्वारा अदृश्य रहता है। भूकंप विज्ञान (seismology) से उधार लेते हुए, लेखक गुटेनबर्ग-रिक्टर मैग्नीट्यूड-फ्रीक्वेंसी संबंध के ढलान $b$ का उपयोग करके इस टेल व्यवहार को चरित्रित करने का प्रस्ताव करते हैं: $\log_{10} N(M \ge m) = a - b m$ । एक छोटा $b$ कम त्रुटियां लेकिन विनाशकारी (catastrophic) त्रुटियों को दर्शाता है; एक बड़ा $b$ कई छोटी त्रुटियों को दर्शाता है जिनकी गंभीरता सीमित (bounded) होती है।

2. कार्यप्रणाली

2.1 ERRORQUAKE-10K बेंचमार्क

लेखक ERRORQUAKE-10K पेश करते हैं, जिसमें 8 डोमेन (BIO, LAW, HIST, GEO, SCI, TECH, FIN, CULT) और 5 कठिनाई स्तरों (T1–T5) में 10,000 प्रश्न शामिल हैं।

संरचना: प्रति डोमेन 1,250 प्रश्न; T1–T2 आसान तथ्यात्मक प्रश्न हैं, जबकि T4–T5 में ट्रैप प्रश्न शामिल हैं जो आत्मविश्वासपूर्ण गढ़ंत सूचनाओं (confident fabrications) को उकसाने के लिए डिज़ाइन किए गए हैं।
मूल्यांकित मॉडल: 10 परिवारों के 21 ओपन-वेट इंस्ट्रक्शन-ट्यून्ड मॉडल (3B से ~37B एक्टिव पैरामीटर्स), जिसमें डेंस (dense) और MoE आर्किटेक्चर शामिल हैं।

2.2 सेवेरिटी स्कोरिंग स्केल

प्रतिक्रियाओं को एक निरंतर 0.0–4.0 स्केल (0.5 के बढ़ते क्रम में क्वांटाइज्ड, 9 विशिष्ट स्तर) पर स्कोर किया जाता है:

0.0: सही।
0.5–1.0: सूक्ष्म अशुद्धियाँ जो मूल भाव को बनाए रखती हैं।
1.5–2.0: मध्यम तथ्यात्मक त्रुटियाँ।
2.5–3.0: पर्याप्त त्रुटियाँ जो एक सामान्य पाठक को गुमराह करती हैं।
3.5–4.0: फैब्रिकेशन (गढ़ी हुई जानकारी का आत्मविश्वासपूर्ण दावा)।

2.3 मूल्यांकन पाइपलाइन

डुअल-जज सिस्टम: प्रत्येक प्रतिक्रिया को 8-मॉडल राउंड-रॉबिन पूल (लक्ष्य मॉडल को छोड़कर) से दो जजों द्वारा स्कोर किया जाता है।
एकत्रीकरण (Aggregation): यदि जज 1.0 के भीतर सहमत होते हैं तो अंतिम स्कोर माध्य (mean) होता है; अन्यथा, टाईब्रेकर के साथ तीन का माध्य (median-of-three) उपयोग किया जाता है।
मानवीय सत्यापन (Human Validation): LLM-जज पाइपलाइन को मान्य करने के लिए तीन विशेषज्ञ मानव रेटर्स द्वारा एक 519-आइटम स्ट्रैटिफाइड सैंपल को स्कोर किया गया।
- विश्वसनीयता: मानव इंटर-रेटर रिलायबिलिटी उत्कृष्ट है (ICC(2, k=3) = 0.85)।
- सहसंबंध: मानव-व्युत्पन्न सेवेरिटी रैंकिंग, LLM-जज रैंकिंग के साथ मजबूती से सहसंबंधित है ( $\rho = 0.89$ )।
- ओवरकॉल रेट: LLM जज सेवेरिटी को ओवरकॉल (स्कोर 2.0) करते हैं (33.5%), जबकि मनुष्यों के लिए यह 13.7% है।

2.4 सांख्यिकीय विश्लेषण

डिस्ट्रीब्यूशन फिटिंग: सख्ती से सकारात्मक स्कोर पर पांच उम्मीदवार परिवारों (डिस्क्रीट पावर लॉ, ट्रंकेटेड पावर लॉ, एक्सपोनेंशियल, स्ट्रेच्ड एक्सपोनेंशियल, लॉग-नॉर्मल) को फिट किया गया।
पैरामीटर अनुमान: $b$ का अनुमान ग्रिड-क्वांटाइज्ड स्कोर पर डिस्क्रीटनेस करेक्शन के साथ Aki फॉर्मूला का उपयोग करके लगाया गया।
कॉन्फिडेंस इंटरवल्स: $b$ के लिए 95% पर्सेंटाइल बूटस्ट्रैप्स (2,000 रीसैंपल्स) का उपयोग किया गया।

3. मुख्य योगदान

नॉन-रिड्यूसिबिलिटी थ्योरम (C1): एक सैद्धांतिक प्रमाण जो दिखाता है कि सेवेरिटी प्रोफाइल ( $b$ ) और त्रुटि दर ( $\varepsilon$ ) सूचनात्मक रूप से गैर-अतिरेक (non-redundant) हैं। अनुभवजन्य रूप से, $I(b; \text{model} \mid \varepsilon) = 1.56$ बिट्स, जिसका अर्थ है कि $b$ में मॉडलों के बीच का 64.5% विचरण $\varepsilon$ द्वारा अनस्पष्टीकृत है।
मैच्ड-एक्यूरेसी डिस्क्रिमिनेटर (C3): प्राथमिक अनुभवजन्य निष्कर्ष कि $b$ , जब उनकी त्रुटि दरें समान हों ( $\varepsilon$ ), तो भी मॉडलों के बीच अंतर करता है।
सेवेरिटी मैकेनिज्म टैक्सोनॉमी (C4): एक 6-श्रेणी वर्गीकरण (रिट्रीवल, फैब्रिकेशन, एम्प्लीफिकेशन, रीजनिंग, फॉर्मेट, मेटाकॉग्निटिव) जो दिखाता है कि त्रुटि तंत्र गंभीरता के साथ श्रेणीगत रूप से बदलते हैं।
स्केलिंग कोरिलेशन (C5): मॉडल आकार और सेवेरिटी टेल शेप के बीच संबंध का एक विश्लेषण।
रिसोर्स रिलीज (C7): ERRORQUAKE-10K बेंचमार्क, स्कोरिंग टूलकिट और विश्लेषण कोड का रिलीज।

4. मुख्य परिणाम

4.1 मैच्ड-एक्यूरेसी डिस्क्रिमिनेशन

21 मॉडलों के 210 जोड़ों में से, 85 जोड़े में मानव-सहमति स्कोरिंग पर मानव-मैच की गई त्रुटि दरों ( $|\Delta\varepsilon| < 0.05$ ) के बावजूद $b$ के लिए विलग (disjoint) 95% कॉन्फिडेंस इंटरवल हैं।

उदाहरण: DEEPSEEK-V3.2 और MINISTRAL-14B की त्रुटि दरें समान ( $\varepsilon = 0.586$ ) हैं लेकिन टेल स्लोप में महत्वपूर्ण अंतर ( $\Delta b = 0.47$ ) है।
मजबूती: यह परिणाम क्रॉस-डोमेन जैकनाइफ, विभिन्न जज-एग्रीगेशन नियमों और उच्च डुअल-जज कवरेज वाले सबसेट्स में भी बना रहता है।

4.2 डिस्ट्रीब्यूशन कैरेक्टराइजेशन

हैवी-टेल्ड प्रकृति: 21 में से 17 मॉडलों को नॉन-एक्सपोनेंशियल परिवारों (स्ट्रेच्ड एक्सपोनेंशियल या ट्रंकेटेड पावर लॉ) द्वारा सबसे अच्छा फिट किया गया, जो डिस्क्रीट सेवेरिटी ग्रिड पर "हैवी टेल्स" (एक्सपोनेंशियल की तुलना में धीमी गिरावट) की उपस्थिति की पुष्टि करता है।
परिचालन परिभाषा: यहाँ "हैवी-टेल्ड" का अर्थ है कि BIC-बेस्ट परिवार नॉन-एक्सपोनेंशियल है या ऊपरी बिन ( $M \ge 2.5$ ) में अवशिष्ट द्रव्यमान (residual mass) एक एक्सपोनेंशियल फिट की तुलना में अधिक है।

4.3 स्केलिंग कोरिलेशन

डेंस मॉडल्स: मॉडल आकार (लॉग एक्टिव पैरामीटर्स) और $b$ मान के बीच एक नकारात्मक सहसंबंध है ( $\rho_s = -0.86$ मानव डेटा पर)।
व्याख्या: बड़े डेंस मॉडल कम छोटी त्रुटियां (तीव्र बल्क डिके) करते हैं लेकिन अपेक्षाकृत उच्च अनुपात में विनाशकारी फैब्रिकेशंस (उथला ऊपरी टेल) करते हैं।
नोट: यह सहसंबंध केवल ऊपरी-टेल स्लोप के लिए विशिष्ट है; बल्क डिके दर विपरीत दिशा में चलती है।

4.4 मैकेनिज्म टैक्सोनॉमी

सेवेरिटी शिफ्ट: कम-सेवेरिटी त्रुटियां (0.5–1.0) मुख्य रूप से रिट्रीवल (71%) हैं। उच्च-सेवेरिटी त्रुटियां (2.0–4.0) मुख्य रूप से फैब्रिकेशंस (39%) हैं।
साइज़ कपलिंग: छोटे मॉडल (3–9B) में 44.7% रिट्रीवल त्रुटियां दिखती हैं, जबकि बड़े मॉडल (≥24B) में 29.2% फैब्रिकेशन त्रुटियां दिखती हैं। बड़े मॉडलों में फैब्रिकेशन की ओर यह बदलाव उनके हैवी टेल्स को स्पष्ट करता है।

4.5 प्रेडिक्शन लिमिटेशन्स

पूर्व-पंजीकृत परिकल्पना कि आसान टियर्स (T1/T2) पर $b$ को फिट करना कठिन टियर्स (T4/T5) पर विनाशकारी त्रुटियों की संख्या की भविष्यवाणी करेगा, अपने प्राथमिक मानदंड में विफल रही।

परिणाम: रैंक सहसंबंध कमजोर था ( $\rho_s = 0.443$ ), और पूर्ण दर भविष्यवाणी विफल रही (21 में से 0 मॉडल ने ओवर-प्रेडिक्ट किया; 17/21 ने अंडर-प्रेडिक्ट किया)।
कारण: कठिन प्रश्न पूरी सेवेरिटी डिस्ट्रीब्यूशन को ऊपर की ओर धकेल देते हैं (एक लेवल शिफ्ट), जिसे गुटेनबर्ग-रिक्टर कानून (जो सापेक्ष ढलान को कैप्चर करता है) अकेले आसान डेटा से एक्सट्रपलेट नहीं कर सकता।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि सटीकता के साथ सेवेरिटी डिस्ट्रीब्यूशन भी रिपोर्ट किया जाना चाहिए क्योंकि इसमें सूचनात्मक मूल्य है जिसे त्रुटि दर नहीं पकड़ सकती।

सूचनात्मक मूल्य: सेवेरिटी प्रोफाइल, त्रुटि दर का केवल एक दोहराव नहीं है। दो मॉडल जिनकी सटीकता समान है, उनमें विनाशकारी विफलता के जोखिम (प्रति मिलियन क्वेरी अपेक्षित विनाशकारी घटनाओं में अंतर) में आदेशों का अंतर हो सकता है।
डिप्लॉयमेंट रिस्क: सेवेरिटी डिस्ट्रीशन को अनदेखा करना खराब जोखिम निदान की ओर ले जाता है। एक "हैवी टेल" (कम $b$ ) वाला मॉडल, समान त्रुटि दर वाले "लाइट टेल" मॉडल की तुलना में विनाशकारी फैब्रिकेशन का उच्च जोखिम पैदा करता है।
स्केलिंग पैराडॉक्स: स्केलिंग लॉ समग्र सटीकता में सुधार कर सकते हैं जबकि साथ ही साथ अवशिष्ट विफलताओं की संरचना को बदतर बना सकते हैं (रिट्रीवल्स से फैब्रिकेशंस की ओर शिफ्ट), जो कि मानक त्रुटि दरों में अदृश्य है।

लेखक इस कार्य को उच्च-परिणाम वाले तथ्यात्मक सेटिंग्स में मॉडल चयन और ऑडिटिंग के लिए एक नैदानिक उपकरण (diagnostic tool) के रूप में प्रस्तुत करते हैं, न कि केवल एक सिंगल-नंबर लीडरबोर्ड के रूप में। वे अपनी सीमाओं को भी स्पष्ट रूप से नोट करते हैं, जिसमें प्रोप्रायटरी फ्रंटियर मॉडल्स का अपवर्जन, LLM-जेनरेटेड क्वेरीज पर निर्भरता, और माइक्रो-एरर-टू-कैटास्ट्रोफी प्रेडिक्शन कार्य की विफलता शामिल है।